前OpenAI安全負責人加入競爭對手Anthropic

鞭牛士報道,5月29日消息,據外電報道,剛剛從OpenAI 安全團隊(專注於長期風險)離職的前聯席主管 Jan Leike 宣佈將加入OpenAI人工智能競爭對手 Anthropic。

Leike 於 5 月 15 日凌晨宣佈辭去 OpenAI 職務,幾天後該公司解散了他共同領導的超級聯盟小組。該團隊成立於 2023 年,專注於長期人工智能風險。5 月 14 日,OpenAI 聯合創始人伊利亞·蘇茨克弗 (Ilya Sutskever) 在 X 上的一篇文章中宣佈離職。

離職時,雷克批評了 OpenAI,稱安全文化和流程已經讓位於閃亮的產品。週二,OpenAI 組建了一個新的安全團隊,由首席執行官山姆·奧特曼 (Sam Altman) 擔任。

Leike 表示,他在 Anthropic 的工作重點與他在 OpenAI 的工作類似,即與所謂超人類人工智能模型的控制相關的安全問題。

此類人工智能模型目前尚不存在,但 OpenAI 和 Anthropic 等公司正在研究如果未來建成這些模型,如何對其進行控制。

Leike 表示:我很高興加入@AnthropicAI,繼續完成超級對齊任務。

Leike 週二在 X 上寫道 ,我的新團隊將致力於可擴展監督、弱到強泛化和自動對齊研究。

知情人士告訴 TechCrunch,Leike 將直接向 Anthropic 的首席科學官 Jared Kaplan 彙報工作,而目前致力於可擴展監督(以可預測和理想的方式控制大規模人工智能行爲的技術)的 Anthropic 研究人員將在 Leike 的團隊成立後向 Leike 彙報工作。

Anthropic 得到了亞馬遜的支持, 其中有承諾向該公司注資40 億美元,持有少數股權。

在離開 OpenAI 後的一篇文章中,雷克寫道:離開這份工作是我做過的最困難的事情之一,因爲我們迫切需要弄清楚如何引導和控制比我們聰明得多的人工智能系統。

自 OpenAI 於 2022 年底推出 ChatGPT 以來,人工智能安全在整個科技領域迅速受到重視,引發了生成式人工智能產品和投資的繁榮。一些業內人士表示擔憂,公司在沒有充分考慮潛在社會危害的情況下,過快向公衆發佈強大的人工智能產品。

微軟支持的 Open AI週二表示,它成立了一個由高級管理人員領導的新安全委員會,其中包括首席執行官 Sam Altman。該委員會將向公司董事會推薦OpenAI 項目和運營的安全決策。

Anthropic 由兄弟姐妹 Dario Amodei 和 Daniela Amodei 以及其他前 OpenAI 高管於 2021 年創立,自稱是一家更注重安全的人工智能公司,並於 3 月推出了 ChatGPT 競爭對手 Claude 3。該公司已獲得谷歌的資助,此外還有亞馬遜的資助。

Leike 尚未迴應置評請求。