OpenAI內鬥第二彈！Ilya親信、超級對齊團隊2人慘遭開除，被批泄密
新智元報道
編輯：編輯部
【新智元導讀】OpenAI內鬥「第二彈」來了？外媒驚曝，OpenAI超級對齊團隊關鍵人物忽然被解僱了，理由是有泄密行爲。而且，此人還是Ilya的重要盟友和親信。而身處風暴中心的Ilya，依然未曾露面……
驚天大瓜！
據外媒報道，OpenAI超級對齊團隊的2名研究員，因泄露「機密」被正式開除！
而這也是今年3月Sam Altman重掌董事會席位後，OpenAI首次對外公開的人事變動。
被解僱的研究員之一Leopold Aschenbrenner，曾在新成立的超級對齊團隊工作。
同時，他也是OpenAI首席科學家Ilya Sutskever的支持者，OpenAI內鬥風波後，Ilya至今尚未在公開場合露面。
另一位被解僱的員工Pavel Izmailov，曾負責推理方面的研究，在安全團隊亦有貢獻。
Leopold Aschenbrenner（左）， Pavel Izmailov（右）
值得一提的是，被解僱的這倆人，都是去年OpenAI超級對齊團隊新論文的作者。
不過，目前尚不清楚，兩位被解僱員工具體泄露了哪些信息。
團隊關鍵人物開除爲哪般
OpenAI的發展情況，仍然是穩中向好，勢如破竹，最近一次員工股票出售中，它的估值甚至一度高達860億美元。
而超級對齊團隊（Superalignment），是OpenAI內部一個頗具話題性的部門。
AI發展到最後，如果成爲超級智能，好處是或許能幫我們解決核聚變問題，甚至開拓其他星球，但反過來，這麼厲害的它，開始危害人類了怎麼辦？
爲此，在去年夏天，Ilya Sutskever成立了這個團隊，來研發控制和指導超級智能的技術。
Aschenbrenner，恰恰就是超級智能對齊團隊的關鍵人物之一。
一個爭議就是：這個團隊真的有存在的必要嗎？
OpenAI內部，員工對此意見不一。
此前的內鬥風波，跟這個理念的爭議也脫不了干係。
作爲OpenAI聯合創始人、重大技術突破負責人，Ilya曾與其他董事會成員一起，決定解僱Sam Altman，原因是他缺乏坦誠。
而Altman宮鬥歸來、重返CEO之職後，Ilya離開了董事會，從此似乎銷聲匿跡，引來衆多網友的猜疑。
又是「有效利他主義」
耐人尋味的是，事件中的衆多人物，都有「有效利他主義」（Effective Altruism），有着千絲萬縷的關聯。
對齊團隊關鍵人物Aschenbrenner，便是有效利他主義運動的一員。
該運動強調，我們應該優先解決AI潛在的風險，而非追求短期的利潤或生產力增長。
說到這裡，就不能不提大名鼎鼎的幣圈大佬、如今淪爲階下囚的FTX創始人Sam Bankman-Fried了，他也是有效利他主義的忠實擁躉之一。
19歲時畢業於哥大的Aschenbrenner，曾在SBF創建的慈善基金Future Fund工作，該基金致力於資助能夠「改善人類長遠前景」的項目。
一年前，Aschenbrenner加入了OpenAI。
而把Altman踢出局的其他董事會成員，也都被發現和有效利他主義有干係。
比如，Tasha McCauley是Effective Ventures的董事會成員，後者即是有效利他中心的母組織。
而Helen Toner曾在專注於有效利他的Open Philanthropy項目工作。
去年11月Altman重任CEO時，二人也都來開了董事會。
這樣看來，此次Aschenbrenner被開除究竟是因爲泄密，還是因爲其他原因，就值得探究了。
總之，Sam Altman看來是跟有效利他主義主義的這幫人槓上了——畢竟他們的理念，實在是Altman理想中AGI（甚至ASI）的最大絆腳石。
Leopold Aschenbrenner
Leopold Aschenbrenner還在大三時，便入選了Phi Beta Kappa學會，並被授予John Jay學者稱號。
19歲時，更是以最優等成績（Summa cum laude）從哥倫比亞大學順利畢業。
期間，他不僅獲得了對學術成就授以最高認可的Albert Asher Green獎，並且憑藉着「Aversion to Change and the End of (Exponential) Growth」一文榮獲了經濟學最佳畢業論文Romine獎。
此外，他還曾擔任政治學的Robert Y. Shapiro教授和經濟學的Joseph E. Stiglitz教授的研究助理。
Leopold Aschenbrenner來自德國，現居風景優美的加利福尼亞舊金山，志向是爲後代保障自由的福祉。
他的興趣相當廣泛，從第一修正案法律到德國曆史，再到拓撲學，以及人工智能。目前的研究專注於實現從弱到強的AI泛化。
Pavel Izmailov
Pavel Izmailov在莫斯科國立大學獲得數學與計算機科學學士學位，在康奈爾大學獲得運籌學碩士學位，並在紐約大學獲得計算機科學博士學位。
他的研究興趣廣泛，包括機器學習核心領域內的多個主題，不過主要還是致力於深入理解深度神經網絡是如何運作的。
提升AI的推理和問題解決能力
深度學習模型的可解釋性，涵蓋大語言模型和計算機視覺模型
利用AI進行科學發現
大規模模型的分佈外泛化和魯棒性
技術AI對齊
概率深度學習、不確定性估計和貝葉斯方法
此外，他所在團隊關於貝葉斯模型選擇方面的工作，更是在2022年的ICML上獲得了傑出論文獎。
加入OpenAI之前，他曾在亞馬遜、谷歌等大廠實習
從2025年秋季開始，Izmailov將加入紐約大學，同時擔任Tandon CSE系助理教授和Courant CS系客座教授，並加入NYU CILVR小組。
用GPT-2監督GPT-4
在這項研究中，OpenAI團隊提出了一個創新性模型對齊方式——用小模型監督大模型。
Leopold Aschenbrenner對此解釋道，直覺告訴我們，超人類人工智能系統應該能「感知」自己是否在安全地操作。
但是，人類能否僅通過「弱監督」就從強大的模型中提取出這些概念呢？
在未來，AI系統可以處理極其複雜的任務，比如生成一百萬行代碼。
但是人類需要爲其行爲設置一些限制，不如「不要撒謊」或「不要逃離服務器」。
而目前，大模型這個黑盒，人類根本無法理解它們的行爲，那我們如何實現這些限制？
通常情況下，我們會用人類的標註來訓練AI系統。
但是，相比於那些比我們聰明得多的AI系統，人類只能算是「弱監督」。
也就是說，在複雜的問題上，人類提供的只是不完整或有缺陷的標註。
好在，強大的模型已經能夠明顯地，表示出像「這個行動是否危險」這樣的概念。
如此一來，人類就可以要求它說出自己知道的內容，包括那些我們無法直接監督的複雜情況。
爲此，團隊設計了一個巧妙的實驗——當我們用一個小模型來監督大模型時，會發生什麼？
強大的模型是否會模仿比它弱的監督者，甚至包括它的錯誤呢？還是說，它能夠泛化到更深層次的任務或概念？
結果，他們驚喜地發現，果然可以利用深度學習的出色泛化能力來獲得幫助。
像GPT-2這種數到十都不會的弱雞模型，都可以來監督能參加高考的GPT-4，讓它恢復到接近完美標註的80%性能。
不過，目前這種方法只在某些情況下有效，所以如果我們只是簡單地應用當前對齊技術（比如RLHF）的話，在超人類模型的擴展上可能遇到困難。
但作者認爲，超越弱監督者的泛化是一個普遍現象，而人類可以通過簡單的方法大幅提高泛化能力。
針對這項研究，未來探索的方向可能包括：
尋找更好的方法；
加深科學理解：我們何時以及爲什麼能看到良好的泛化？
採用類似的設置：實驗設置與未來超級對齊問題之間還存在重要的不同——我們能解決這些問題嗎？
這項研究讓作者最興奮一點是，他們可以在對齊未來超人類模型的核心挑戰上，取得迭代的實證進展。
很多以前的對齊工作要麼陷入理論，要麼雖然是實證的，但並未直接面對核心挑戰。
比如，在對齊領域有一個長期的觀點是「引導」。（不是直接對齊一個非常聰明的模型，而是首先對齊一個稍微聰明的模型，然後用它來對齊一箇中等聰明的模型，依此類推）
現在，雖然還遠遠不夠，但OpenAI研究人員已經可以直接進行測試了。
參考資料：
https://www.theinformation.com/articles/openai-researchers-including-ally-of-sutskever-fired-for-alleged-leaking?rc=epv9gi