二度休學、xAI創始團隊唯一本科生，摩根獎提名者楊格爲何被馬斯克看中？

出品｜本站科技《智見焦點》

作者｜趙芙瑤

編輯｜丁廣勝

當全球的科技大廠就在加碼AI時，曾爲Open AI創始人之一的馬斯克自然不甘落後。

七月中旬，馬斯克創立的人工智能實驗室xAI橫空出世，彼時，馬斯克表示構建xAI的目標是要專注於回答更深層次的科學問題，期望未來可以利用AI幫助人們去解決複雜的科學和數學問題，並“理解”宇宙。

仔細查看xAI初創成員的名單，有來自谷歌、微軟以及多倫多大學的研究員，個個經驗豐富、履歷出色。其中有一位華人的履歷與經歷備受矚目，他是整個團隊初創成員中唯一的本科生，也是OpenAI的貢獻者之一，他就是Greg Yang，楊格。

哈佛求學 加入微軟

摩根獎提名者因數學而“燃”？

在北京長大的楊格，從小就展現出卓越的數學才能。他成績優異，順利考入了哈佛大學數學系本科。在哈佛的學習生活中，他學業表現極爲突出，但同時也因對音樂的熱愛，決定休學去追求自己的DJ夢想，短暫開啓了一兩年的“打碟生涯”。未曾想，休學重新點燃了楊格對數學的熱情，二度休學的他決定再次回到哈佛，專心投入學業。不得不說，“愛好”休學這一點，楊格和馬斯克頗爲相像。

重返哈佛後，楊格發表了自己的第一篇論文，並迷上了神經圖靈機，發現了代數拓撲學和機器學習理論中的一個有趣的聯繫。畢業時，他順利拿到谷歌offer，然而，彼時在楊格的導師丘先生看來，谷歌並不是最優之選，勸他放棄。取而代之，丘先生聯繫了他的朋友沈向洋，也就是微軟研究院的負責人。沈向洋通過電話對楊格進行了面試，雖然沈向洋自認數學水平不足以全面評估楊格，但他安排了菲爾茲獎得主麥克對楊格進行面試。麥克面試後讚歎不已，稱這個年輕人非常出色。

要知道，微軟研究院平時只招收博士生，而楊格作爲本科畢業生，成爲少數例外。進入微軟研究院後，楊格展現出非凡的才華，特別是在GPT的發展過程中，發揮了舉足輕重的作用。

值得一提的是，楊格2018年獲得了摩根獎榮譽提名，在推特簡介中表示自己致力於發展TensorPrograms理論和擴展neuralnetworks的實踐。xAI官宣後，楊格發表推文稱，深度學習的數學是深奧、美麗而又非常有效的。發展出適用於大型神經網絡的“萬物理論”將對將人工智能提升到新水平起到關鍵作用。反過來，這種人工智能將使每個人都能以前所未有的方式理解我們的數學世界。

馬斯克特別邀請楊格成爲xAI合夥人，也足以可見對其能力以及實力的認可。

創新提出張量程序

推動深度學習領域研究與發展

要說楊格對於AI領域的最大貢獻，無疑是創立了Tensor Programs（張量程序）。該理論是一個數學框架，用於理解和描述大型神經網絡的計算過程。

張量程序理論的核心概念是將神經網絡的計算表示爲一系列矩陣乘法和逐元素非線性函數的組合。這樣的表示形式簡化了對神經網絡計算的分析，使我們能夠更深入地理解神經網絡的行爲和性質。

這個理論的重要性在於它具有普適性。事實上，幾乎所有深度學習中的計算都可以表示爲張量程序。包括像GPT-3這樣的巨大神經網絡，在張量程序的框架下，其計算過程可以用相對簡單的矩陣乘法和非線性函數的組合來描述，這使得AI研究人員能夠更容易地對複雜的模型和算法進行分析和理解。

張量程序理論的另一個重要特性是它存在一個“無限寬度”極限，可以從程序本身推導出來。這意味着它能夠提供深度學習計算的無限寬度極限，從而幫助我們更好地理解和優化大型神經網絡。

與此同時，張量程序理論爲大規模深度學習提供了理論基礎，有助於解決深度學習中的一些重要問題。其中一個關鍵的應用是超參數傳遞（hyperparameter transfer），它允許我們在龐大的神經網絡中通過調整一個較小版本的網絡的超參數，來有效地調整整個大型模型，從而避免了昂貴的多次訓練。

在張量程序理論的發展過程中，楊格和他的團隊提出了一系列關鍵論文，包括"Scaling Limits of Wide Neural Networks"系列，其中包括TP1、TP2、TP2b、TP3、TP4和TP5等論文。這些論文逐步展示了張量程序理論的重要性和實際應用。

總的來說，張量程序理論提供了更高效的模型優化和調優方法，以及更全面的安全性和對齊性考量。這將推動AI技術的不斷進步，爲人工智能的應用和發展打下堅實的理論基礎。

未來，這位馬斯克欽點的AI大咖將如何在xAI大展宏圖？相信很快就會等到答案。