馬斯克反擊“封閉”的OpenAI:開源全球最大參數模型
作爲對OpenAI閉源決策的直接反擊,馬斯克選擇開源全球最大參數的大語言模型。
當地時間3月17日,馬斯克旗下的人工智能初創公司“xAI”正式開源其大模型Grok-1。官網顯示,該模型參數量高達3140億,遠超OpenAI GPT-3.5的1750億,成爲迄今爲止全球參數量最大的開源模型。
“xAI”是由馬斯克成立的彙集DeepMind、OpenAI等諸多公司原開發人員的小型初創公司,聲稱要構建一個良好的AGI(通用人工智能)。去年11月,該公司發佈了其第一代大語言模型Grok,正式加入了全球大模型混戰。
官網介紹稱,此次發佈的Grok-1是一個由“xAI”從頭訓練的混合專家模型,且沒有針對任何特定應用(例如對話)進行微調。該公司在開源社區GitHub上提供了Grok-1的開放版本,截至發稿,該模型使用人數達到1900人,獲得了約1.5萬人的收藏。
Grok希望向外界傳遞的特點在於,它可以通過社交平臺“X”(原推特)實時瞭解世界,並且能夠回答許多其他人工智能系統拒絕答覆的尖銳問題。但馬斯克表示,這一服務只屬於“X”訂閱者,用戶需要上交每月16美元的訂閱費用才能訪問Grok。
由於馬斯克與OpenAI首席執行官山姆·奧特曼之間的較量日趨激烈化,Grok能否趕超GPT,自然也成爲輿論關注的焦點。
“xAI”官網去年發佈的一則博客顯示,在計算推理等基本測試中,Grok-1超過了其計算類別中包括GPT-3.5的所有其他模型。獵豹移動董事長兼CEO傅盛也對界面新聞表示,“(Grok-1)總體來說水平很高,應該超過了ChatGPT,但不如GPT-4。”
更大參數量在提升模型性能的同時,也帶來了高昂的訓練和運行成本。
3140億參數的模型複雜性極高,意味着需要更多的訓練數據和服務器資源,而高昂的成本一定程度上會降低對業內人士的吸引力。傅盛對此也評價道,“一般公司是用不起的,就算是用,也得8張A100(英偉達芯片)才能勉強裝下。”
此外,不同的任務類型還需要不同的數據,例如自然語言處理任務需要文本數據,圖像識別任務則需要圖像數據進行訓練,這也進一步增加了訓練模型的難度。
目前已經有多家公司推出了開源的基礎模型,像在開源社區備受關注的Mistral AI,已經積累了一定量級的用戶基礎。一位應用層創業者告訴界面新聞,除非新模型在性能上帶來顯著飛躍,否則大多數從業者可能不會嘗試更換或測試新模型。
知名機器學習研究者Sebastian Raschka也在社交平臺表態稱:“Grok-1比其他通常帶有使用限制的開放權重模型更加開源,但它的開源程度不如Pythia、Bloom和OLMo,後者附帶訓練代碼和可復現的數據集。”
馬斯克曾是OpenAI的早期資助者和聯合創始人,由於與奧特曼對OpenAI未來方向存在不同意見,2018年馬斯克離開了這家公司,並在後續的時間裡對OpenAI的某些決策持續表達批評。
自年初起,二人之間的裂痕不斷擴大。馬斯克認爲OpenAI需要恢復開源,從而對OpenAI及其創始人提起訴訟。這位掌管着多家公司的CEO認爲,OpenAI未致力於開源通用人工智能,而是變成了“微軟的閉源子公司”。
面對馬斯克的指控,OpenAI也迅速予以回擊。
當地時間3月5日,OpenAI迴應稱,馬斯克曾在2017年底同意OpenAI需要創建一個營利性實體,並希望獲得多數股權和董事會控制權、擔任首席執行官,但雙方沒有就營利性條款達成一致。也因此,馬斯克在討論過程中停止了注資。
迴應還指出,馬斯克曾在2016年的郵件中同意在分享AI應用成果的同時不一定要開源AI技術,意在表明馬斯克“心口不一”。
“xAI”自成立後便一直被公衆視爲“OpenAI的競爭者”。馬斯克將xAI視爲大型人工智能公司的替代方案,但他也強調,該公司處於萌芽階段,要趕上OpenAI和谷歌仍需時間。