xAI宣佈開源大語言模型Grok-1並開放下載

3月18日消息，美國當地時間週日，埃隆·馬斯克（Elon Musk）旗下的人工智能初創企業xAI宣佈，其大語言模型Grok-1已實現開源，並向公衆開放下載。感興趣的用戶可通過訪問GitHub頁面github.com/xai-org/grok來使用該模型。

xAI介紹稱，Grok-1是一款基於混合專家系統（Mixture-of-Experts，MoE）技術構建的大語言模型，擁有3140億參數。近期，公司發佈了Grok-1的基本模型權重和網絡架構詳情。

該公司表示，Grok-1始終由xAI自行訓練，其預訓練階段於2023年10月完成。此次發佈的是Grok-1預訓練階段結束時的原始基礎模型檢查點，即該模型未經過針對任何具體應用的微調。

xAI強調，Grok-1的權重和架構均依照Apache 2.0開源許可協議發佈。

xAI還特別強調了Grok-1的幾大特性：

首先，Grok-1是一個未針對特定任務進行微調的基礎模型，它基於大量文本數據訓練而成；

其次，作爲一款基於混合專家技術構建的大語言模型，Grok-1擁有3140億參數，在處理每個token時有25%的權重處於活躍狀態；

最後，Grok-1是xAI團隊使用JAX和Rust編程語言自定義訓練棧從零開始訓練的成果，訓練完成於2023年10月。

此外，xAI還提到，Grok-1的封面配圖是藉助人工智能繪圖工具Midjourney生成的，基於以下提示創作而成：展示一個3D插圖的神經網絡，其中包含透明的節點和發光的連接線，通過線條的粗細和顏色變化來表示權重的不同。（辰辰）