【Meta官方】Llama生態系統：過去、現在和未來

文：城主

前言

這是Meta官方對Llama發佈半年的一個自我總結。

有一句評論深感贊同，Llama開源大模型有望成爲LLM時代的安卓。

在OpenAI讓人失望的成了CloseAI之後，Llama的發佈給全世界做AI+項目 研發的人們一記強心針。道理很簡單， 有多少企業敢把所有身家和未來賭在一個只有API調用的核心模式上呢，就算這種閉源API再強大，也必須至少有一個後手吧。更不用說費用和數據安全的問題。

即使看LLM水平本身，Llama2以及後續社區優化版本已經直追GPT-4，很有點SD社區大模型和Midjourney模型的味道：即使沒有100%趕上，但也非常接近了；更重要的是，社區各種Llama魔改版，就類似各種SD模型一樣，在不同的垂直領域特別好用。

如果我們看手機系統，即使蘋果手機系統這麼強勢，開放的安卓生態也早就超過了半壁江山。或許這就是未來的LLM版圖：閉源和開源模型平分天下， 甚至閉3開7。

Meta昨天的Connect大會可圈可點，有AI有XR有智能App。城主看了之後，頗有一種感覺：Meta已熬過了它最艱難的時刻，未來有AI+元宇宙雙概念加持的Meta，或許要開始走出一條高開的曲線了呢。

前不久，Meta AI掌門人，AI三巨頭的Yann LeCun在參議院捍衛Llama的開源精神（），實是有些讓人敬佩。無論如何，僅就Llama對世界範圍AI發展的貢獻，城主認爲就值得向Meta脫帽致敬，相信所有做AI+的團隊都有同樣的敬意。

Llama社區加油！

（在剛結束的Meta Connect 2023上，Meta GenAI VP 談Llama大模型的視頻）

=以下是原文完整中文版=

英文原文鏈接：

https://ai.meta.com/blog/llama-2-updates-connect-2023/

自我們發佈Llama1以來大約已經過去七個月，而Llama2的發佈僅僅過去了幾個月，緊接着是CodeLlama的發佈。簡而言之，社區的反應令人震驚。我們看到了大量的動力和創新，通過Hugging Face下載的基於Llama的模型超過3000萬次，僅在過去的30天裡就有超過1000萬次。就像PyTorch一樣，Llama已經發展成爲全世界建設的平臺，我們對此感到非常興奮。

迄今爲止的影響

Llama社區的增長有幾個顯著的發展：

◦雲使用：像AWS、Google Cloud和Microsoft Azure這樣的主要平臺已經在他們的平臺上接納了Llama模型，而Llama2在雲中的存在正在擴大。今天我們宣佈AWS成爲我們的第一個爲Llama2提供管理API的合作伙伴。現在，所有規模的組織都可以在Amazon Bedrock上訪問Llama2模型，而無需管理底層的基礎設施。這是一個可訪問性的重大改變。此外，到目前爲止，Google Cloud和AWS的終端使用情況令人難以置信，基於Llama2模型的企業項目啓動超過3500個。

◦創新者：創新者和初創公司正在將Llama作爲他們生成AI產品創新的基礎。成千上萬的初創公司正在使用或評估Llama2，包括Anyscale、Replicate、Snowflake、LangSmith、Scale AI等等。像DoorDash這樣的創新者正在使用它進行大規模的實驗，以便在發佈新的LLM驅動的功能之前。

◦衆包優化：開源社區真正接納了我們的模型。到目前爲止，社區已經對Hugging Face進行了微調，併發布了超過7000個衍生產品。平均來說，在標準基準測試中，這些產品在常見基準測試中的性能提高了近10%，在像TruthQA這樣的基準數據集中的改進達到了驚人的46%。

◦開發者社區：現在在GitHub上有超過7000個基於Llama或提及Llama的項目。新的工具、部署庫、模型評估方法，甚至“微型”版本的Llama正在被開發，以將Llama帶到邊緣設備和移動平臺。此外，社區已經擴展了Llama以支持更大的上下文窗口，增加了對額外語言的支持，等等。

◦硬件支持：硬件社區已經完全接納了Llama作爲一個關鍵的模型架構。主要的硬件平臺AMD、Intel、Nvidia和Google已經通過硬件和軟件優化提高了Llama2的性能。

生態系統充滿活力，參與者遍佈從服務器和移動硬件到雲平臺、初創公司和企業的每一層。最近發佈的CodeLlama，這些模型在許多平臺上都能在幾個小時內使用，爲社區創造了令人難以置信的速度。

它開始於一個快速發展的研究項目...在過去的幾年裡，大型語言模型(LLMs)——擁有數十億參數的自然語言處理(NLP)系統——已經展示出新的能力，如生成創造性的文本、解決數學定理、預測蛋白質結構、回答閱讀理解問題等等。這些項目代表了AI可以爲數十億人提供的顯著潛在利益的明確例子。

原始項目，LLaMA或我們最近稱之爲Llama1，是由一個主要專注於形式數學的團隊在FAIR中開發的，但同時看到了LLMs的力量，以及如何通過正確的縮放法則和高度策劃的數據訓練一個相對較小的模型，可以成爲新應用研究的強大基礎。因此，Llama的第一代誕生了，並且自那時起在學術界和全世界引發了創新。事實上，在幾天內，各個學術機構的研究人員就能夠調整出能夠遵循指示或處理額外任務的更好版本的Llama1。從那時起，社區開始在許多方面和方向上進行創新。

但是我們希望讓更多的人能夠使用這項技術。這就是Llama2的由來。

爲什麼我們要發佈我們的模型？

正如我們的歷史所顯示的，我們深信開源社區的力量。我們相信，最先進的AI技術在開放和對所有人可訪問的情況下會更安全、更好地對齊。此外，在高熵區域，建立橋樑並利用不可避免產生的創新是有利的。這對於PyTorch來說是真實的，其中像穩定擴散、GPT 3和GPT 4這樣的突破不斷地顛覆了AI的世界，對於Llama也是如此。對於我們Meta來說，我們可以沿着三個軸總結價值：

研究：新的技術、性能優化、工具和評估方法，包括在安全性方面的工作，使Meta能夠從研究社區中更快地吸收學習。許多這些社區也是新興的，公開合作使得取得進展更爲容易；

企業和商業化：越多的企業和創業公司在我們的技術上建立，我們就能更多地瞭解使用案例、安全模型部署和潛在機會；以及

開發者生態系統：LLMs已經從根本上改變了AI開發，每天都有新的工具和方法用於操作、管理和評估模型。擁有一種通用語言使我們能夠快速利用這些技術，加速我們的內部堆棧。

但這對於Meta來說並不新鮮。就像PyTorch和其他幾十個公開發布或開源項目一樣，這種理念深深地根植在我們公司的DNA中。

前進的道路

有一件事是肯定的：生成AI領域發展迅速，我們都在一起學習這項技術的能力和應用。Meta仍然致力於今天的AI的開放方式。以下是我們在這個旅程中繼續關注的幾個領域：

多模態：就像世界並非完全由文本構成一樣，AI可以接受新的模態，以實現更多沉浸式的生成體驗；

安全和責任：生成AI已經使負責任的AI世界煥發新生。我們將更加重視安全和責任，開發新的工具，建立合作伙伴關係，並利用Llama作爲我們的社區繼續學習如何安全和負責任地建設的工具；以及

關注社區：就像PyTorch一樣，我們將這看作是一個有發言權的開發者社區，我們希望給予他們權力和推動他們創新的工具。我們的目標是爲社區提供展示工作、貢獻和講述他們故事的新方式。

想了解更多關於Llama家族的信息嗎？

在Meta Connect主題演講（完整）中，我們談了很多關於我們的Llama模型和開放訪問的未來。從我們的會議到動手工作坊，我們很高興與您分享我們的最新發展。

以下是您可以深入瞭解和學習更多的一些方式：

a.下載模型並與Llama 2互動。

b.參加Connect Sessions，包括我們關於使用Llama模型的工作坊。

c.訪問ai.meta.com/llama閱讀論文，查看我們的負責任使用指南和可接受使用政策，並瞭解更多關於支持Llama生態系統的合作伙伴。

作者：

Joe Spisak 產品總監

Sergey Edunov 工程總監