對話袁進輝：必須實現Token自由，下一個“張小龍”纔會出現 | 涌現36人
文｜鄧詠儀
編輯｜蘇建勳
在國內大模型市場，大概沒有哪個人的經歷，會比2023年的袁進輝更具戲劇性。
“坐過山車的一年，”硅基流動CEO袁進輝總結道，“年初，OneFlow是估值1億美元的公司。被併購一個月後估值就超過10億美元。兩個月之後這個數字又變成零。再經過一個月成立硅基流動，又回到了起點。”
2023年，ChatGPT爆火之後，袁進輝創辦七年的一流科技OneFlow，瞬間成爲炙手可熱的項目。這源於前美團聯合創始人王慧文成立大模型公司“光年之外”，且迅速通過併購方式，邀請袁進輝作爲聯創加入。但數月後，光年之外因故被美團收購告一段落。
8月，袁進輝即宣佈創立新公司“硅基流動”，方向還在老本行：AI Infra（AI基礎設施）。
AI Infra相當於AI領域的“iOS”或“安卓”，上承算法和應用，下接硬件芯片。它的好壞與否，決定着下面的芯片層是否能將性能發揮到極致。AI Infra也是開發者們的“工具箱”，能幫助他們快速開發出AI模型和應用。
這個賽道是兵家必爭之地。AI框架是AI Infra的重要組成，是被大廠和芯片公司“上下夾擊”的一層——現在最廣泛的AI開源深度學習框架PyTorch和TensorFlow，分別由Meta和Google主導開發。
在袁進輝看來，Infra和芯片都是AI的底座的重要組成部分。選擇Infra方向，勝在走向市場的速度夠快。“芯片公司做一款芯片，都要兩年起步，遠水解不了近渴。”袁進輝向《智能涌現》解釋。
當下，正值AI大模型走向應用層的爆發時期，AI推理市場開始大規模增長。袁進輝的目標，就是在AI應用爆發之際，給開發者提供關鍵的“鏟子”。
6月，硅基流動剛剛推出新產品SiliconCloud，目前已達日均百億Token的調用量，團隊還宣佈多個主流模型服務永久免費——袁進輝也因此被許多開發者稱爲“賽博活佛”。
“必須擴大AI開發者的基數，讓他們實現Token自由，纔會有下一個“張小龍”的出現。”袁進輝說。
而縱觀袁進輝的兩次創業，都是關於證明自己、“捨我其誰”的故事。
七年前成立OneFlow，源於他看到的一個趨勢：AI模型體量將會越來越大，但已有的深度學習框架難以承載，需要全新的基礎設施。OneFlow成功打造出了世界前沿的分佈式深度學習訓練框架，不過當大模型突然成爲共識時，卻沒來得及跑通商業化閉環。
現在，面對全新的AI推理市場，袁進輝渴望完成這道證明題。
在上一個互聯網創業浪潮中，中國創業者往往被認爲擅長模仿，快速迭代出最經濟的商業模型。但袁進輝這樣的創業者，代表着一種新時代技術創業者的面貌——從第一天創業起，就敢於站在世界舞臺上，直面最前沿技術的競爭。
“AI框架就是一個贏者通吃的市場。無論我們面對大廠時多麼弱小，資源多麼匱乏，我們的雄心壯志，一直就是爲全世界做最好的產品。”他說。
8月，硅基流動正好成立滿一週年。《智能涌現》與袁進輝覆盤了過去他的心路歷程，以及聊了聊新出發後的風景。
以下爲對話實錄：
暴風眼中的一年
《智能涌現》：從去年8月份成立硅基流動，到現在也將近一年時間了。最近工作狀態怎麼樣？
袁進輝：這一兩個月我才緩過勁來，因爲去年一整年就像坐過山車。2023年的半年時間裡，我換了4家公司，從OneFlow，到光年之外，又到美團，然後8月份又分拆出來，就像大海風浪中的一隻小船。
到了2023年下半年，大模型方向的投資也冷靜下來。幸運的是，硅基流動成立以來順利完成了幾輪融資，資金上有了保障，現在產品推出後，還得到挺好的反饋，一定程度上緩了一口氣。
這一年AI行業的創業者，應該都有一種推背感。
《智能涌現》：2023年時，爲什麼會選擇和王慧文（原美團聯合創始人）合作，讓OneFlow被收購？當時其實王慧文去聊了非常多人，我們觀察到，大家想法態度也都很不一樣。
袁進輝：無論是科學家還是創業者，最本源是在追求做有Impact的事業。要做一件更大的事情，需要面對更復雜的局面、整合更多資源時，需要團隊，是不是我自己把握方向盤不重要，有這樣的ego是沒必要的。當時的狀況是，老王的產品、商業都是業內頂級，我們有技術、工程能力，其實是一個非常好的配置。
《智能涌現》：這段經歷給現在的創業，帶來了什麼？
袁進輝：非常獨特的一段經歷。與老王（王慧文）一起共事，在非常短的時間裡，學到非常多，共事的幾個月裡，很多事情我們幾個聯創會一起討論，能感受到他的思考和決策方式。我個人收穫最大的是商業、組織層面以終爲始的思考——以完成更大、更遠的追求和目標來倒推。
《智能涌現》：怎麼理解這個“很大、很高”的目標？
袁進輝：頂級企業家所表現出的作風，不給自己設限，永遠在迭代，永遠在進步。
他們不會從自己有多少資源開始，再決定要去做什麼事情，而是去首先思考世界、社會或者行業中最重要的問題是什麼？再看要通過什麼路徑來實現。
《智能涌現》：你覺得以前並不是“工具箱”不夠好，而是在於想得不夠大？
袁進輝：以前想得也大，不過沒有找到路徑。那幾個月正處在風暴眼中，迅速補完了很多課和Skill Set——這是打過仗才能獲得的體會。老王打過仗，就像創業課的博導。
《智能涌現》：哪些思考讓你最受益？
袁進輝：“先想清楚做什麼事，事情對了，資源都會有，包括人與錢。”
事後，這些話都得到了驗證。我們選擇再創業的時候，一個突出矛盾是，大模型那時仍是最令人激動的事，但我們沒有足夠資源了，我們怎麼纔能有機會繼續留在牌桌上，也要首先想清楚做什麼事。
《智能涌現》：我們在去年採訪老王的時候，聽到過一模一樣的話。
袁進輝：創業者要思考清楚那個特別客觀的東西，就像雷軍所說的“順勢而爲”裡的那個“勢”。這個可以是趨勢的“勢”，也可以是事業的“事”。
《智能涌現》：分拆的時候，有過哪些選擇？
袁進輝：選擇非常多，幾乎所有的大模型廠商都給我們拋橄欖枝了。還有很多大廠以非常誇張的薪資包裹來挖人，壓力非常大。
《智能涌現》：所以這些朋友的鼓勵，算是幫你消解了一些不確定性。
袁進輝：是的。整個環境趨冷的狀態下，所有投資人或靠譜人才都會更理性，他們首先考慮這件事是否靠譜，這是說服別人開槍的最關鍵的一點。
《智能涌現》：硅基流動現在做的是什麼事情，能用簡單易懂的語言來解釋下嗎？
袁進輝：我們的技術核心是提供一個推理引擎。要有效利用大模型，需要幾個關鍵要素：GPU、模型，以及讓模型在GPU上運行並具備問答能力的引擎。這個引擎的關鍵任務是確保模型運行穩定、不損失精度，並且運行速度儘可能快，運行速度直接影響到使用模型的成本。
在一定的算力基礎上，能夠快速生成更多的Token，成本效益就更高。
《智能涌現》：也就是像大模型界的“水電煤”，隨取隨用。
袁進輝：現在國內外大家都比較喜歡講MaaS這種產品形態，這實際上就是把模型、引擎、雲上的算力整合成一個API。
開發者不需要自己去找GPU或優化引擎。他們只需註冊，然後通過API調用模型並開發應用，按Token計費即可。大模型公司通常只提供自己的模型，但我們是一箇中立第三方，提供業內常用的開源模型，如通義、智譜、DeepSeek、零一萬物，以及海外的LLaMA、Mistral等。用戶可以根據自己的需求選擇最合適的模型。
《智能涌現》：你們以前做大模型的訓練框架，再創業後，轉向現在的推理框架。最後爲什麼還選擇繼續創業？
袁進輝：既有長遠的問題，也有眼前的問題。我們需要選擇一個很大的市場，另一方面，在達到最大的一個目標（AGI）之前，要保證我們在牌桌上，要生存下來。從這兩個角度出發，我們都應該轉去做推理。
《智能涌現》：這個市場有多大？
袁進輝：單純從算力消耗來說，很快推理會遠超訓練。做訓練方向的Infra，客戶集中度很高，而且，大模型訓練是階段性的需求，訓練數據通常是固定的，比如幾萬億、幾十萬億token的量級。但做推理，可能每天都是幾萬億到10萬億Token，一週就超過了訓練的計算量。而且，大家都認爲模型推理成本下降是超級應用爆發的前提條件之一。
《智能涌現》：現在模型的訓練和推理使用的算力，大概是在一個怎樣的比例？
袁進輝：前段時間英偉達有個財報電話會透露，按銷售出去的卡來算，訓練和推理比例已經不相上下。由於中國比海外的節奏會慢幾個月或者半年，所以國內可能訓練會多一些。
但現在也在發生一些變化，我相信你們也注意到，隨着開源模型水平上升，開源模型越來越多，已經能做出應用了。國內外行業的重心已經轉到應用，而不是再去卷模型訓練。我相信推理的算力已經超過訓練。
《智能涌現》：最近你們也新上了產品SiliconCloud，效果大概怎麼樣？
袁進輝：我們公測時沒有做任何的推廣，但每天涌進來很多新用戶，幾天後單日調用量就超過幾十億Token了。大家對這個數字可能沒有直觀的感受。ChatGPT的調用量都是萬億到數萬億Token/天，國內知名大模型一天的Token總量幾百億或幾千億，所以我們也挺受鼓舞。
《智能涌現》：比起原廠的模型，你們的優勢會在哪裡？
袁進輝：首先，模型種類非常全面，甚至包括一些很挑戰而稀缺的模型。像Deepseek 236B這樣的模型要部署好，其實有很多挑戰。目前爲止，除了我們和官方，沒有其他公司能將這些模型部署在自己的平臺上。而且，好多開發者發現，同樣的模型，在我們平臺上的推理速度更快。
模型降價，比想象中早
《智能涌現》：5月開始，模型廠商紛紛降價。降價潮，你覺得是提早來了嗎？
袁進輝：我們預計這個事一定會發生，但確實來得比想象早，比較突然，模型降價是Deepseek最早引爆的，其他各方主動也好，被動也好，都得跟進。
《智能涌現》：大家都是出於什麼心態在做降價這個事情？
袁進輝：大家態度不是很相同，但降價也是勢在必行。至少我們自己，用技術手段把成本真的做到了很低的水準，技術手段完全可以做到保證不虧本，甚至有錢賺。不過，業內絕大部分參與方還不是真正做到這一點，那就得補貼虧錢，非常有錢的廠商，可以這麼做。
《智能涌現》：這算是對你們有利的嗎？
袁進輝：是的，我們準備得足夠充分。
5月份，Deepseek發新產品的時候，我們也沒在第一時間推出來產品，兩三週之後我們的MaaS上線，我們計劃6月25號做推廣活動，結果正好趕上OpenAI宣佈對中國停服，我們就推出了部分大模型永久免費的活動。
《智能涌現》：我記得有一個報告提到，OpenAI在過去一年的推理成本下降了至少90%。無論是訓練還是推理兩邊，成本都下降得非常快。這個趨勢以後會怎麼演變？
袁進輝：毫不誇張。我在一個開發者大會上做過一個報告，標題是《讓模型部署成本降低1萬倍》。
《智能涌現》：1萬倍，怎麼做到？
袁進輝：多方面綜合發力。在芯片層面，有10倍的優化空間，最近有個很熱的新聞，一位00後創立了一個芯片公司，做了一款叫Sohu的芯片，號稱可以超過英偉達最新GPU10倍。模型層也有10倍。比如，現在100億參數的模型能力，超過一年前的千億參數模型。模型縮小了10倍，計算量也相應減少10倍。我們所在的基礎設施層面至少也有10倍的優化空間，一年前運行緩慢的模型，現在可以運行得非常快。
還有底層的雲計算，可以把算力部署在電費較低的地方，潮汐效應也有優化空間，白天服務一個區域，晚上服務另一個區域。綜合下來，相對於一年前的水平，10000倍是可以做到的。
《智能涌現》：如果把硬件和軟件分開來看，硬件的優化空間更大，還是軟件？
袁進輝：在大模型推理上，軟件的優化空間更大，這是由大模型推理本身計算負載的特點決定，它是訪存瓶頸的任務，主要優化機會是軟件層面的調度，不是芯片層面的問題。
《智能涌現》：如果軟件的優化空間更大，是否意味着，未來對大模型公司來說，芯片不再是問題了？
袁進輝：應該是，芯片供應商會變得更加多元化。未來應該會有更多的芯片競爭者，一旦競爭充分，芯片價格有很大的下降空間。之前有人做過粗略估計，一張H100的製造成本大約3000美元，但售價高達3萬美元，芯片成本有很大下降空間。
《智能涌現》：國內有不少創業公司出來做推理芯片，也想發展自己的軟件生態。大廠也在競爭，比如百度的AI框架“飛槳”已經做了很多年，同時大廠都是全棧式打法。你們所處的賽道，剛好是夾在芯片層和算法層之間，上下兩方都有可能侵蝕你們的賽道。
袁進輝：所有相關方都有競合關係。其它賽道的玩家站穩腳跟後，也可能會向我們發起衝鋒。
做推理方面的軟件優勢在於，能更快進入市場。芯片的開發週期長，即使現在開始做，也得兩年後才能出來。現在解決當前問題只能靠軟件。即使將來芯片出來，仍然需要軟件基礎設施。
《智能涌現》：所以這個事兒，相當於打個時間差的問題。在別人大規模做應用的情況下，我們能很快地進入這個市場。
袁進輝：是的。AI應用的基礎設施中有幾個環節，包括模型、芯片和軟件，這些環節相互合作才能給用戶帶來能力。所以我們都是互補的，誰也離不開誰。
如果模型層競爭非常充分，比如很多模型公司要和OpenAI競爭，這個環節供給多元化的話，其他環節就會活得更舒適一些。反過來，如果OpenAI的寶座坐得穩，它也會垂直整合其他環節。所以，模型、芯片、Infra都在競爭底座的生態位，即基礎設施的生態位。關鍵是誰先到達那個位置，或者誰能整合別人。
現在的模型，已經能支撐超級應用
《智能涌現》：我注意到你在朋友圈說，你覺得現在的模型能力已經足以支撐超級應用（Super APP）的出現，只是這樣的應用還沒有出現。爲什麼會有這樣的判斷？
袁進輝：大模型在三個方面的能力取得了突破。首先是語言能力，即模型說話是否流暢自然，大模型的語言能力甚至比大部分人都要好。
第二是知識能力。現在模型裡有了一些知識，雖然有一些所謂的幻覺，但有手段去解決，比如大語言模型+RAG。
第三是邏輯。目前邏輯推理還不是很強，這限制了模型在複雜場景中的應用，特別是Agent。
我想表達的是，前兩個能力在很多應用場景裡完全足夠做出驚豔的產品。
《智能涌現》：但無論是上下文長度或者幻覺問題，現在都還沒有解決得非常好。
袁進輝：上下文長度已經做得很好了，幻覺也有RAG等技術可以克服。
《智能涌現》：所以就差邏輯了。
袁進輝：是的。我相信，基於當前這些開源的模型，完全能做出新的Super App，當然，Super App還需要另外一些條件，我們需要等待。
《智能涌現》：我們首先來對齊定義，你覺得Super App的定義是什麼？
袁進輝：大家心裡會有個標杆，比如類似抖音、微信這種量級的，日活非常高，用戶離不開的產品。
《智能涌現》：這都是用戶數到10億級別的應用了。所以你是覺得，只是還沒有人做出這樣的創新而已？其實還有人說模型能力不夠——這是最近大家一直以來提到的一點。
袁進輝：我不相信模型能力還不夠這種說法。現在除了PMF，還開始講TPF（Technology Product Fit），其實產品上足夠有創意，不一定需要最尖端技術，介於GPT 3.5和GPT 4之間的開源模型對有的產品夠用了。
《智能涌現》：能舉個例子嗎？
袁進輝：比如陪伴對話，模型可以表現得非常自然。注意到最近美團推出的產品Wow，在海外上線後，有一位留學生使用它來解決生活中的煩惱。樓上的鄰居深夜開派對，影響她休息，但她不敢去交涉，Wow機器人一直給予她合理和理性的建議，就像一位朋友一樣。當她需要用英文與鄰居溝通時，Wow立刻轉換語言，幫她妥善處理了問題。
我認爲，這個場景需要的能力，開源模型都可以做到。
《智能涌現》：所以，開源模型和閉源模型的差距是在不斷縮小的？
袁進輝：開源模型追趕速度還是很快，這也說明最前沿的閉源模型的迭代速度變慢了。
《智能涌現》：參照雲計算的發展路徑，其實雲計算到現在已經是一個特別標準化的事情了，很早就陷入到同質化競爭。大模型的稀缺性能維持多久？
袁進輝：開源模型實現了讓模型觸手可及，現在不是那麼稀缺了。以後會不會稀缺，還要再走一段時間，看是不是會出現大模型廠商的收斂。
真正做到特別Top的模型非常少，或許有的模型廠商以後重心就會轉成應用了，甚至像朱嘯虎講的，幾年之後沒有所謂的模型公司，都是應用公司。
《智能涌現》：所以拼到後面，大家要拼什麼？
袁進輝：現在最容易想到的是錢和GPU，模型的技術傳播擴散還是很快的，以後很多公司都會模型技術，最後比拼模型之外的能力。最後都會反映到數據優勢上。比如現在騰訊出了元寶，基於微信生態的內容，元寶的效果就非常好。小紅書也很有優勢。
《智能涌現》：所以，你會更看好大廠做的AI應用嗎？
袁進輝：短期是大廠，長期我相信還有其他力量會起來。產品的創意和洞察具有偶然性。既然是偶然性，從概率角度來看，一個微小的概率，疊加一個巨大的基數，就很可觀了。今天的大廠裡做應用的人，加起來可能一兩千人，但他們之外，做應用的人可能是數百萬之衆。10年前，大家也不會想到有人能挑戰BAT，但總有新的公司出現。
《智能涌現》：從環境上來看，這跟上一個時代的創業一樣嗎？現在無論是錢、人才，可能都不太能相比。
袁進輝：AI也會有所謂的“傻瓜窗口期”，在一定階段內，可能都不會有多少人注意到他們。當年快手起來時，很多人對這個產品後知後覺，並沒注意到原來五環外還有這麼一個需求。
《智能涌現》：以後，國內有什麼方面能夠做到世界頂尖的水平嗎？
袁進輝：客觀來說，現在我們的芯片、模型，還不是世界頂尖。但在AI Infra領域，我很自信地說，我們肯定是世界頂尖，可以把國內外大廠的模型響應體驗、水準進行直接對比。在全世界都有競爭力，所以我們也在做出海。
《智能涌現》：框架層，還是大公司主導的領域，比如Facebook的PyTorch、百度的飛槳等，很講開源生態。中國公司想要出海，難度會在哪？
袁進輝：中國企業出海，開源是一個有效的手段，開源沒有國界，一些中國的開源項目在全球也產生了影響。
如果產品界面足夠清晰，足夠標準，容易嵌入已有的生態系統，只要能讓潛在用戶知道且低成本嘗試，就能和用戶建立聯繫。
例如，MaaS產品就是一個API調用，界面非常清晰，所有供應商都一樣，從一個地方遷移到另一個地方不需要任何改動。只要滿足大家最關心的基礎指標，如服務保障、響應速度、成本等，出海也相對容易。
《智能涌現》：現在，硅基流動的海外商業化進展怎麼樣？
袁進輝：我們的MaaS服務推出之前，軟件訂閱在海外就已經有10來個付費客戶了。
《智能涌現》：以後的重心會放在國內還是海外？
袁進輝：客觀來說，海外MaaS市場更大，國內海外並重。我們更熟悉在國內開發者社羣做產品和推廣，所以先從國內起步，海外產品也上線了。
《智能涌現》：關於商業化這件事情，有什麼東西是你現在堅持要做的？有什麼事就不做了？
袁進輝：關鍵的一點是，創業公司資源有限，必須找到一個非常好的點，深入挖掘，實現突破。切口可以小，但要切得深。無論這個點多小，都要在整個行業，甚至全球範圍內確立優勢。然後，將這種模式或方法論擴展到更廣泛的產品或方向上。
而不是一開始就什麼都做，但什麼都不精，這是很多公司遇到困難的原因。
《智能涌現》：這種轉變，跟現在的投資環境很有關係。
袁進輝：資金不是那麼充沛的情況下，也逼迫着每位創業者去思考，在更加節儉的狀況下做到引爆點。我覺得大家有一個共識，就是做強比做大更重要，更加健康。
《智能涌現》：你預計往後做的話，硅基流動還大概會需要多少錢，多少資源？
袁進輝：以現在的增長速度來看，我甚至衝動地覺得，不一定需要再融資，就能把生意轉起來，而且建立起比預期還要好的循環。當然，理性地看，還是應該拿到更多的資金，這樣做成功的概率更高，更有保障。
《智能涌現》：爲什麼現在就能實現了？
袁進輝：內外部條件都比較成熟。外部看，行業發展到了需要我們產品的階段，市場需求旺盛，而我們恰好處在正確的位置，一切都變成了我們的助力。
內部看，我們現在的技術水平，在同類產品裡也是世界上最能打的團隊。商業化方面最近也有頂尖高手加盟。
預測長期變得非常困難
《智能涌現》：這次新創業，目標有變化嗎？
袁進輝：和以前AI框架一樣，我們面對的是贏者通吃的市場，一旦決定做這件事，目標就是做成全世界都需要的產品。不管我們開頭多麼弱小，相對於大廠資源多麼匱乏，想的就是爲全世界做最好的東西，這一點沒有變。
《智能涌現》：跟當年創立一流科技的時候相比，你的心態有發生什麼變化嗎？
袁進輝：當年做OneFlow時還名不見經傳，當時做這樣的事情只有谷歌這種大廠，我們經常要說服別人，這事我們真的能幹好。現在不需要了，好玩的是現在實現了聲譽自由，很多人相信我們不僅能做，而且能做最好。現在追求的是更完整的成功，不光是技術有多厲害，還有產品、商業化、組織、文化等方面的成功。
《智能涌現》：什麼事變得更難了？
袁進輝：做OneFlow時，我們提前多年就預判了一個趨勢：大模型會出現，我們提前好幾年爲大模型做Infrastructure，而且很長時間內別人不信，只有我們相信，當時的窗口期非常之長，所以就很從容。
但現在，大模型就是明牌，節奏非常快，一天一個變化，想做非常長期的預測，變得非常困難。
《智能涌現》：五年之後，比如說你覺得哪些事情，但目前還是沒有辦法解決的？
袁進輝：有些能力也許根本不在大模型的能力範圍之內。大模型的價值觀是我們教給它的，它可能不會有真正的主觀追求和情感。
另外，語言模型之所以先爆發，是因爲自然語言有良好的數字化基礎，有大量的語料，但遷移到其他領域，譬如和真實世界的交互——具身智能等領域，歷史數據非常少，收集這些數據也面臨很多困難，我不知道這些問題在五年內能否解決。
《智能涌現》：過去一年，市場上有沒有一些共識的出現，是讓你覺得特別驚喜的？
袁進輝：大家普遍開始認爲應用非常非常重要，即使是OpenAI現在也開始親自上陣或以併購的方式爲應用產品做準備。
《智能涌現》：有沒有一些你自己之前非常堅定相信的東西，在這一年裡會發生一些變化？
袁進輝：一年前我高估了大模型的難度，沒有預料到其他玩家追上OpenAI的速度這麼快。應該有不少人和我一樣想錯了。去年上半年，絕大多數人還在猜測誰能搞出GPT-3.5，現在是家常便飯了，現在普遍要追上GPT-4.0，甚至Claude都已經開始超過4.0。