企業拼大模型落地，AI一體機如何送助攻？

智東西作者 ZeR0編輯 漠影

智東西11月4日報道，集成高算力與大模型的AI一體機，憑藉開箱即用、降低使用門檻、減少試錯成本、無數據泄露風險等優勢，正成爲越來越多企業實現大模型輕量化落地的“新寵”。

圍繞惠普與星環科技在今年5月合作推出的大模型服務平臺一體機，近日，惠普個人信息產品部高級計算與解決方案產品部總經理徐鳴、星環科技聯合創始人兼副總裁朱珺辰與智東西等少數媒體進行了深入交流。

該一體機基於惠普Z系列AI工作站，適配並搭載了星環的Sophon LLMops大模型開發管理平臺，可提供主流大模型的一鍵上架和高性能部署推理，還能預裝標準的大模型場景應用，實現開箱即用，並通過在企業內部私有化部署，能夠保證企業隱私數據安全。企業可以根據自身訓練或推理需求，自由選配芯片及內存，快速體驗高效便捷的大模型開發和應用全流程能力。

朱珺辰談道，星環科技正將定位從數據基礎設施（Data Infra）延伸到AI基礎設施（AI Infra），在與中小企業合作過程中，發現較多企業在意投入產出比，需要一個有價值的大模型應用、一個整體的解決方案，例如底層有惠普AI工作站、上層有將大模型與數據庫結合的能力。

雙方合力打造的AI一體機，不僅有硬件、軟件，還有針對用戶應用場景提供的相應方案，無論客戶的業務問題是什麼，惠普和星環都有對應的諮詢、調優等相關服務來幫助解決。

一、AI一體機：靈活配置算力與算法，針對性解決業務問題

對於企業來說，惠普和星環科技合作打造的大模型服務平臺一體機具備如下優勢：

一是可根據行業和客戶需求，提供一些定製化配置。徐鳴談道，當前不可能用一個通用大模型覆蓋所有行業的需求，很多企業需要一個輕量化、低延時、沒有斷網問題、安全自主可控、可本地管理、規模較小的垂類大模型。星環的產品有很多客製化模塊和算法，惠普的產品線覆蓋臺式PC、移動PC等不同類型，從而能夠向客戶提供充分的選項來匹配相應的算力和算法。

二是提供便捷高效的大模型開發與應用工具。惠普提供的高規格、高性能AI算力平臺，結合星環大模型開發管理平臺Sophon LLMOps的產品能力，該一體機可提供包括語料知識精細化處理入庫、提示詞開發、語料數據標註、大模型微調訓練、大模型評估部署到大模型應用構建和應用部署上線的全鏈路工具能力。

三是保障數據安全穩定。一體機支持在企業內部的私有化部署，確保將企業機密數據留在本地。惠普Z系列嚴選企業級部件經過360,000小時嚴苛測驗，能確保平臺在長時間連續高負載運算環境下的整機兼容性和穩定性，爲企業的數據安全和研發工作保駕護航。

四是降低成本。據朱珺辰分享，從持續投入的角度來衡量，選擇雲上大模型的綜合成本相對較高，需要自己找對應的服務廠商、做投入和調優，投入產出不對等。徐鳴補充道，無論是提升每個員工的生產效率，還是減少企業要投入的成本，都有助於企業降本增效。

朱珺辰解釋說，不同客戶的需求不同。一些客戶看重投入產出比，會考量預算、數據安全性等問題，需要能解決具體業務問題的大模型。

比如在企業合同審覈應用中，企業可以通過自己控制數據、結合大模型應用來替代以前的人工手段，使用開箱即用的工作站，將審覈流程智能化，通過參考直觀的投入產出評估，更快更好地做出決策，大幅提升企業經營效果。

除了大模型外，企業內部數據知識庫的構建是必要的。企業關注安全性和準確性，不可能將所有數據都用於訓練模型，因此還需要RAG技術來外置一個單獨的存儲系統、對企業中的私密數據做知識庫構建。這正是星環所擅長的，星環的很多技術可將部分信息有效地自動化處理和構建，再結合大模型技術，使回答有據可依、更加準確。

二、合作兩年，共同驗證，幫客戶繞過軟硬件試錯階段

據徐鳴分享，工作站是PC（個人計算機）的一個變種，可以理解成一個性能強勁的PC，具有高度客戶定製化屬性，根據需求會進行不同配置的排列組合，內存能做到1TB、2TB乃至更高。業內第一款真正意義上的工作站就是惠普做的。

與普通PC不同的是，工作站必須與行業軟件適配，做大量的ISV（獨立軟件開發商）認證。惠普Z系列工作站通過了21000+ ISV軟硬件組合認證。徐鳴說，基於這些經驗和知識的積累，惠普瞭解什麼行業的客戶在某個場景中更適合使用什麼樣的配置、怎樣獲得最優性價比。

惠普提出“AI即服務（AI as a Service”），與星環科技一起在瞭解客戶需求後，通過共同驗證和適配軟硬件組合、迭代優化算法，結合用戶的業務使用場景，做出一個客製化的產品。

朱珺辰說，星環科技的定位在基礎軟件領域，有超過1500家終端客戶，很多客戶都在思考如何將大模型技術運用到經營業務中。

徐鳴談道，惠普之所以與星環科技達成合作，既是因爲雙方有相近的B端企業客戶羣體，而且客戶都存在AI轉型的想法和動機，又是因爲惠普的產品硬件和算力能與星環的算法形成強強聯合，給客戶和行業帶來不一樣的化學反應。

據他回顧，在今年5月正式發佈AI一體機前，惠普與星環的合作籌備時間長達兩年。惠普主負責硬件設計，星環則充分參與了適配調優，並會提供諸如某個產品線所需硬件配置之類的建議。雙方在方案審覈、產品審覈、開拓客戶等方面做了很多共創的事，不斷有項目進入落地階段。

他分享說，惠普根植中國超過40年，秉承着“在中國，爲中國”的理念，希望和星環等領先的合作伙伴攜手提供好的方案和服務，幫中國行業客戶解決實際需要解決的問題。

在中國，惠普建立了完整的服務體系，第一步幫助客戶評估和判斷需要什麼樣的模型、多少資金和時間，以及評估預計效果，還會考量後期維護成本、哪些企業能做模型進一步訓練、如何規劃產品迭代等，此時星環的優勢就體現出來。

據透露，雙方最近跟一家央企共同簽約了戰略合作協議，成爲其IT合作伙伴。這家央企想建一個自有知識庫，希望將自家數據進行深度學習後，能更好地解讀歷史經營數據。惠普和星環一起討論做方案，爲其選擇合適的模型、硬件配置、部署方式及成效時間。

在中後端，惠普和星環會在模型維護、企業內部人員培訓等方面做好配合，幫助客戶繞過軟硬件試錯階段，直接服務於客戶需求。

在徐鳴看來，用好AI很具有挑戰性。首先需要輔導客戶如何把AI知識庫匹配，把數據向量化地導入模型後訓練；還要告訴用戶AI怎麼用的效果是最好的。如何做好問題的銜接，慢慢導入用戶想要的結果，也是對AI另一種程度上的訓練。

如果發現一隻達不到預期效果，或者結果精度跟期待的需求是有差別，惠普和星環科技會幫客戶做整體優化。

三、模型不是越大越好，垂類大模型纔能有效解決業務問題

AI浪潮正推動工作站的算力越來越強、產品配置不斷升級和趨於多元化，給用戶更多的選擇。相應的使用場景也在愈發豐富。

徐鳴提到AI PC發展至今，業界對移動化、輕量化的需求逐漸擴大。星環科技還做了很多努力，比如在原來基於塔式工作站的幾千TOPS產品上做一些預訓練大模型，針對惠普移動工作站能做到300TOPS，通過NPU做到45TOPS左右。

在朱珺辰看來，模型不是越大越好，而是用合適方式解決問題。

通用大模型不是針對行業或應用場景特徵來專門做訓練，當前還無法做到行行專精，需要基於一些特定數據對大模型做調整，包括通過將大小模型結合，來達到一些業務效果。

將垂類大模型結合企業內部核心數據知識庫，可能是企業把大模型技術快速應用到實際業務中的一種有效落地方式。

面向To B市場，星環提供領域大模型，結合企業各種數據處理能力，包括企業內部的一些核心數據、對模型的優化、與小模型結合，能幫企業快速構建一個大模型應用的場景或能力。

惠普與星環還做了一些封裝完大概只有7GB、8GB的本地端小模型，將原來可能將客戶限定在辦公桌前的大模型應用變成了能在任何地方使用的高效工具。

結語：軟硬一體化，爲企業搭建高效的AI大模型生產力平臺

算力是企業數智化轉型升級過程中的核心要素。惠普Z系列工作站用高性能AI算力硬件平臺來滿足企業對高效處理數據和開發大模型的需求，在此之上部署的星環科技平臺，則通過提供全流程工具，幫助企業更好地解決實際業務問題。這也成爲了惠普將創新AI產品與本土生態融合的又一個樣本。

據徐鳴分享，惠普內部在用一套星環的私有化部署的大模型，搭配一臺比較高配的工作站，灌入了惠普整個產品庫中的白皮書數據。有了這樣一個模型，惠普銷售人員只要進入內網，就能用星環大模型獲得產品相關問題的答案。惠普也將自身實際使用中的一些感受和看到的問題，第一時間向星環做反饋，共同優化。

朱珺辰相信，AI跟硬件的結合會帶來很多根本性的改變，如今星環軟件與惠普硬件一體化的方式只是其中一個很小的部分，基於AI技術的機器人預計將在五年內取得較顯著的發展。他希望通過對一體機持續迭代，不斷降低開箱即用的門檻，提升對數據處理的能力，使大模型應用能夠更好地回答客戶的問題。