只要會說話,不寫代碼也能開發!百度又搞了一個大動作
新智元報道
編輯:編輯部
【新智元導讀】文心大模型4.0,半年時間又提升了52.5%,在智能體、代碼、多模型上也有了新進展!像人一樣思考的智能體,達到了一定程度的白盒;智能代碼助手Comate,讓開發者們動動嘴就能開發應用了。
文心大模型,又有新進展了!
就在昨天,Create 2024百度AI開發者大會成功舉辦,又公佈了一波智能體、代碼、多模型等方面的新進展。
去年3月16日,文心一言發佈,此後不斷迭代。
基於更大的算力、更多的數據和更強的算法,依託飛槳平臺,文心已經從3.0、3.5,進化到了4.0版本。
AI智能體,像人一樣思考
毫無疑問,智能體是業內一致被看好的方向。
對此,百度CTO王海峰也表示,智能體會帶來更多的應用爆發。
而如今的百度智能體,已經學會像人一樣思考了!
在基礎模型上,它進一步進行了思考增強訓練,包括思考過程的有監督精調、行爲決策的偏好學習、結果反思的增強學習,進而得到思考模型。
於是,它學會了像人一樣閱讀說明書、學習工具試用,甚至還能調用工具完成任務。
爲了詳細說明這個過程,我們可以參考一下《思考,快與慢》這本書中的理論。
人的認知系統,可以劃分爲2個部分:系統1反應很快,但容易出錯。系統2反應慢,但更理性,更準確。
在強大的基礎大模型之上,百度的研發團隊進一步研製了系統2,包括理解、規劃、反思和進化。
這樣,智能體的思考過程在一定程度上就白盒化了,於是機器可以像人一樣思考和行動,自主完成複雜任務,持續學習,實現自主進化。
讓我們來具體感受一下,百度智能體的思考過程。
在文心大模型4.0工具版上,我們可以這樣提問——
「我要到大灣區出差一週。想了解一下天氣變化,好決定帶什麼衣服。請幫我查一下未來一週北京和深圳的溫度,告訴我出差應該帶什麼衣服,並整理成表格。」
接下來,它就會展示真正的技術了。
首先,它會調用一個「高級聯網」工具,來查詢當地的天氣信息。
然後,它會調用「代碼解釋器」,來畫出一幅溫度趨勢圖。
根據未來一週的天氣,它選擇了合適的衣物。
最後,它還對結果進行了思考和確認,自動彙總成了一個表格。
整個過程中,它展現出了嫺熟的思考和規劃能力,有條不紊地把用戶需求拆解成多個子任務,一整套過程行雲流水。
不僅如此,從萬億級的訓練數據中,文心大模型學到的,除了自然語言能力外,還有代碼能力。
代碼智能體
顧名思義,這個智能體,能夠幫我們寫代碼。
程序員和普通人的之間的壁壘,從此徹底打破,以前程序員才能做的事,現在人人都能做。
代碼智能體,是由思考模型和代碼解釋器兩個部分組成。
首先,思考模型會先理解我們的需求,經過一番思考後,把完成任務的指令和相關信息整合成提示,輸入給代碼解釋器。
根據這個提示,代碼解釋器就把自然語言的用戶需求翻譯成了代碼,隨後執行,這樣就得到了執行結果,或調試信息。
最後,思考模型還會對代碼解釋器的結果進行反思確認。
結果正確,就會把結果返回給用戶;不正確,就會繼續進行自主迭代更新。
在這次大會現場,王海峰更是當場讓代碼智能體秀了一番技能。
現場的任務是,讓它爲本次大會嘉賓定製邀請函。
只見一波操作之後,嘉賓的姓名都被填到了邀請函里正確的位置上。
而新生成的邀請函文件,也都是以嘉賓的名字命名的,並打包好一起輸出。
動嘴開發,智能代碼助手已來
而這位傳說中的智能代碼助手Comate,聽名字就知道它更專業一些。
沒錯,它的角色是——程序員的AI同儕,也就是說,可以幫專業的程序員更高效地寫出更好的代碼。
過去,開發者用代碼改變了世界。
而現在,自然語言已經成爲新的開發語言。也就是說,開發者們未來只需動動嘴,就能完成應用開發。
在模型效果不斷提升的基礎上,百度進一步構建了上下文增強、私域知識增強、流程無縫集成等能力。
因此,目前百度智能代碼助手Comate整體採納率達到了46%,新增代碼中生成的比例已經達到了27%。
代碼理解、生成、優化等各種能力,都被Comate無縫集成到研發的各個環節。
比如,僅需告訴Comate「幫我梳理當前項目的架構」,幾秒的時間,它就以清晰的條理給出瞭解答。
它就像助理一樣,能幫助程序員提升代碼的開發質量和效率。
下面這個示例,就展示Comate是如何幫工程師接手代碼的。
可以看到,只通過一條簡單的指令,它就快速瞭解了整個代碼的架構,甚至細到每一個模塊的具體實現邏輯。
舉個例子,當你問到更加細緻,具體的內容時——「該項目核心RAG邏輯是如何實現的」,可以迅速得到解答。
更驚喜的是,還有直接跳轉查閱的索引鏈接。
而且,它還可以根據當前的項目代碼以及第三方代碼,自動生成滿足要求的新代碼。
如下所示,給出一個外部的參考代碼,以及千帆大模型的API,以生成調用Ernie Bot 4.0的代碼。
Comate分分鐘給出了一個基礎代碼示例。
大小模型一同訓
此外,王海峰在現場還分享了「多模型」技術。
如今,我們爲什麼需要多模型?
在推進大模型應用落地的過程中,開發者、企業不僅需要關注成本,還需要顧及效果和效率。
因此,在實際應用中,就需要從落地場景出發,去選擇最適合自己的模型。
一方面,高效低成本的模型生產亟待解決。
對此,百度研製了大小模型協同的訓練機制,可以有效進行知識繼承,高效生產高質量小模型。
小模型不僅推理成本低,響應速度快。而且在一些特定場景中,經過微調後的小模型,效果可以媲美大模型。
它也可以利用小模型實現對比增強,幫助大模型完成訓練。
與此同時,百度還建設了種子模型矩陣,數據提質與增強機制,以及一系列配套工具鏈,從預訓練、精調對齊、模型壓縮到推理部署。
這樣一來,高效低成本的模型生產機制,可以加速應用,降低部署成本,取得更優的效果。
我們最常見的MoE便是「多模型」技術的典型代表。
可以看到,不論是GPT-4(據猜測),還是開源Grok、Mistral都採用了MoE架構。
它們都在基準測試中,取得了優異的表現。
百度認爲,未來大型的AI原生應用基本都是MoE架構。通過大小模型的混用,而非單一模型去解決問題。
因此,針對場景匹配,什麼時候調用大模型,什麼時候調用小模型,都需要技術考量。
另一方面,是多模型推理。
百度研製了基於反饋學習的端到端多模型推理技術,構建了智能路由模型,進行端到端反饋學習,充分發揮不同模型處理不同任務的能力,達到效果、效率和成本的最佳平衡。
正如Robin會上所言,通過強大的文心4.0裁剪出更小尺寸的模型,要比直接拿開源模型,微調出來的效果要好得多。
這段時間,一張開源模型與閉源模型之間的差距不斷拉近的圖,在全網瘋轉。
許多人樂觀地認爲,開源模型很快突破極限,取得逼近GPT-4,甚至替代閉源模型的能力。
實則不然,開源模型並非拿來即用,而需要更多定製化的微調。
這也是百度發佈了ERNIE Speed、Lite、Tiny三個輕量模型的原因。
通過文心大模型4.0,壓縮蒸餾出一個基礎模型,然後再用專門數據訓練。這要比基於開源模型,甚至重訓一個模型效果好得多。
文心4.0性能提升52.5%
除了上述這些之外,文心4.0的創新還包括基於模型反饋閉環的數據體系、基於自反饋增強的大模型對齊技術,以及多模態技術等等。
發佈後的半年時間,文心4.0的性能又提升了52.5%。
文心大模型之所以能如此快速持續地進化,離不開百度在芯片、框架、模型和應用上的全棧佈局,尤其是飛槳深度學習平臺和文心的聯合優化。文心大模型的周均訓練有效率達到98.8%。
相比而言,一年前文心一言發佈時,訓練效率直接提升到了當時的5.1倍,推理則達到了105倍。
截至目前,飛槳文心生態已經凝聚了1295萬開發者,服務了24.4萬家企事業單位。基於飛槳和文心,已經有89.5萬個模型被創建出來。
如今,文心一言累計的用戶規模已達2億,日均調用量也達到了2億。
這2億用戶的工作、生活和學習,已經被文心一言改變。
500萬AI人才培養計劃,提前收官
最後值得一提的是,百度的500萬AI人才培養計劃,提前收官!
在2020年,百度曾提出5年內要爲全社會培養500萬AI人才,如今目標已經提前完成。
而王海峰表示,在未來,百度還會繼續投身人才培養,讓人才的點點星光,匯成璀璨星河。
智能時代,人人都是開發者,人人都是創造者。
參考資料:
https://create.baidu.com/?lng=zh