飛槳突圍背後的中國AI框架長征
2012年12月, 美國內華達州太浩湖旁,知名賭場Harrah 酒店的731 房間,一個由瘦弱老頭和兩個大學生策劃的“皮包公司”的匿名線上拍賣收購現場廝殺正酣。
不久前,他們纔剛剛成立這家“皮包公司”——名字是現取的,產品是沒有的,生產計劃爲零,創始人之外的員工數量同樣是零。不過,他們有一個大膽的計劃,要將這家公司高價賣掉,而且還要賣給谷歌、微軟在內全球最頂級的科技巨頭。
1500萬美金、1600萬美金……2500萬美金、3000萬美金、3500萬美金、4100萬美金、4200萬美金……
拍賣會現場,價格正在一輪輪被擡高,拍賣規則,也從一小時加價100萬美金,一度上漲到半小時加價500萬美金,直至4400萬美金花落谷歌。
一個戲劇性的插曲是:最後一輪出價最高的,其實是一個報價4500萬美金的中國科技巨頭,卻無奈老頭從小脊柱不好,人在美國,坐不了飛機,而被動遺憾出局。
結果一出,各大科技媒體頭版頭條,立刻以震驚體外加大字刊登“谷歌4400萬美金收購僅三名員工的創業公司。”
有人嗤笑谷歌,千金買馬骨,向來擅長炒作。
卻不知,年至花甲的老頭,正是日後被譽爲“神經網絡之父”的Hinton。在他加入谷歌後不久,就在谷歌一個名叫DistBelief項目中小試身手,將原本算法友好度奇差的DistBelief進行一番改造,成爲了如今AI領域如雷貫耳的TensorFlow,並一舉奠定了其在全球人工智能領域的無冕之王地位。
那麼問題來了,TensorFlow是什麼,爲什麼具備如此大的魔力?
一句話概括,TensorFlow是目前全球最主流的開源深度學習框架之一。而所謂深度學習框架,你可以理解爲是一個集合了所有主流AI算法模型,以及他們使用說明的大型軟件倉庫。有了深度學習框架,工程師們在工作時調試算法,就如同廚師有了預製菜做飯,簡單又高效。
而在AI框架領域稱王,無異於微軟在PC時代發明Windows,谷歌在移動時代打造安卓。擁有了TensorFlow,谷歌也就擁有了能號令全天下AI羣雄的無上權力與責任。
一萬公里外的中國,隨着TensorFlow的風靡,一場激烈的討論正同步上演:TensorFlow,我們到底是用還是不用?
如果不用,在沒有好用框架的情況下,想做好AI,巧婦也難爲無米之炊。如果用,過去幾十年,中國的科技產業因“缺芯少魂”而被卡脖子的沉痛回憶,難道在AI時代,又要任相似的劇情再次重演?
01AI時代,得框架者得天下
得框架者得天下,在AI領域,並不誇張。
我們常說,AI將帶來人類歷史上的第四次工業革命。更進一步,好用普惠的框架,則正是驅動AI普惠,締造第四次工業革命的根本。
縱觀第一次和第二次工業革命,其根本是以蒸汽機、電力爲標誌的生產工具向着工業大生產環節全面滲透,使生產力實現顛覆式、飛躍性發展。本質離不開更成熟的內燃機技術,也離不開已經發展至便宜且普惠的電力技術發展。
在AI工業革命中,誰將帶動AI走向普惠?在2019年的WAVESUMMIT峰會上,百度CTO王海峰博士就曾前瞻性地提出觀點:“深度學習的通用性特點,以及深度學習框架及平臺的發展,正在推動人工智能標準化、自動化和模塊化,進入工業大生產階段。”
如何理解這句話?舉個例子你就明白了:如果有現成的AI框架,那寫一個算法,可能從模型開發,到應用部署,幾十分鐘就能搞定;但如果沒有AI框架,那你得先花至少兩個月寫模型,然後訓練調參數一個月,最後還得花一兩個月根據具體的場景進行算法部署,時間一晃,小半年就過去了,結果還不一定盡如人意。因此,無論是從效率,還是從結果來看,框架是實現普惠AI,進入工業大生產的基礎條件。
從國家角度出發,框架也是讓中國從AI大國變身AI強國的根本。
經歷了40餘年的基礎研究與探索,中國已經成爲能與全球頂級水平齊頭並進的AI大國。然而,大而不強,卻始終是中國AI產業的心頭之痛。
來自學界的數據也很好地證明了這一點:斯坦福大學發佈的《2022年AI指數報告》中提到,2021年,中國AI專利申請量佔全球總數的52%,專利申請數量居世界首位。但是,在該報告中,同樣指出,在更檢驗質量的授權專利數量一項,排名全球第一的是美國。
那麼解決辦法在哪裡?國家戰略已經很清晰的爲我們指明瞭方向:最新的十四五規劃中,我們國家特地將深度學習框架和AI芯片作爲新一代人工智能的前沿科技發展方向重點關注。中國要從AI大國變身AI強國,AI框架強大,是一切的根本。
從更具體一些的產業角度看,我們會發現,好的框架不僅將帶動AI產業不斷向前發展,同時也是關聯產業——國產芯片崛起的必備條件。
關於框架與芯片的關聯,百度CTO王海峰博士,同樣做過一個科普“在智能時代,深度學習框架起到了承上啓下的作用,下接芯片,上承各種業務模型、行業應用。”一個好的AI框架,與芯片互相配合,可以最大限度的“榨乾”芯片的算力,發揮其最高效用。
因此,我們不難發現,PC時代,CPU的普及與Windows的發展緊密相關;移動時代,高通處理器總是與安卓架構升級同步完成;AI時代,框架與AI芯片同樣如此:過去十多年中,AI的滾滾向前,GPU產業也隨之一日千里的飛躍,而谷歌也同樣憑藉着TensorFlow帶動着其自身的芯片TPU妄圖在一統天下。
只不過,AI市場之大,一個谷歌吃不下,曾在PC時代、移動時代滿眼辛酸的我們,也不會允許中國AI產業的根本,再次被卡脖子。
02從兩強瓜分,到PPT格局,爲什麼框架的競爭還在繼續?
事實上,早在TensorFlow出現之前,AI框架領域就已經硝煙瀰漫。
其中最具代表性的是2007年加拿大蒙特利爾大學科學家研發的theano框架;在此之後,又有伯克利大學研發的Caffe框架面世,它們都曾成爲紅極一時的主流框架。
只可惜,theano出現太早太古老,是業內一個猶如遠古化石般的存在,也因此隨着2012年,深度學習代替傳統算法成爲AI顯學,theano隨之成爲過去式。
caffe出現時間上,倒是恰逢其時,只可惜,相比後來的一衆主流框架,caffe是個典型的“高玩產品”。如果你是個AI菜鳥,那麼打開caffe,2013年前後,你看到的,是大神們一行又一行精妙絕倫的源代碼。可到了2015年前後,ResNet爲代表的大型神經網絡出現,算法層數已經152層起步,別說想拿開源代碼修改,就是看得懂,也得費好一番功夫。
因此,當TensorFlow帶着計算圖與可視化理念,通過在業界瘋狂營銷培養生態殺入AI框架後,很快就憑藉着低門檻特性贏得了一衆業內同仁的高度認可。國內不少有識之士卻也在此時不免默默扼腕,TensorFlow開源框架的出現,是產業之幸,但對於中國來說,國外框架的壟斷,無異於在AI領域,重新上演中國PC時代的操作系統之殤。
不過,就在谷歌左擁AI芯片屆元老TPU芯片,右抱全球最大AI框架TensorFlow開源框架,志得意滿地以爲以爲天下AI開發者盡歸我有之時,卻未曾想到,對手早已殺至家門前。
覆盤前面的歷史,我們不難發現,世界範圍內,AI框架都是在沿着低門檻,以及生態路線不斷髮展迭代,要想打破TensorFlow的一統神話,秘訣同樣如此。
儘管有大神壓陣,TensorFlow也並非沒有缺點。比如,誕生伊始,TensorFlow就將場景瞄準了工業領域,極度追求框架中算法在實際使用中的高效,代價則是靈活性的損失。就像一把好用的玄鐵菜刀,無法像一把瑞士軍刀一樣還可以當牙籤剔牙。而偏偏,AI的另一大應用場景——學界,探索的正是“刀具的108種”使用方法,需要算法實現更靈活,以方便算法研發過程中,不斷的調整修改與調優。
我們都知道,一項技術的發展,一定是從理論,到技術,再到實際應用,而對應的人羣,則是科學家、高校教授與學生,再到業界工程師。因爲TensorFlow對學界的忽視,框架領域的又一次戰爭再次被埋下伏筆。
谷歌的第一個競爭對手,是2017年正式開源的AI框架PyTorch,通過與本就具備相當用戶規模的caffe2合併,PyTorch誕生伊始,就憑藉其巨大的靈活性優勢受到了學界的廣泛歡迎。更值得一提的是,它的背後站着的是Meta,也就是Facebook,因此,無論是做技術,還是花錢搞生態,Meta的實力都不弱於谷歌。
另一個對手,則來自中國。還記得那個因爲Hinton老教授坐不了飛機,而在拍賣中遺憾出局的中國巨頭嗎?當年無奈錯失Hinton老教授,並沒有影響到這家巨頭開發自主AI框架的決心。廣泛招納全球AI人才的同時,這家企業早在2012年已經在內部立項,開始了AI框架的自研工作,並在2016年放出大招,帶來了第一個國產AI框架的正式面世。
看到這裡,不少了解AI的朋友肯定已經猜到,這個巨頭就是國內的AI龍頭百度;而這個第一個國產AI框架,則正是已經比肩TensorFlow、PyTorch,成爲全球前三、中國第一大AI框架的飛槳(英文名PaddlePaddle)。
不過與TensorFlow過於注重工業,PyTorch專注學界不同,飛槳的特性在於工業學界兩手抓,通過動態圖自動解析編譯靜態圖的技術,兼顧了學界的靈活,同時也實現了產業界希望的高效。
當然,能夠同時俘獲學界與產業界認可,飛槳所依靠的,絕不僅僅是動態圖自動解析編譯靜態這一個技術突破就能實現的。AI框架的兩大寶典,無論是生態建設,還是在低門檻適用,百度無疑都走在前面。
先說生態。衆所周知,一個好的AI框架與操作系統一樣,離不開廣大開發者的參與。
儘管AI的落地場景,無非計算機視覺、語音語義、搜索推薦等等,但具體到應用,究竟是用在超算中心,還是用在兒童手錶;是安全要求極高的金融,還是效率爲王的工廠,需要針對具體情況,對算法進行專門的定製。而面對數不勝數的長尾場景,哪怕強如谷歌、百度,也無法以一己之力全覆蓋;這時候,開發者生態的重要性就體現出來了。
國內的AI框架界,一度流傳着這樣一個八卦:2018年前後,飛槳發展最迅猛的一段時間裡,爲了維護國內開發者生態,飛槳團隊衆多工程師常常深入開發者社區,潛入開發者QQ羣中,一層層爬樓參與討論,收集一衆開發者對飛槳的吐槽,然後再第一時間悄悄加班解決。
除了線上第一時間迴應開發者訴求,在線下,針對學界,飛槳已經開展了全國四千位多高校教師的AI培訓;針對業界,飛槳則結合實際需求,在全國多地建設“百度飛槳人工智能產業賦能中心”,通過整合百度的AI技術、AI解決方案以及百度的生態資源,對開發者以及企業客戶進行線下展示,增加開發者對飛槳的瞭解。
更重要的是,相較TensorFlow與PyTorch,飛槳無疑更懂中國開發者的實際需求。舉個簡單的小例子,2020年疫情最嚴重的時候,國內一衆AI開發者,都因爲疫情而被關在了家裡,但飛槳的線上直播課卻一直沒停,反而通過密集的線上的開發者培訓,不僅極大加速了飛槳在國內開發者中的普及,甚至還有開發者們在家基於飛槳,做出了戴口罩人臉識別、肺炎CT影像分析等助力抗疫的AI模型和應用。
當然,僅僅憑藉更懂國內開發者,並不足以讓飛槳真正成爲一個世界範圍內的主流AI框架,低門檻,是飛槳能夠邁出中國,在世界舞臺上與TensorFlow,與PyTorch一較高下的根本秘訣。
關於低門檻。TensorFlow與PyTorch,儘管相較前一代caffe,已經有了很大改進,但依舊需要使用者至少看得懂算法,也具備一定的編程基礎才能使用。而飛槳,則通過推出Easy DL,讓普通人在即使沒有任何AI基礎的情況下,也能在5分鐘時間內,上傳標註好的數據,來訓練出諸如簡單的圖片識別、動作識別等基礎的算法。
至此,全球範圍內,AI框架的PPT格局初顯。憑藉着飛槳(PaddlePaddle)在學界、業界齊發,技術、生態共建,以及低門檻、對中國開發者的極大友好,曾一度在操作系統時代落後的中國,這一次,終於在AI框架上,扳回了一城。
03
中國的AI框架,走到了哪一步?
從無到有隻是國產AI框架走完的第一步;從有到強,纔是國產AI框架的真正使命。那麼,多年發展,飛槳如今走到了哪一步?
我們先看看來自第三方機構的統計結果:2021,知名市場調研機構IDC曾公佈了一份中國深度學習框架平臺市場份額的報告,在中國深度學習領域,百度綜合市場份額已經成爲爲中國第一。前不久,國際市場調研機構弗若斯特沙利文發佈的《中國深度學習軟件框架市場研究報告(2021)》分析了影響中國深度學習軟件框架市場的三大關鍵要素——產品能力、生態能力、應用能力後,也顯示,百度飛槳競爭力綜合排名第一,其次是Meta的PyTorch和谷歌的TensorFlow。
除了第三方的排名之外,剛剛落下帷幕的WAVE SUMMIT峰會,或許也是我們觀察的最佳細節切入點。
百度CTO、深度學習技術及應用國家工程研究中心主任王海峰博士
在技術與產業側,飛槳仍在不斷突圍,讓AI越來越普惠好用。
大模型就是其中最典型的代表。在過去,人們對於大模型大多隻聞其名,鮮少在產業中真正應用。而在WAVE SUMMIT峰會上,百度則宣佈,百度文心大模型依託飛槳,已經有了實質性的行業進展——會上,百度與國家電網、浦發這兩大能源、金融領域的產業龍頭聯手,發佈了兩個行業大模型。
從空中樓閣,到解決實際問題,在百度看來,大模型落地難的根本問題不在於技術本身,而在於能否做到“更懂產業”,與真正的場景之間有效匹配。
具體來說,百度文心給出的解題思路,可以總結爲三個關鍵詞:模型、平臺、生態。
拆解來看,模型,可以分爲基礎大模型、任務大模型、行業大模型。尤其值得一提的是,飛槳以文心大架構爲能力基礎,通過與最懂產業的行業頭部夥伴一起構建的行業大模型,是更高效、精準地解決產業的問題的有效路徑。
平臺,指的是一個配套工具平臺,可以基於產業應用全流程需求,全方位降低AI使用門檻。
生態不必多解釋,通過讓更多人零距離接觸到先進的AI大模型技術,激發更多落地的創新與創意。
不過,全球知名的AI大模型這麼多,爲什麼只有文心最先做到了產業化應用?
“更懂產業”,其實是飛槳賦予文心大模型的先天優勢。
過往,飛槳已經把各種深度學習技術輸送到製造、城市、能源、金融、媒體等各行各業,並催生了AI訓練師、5G雲代駕、智能辦公等新業態、新模式。
因此,當大模型要落地產業時,飛槳除了能與其共享工具、平臺、生態,還能將多年AI落地經驗、行業KNOW HOW,以及飛槳的生態夥伴,都毫無保留地分享。
除了是文心大模型最可靠的底層支持外,飛槳本身在產業側,也仍在不斷進化。
技術方面,飛槳框架已經進化到v2.3版,已經完成了開發、訓練、推理部署的全面升級,並極大提升深度定製開發和自動化能力。
面向場景,還發布訓練推理一體的導航圖、產業模型選型工具、PaddleScience賽槳與飛槳移動工作站,來幫助開發者做好選型與開發,不僅給出最好的工具,也同時給出一個直接參考路徑,讓AI不僅可用,還更低門檻的好用。
當然,飛槳的合作伙伴不僅僅是企業,很多高校、研究機構也都選擇了飛槳。在近年關注度不斷“破圈”的AI for Science領域,飛槳提供了從算力、到框架、再到工具組件的一整套能力,用AI賦能基礎科學研究,並與開發者協同,在諸如流體力學、分子生物學等科學問題的數字化仿真上取得了相當成果。
在生態側,飛槳的生態之樹更是穩紮穩打,全面綻放,讓AI越來越普惠。
截至2022年5月,飛槳已經凝聚477萬開發者,創造56萬個AI模型,服務18萬企事業單位,與產學研用協同培養超過200萬AI人才。
尤其是在芯片領域,飛槳的生態之樹尤爲枝繁葉茂。自2016年飛槳開源以來,百度就緊密地與國內外芯片企業,如英特爾、英偉達、ARM、華爲、寒武紀、瑞芯微等廠商開展軟硬一體的芯片聯合優化模式。截至2021年底,已有超過20個廠家、30種以上的芯片適配飛槳。
在WAVESUMMIT峰會上,百度還基於飛槳大航海計劃2.0,發佈三大共創計劃:飛槳產業實踐範例庫共創計劃、飛槳AI for Science共創計劃與飛槳硬件生態共創計劃,與產業、開發者共建中國最強大的AI開發者生態。
技術、場景、生態三大領域同步大步邁進的背後,是以百度飛槳爲首的中國自主AI框架,奮力夯實工業大生產底座,讓AI加速落地,普惠全行業,一同向上突圍的堅定決心。
04
尾聲:從造芯補魂,到AI普惠,國產AI框架的使命與未來
AI框架的意義是什麼?
從一個國家角度來看,無異於是AI時代的造芯補魂,讓我們從AI大國變身AI強國。而從一個時代來看,飛槳這樣的平臺存在,是全人類進入AI工業革命,AI成爲通用普惠技術的根本。
然而,這些命題,對於普通人來說,或許過於遙遠。作爲一個在上海疫情中被隔離的普通人,我會常常反思,我們的AI技術、AI產業真的成熟嗎?
如果自動駕駛再普及一點,六七十歲的樓長阿姨,是不是就可以不必在沒有電梯的老小區中跑上跑下,配送抗原、蔬菜?
如果人臉識別應用再廣泛一點,是不是熱心的志願者們,就不必穿着厚重的防護服,與前來做核酸的人近距離接觸?
如果語音技術的門檻再低一點,是不是基層居委就不必因爲擔心通知不到位,而一家家一戶戶電話通知最新抗疫安排而忙碌到凌晨無法入眠?
背後一切的一切,其實並不需要技術領先全球,它的距離僅僅是,通過AI框架,讓人人都能成爲開發者,讓AI的門檻更低,讓普通人能夠零門檻,普惠的使用AI,讓AI參與到整個社會的變革。