谷歌Gemini數學反超o1預覽版!成本僅1/10、無需額外思考時間
數學擊敗o1-preview,成本僅爲十分之一,並且幾乎沒有思考延遲!
OpenAI《Her》全量開放同一天,谷歌Gemini 1.5迎來重大升級。
除此之外,價格也是原來的一半,速度限制提升2-3倍;輸出速度提升2倍、延遲降爲原來三分之一。
開發者可以通過 Google AI Studio 和 Gemini API免費訪問。聊天版本還得再等等。
不過也有網友發現了華點,雖然數學能力很強,但還是沒有打敗o1-mini以及o1完整版(94.8)。
谷歌Gemini 1.5大升級
此次更新的有兩個型號:Gemini-1.5-Pro-002和Gemini-1.5-Flash-002。
總結來說,主要有這些更新:
首先,提升了整體性能,尤其在數學、長文本以及多模態方面。
在MMLU-Pro上性能提高約7%;而在 MATH 和 HiddenMath(內部保留的競賽數學問題集)基準測試中,兩種模型有約 20% 的顯著改進,其中Pro版本以86.5%的成績超過了o1-preview(85.5%)。
除此之外,在視覺理解和代碼代碼生成的評估中也有2%-7%的提升。
根據開發人員的反饋,這兩個模型現在都採用了更簡潔的風格,目的是使這些模型更易於使用並降低成本。
對於摘要、問題解答和提取等用例,更新後模型的默認輸出長度比以前的模型短 5-20%。
價格方面,1.5pro輸入token降價64%,輸出token降價52%,對增量緩存token降價64%,10月1日開始生效。
速率限制也有所提升,1.5 Flash的付費速率限制從1000RPM提高到2000RPM;1.5 Pro速率限制從360RPM到1000RPM。
另外,輸出速度提高2倍,延遲減少爲原來的三分之一。
對於新模型,過濾器已切換成可選,默認情況下不會應用過濾器。
最後的最後,還有Gemini 1.5 Flash-8B實驗版本更新,在文本和多模態能力方面都有顯著的提升。
網友水靈靈地測試上了
有網友就這麼水靈靈地測試上了。
他測試了Gemini 1.5 Flash的音頻轉錄功能。後者能在50-60秒內轉錄13分鐘音頻。
多個音頻文件測試結果中,轉錄準確率接近99%。如果音頻清晰,準確率能達到100%。
有網友測試了它的視覺理解能力,結果順利通過,之前難倒了一衆視覺模型。
不過討論最多的還是它數學能力的提升。
不過倒也有網友表示,數學基準也沒啥用。它已經飽和,而且污染了大多數模型的訓練數據。在現實世界的數學難題裡,這些還是沒辦法跟o1系列相提並論。
雖然但是,谷歌升級模型還有一個用處。
那就是push一下OpenAI,趕緊發佈新模型,以此來“奪回王冠”。
什麼時候趕緊把o1完整版發了。(Doge)
參考鏈接:[1]https://developers.googleblog.com/en/updated-production-ready-gemini-models-reduced-15-pro-pricing-increased-rate-limits-and-more/[2]https://www.reddit.com/r/singularity/comments/1fohi2z/gemini_15_002_beats_o1preview_on_math_and_it_does/