谷歌Gemini數學反超o1預覽版！成本僅1/10、無需額外思考時間

數學擊敗o1-preview，成本僅爲十分之一，並且幾乎沒有思考延遲！

OpenAI《Her》全量開放同一天，谷歌Gemini 1.5迎來重大升級。

除此之外，價格也是原來的一半，速度限制提升2-3倍；輸出速度提升2倍、延遲降爲原來三分之一。

開發者可以通過 Google AI Studio 和 Gemini API免費訪問。聊天版本還得再等等。

不過也有網友發現了華點，雖然數學能力很強，但還是沒有打敗o1-mini以及o1完整版（94.8）。

谷歌Gemini 1.5大升級

此次更新的有兩個型號：Gemini-1.5-Pro-002和Gemini-1.5-Flash-002。

總結來說，主要有這些更新：

首先，提升了整體性能，尤其在數學、長文本以及多模態方面。

在MMLU-Pro上性能提高約7%；而在 MATH 和 HiddenMath（內部保留的競賽數學問題集）基準測試中，兩種模型有約 20% 的顯著改進，其中Pro版本以86.5%的成績超過了o1-preview（85.5%）。

除此之外，在視覺理解和代碼代碼生成的評估中也有2%-7%的提升。

根據開發人員的反饋，這兩個模型現在都採用了更簡潔的風格，目的是使這些模型更易於使用並降低成本。

對於摘要、問題解答和提取等用例，更新後模型的默認輸出長度比以前的模型短 5-20%。

價格方面，1.5pro輸入token降價64%，輸出token降價52%，對增量緩存token降價64%，10月1日開始生效。

速率限制也有所提升，1.5 Flash的付費速率限制從1000RPM提高到2000RPM；1.5 Pro速率限制從360RPM到1000RPM。

另外，輸出速度提高2倍，延遲減少爲原來的三分之一。

對於新模型，過濾器已切換成可選，默認情況下不會應用過濾器。

最後的最後，還有Gemini 1.5 Flash-8B實驗版本更新，在文本和多模態能力方面都有顯著的提升。

網友水靈靈地測試上了

有網友就這麼水靈靈地測試上了。

他測試了Gemini 1.5 Flash的音頻轉錄功能。後者能在50-60秒內轉錄13分鐘音頻。

多個音頻文件測試結果中，轉錄準確率接近99%。如果音頻清晰，準確率能達到100%。

有網友測試了它的視覺理解能力，結果順利通過，之前難倒了一衆視覺模型。

不過討論最多的還是它數學能力的提升。

不過倒也有網友表示，數學基準也沒啥用。它已經飽和，而且污染了大多數模型的訓練數據。在現實世界的數學難題裡，這些還是沒辦法跟o1系列相提並論。

雖然但是，谷歌升級模型還有一個用處。

那就是push一下OpenAI，趕緊發佈新模型，以此來“奪回王冠”。

什麼時候趕緊把o1完整版發了。（Doge）

參考鏈接：[1]https://developers.googleblog.com/en/updated-production-ready-gemini-models-reduced-15-pro-pricing-increased-rate-limits-and-more/[2]https://www.reddit.com/r/singularity/comments/1fohi2z/gemini_15_002_beats_o1preview_on_math_and_it_does/