AMD Ryzen AI 300 稱霸 LLM AI 性能，超英特爾

根據 AMD 最近的內部測試，AMD 的 Ryzen AI 300 系列移動處理器在本地大型語言模型（LLM）的性能方面，輕鬆戰勝了英特爾的移動競品。該公司社區博客中的一篇新博文闡述了 AMD 爲在 AI 性能方面戰勝英特爾而進行的測試，以及如何爲任何感興趣的用戶充分利用流行的 LLM 程序 LM Studio。

AMD 的大多數測試都是在 LM Studio 中進行的，這是一款用於在本地下載和託管 LLM 的桌面應用程序。該軟件基於 llama.cpp 代碼庫構建，允許使用 CPU 和/或 GPU 加速來爲 LLM 提供動力，並且對模型的功能提供了其他的控制。

使用 Meta 的 Llama 3.2 的 1b 及 3b 變體、微軟的 Phi 3.1 4k Mini Instruct 3b、谷歌的 Gemma 2 9b 以及 Mistral 的 Nemo 2407 12b 模型，AMD 對搭載 AMD 旗艦產品銳龍 AI 9 HX 375的筆記本電腦與英特爾的中端酷睿 Ultra 7 258V進行了測試。這兩款筆記本電腦相互進行測試，測量每秒的令牌速度以及生成第一個令牌所需的加速時間，這大致相當於每秒在屏幕上打印的單詞數，以及提交提示到 LLM 開始輸出之間的緩衝時間。

從上面的圖表中可以看出，在所有五個測試的大型語言模型中，銳龍 AI 9 HX 375 在速度和開始輸出文本的時間方面都比酷睿 Ultra 7 258V 表現更好。表現最爲突出的是，AMD 的芯片速度比英特爾的快 27%。目前不清楚上述測試用的是哪些筆記本電腦，但 AMD 很快提到，測試中的 AMD 筆記本電腦的內存運行速度比英特爾的機器慢——7500 MT/s 對 8533 MT/s——而更快的內存通常對應着更好的大型語言模型性能。

需要指出的是，英特爾的 Ultra 7 258V 處理器與 HX 375 相比並非處於完全公平的競爭狀況；258V 處於英特爾 200 系列 SKU 的中間位置，其最大睿頻速度爲 4.8 GHz，而 HX 375 則是 5.1 GHz。AMD 選擇讓其旗艦 Strix Point 芯片與英特爾的中等規格芯片競爭，這看上去有點不公平，所以在考慮 27%的性能提升這種說法時，要記住這一點。

AMD 還在測試中展示了 LM Studio 的 GPU 加速功能，把 HX 375 與自身作對比。雖然銳龍 AI 300 系列筆記本電腦中的專用 NPU 意在成爲 AI 任務的驅動力，但按需程序級別的 AI 任務更傾向於用 iGPU。AMD 在 LM Studio 中藉助 Vulkan API 進行 GPU 加速的測試對 HX 375 極爲有利，以至於 AMD 未包含英特爾開啓 GPU 加速時的性能數據。開啓 GPU 加速後，銳龍 AI 9 HX 375 的 tk/s 速度比未開啓 GPU 加速時快了多達 20%。

鑑於當前圍繞基於人工智能性能的計算機有諸多報道，供應商們急於證明人工智能對於終端用戶的重要性。像 LM Studio 或英特爾的 AI Playground 這類應用程序竭盡全力爲用戶提供一種既用戶友好又萬無一失的方式，來利用最新的迭代次數超過 10 億次的大型語言模型供個人使用。大型語言模型以及爲了使用大型語言模型而充分發揮計算機的性能對大多數用戶而言是否重要，那就是另一回事了