Mac專屬大模型框架來了！兩行代碼部署，能聊本地數據，支持中文

Mac用戶，終於不用羨慕N卡玩家有專屬大模型Chat with RTX了！

大神推出的新框架，讓蘋果電腦也跑起了本地大模型，而且只要兩行代碼就能完成部署。

仿照Chat with RTX，框架的名字就叫Chat with MLX（MLX是蘋果機器學習框架），由一名OpenAI前員工打造。

黃院士的框架裡有的功能，例如本地文檔總結、YouTube視頻分析，Chat with MLX裡也都有。

而且包括中文在內共有11種可用語言，自帶支持的開源大模型多達七種。

體驗過的用戶表示，雖然計算量負擔對蘋果設備可能大了點，但是新手也很容易上手，Chat with MLX真的是個好東西。

那麼，Chat with MLX的實際效果究竟怎麼樣呢？

Chat with MLX已經集成到了pip命令中，所以在有pip的條件下，只需要一行代碼就能完成安裝：

安裝完成後，在終端中輸入chat-with-mlx並按回車，就會自動完成初始化並彈出網頁（第一次啓動及下載模型時需要連接到Hugging Face服務器）。

△Chat with MLX實測效果

將這個頁面向下翻，選擇想用的模型和語言後點擊Load Model，系統就會自動下載模型信息並加載。

注意如果中途需要更換模型，需要先將前面的模型Unload再選擇新模型。

其他模型只要Hugging Face上有並且兼容MLX框架，也可以手工添加，方法可以到GitHub頁中瞭解。

如果要使用自有數據，需要先選擇類型（文件或YouTube視頻），然後上傳文件或填寫視頻鏈接，並點擊Start Indexing建立索引。

按照開發者的說法，只要不點擊Stop，再次上傳新文件後數據是累加的。

當然，也可以不傳數據，直接當成普通大模型來用。

爲了避免推理時間過長，我們選擇了規模較小的Quyen-SE來進行測試。

（Quyen-SE基於阿里的通義千問改造而成，Chat with MLX的作者也參與了研發工作。）

首先看看模型不加定製數據的速度，在M1芯片的MacBook上，這個0.5B的模型表現是這樣的，可以說比較流暢。

但在宣傳中，Chat with MLX的主要賣點，還是本地RAG檢索。

爲了確保素材文檔在模型的訓練數據中不存在，小編從箱底翻出了自己不公開上網的本科畢業論文。

我們詢問了論文中不同位置的細節，一共根據文章內容給Chat with MLX設計了十個問題。

其中有七個回答是正確（符合文意）的，不過速度和純生成相比要略慢一些。

測試中我們還發現，模型還有一定的機率會把提示詞吐出來，不過觸發條件似乎沒有什麼規律。

但可以看出，爲了提高模型的表現，作者已經把給小費這種新興的提示詞技巧都招呼上了。

整體感受下來，可能是受制於算力原因，在蘋果設備上部署本地大模型，效果無法和英偉達的Chat with RTX相媲美。

同時，在GitHub上，也有許多用戶反饋各種各樣的安裝失敗問題，作者也都進行了回覆或跟進，並把程序重新更新了一遍。

但無論如何，選擇本地化部署，數據的安全性可能是更爲重要的考量因素；而且從中可以看出，本地化、專屬化的大模型，已經開始出現向消費級產品普及的趨勢。

用網友的話說，升級AI PC的時間到了。

GitHub：https://github.com/qnguyen3/chat-with-mlx