北京深度求索公司推出首個國產開源MoE大模型
1月15日訊,北京深度求索公司推出首個國產開源MoE大模型DeepSeek MoE,性能媲美Llama 2-7B,計算量降低60%。DeepSeek MoE目前推出的版本參數量爲160億,實際激活參數量大約是28億。此外,深度求索團隊還透露,DeepSeek MoE模型還有145 B版本正在研發。階段性的初步試驗顯示,145 B的DeepSeek MoE對GShard 137 B具有極大的領先優勢,同時能夠以28.5%的計算量達到與密集版DeepSeek 67 B模型相當的性能。(量子位)
相關資訊
- ▣ 阿里通義千問開源首個MoE模型
- ▣ 第一個100%開源的MoE大模型,7B的參數,1B的推理成本
- ▣ 大模型初創企業MiniMax將發佈國內首個MoE大模型
- ▣ 中國銀河維持計算機推薦評級:國產開源MoE模型DeepSeek-V2性能媲美GPT-4,大模型價格戰拉開帷幕
- ▣ 國內最大MoE開源大模型來了,還基於此搞出個火遍港臺的AI聊天應用
- ▣ 對標 OpenAI GPT-4,MiniMax 國內首個 MoE 大語言模型全量上線
- ▣ 稀宇科技推出萬億MoE模型abab 6.5
- ▣ AI早知道|阿里通義將發佈視頻大模型;元象發佈MoE開源大模型
- ▣ 北京君正:公司沒有開發MOE架構計算芯片
- ▣ MiniMax 國內首個 MoE 大語言模型上線 擁有處理複雜任務能力
- ▣ 最神秘國產大模型團隊冒泡,出手就是萬億參數MoE,2款應用敞開玩
- ▣ 新國都:公司在AI產品中雖結合了第三方開源大模型,但目前並未自研或擁有大模型產品
- ▣ 一塊錢100萬token,超強MoE模型開源,性能直逼GPT-4-Turbo
- ▣ 中國首個音樂SOTA模型「天工音樂大模型」今日開啓公測
- ▣ 「天工大模型3.0」4月17日正式發佈——同步開源4000億參數MoE超級模型,性能超Grok1.0
- ▣ 百度李彥宏:開源模型是智商稅,閉源模型更強大、推理成本更低
- ▣ 全國首個司法審判垂直領域大模型在深圳正式啓用
- ▣ 長江證券:開源模型性能追趕閉源大模型 OpenAI正式進軍AI搜索
- ▣ 全球大模型產品加速開發 香港公司面向本地市場推出更多針對性產品
- ▣ 將多模態大模型稀疏化,3B模型MoE-LLaVA媲美LLaVA-1.5-7B
- ▣ 阿里雲推出首個域名AI大模型應用 新增40餘個後綴及2000萬資源
- ▣ 大模型公司集體盯上AI搜索入口
- ▣ 綜述|小企業大模型——法國人工智能初創公司的“開源”之道
- ▣ 新國都:AI產品採用自研與第三方開源大模型結合,無自研大模型產品
- ▣ AI早知道|國內首個端到端語音大模型Lingo;摩爾線程開源音頻理解大模型MooER摩耳
- ▣ 面壁智能開源業內首個端側大模型工具集 MobileCPM
- ▣ MiniMax發佈萬億MoE模型abab 6.5
- ▣ 大模型深入應用產業,京東雲亮相WAIC2024 展示大模型全景佈局
- 國造潛艦模型公佈 陸媒按圖追索技術來源國