高通與騰訊混元達成合作

高通在驍龍峰會期間宣佈與騰訊混元合作，基於驍龍8至尊版移動平臺推動騰訊混元大模型7B和3B版本的終端側部署。高通表示，通過使用INT4量化技術，端側推理實現首個token生成時延達到150ms，解碼速率達到超過30 tokens/秒。

本文源自：金融界AI電報