騰訊公佈大語言模型訓練專利 可提高模型準確性

財聯社2月8日電，天眼查App顯示，騰訊科技（深圳）有限公司2月7日申請的“大語言模型的訓練方法、裝置、計算機設備及存儲介質”專利公佈。摘要顯示，在該方法中，通過在大語言模型的訓練過程中引入第一摘要文本和第二摘要文本，爲模型訓練提供了更多可學習信息，同時由於第一摘要文本和第二摘要文本包含的信息量不同，且第一摘要文本中包含正確語句和錯誤語句，通過對同一樣本文本的兩個不同摘要文本進行對比學習，並區分學習第一摘要文本中的正確語句和錯誤語句，避免了由於摘要文本單一而導致的模型過擬合和生成不準確等問題，不僅提高了模型的泛化性能，還提高了模型的準確性。