太初電子申請異構衆核架構下進行異步深度學習推理專利，能夠高效實現相關數據拷貝和推理計算

金融界2024 年 9 月 30 日消息，國家知識產權局信息顯示，太初（無錫）電子科技有限公司申請一項名爲“一種異構衆核架構下進行異步深度學習推理方法及系統”的專利，公開號 CN 118709778 A，申請日期爲 2024 年 6 月。

專利摘要顯示，本申請涉及一種異構衆核架構下進行異步深度學習推理方法、裝置、計算機設備、存儲介質和計算機程序產品。所述方法包括：定義異步獲取接口和推理結果接口；調用異步獲取接口將主機端的數據發送至預設的推理框架並獲取對應的句柄結果；基於所述句柄結果調用推理結果接口獲取推理框架對應的推理結果。採用本方法通過提出一套用戶接口，可以讓用戶方便地在異構衆核上進行異步深度學習推理，並提出一種實現方式，能夠高效實現將數據從 Host 端的內存拷貝到 Device 端的內存上，異構設備上進行計算，設備進行推理計算，再將結果拷貝回 Host 端的內存的異步進行，同時，能夠在用戶無感，性能無損的情況下將數據切分到衆核架構的各個核上。

本文源自：金融界

作者：情報員