揚州萬方申請一種搭載於無人機的多模態場景內容理解系統專利，能夠在單模態信息不足時依然能輸出魯棒的結論

金融界2024年11月4日消息，國家知識產權局信息顯示，揚州萬方科技股份有限公司申請一項名爲“一種搭載於無人機的多模態場景內容理解系統”的專利，公開號CN 118887590 A，申請日期爲2024年8月。

專利摘要顯示，一種搭載於無人機的多模態場景內容理解系統，涉及深度學習和多模態內容理解領域。包括依次連接的信號採集單元、數據採樣和處理單元、時空特徵提取單元、雙模態特徵融合單元和場景內容分類單元，所述信號採集單元用於對音頻數據和視頻數據進行採集；所述數據採樣和處理單元用於對音頻數據進行處理形成頻譜圖以及對視頻數據進行幀採樣所述時空特徵提取單元用於對音頻模態的連續頻譜圖提取特徵以及對視頻模態的連續幀提取時空特徵；整個系統結合音頻和視頻完成場景內容的理解,相比於單模態或者單幀加邏輯的系統設計，本發明能夠在單模態信息不足時依然能輸出魯棒的結論，並且憑藉其幀間變化和動作特徵提取能力可以理解更多動態場景內容類型。

本文源自：金融界

作者：情報員