北航打破模態壁壘，跨可見光-紅外模態的通用物理對抗攻擊方法

機器之心專欄

機器之心編輯部

近年來，針對視覺感知系統安全性評估的探索逐步深入，先後有研究者成功實現基於眼鏡、貼紙、衣服等不同載體的可見光模態安全評估技術，也有一些針對紅外模態的新嘗試。但是它們都只能作用於單一模態。

隨着人工智能技術的發展，可見光 - 熱紅外成像技術已同時應用於治安監控、自動駕駛等諸多安全關鍵任務中，其中可見光成像可以在白天提供豐富的紋理信息，紅外成像則可以在夜間清晰顯示目標的熱輻射分佈，二者結合更爲視覺感知系統帶來 24 小時全覆蓋和不受環境侷限等諸多優勢。因此，針對多模態視覺感知系統的統一安全評估方法也亟須研究。

然而，實現多模態評估極具挑戰性。首先，在不同成像機制下攻擊方法通用難。以前的方法都分別基於特定目標模態成像特點提出，在其他模態下很難起到作用。再者，平衡隱身性能、製作成本和靈活應用難。對於可見光和更難的紅外模態雙重有效已是不易，實現低成本便捷製作與使用更是難上加難。

面對諸多挑戰，來自北航人工智能研究院的研究者挖掘可見光 - 紅外模態間通用的形狀屬性，創新性地提出 「跨模態通用對抗補丁」，實現可見光 - 紅外同步隱身。其遴選易獲取、成本低、隔熱性能優異的材料製作便捷貼片，即拆即用，在填補當前物理世界可見光 - 紅外多模態檢測系統魯棒性評估技術缺失的同時，兼顧物理實現的簡易性與即時性。實驗證明了該方法在不同檢測模型與模態下的有效性，以及多場景下的泛化性。目前，該論文已被 ICCV 2023 接收。

論文鏈接：https://arxiv.org/abs/2307.07859

代碼鏈接：https://github.com/Aries-iai/Cross-modal_Patch_Attack

技術要點

該研究以進化算法爲基礎框架，立足形狀建模、形狀優化、模態平衡三個角度進行方案設計與效果改進，具體流程如圖所示：

1. 基於樣條插值的多錨點形狀建模

對於基礎形狀建模部分，研究人員設計點優化建模新範式，其可通過改變點座標直接調整補丁形狀，此過程中錨點的運動不會受方向、距離等限制，有效增大了補丁形狀的搜索空間。在此基礎上，爲了確保形狀自然性，其還利用樣條插值方法實現平滑連接，樣條會更緊密地跟隨控制點。

2. 基於差分進化的邊界限定形狀優化算法

實現攻擊需要有效的優化手段，爲此研究人員從時間成本、實際效果等角度考量，以進化算法作爲基本框架，並從邊界設定、適應度函數兩個角度改進：

（1）邊界設定：針對錨點進行邊界設定提高形變有效性，降低時間成本。其具有以下設定：不會在曲線段內形成循環或自交；在曲線段內不容易出現尖點；不會出現在無效區域。

以錨點

爲例，下圖藍色部分爲邊界設定圖例，橙色部分爲錯誤實例：

關於錨點

的邊界判定

數學表達如下所示：

（2）適應度函數：不同於前人工作僅針對於單個模態進行攻擊評估，本文工作聚焦於可見光 - 紅外兩個模態，天然存在平衡模態效果差異的問題。因此爲了避免走向易優化單一模態極端，研究人員創新性提出了基於檢測器置信度得分感知的跨模態適應度函數，鼓勵探索成功方向的同時平衡兩模態效果差異，最後根據評分優勝劣汰。考慮到初始階段和後期階段攻擊難度的不同，其使用指數函數代替線性函數，更加突出不同階段攻擊進度的差異性。

算法迭代該探索過程直至兩模態都攻擊成功，輸出最優形狀策略。完整優化流程如下所示：

實驗結果

實驗一：針對不同系列檢測器的跨模態攻擊性能驗證

實驗二：針對形狀的消融實驗

實驗三：針對跨模態適應度函數的消融實驗

實驗四：物理實施偏差下的方法魯棒性驗證

實驗五：不同物理條件下的方法有效性驗證

不同角度、距離、姿勢、場景下的性能驗證可視化結果

總結

本文工作以自然形狀優化爲核心，將形變補丁與跨模態攻擊相結合，設計了一種物理環境下可見光 - 紅外多模態魯棒性評估方法。該方法可對多模態（可見光 - 紅外）目標檢測系統的魯棒性進行評估，根據評估結果有效修正檢測器模型，同時提高可見光、紅外兩種模態下目標圖像檢測的準確性，在物理環境下做到真正的可實施、可應用，爲多模態檢測系統的魯棒性評估與改進作出貢獻。