西安電子科技大學杭州研究院博士後在國際頂級期刊發表新成果

近日，西安電子科技大學杭州研究院先進信息研究所李亞超教授團隊博士後朱春宇以第一作者和共同通訊作者身份，在國際頂級期刊《International Journal of Applied Earth Observation and Geoinformation》（五年IF=7.5, 中科院一區前5% TOP）發表了題爲《An Implicit Transformer-based Fusion Method for Hyperspectral and Multispectral Remote Sensing Image》的研究文章。

研究針對現階段高光譜與多光譜遙感圖像融合方法以離散方式實現像素級融合而導致融合精度不足的現狀，提出一種新穎的隱式Transformer融合生成對抗網絡（ITF-GAN），利用連續函數捕捉圖像特徵，設計了引導式隱式採樣模塊並引入生成對抗框架，實現離散融合轉換爲連續域感知，提高了融合精度。

在環境監測、土地分類和災害檢測等領域，高光譜遙感圖像（HSI）因具備豐富的光譜分辨率特性，具有廣闊的應用空間。然而，由於傳感器的物理限制，HSI的空間分辨率較低。相比之下，多光譜遙感圖像（MSI）具有較高的空間分辨率，可以更完整地描述土地覆蓋格局和分佈，但其光譜分辨率較低。

在實際應用中，需要同時具備高空間分辨率和高光譜分辨率。爲了滿足應用需求，通常採用圖像融合技術將不同傳感器獲取的相同場景數據融合，重建高空間分辨率高光譜遙感圖像（HR-HSI）。

然而，現有大多數深度融合技術和算法因其方法特性，在採樣過程中無法有效保留圖像細節和紋理特徵，最終導致空間細節保真度降低以及關鍵空間光譜特徵丟失。此外，現有的深度學習方法在融合過程中常通過離散域擬合方法實現像素級融合，然而對於人類視覺而言，場景是以連續形式表達，因此在融合過程中必須考慮使用連續函數來近似圖像的真實狀態。

爲解決以上問題，研究提出了一種新穎的隱式Transformer融合生成對抗網絡（ITF-GAN）。這一方法採用點對點的方式隱函數，能夠將隱式神經表示的連續性感知機制與Transformer架構強大的自注意力機制相結合，有效地處理空間和光譜維度信息。

此外，研究提出的方法在高光譜圖像上採樣過程中引入引導隱式神經採樣模塊，能夠增強空間域和光譜域特徵的協調錶達，提高融合圖像的空間分辨率和光譜保真度。在4x、8x、16x空間分辨率差異下的一系列融合實驗結果表明，ITF-GAN無論是在客觀評價指標還是主觀視覺評價上都比當前流行的融合算法具有顯著優勢。（通訊員：梅小雨）