全球首個！機器比人更懂你，可穿戴情感識別系統登上Nature子刊

你懂他/她嗎？他/她懂你嗎？你是否經常因爲無法共情他人，或者被共情而苦惱？

人類情感是一種複雜而多變的心理狀態，常常隱藏在“面具”之下，難以被他人準確理解。儘管面部表情、語言語調等非語言信號提供了一些線索，但仍然存在着許多挑戰，使得人類之間的情感交流變得複雜而模糊。

隨着科技的不斷進步和人類對於智能化系統的需求日益增長，情感識別技術作爲人機交互領域的重要組成部分，正受到越來越多的關注。

傳統的情感識別技術主要基於面部表情、語音語調等人類非語言交流方式進行分析，然而，這些方法往往受到環境條件、個體差異等因素的限制，難以實現準確而高效的情感識別。

由於情緒、心情和感覺等人類情感的抽象性和模糊性，理解和準確提取情感信息一直是個難題。

因此，尋求一種能夠在各種環境下實現準確情感識別的新途徑已然成爲當前研究的重點之一。

近日，來自蔚山科學技術院、南洋理工大學的研究團隊，提出了全球首個實時可穿戴人類情感識別技術，並開發了一種多模態人類情感識別系統，該系統結合了語言和非語言表達數據，可有效利用全面的情緒信息。

相關研究論文以“Encoding of multi-modal emotional information via personalized skin-integrated wireless facial interface”爲題，已發表在科學期刊 Nature Communications 上。

據介紹，該系統的核心是個性化皮膚集成面部界面（Self-powered Skin-interfaced Facial and Vocal Emotion Recognition Interface，PSiFI）系統，該技術基於自供電的摩擦電原理，通過特製的傳感器單元，能夠同時感知面部和聲音表達所產生的信號，從而實現對人類情感的準確識別。

該論文的第一作者 Jin Pyo Lee 表示：“有了這個系統，只需幾個學習步驟，無需複雜的測量設備，就能實現實時情感識別。這爲未來的便攜式情感識別設備和下一代基於情感的數字平臺服務提供了可能性。”

此外，研究團隊還將該系統應用於 VR 環境（智能家居、私人影院和智能辦公室等），通過識別個人在不同情況下的情緒，提供個性化的音樂、電影和書籍推薦。

PSiFI 技術是一種基於生理信號的面部和聲音表情感知界面。該技術利用 PDMS 和 PEDOT:PSS 等柔性、透明、可加工的材料構建傳感器單元，用於捕捉人體面部和聲音等生理信號，實現對情感狀態的識別和監測。

其中，PDMS 具有出色的柔軟性和透明性，PEDOT:PSS 導電層可提供良好的電導性，這兩者是構建 PSiFI 系統的關鍵材料。利用這些材料的可加工性和可調製性，可以實現 PSiFI 技術的構建和製備。

圖｜PSiFI 系統概述。A. PSiFI 包括摩擦電傳感器（TES）、用於無線通信的數據處理電路以及用於面部表情和語音識別的深度學習分類器。B. 可穿戴面罩的 PSiFI 二維佈局，並在面部緊張和聲音振動等感官刺激方面描繪了兩種不同類型的 TES。C. 由電極層和介電層等簡單兩層結構組成的 TES 示意圖以及 TES 組件的照片。比例尺：1 cm。D. TES 製造組件示意圖。PEDOT:PSS 基電極是由半固化工藝製成的（左圖）。考慮到應變和振動等傳感刺激，介電層進行了不同的設計，以實現最佳的傳感性能。中間的插圖爲應變型介電層的納米結構表面的 SEM 圖像，右側插圖顯示作爲振動型介電層的聲孔的衝孔的照片。比例尺：2 μm 和 1 mm。

PSiFI 系統由 PDMS 基底、PEDOT:PSS 導電層和聲學孔組成。PDMS 提供柔軟性和舒適性，PEDOT:PSS 導電層用於傳輸信號，聲學孔用於增強傳感器的靈敏度和性能。

將 PDMS 的基礎材料與固化劑按照一定比例混合，並在真空脫氣後在基板上塗覆形成所需薄膜。通過混合 PEDOT:PSS 的水性分散液和添加劑，然後在基板上塗覆和固化形成導電層。

圖｜應變傳感單元的工作機理及表徵。A. 應變傳感單元的示意圖。插圖：檢測面部應變的傳感單元的放大視圖。B. 應變傳感單元在屈曲和拉伸狀態下的電位分佈。

圖｜用於輸出測量的實驗裝置的真實圖像。比例尺：1 cm。

通過特定的塗覆和固化方法將 PDMS 和 PEDOT:PSS 層結合形成傳感器單元。利用激光切割技術在 PDMS 基底上製備聲學孔，從而增強傳感器的靈敏度和響應性。

圖｜振動傳感單元的工作機制和表徵。A. 振動傳感單元的示意圖。插圖：檢測聲帶振動的傳感單元的放大視圖。B. 工作循環期間傳感單元的電勢分佈。C. 用於聲音振動傳感器的孔圖案配置示意圖以及 32 孔配置中孔的 SEM 圖像。比例尺：2 mm（插圖：顯示聲孔的放大視圖。比例尺：400 μm）。

在搭建好 PSiFI 系統之後，爲確保其性能，研究團隊進行了一系列測試。

首先，研究人員使用光譜儀對 PSiFI 系統的透明性進行測試。結果顯示，PSiFI 系統在可見光範圍內具有良好的透明性，允許光線穿透，使得用戶能夠舒適地佩戴 PSiFI 設備而不感到遮擋或阻礙。

然後，研究人員對此進行了拉伸實驗和彎曲實驗，以驗證 PSiFI 系統在各種形變下的柔韌性和穩定性。實驗結果表明，即使在受到拉伸或彎曲時，PSiFI 系統仍能保持其結構完整性和性能穩定性，表現出優異的柔韌性。

隨後，研究團隊又開展了情感識別實驗。

他們使用 PSiFI 傳感器對面部運動信號進行採集，並利用先進的算法進行處理和分析。結果表明，通過監測面部肌肉的微小運動變化，PSiFI 系統能夠準確捕捉和記錄不同情感狀態下的面部表情特徵。

此外，研究團隊還利用 PSiFI 技術對聲音信號進行採集，並通過聲學分析方法進行情感識別。結果顯示，PSiFI 系統能夠有效地捕捉和分析聲音的頻率、振幅和其他特徵，從而識別出言語中所蘊含的情感信息。

研究團隊表示，在未來，PSiFI 技術可以應用於情感識別領域，通過監測面部和聲音信號，識別出個體的情感狀態，爲智能醫療系統提供情感健康監測和診斷服務。

在人機交互領域，PSiFI 技術也可以與智能設備集成，實現人機自然交互。例如，在虛擬現實環境中，PSiFI 技術可以用於感知用戶的情感狀態，從而實現更加智能化和個性化的用戶體驗。

在機器人方面，PSiFI 技術則可應用於情感智能機器人領域，使機器人能夠識別和理解人類的情感表達，從而更好地與人類交流和互動。

必須說明的是，這項技術並非十全十美，目前還存在一些侷限性。

首先，PSiFI 技術的傳感器需要具備高靈敏度，從而準確捕捉和分析微弱的面部和聲音信號，但目前傳感器的靈敏度還有待進一步提高。這可以通過優化傳感器的結構和材料選擇，提高傳感器的靈敏度和穩定性，使其更適用於不同情境和環境下的情感識別任務。

此外，PSiFI 技術需要處理大量的生理信號數據，並進行復雜的數據分析和算法處理，這對數據處理能力提出了挑戰，需要更加高效和智能的算法和處理平臺。在未來，可以開發更加高效和精確的數據處理算法，提高 PSiFI 技術對生理信號的分析和識別能力，從而提升情感識別的準確性和可靠性。

當然，這項技術結合了生物醫學、工程學、心理學等領域的專業知識和技術，需要更多的跨學科合作，來共同推動 PSiFI 技術的發展和應用，拓展其在智能醫療、人機交互等領域的應用前景。

近年來，情感識別技術在人機交互、醫療健康等領域得到了廣泛關注和研究。除了 PSiFI 技術，還有許多其他相關研究取得了重要進展。

例如，基於圖像處理和深度學習的面部表情識別技術，以及基於聲音信號處理和模式識別的語音情感識別技術等。這些研究成果爲情感識別技術的發展提供了豐富的技術手段和方法。

隨着 PSiFI 等創新技術的不斷出現和應用場景的不斷擴展，在不久的將來，人們或許能夠更加智能、更加自然地與智能設備和系統進行交互，醫療健康管理也將變得更加個性化和精準。

到那時，也許機器比人更懂你。