機器人縫傷口、打結，手真不會抖，Hopkins、斯坦福ALOHA作者打造

機器之心報道

機器之心編輯部

會做外科手術的機器人，操作起來有模有樣。

機器人做外科手術已經發展到這種程度了嗎看起來非常嫺熟精湛，「手」很穩。

只見機器人的兩隻「手」在豬肉上靈活穿梭進行縫合打結：

力度拿捏得剛剛好，將「傷口」完美縫合：

機器人還能準確拾取放在各種物體上的縫針，而不會夾到其他東西：

準確地提起組織，以便後續觀察和操作。

上述研究便是來自霍普金斯大學、斯坦福大學共同研發的 da Vinci（達芬奇）機器人。

論文地址：https://surgical-robot-transformer.github.io/resources/surgical_robot_transformer.pdf

項目主頁：https://surgical-robot-transformer.github.io/

團隊成員包括翰霍普金斯大學的博士後 Ji Woong (Brian) Kim，師從 Axel Krieger 和 Chelsea Finn，這兩人也參與了這項研究；斯坦福大學博士生 Tony Z. Zhao，曾參與過 Mobile ALOHA、ALOHA 2 家務機器人的研究，他的導師是 Chelsea Finn；Samuel Schmidgall 是翰霍普金斯大學電氣與計算機工程專業的一年級博士生；Anton Deguet 爲翰霍普金斯大學助理研究工程師；Marin Kobilarov 爲約翰霍普金斯大學助理教授。

一直以來，關於機器人的研究主要集中在完成日常家務活動，在外科手術領域還沒有得到充分的探索，尤其是手術機器人公司 Intuitive Surgical 的達芬奇機器人。這些機器人已在全球部署，具有巨大的擴展潛力：截至 2021 年，已經有 67 個國家 / 地區使用 6,500 臺達芬奇系統進行了超過 1000 萬例手術，55,000 名外科醫生接受了該系統的培訓。

該研究探索了是否可以通過模仿學習在達芬奇機器人上學習外科手術操作任務。爲了實現這一目標，他們引入了一個相對動作策略（relative action formulation），其能夠使用近似運動學數據成功地進行策略訓練和部署。這種方法使得大量臨牀數據可以直接用於機器人學習，而無需進一步修正。最終的機器人在三項基本外科手術任務包括組織操作、針頭處理和打結上表現優異。

這個手術機器人得到了一衆網友的看好，直呼「不可思議」。

方法概覽

下圖 3 展示了 dVRK 系統，包括了機器人和用於醫生交互的遠程控制檯。dVRK 具有一個內窺鏡相機操縱器（ECM）和兩個患者側操縱器（PSM1、PSM2）， 它們共享一個機器人底座。每個機械臂按照被動設置關節（SUJ）順序組合，後面是機動化的主動關節。

被動關節僅使用電位器進行關節測量，因而非常不準確。主動關節同時使用了電位器和電機編碼器，精度得到提升。不過一般來說，在所有關節中使用電位器會導致機械臂的正向運動不準確，誤差甚至能達到 5 釐米。

研究者的目標是通過模仿學習來學習外科手術操作任務。考慮到機器人不準確的正向運動，選擇適當的動作表示至關重要。因此，他們研究了三種動作表示，分別是以相機爲中心、以工具爲中心以及混合相對（Hybrid Relative），具體如下圖 4 所示。

其中以相機爲中心的方法作爲基準，強調了將動作建模爲末端執行器絕對姿勢的侷限性。以工具爲中心的方法通過將動作建模爲相對運動得到改進並提高了成功率。混合相對方法通過對固定參考系的平移動作進行建模，相較於以工具爲中心的方法進一步得到改進，並提高了平移運動的準確性。

首先來看以相機爲中心的動作。研究者將以相機爲中心的動作建模爲末端執行器相對於內窺鏡頂部框架的絕對姿勢。這一設置類似於基於位置的視覺伺服應用程序（PBVS）的實現方式，成爲 dVRK 的天然選擇。

具體來講，在給定時間 t 的觀察值 o_t 時，目標是學習策略 π， 並預測動作序列 A_t,C = (a_t, ..., a_t+C)，其中 C 表示動作預測範圍。該策略被定義如下

其次是以工具爲中心的動作。研究者將以工具爲中心的動作建模爲相對於當前末端執行器框架（即移動身體框架）的相對運動。因此，以工具爲中心的動作被定義如下：

最後是混合相對動作。與以工具爲中心的動作類似，研究者將混合相對動作建模爲相對於兩個不同參考系的相對運動。其中增量平移是相對於內窺鏡頂部框架來定義，增量旋轉相對於當前末端執行器框架來定義。混合相對動作被定義如下

實驗結果

在數據收集期間，機器人的設置參考了下圖 5 中的配置。在此配置下，研究者收集了 224 次提起組織試驗、250 次拾取和交接針頭試驗以及 500 次打結試驗。所有試驗均由單個用戶在多天內收集完成。

評估相對運動與絕對正向運動的一致性。研究者試圖瞭解 dVRK 的相對運動是否比絕對正向運動表現出更強的一致性。爲了檢驗這一假設，他們遠程操縱了參考軌跡，比如圖 5 所示的無窮大符號。

然後將末端執行器置於相同的初始姿勢，並使用不同機器人配置下的不同動作表示來重現軌跡。這些不同的配置包括了將機器人的工作空間向左和向右移動。當然，這些工作空間的移動會導致機器人設置關節的移動，並且由於僅使用電位器進行關節測量，這些關節容易導致較大的測量誤差。

下表 1 展示了均方根誤差（RMSE）的數值結果。在參考配置中，由於設置的關節沒有移動，因而所有動作表示都精準地重建了參考軌跡。

此外，就相對動作表示而言，以工具爲中心和混合相對方法的參考軌跡在重複時更加一致，並且數值誤差沒有明顯變化。總之，在存在不一致關節測量誤差的情況下，dVRK 的相對運動比其絕對正向運動表現得更加一致。

接下來，研究者使用提起組織、拾取和交接針頭以及打結等不同的動作表示來評估策略性能。結果如下表 2 所示，以相機爲中心的動作表示在這三個任務中表現都很差。

而以工具爲中心的動作表示在三個任務中都表現出了更好的性能。不過在拾取和交接針頭過程中，當執行大的旋轉操作時，交接經常會失敗。尤其是在拾取針頭後，左夾持器必須旋轉 90 度左右才能將針頭轉移到另一隻機械臂上，如下圖 6 所示。在該運動階段，夾持器的方向似乎是對的，但平移運動似乎不正確，這可能是失敗的原因。