中科院院士張鈸：純粹數據驅動的人工智能不可靠 存在危險

8月19日，中國科學院院士、清華大學人工智能研究院院長張鈸在2022世界機器人大會主論壇上表示，純粹靠數據學習生成的人工智能不可解釋，處於不可控狀態，爲了避免危險，需要發展安全、可靠、可信的智能機器人。此外，張鈸對機器人的倫理行爲也提出了自己的思考，他認爲讓機器人完全遵守道德規範和機器人的智能化存在矛盾，需要通過研究新的倫理分析工具等方式解決該問題。

要把知識加到數據驅動中

“目前機器是人的奴隸，我們叫它做什麼它就做什麼。但是我們希望進一步發展智能機器人，這就存在另一種可能性，即機器人會不會成爲我們的主人？現在，大家越來越認識到這個可能性是存在的，阿西莫夫、霍金也提出過相關觀點，如果機器的智能超過我們，我們就失去對它控制，對於這樣的機器人要加以限制，加以治理。”張鈸說。

張鈸表示，當前機器人智能還很低的時候就處於不可控狀態，這讓人類面臨危險。“比如用深度學習的方法處理事情，生成的人工智能算法危險、不魯棒（魯棒性，指系統對異常情況的適應能力），沒有可靠性保證，如果使用這種人工智能算法，必然會對人類帶來傷害，這已經成爲現實問題。參考當前人工智能的發展狀況，此擔心看起來是一個近憂，而不是遠慮。”

在他看來，（人工智能）純粹靠數據驅動的方法必然不魯棒，必然不可解釋，必然不可靠。人在從事人工智能工作的時候就一定要考慮到相關的可能性，要解決這類問題，唯一的可能性就是加上知識，加上模型，辦法很簡單，但執行起來很困難，因爲把知識加到數據驅動中去，方法上要有很多改變。

張鈸表示，我們提出的第三代人工智能就是要解決第二代人工智能算法不安全，不可靠，不可信，不可控的狀態。第一代人工智能主要靠知識驅動，第二代人工智能主要靠數據驅動，這兩個方法都有片面性，必須把這兩個方法加起來，纔有可能發展安全的、可靠、可信的智能機器人。

機器人如何遵守道德規範？

張鈸表示，提出過著名“機器人三定律”的阿西莫夫曾說，如果機器人有了意識，如何讓機器人能夠按照倫理準則行動是一個問題。但實際上，什麼是道德以及什麼是不道德本身就存在非常大的爭議，如存在電車難題這樣的困惑，而且對於機器來說還要把道德和倫理形式化，這需要法律、道德、倫理各界的共同研究。

他認爲，假設給機器一個道德規範，也涉及機器人的行爲可控不可控的問題，“給機器加上人工智能就不可控了，因爲完全按照一個規則來執行的，不是智能機器人，只有給予其一定的靈活性，機器人才能有創造性，才能自主解決問題，這是必然要付出的代價。”

“而且我們對於一些技術本身都做不到預測，都不知道怎麼做出來的，例如用深度學習做模式識別，識別率提高非常多（記者注：深度學習的輸入和輸出的部分通俗易懂，但其中間的運算部分的構造是一個極其複雜難以理解的‘黑箱’），大家沒有預計到這種方法魯棒性非常差。目前，機器人被濫用的現象非常嚴重，機器人在設計的過程中，要做很好的評估和預測，不能隨便定一個規劃，對智能機器人要做非常嚴格的評估。”張鈸表示。

在他看來，可以通過研究新的倫理分析工具進行更好的倫理分析結果預測，利用深度學習方法對不道德和道德行爲給出樣本進行分析，以及通過仿真模擬大量實驗來解決安全性的問題和倫理問題。

中國科學院院士張鈸 2022世界機器人大會官方供圖

新京報貝殼財經記者 羅亦丹

編輯 王雨晨

校對 盧茜