真實的虛擬世界：從深度“僞造”到深度“合成”
2020年12月21日，騰訊研究院和騰訊新聞共同推出的“騰訊對話·Tencent Dialogue：始於2020”舉行了第五期線上對談。此次騰訊對話着重探討AI深度學習爲基礎的深度合成技術（Deep Synthesis）的發展與應用。騰訊玄武實驗室負責人於暘、騰訊AI Lab視覺首席科學家劉威博士、中科院自動化研究所副總工程師張文生教授、電影《大聖歸來》出品人路偉圍繞深度合成技術展開了深入討論，此次對話由騰訊研究院院長司曉主持。
2014年，對抗生成網絡（GAN）被髮明，由AI打造的虛擬世界大門初現。此後，“AI深度合成”（Deep Synthesis）逐漸從實驗室飛入尋常百姓家，成爲普通人數字生活體驗的一部分。朋友圈中刷屏的換臉軍裝照、以假亂真的虛擬主播以及導航軟件中響起的明星語音都是這項技術的應用形式。AI深度合成帶來新奇體驗的同時也激起了衆多疑慮，“深度僞造”（Deepfake）的陰雲揮之不去。有了“Deepfake”, “眼見爲實”成爲過時的經驗，人們擔心這項技術會帶我們進入一個“真假混淆”的世界，其中個體安全感和社會信任都岌岌可危。
我們如何理解這項技術的現在和未來？深度僞造之憂如何破解？深度合成技術如何向善發展？以下是對話實錄摘要：
合成=僞造or合成=創造力？
司曉：深度合成技術在我們身邊有哪些應用？
劉威：在很多人的印象裡，合成和僞造是天然聯繫在一起的，但實際不是這樣的。我們有很多積極的應用形式。譬如圖像修復，也是一種合成。騰訊AI Lab也與敦煌、故宮都在討論，怎麼去用人工智能的技術，確切來說用對抗生成網絡的技術，去還原一幅古畫，用AI的想象修補殘缺。
路偉：深度合成在電影裡面的應用是越來越多了。以《大聖歸來》爲例，其中有一百多個角色，很多故事情節，我們要讓它們在虛擬場景裡影像化呈現。我們還用到了AI音效，建立角色的虛擬人格。老片《上甘嶺》的重映用到了AI去做色彩還原，效果還不錯。像中國電影資料博物館有非常多老片資源，今後都可以通過技術還原手段重獲新生，能達到2K、甚至4K的清晰度。
張文生：現在大家重視的都是一些語音和圖像的深度合成，實際上能合成的東西還有很多。比如一個城市系統的智能交通，本身也是在做合成，它是我們物理空間和數字空間的合成。
司曉：埃隆·馬斯克在一段訪談裡面講，按現在通過技術去仿真的能力的提升速度，我們總有一天能夠去用完全數字化的方式去還原或者模擬一個對人類來說真假難辨的世界。大家來開一下腦洞，大膽預測一下深度合成的未來？
路偉：現在的電影仿真技術已經能以假亂真。我們現在做電影，也在用一切辦法讓觀衆進入一個虛擬的真實世界，從環境、燈光、空氣密度、照度、色溫，然後角色的運動、擁抱、談笑，全部都要讓觀衆覺得它是真的。虛擬主播也開始出現，比如洛天依和初音未來是虛擬角色1.0版本，接下來肯定會有2.0、3.0版本。在未來的五到十年，我認爲虛擬明星的市場要遠遠大於真實世界的市場。
我認爲未來會出現“無邊界”的概念。特別是在AI和VR的時代，觀衆感受到的不只是感官的視覺、聽覺、味覺，還有情感的感受，它應該是更加真實的、更加入心的，有時候我是認爲在未來的真實的虛擬世界裡，虛擬和真實和邊界會慢慢模糊。我覺得現在的CG（計算機圖形）技術和計算能力，在不斷拓寬我們對世界的認知。
張文生：我們對深度合成的“深度”要求是與審美水平提高同步的。比如我們看到的AI主播，一開始是二維的，然後語音和圖像結合了，慢慢地把口型什麼都做得很好了。我想未來的三年，它有可能變成三維的、立體的一個場景。
只要有需求，有應用場景，這項技術就有市場。以電影製作爲例，當我們拍一些危險場景，就可以使用深度合成來完成，減少演員受傷。或者一些“大場面”，用實拍成本非常高，有時根本實現不了，比如想展現成千上萬只羊在山上跑，但是用深度合成就可以連羊鬍鬚這樣的細節都展顯出來。另外，一些想象層面的內容，比如把動物的動作附加到人身上，也可以通過技術實現。只要這些需求存在，技術一定會有大的突破。十年前，我們就在做裸眼3D，現在看，裸眼3D技術如果與深度合成技術結合，我相信那市場會更大。
司曉：我們看到的這些合成動作離真人的動作差距點還在哪？目前存在哪些瓶頸 ？
劉威：我們目前稱之爲“深度合成”的技術使用的是深度神經網絡，在此之前的合成用的是統計的方法，嚴格意義上不能叫做“深度合成”。統計的方法就是說我們想合成什麼東西，我會收集跟它很像的一些樣本，然後用統計手段去“猜”一下，把這個樣本拼在一起。2014年對抗生成網（GAN）被髮明，自此以後，相關應用的發展突飛猛進。
但是，就拿產生圖像來說，雖然這六年技術發生了巨大的進展，但是仍然離我們想象的那種高度自動化、高度自由度有很大的距離。何爲高度自動化呢？舉例來說，我們要產生一個非常逼真的人臉圖，當然需要這個人臉圖像分辨率越高越好。但是分辨率一大，你需要的算力就會很大，大到在手機上是完成不了的，必須在雲上做，用若干塊GPU才能做出來。
同樣，對於自由度來說，我們現在的合成技術也有很大侷限。通俗地說，自由度就是我想讓它產生什麼樣，就產生什麼樣，這個仍然很難。在對抗生成網絡發展的早期，我們是用一個噪音來產生一張人臉，最後產出的結果是無法把控的。直到今年，我們才能對生成的人臉的屬性有要求。背後我們要訓練的神經網絡模型參數是海量的，訓練方式也是非常複雜的。
儘管我們會遇到各種技術難點，我堅信未來用人工智能技術去自動產生的影像，會越做越好，日臻完美。
於暘：我想到的最重要的其實是感情。大家看一些電影，或者電視劇，有時會有這種情節：角色的親人故去之後，他可能去找一個巫婆、法師，把親人的魂魄招回來，讓我能再看他一眼，再跟他說一句話。現在，技術讓我們可能擁有了種魔法。未來肯定會有人有這種想法，有這種需求，這對技術提出了新的要求。
“深度合成本身應該是賦能的技術”
司曉：目前深度合成技術面臨污名化，“深度僞造”問題突出，我們怎麼樣保障我們這個技術不被用在造假、詐騙上？
劉威：在國內，騰訊在數字鑑僞——或者稍微學術一點，叫信息辯論術上取得了不小的突破。我們對語音、圖像、視頻鑑定的準確率比較可觀。當然，道高一尺魔高一丈，合成的技術變強，我們的防禦能力也得增長，這就像雙手互搏。
以目前的圖像鑑僞技術爲例，我們有一個步驟，先用對抗生成技術去製造高逼真的樣本，再把數據給計算機去判定，讓它多輪反覆學習。我對鑑僞技術的發展保持樂觀。可以看到，即使在國際上的數字鑑僞比賽中，面對非常複雜的數據集、測試集，大家最後奪冠那些方法也不外如此。而造假的成本遠遠比鑑僞要高，也就是說，有人挖空心思造了假，我們一下就解決了。
於暘：假的影像或者聲音，能不能騙過人？能不能騙過機器？這其實是兩個話題。有些場景下人比機器好騙。比如，騙子給你打電話冒充你的同學，你一聽口音，我這個山東同學怎麼是福建口音？但可能未來就不一樣了，騙子先打給你這個同學，錄一段你那個同學的聲音，根據那個聲音合成一下。你一聽，十幾年沒見，這好像就是我老同學的聲音，你就信了。
關於能不能騙過機器，在技術維度上，就是單純的機器造假和機器鑑別的較量。可能攻守雙方誰都不會特別確信能取得百分之百的優勢，但落地到具體的業務裡面的時候會發現，有時候會需要讓步。這個其實會給造假者提供便利。
張文生：這個可能還關乎商業模式，就是如何從經濟上激勵“打假”相關技術的開發。此外，從打假的思路來說，如果我們要加上語義識別，可能會更容易，成本也更低。比如在電話詐騙這個場景下，騙子用了合成的語音，我馬上問一個涉及隱私的問題，對方就答不上來了，這就是語義。
司曉：我們這個行業還需要做哪些事情，真正保障深度合成這個技術是在一個向善軌道上快速運行？
劉威：我個人希望從政策上鼓勵人工智能技術創新，尤其是影視內容層面應用的創新，來提高效率，降低製作流程的成本。同時我希望要能有一些文教方面的創新，包括老照片、老電影的上色、復原，在線教育領域的應用等等。這些都是正確的引導。在立法和技術鑑別手段逐漸完善的情況下，我覺得技術造假應該是小概率事件，整體上深度合成技術還是應該向善。
於暘：我們看整個人類發展歷史，其實就是個體所擁有的力量，不管是建設力也好，破壞力也好，力量越來越大的過程，這是不可避免的。任何情況下，冒然抑制技術發展我認爲都是不對的。法律不是禁止發展技術，而是規範如何把技術用在好的方面。我覺得這個是最關鍵的。
張文生：人工智能本身是賦能的技術。我們做技術實際上是圍繞人們的生活、社會的進步。深度合成會發展成一個新業態，全世界技術人員都會爲它貢獻自己的力量。同時，我們也需要相關的規範來約束違法的、不利於社會發展的技術使用方式。做技術的人，怎麼樣在這個“魔高一尺，道高一丈”的情況下更新技術，幫助政府和公民，用技術來解決問題。
路偉：對影視業來講，有關深度合成的核心關切是版權保護，虛擬資產、虛擬人物的版權歸屬都需要法律來界定。在科技發展之外，加上對版權的管理和尊重，這個行當會越來越健康。
司曉：各位對深度合成的發展還有哪些期待？
劉威：我期待深度合成技術能夠便利於文教、文創事業，孕育出更好的數字鑑別技術。我們今天談到的所有的一切，無論是合成、鑑僞，最後驅動的都是人腦，人的創意。我希望AI裡面會有越來越多的有溫度的東西，這樣我們才能讓AI持續向善。
於暘：在有現代科技之前，大部分人類生活的世界其實很小。但是以互聯網爲代表的現代科技讓我們每個人都能夠和全世界發生聯繫。再往後發展，類似深度合成這樣的技術，可以在我們已有的這種基礎上，再更進一步。這種技術可以把物理世界中不存在的美好創造出來，讓我們去感受，它必然會把人類生活的美好推到下一個境界。
張文生：我希望科技企業能夠把深度合成技術推動變成一個商業模式，來吸引更多的做技術的人爲之服務，做出來更好的產品。科技企業也有責任和政府一起關注深度合成技術的發展，保障它在正確的、向善的軌道上。
路偉：我希望通過深度合成，通過計算機網絡，能夠讓我們未來做電影、影視、虛擬世界越來越簡單，讓我們的作品越來越有溫度，讓更多的人能夠把自己掃描進虛擬世界。我希望在這個世界裡，人性的光輝照到更多角落裡面。