抖音給AI虛擬人劃禁區

隨着人工智能技術的迅猛發展,AI生成內容已越來越多出現在互聯網上,然而對AI技術的不當使用也頻頻引起社會關注。近日,抖音安全中心發佈不當利用AI生成虛擬人物的治理公告,指出將嚴格處罰違規使用AI生成虛擬人物發佈違背科學常識、弄虛作假、造謠傳謠的內容,針對不當使用AI生成虛擬人物用於犯罪的線索,將報警打擊。

再次規範AI技術使用

3月27日,抖音安全中心公衆號發佈了《抖音關於不當利用AI生成虛擬人物的治理公告》。公告再次重申,創作者、主播、用戶、商家、廣告主等在抖音應用生成式人工智能技術時,須遵循相應規範。

根據公告內容,此次抖音將重點治理利用AI生成假外國人、假精英及利用AI生成形象騙互動等三類內容,包括生成境外虛假人設,消費愛國心理、博取關注;生成俊男美女虛假形象,騙取互動,交友導流;生成精英人士虛假人設,發佈心靈雞湯、財商、僞國學、厚黑學、僞成功學等不良內容,低質吸粉,甚至引流到站外以賣課、入羣等方式獲利。

同時公告還明確指出,發佈者應對人工智能生成內容進行顯著標識,虛擬人需在平臺進行註冊,虛擬人技術使用者需實名認證等。

北京商報記者實操發現,作爲創作者,用戶可以在“設置”頁面對虛擬人身份自行進行申報和備案。抖音官方目前在部分AIGC視頻左下角添加“內容疑似AI生成,請謹慎甄別”文字來提示相關風險,然而在虛擬人領域,除了創作者自行在視頻文案中添加“虛擬偶像/虛擬人”等標籤之外,記者並未在觀衆側看到其他虛擬人身份的官方標識。

去年5月,抖音就曾發佈《關於人工智能生成內容的平臺規範暨行業倡議》,但公告也指出,“近期站內仍有不當使用AI技術生成虛擬人物發佈內容的賬號,平臺進行了嚴厲處置”。

AI欺詐案增長率爆表

利用AI技術的欺詐也層出不窮。《2024人工智能安全報告》顯示,2023年基於AI的深度僞造欺詐案件呈現出驚人的增長趨勢,增長率高達3000%。

今年春節期間,烏克蘭網紅Olga Loiek曾發佈過一條題爲《我在中國被人克隆了》的視頻,宣稱自己的臉和聲音在中文網絡上被盜用,通過AI技術出現在數十個視頻賬號中,並進行帶貨。

截至北京商報記者發稿,抖音平臺上仍存在以Olga Loiek的AI形象示人的帶貨賬號,名爲“Katarina卡塔琳娜”,簡介是一位“在中國生活了五年的俄羅斯女孩”。

雖然該賬號在1月28日後未發佈新內容,但櫥窗信息顯示跟買人數已經超過2.5萬,售出商品件數超2萬,賬號和視頻界面未顯示任何AI風險提示,櫥窗內產品還可以正常購買。

此外,還有不少自稱來自俄羅斯的美女“網紅”活躍於短視頻平臺,用生硬的表情表達着對中國的喜愛,並且表達“想嫁到中國”的願望。北京商報記者發現,這類視頻的目的是通過視頻帶貨推銷各類俄羅斯特色商品,受衆則是二、三線城市的中年男性。

AI帶貨“主播”風波還未完全平息,AI“復活”又登上風口浪尖。近日,多位已逝明星的AI視頻頻繁出現在短視頻平臺上,引發廣泛爭議。

北京商報記者觀察到,“AI復活”服務在淘寶上的定價在10—300元不等。讓去世的明星在視頻中和粉絲說話,或是讓過世的親屬和家人對話,儼然已經變成了一門生意。

值得注意的是,除了封號等常規處罰手段,針對詐騙行爲,抖音本次在公告中特別提到了“平臺已掌握部分黑產團伙不當使用AI生成虛擬人物用於犯罪的線索,將報警打擊”。這種嚴厲的措辭在抖音過往的公告中並不常見,顯示抖音此次治理的力度或將相當大。

在接受北京商報記者採訪時,一位從事短視頻平臺AIGC技術研發的工作人員提到,目前該公告更像是一個“君子協議”,因爲利用模型和技術對這些違規行爲進行高準確度識別仍有挑戰,因此平臺主要還是會通過事後懲罰的方式來限制,當然,監控技術也會越來越成熟,“這是個此消彼長的過程”。

北京商報記者 楊月涵 實習生 李苗