看到照片你能聽到什麼?AI系統幫圖片配對聲音
▲一開始是透過 Google 街景來配對聲音。(圖/翻攝 nips2017creativity)
想像力就是你的超能力,美麗的照片會讓我們自然陷入情境之中,彷佛身歷其境並且能想像畫面裡頭的環境聲音。日本的 AI 研究人員將試着將人類的想像力,透過 AI 系統製作出來,讓人工智慧幫每一張圖片產生獨一無二的聲音。
「Imaginary Soundscape」是由東京大學三名教授協力研究的成果,網頁運用機器學習,幫圖片加上音效。AI 並沒有實際探訪,或是自行創造音樂,而是採用物體辨識的機制,判斷出圖片上的物件是什麼,在將物件與擁有 52,000 個檔案的的聲音數據庫進行配對。
▲儘管是貓咪的照片,但 AI 卻與蚊子、蜜蜂嗡嗡作響的聲音進行配對。(圖/記者黃肇祥攝,以下皆同)
▲這張高速公路拍攝的照片,則因藍天似乎被判定爲海邊?系統給出海浪拍打的聲音,不過記者實測相同的取景,另外一張照片確實有出現重機奔馳的聲音。
▲陽明山的繡球花,AI 給出鳥叫蟲鳴的配樂,確實與照片非常適合,彷佛置身於山林之中。
該網頁最早於今年 1 月推出,目標是將 Google 街景與音檔進行配對,現在則進一步開始判別單一照片,目前系統與音樂資料庫都不盡完美,沒辦法有效判別所有照片,但這卻以簡單的方式,展現 AI 的應用。讀者們可以試試看,不同照片會出現什麼樣的聲音喔!