AI視頻生成能操控運鏡了!輕鬆推拉昇降,秒拍電影大片,Runway出品
智東西編譯 汪越編輯 心緣
智東西11月7日報道,據VentureBeat報道,11月1日,美國明星AI視頻生成創企Runway爲其Gen-3 Alpha Turbo模型推出了新的AI相機控制功能。該功能允許用戶在基於文本提示、上傳的圖像或現有視頻生成新視頻時,進行更精細的AI攝像機控制、動態視角調整和創意鏡頭運動,從而創造出更加逼真和生動的3D效果。
此外,據VentureBeat報道,Runway還在積極研發能夠模擬物理世界的AI系統,稱爲“世界模型”。該系統的目標是創建一種能夠表示和模擬各種現實世界情況和交互的通用模型。
一、打造電影級3D視覺:精細控制、動態視角與創意鏡頭
Runway的高級AI攝像頭控件爲用戶提供了更精細的攝像機控制功能,使用戶能夠輕鬆實現對場景和主題的放大、縮小,同時保持AI生成角色的形態不變,以及背後背景的真實感,彷彿置身於真實的電影拍攝現場。
例如,用戶可以放大和縮小他們的場景和主題,甚至保留AI生成的角色形態和背後的背景,真實地將他們和他們的觀衆帶入一個完全實現的、看似3D的世界,就像在真實的電影佈景或外景地一樣。
除了精細的攝像機控制,Runway的新功能還支持用戶進行動態視角調整,實現水平移動、圍繞主題平滑地形成弧線,或是從不同的角度探索場景,極大地提升了視頻的沉浸感和視角多樣性。
例如,創作者可以使用水平運動圍繞一個主題形成平滑的弧線,或從不同的有利位置探索位置,增強沉浸感和視角。此外,還可以將各種攝像機移動與速度變化相結合,創造出視覺上更加引人入勝的循環或過渡效果。
新功能還支持用戶進行創意鏡頭運用,包括戲劇性的放大操作,深入具有電影質感的場景;或執行快速縮小,引入新的背景,轉移故事的焦點,爲觀衆帶來全新的視角體驗。
例如,用戶可以進行戲劇性的放大,更深入地進入具有電影風格的場景,或執行快速縮小以引入新的背景,轉移敘事焦點併爲觀衆提供新鮮的視角。緩慢移動攝像機的能力也被加入進來,使得攝像機能夠在場景中平穩滑行,適合強調細節或營造緊張氣氛。
從Runway在X平臺展示的這些新功能的視頻來看,這些控件顯著提高了控制的精確度,有助於AI電影製作人,包括與Runway合作的傳統好萊塢工作室如獅門影業,以更快、更經濟、更無縫的方式實現高質量的電影場景。
二、開發AI“世界模型”,願景是預知未來
Runway不僅致力於提供強大的視頻生成工具,還着眼於開發能夠模擬物理世界的“世界模型”。這類AI系統的目標是構建環境的內部表示,並用它來預測未來的事件。
據VentureBeat報道,當被問及Runway是否開發了3D AI場景生成模型時,Runway首席執行官Cristóbal Valenzuela回答說:“世界模型。” 該回答暗示了Runway對開發“世界模型”持開放態度,並可能在這方面進行研究和開發。
Runway的聯合創始人兼首席技術官Anastasis Germanidis在去年12月的一篇文章中談道,世界模型是一種AI系統,它能夠構建環境的內部表示,並用它來預測該環境中的未來事件。迄今爲止,世界模型的研究主要集中在非常有限和受控的環境中,例如視頻遊戲中的虛擬世界或自動駕駛汽車的模擬環境。
Germanidis還說,Runway的目標是創建一種能夠表示和模擬各種現實世界情況和交互的通用世界模型。正如最近推出的新相機控件所證明的那樣,Runway在構建此類模型並將其應用到實際場景中的進展非常順利。
結語:突破AI面部識別障礙,打造3D影視效果,Runway持續創新
Runway首席執行官Cristóbal Valenzuela曾經說過,AI是這個時代的攝像機。上個月,Runway推出了一項名爲Act-One的新功能,突破了AI面部識別的障礙,讓用戶能夠輕鬆製作高質量的動畫表情捕捉視頻。這個月,Runway又推出了高級AI相機控制功能,使用戶可以輕鬆創造出具有電影級3D視覺效果的視頻內容。
AI視頻生成市場競爭激烈,新的模型幾乎每週都會發布。在這一賽道上,Runway面臨着來自Adobe的Firefly、OpenAI的Sora、Meta的Movie Gen和Google的Veo等強大競爭對手的挑戰。但Runway作爲早期的領導者,沒有在技術能力上讓步。
來源:Runway、VentureBeat