5周訪問量暴增8倍多! 這款國產AI視頻生成器「壓番」Runway
機器之心原創
作者:Sia、 楊文
家人們,這難道不是一部電影的切片?
視頻鏈接:https://mp.weixin.qq.com/s/Qh5ySlq4L3tnYmWM_66SGw
來自@StevieMac03(I2V,圖生視頻)
誰能不被這頭甦醒過來的小飛象萌化?
使用了圖生視頻(I2V)last frame功能,來自@alexgnewmedia
講真,要不是在 X 上晃悠時突然被這幾個視頻 「砸中」,咱還真不知道 MiniMax ,中國估值最高的大模型公司之一 ,又悶聲整了個大活兒。
繃不住了,咋說碎就碎?
魔法降臨,石膏天使也會醒來。
這些海外「自來水」們秀出的「魔法」,正出自海螺 AI 10 月才上線的新功能「圖生視頻」。
五週前,MiniMax 發佈了視頻模型 abab-video-1,並在海螺 AI 網頁版上線了視頻創作入口(主要是文生視頻),正式入局 AI 視頻賽道。
旋即,海螺 AI 在過去一個月內迎來爆發式增長,月訪問量超 8 倍, 增速領跑全球 AI 產品。
在 AI 產品榜·網站榜( web )上,海螺 AI 網頁版 9 月訪問量在兩個增速榜排名第一,全球增速榜 TOP 1、國內增速榜 TOP 1,增速高達 867.41%。
視頻鏈接:https://mp.weixin.qq.com/s/Qh5ySlq4L3tnYmWM_66SGw
海螺 AI 官網鏈接:https://hailuoai.com/video
封印解除,創意狂歡
2024 年,沒有比 AI 視頻生成更「卷」的戰場。
海螺 AI「出征」不算早,上線僅過月餘,就吸引了大批專業人士,包括電影導演、製片人、數字藝術家、遊戲開發者、KOL 等,遍佈全球 180 多個地區。
無論創作者想要創作超現實主義作品、探索幻想和科幻主題,還是深入研究動漫和抽象視覺效果,海螺 AI 都能提供廣泛的選擇,滿足不同創作需求。
一系列惡搞英國「地獄廚神」Gordon Ramsey 的 AI 視頻,火爆出圈,網友用的正是海螺 AI 。
這位以爆粗口聞名的廚師總是捲入各種奇怪場面,要麼和一隻夾住襠部的龍蝦搏鬥,要麼穿着 Slayer(美國重金屬樂隊)的 T 恤敲打肉排,又或者坐在廚房中間的馬桶上。
再配上歡快的背景音樂,整個喜劇效果拉滿。
現實題材中,情緒表達一直是一個難題——無論是對 AI 、還是明星來說,但「自來水們」已冊封海螺 AI 爲「動畫表情之王」。
AI 設計師 Pierrick Chevallier 用過後驚呼「細節和真實感已經屬於另一個 Level 了。」
來自Pierrick Chevallier | IA @CharaspowerAI
新加坡電影導演 EHuanglu 用它生成了一位女性的面部特寫( T2V ),從快樂到悲傷,最後捂臉哭泣,情緒變化演繹相當到位。
該視頻已有近 30 萬次觀看,評論區上百位網友爭相抄作業。
科幻創作,也是很多專業人士、AI 愛好者一展創意的重要場景。
知名導演 Dave Clark 第一次利用海螺 AI 創作的星球大戰片段( T2V ),一度在網絡瘋傳。
試用了最新的圖生視頻( I2V )後,這位導演直言,「我一直在等待這種類型的恐龍運動。」
這隻外星生物的面部細微動作( I2V ),可還行?
來自Alexandra Aisling@AllaAisling
動漫題材( I2V )也不在話下。請注意,主人公的鞋子細節。
來自@02121976_yama2
除了提供廣泛的風格選擇,媲美電影的質感也給海螺 AI 再上大分。
看看這個視頻( T2V )。人物身體運動、情感表現以及整體畫面質感,越來越接近純粹的電影。
來自Particle Panic@Magiermogul
視頻鏈接:https://mp.weixin.qq.com/s/Qh5ySlq4L3tnYmWM_66SGw
據說,海螺 AI 不用特效模板,只依靠模型綜合能力實現最頂級的影視特效。
有導演曾在電影中使用 3D 軟件進行這種災難場面製作,但要達到類似效果非常困難。
現在,海螺AI( I2V )可以輕鬆完成。
來自tabi_yume@U7991688174711
一些網友、YouTube 主在比較海螺 AI 與最好的視頻生成器 Runway、國內快手的可靈後發現,在生成運動方面,海螺 AI 明顯屬於下一個 Level,尤其是人體動作的流暢性和逼真性,比 Runway、Luma AI 等競對都要好。
有博主甚至認爲,在人物動作上,海螺 AI 的性能足以媲美甚至超越市面上其他領先的 AI 視頻生成器。
你看,這個視頻中( I2V )的女人轉向一側,從眼鏡、頭髮、衣服到所有東西,均保持一致,海螺 AI 合乎邏輯地填補了缺失信息!
一位電影製作人使用海螺 AI( I2V )後覺得很瘋狂。
看第一幀,只能看見怪物的一隻胳膊和手。但海螺 AI 居然可以自己「腦補」出新胳膊和手,還完美地融入了現有視頻。
來自 Uncanny Harry AI@Uncanny_Harry
X 用戶 Heather Cooper 曾發起線上投票,針對同樣的提示,誰的表現最好?
評論區多數人將票投給了海螺 AI。
來自Heather Cooper@HBCoop_,提示詞,"Tracking shot of a curator standing and speaking to the camera as she welcomes museum guests. Warm, inviting atmosphere."
除了生成動作方面的領先,幾乎所有用戶都承認海螺 AI 文本響應很好,能夠較爲準確地將提示詞中的元素體現在視頻中。
士兵轉向攝像機,走向鏡頭,並用槍對準它,海螺 AI 抓住了每一個方位細節。
嚴格遵循指令中的運鏡要求,也是一個典型例子。
憑藉對 90 年代人物着裝風格、建築樣式的準確還原,以及特殊魚眼鏡頭下滑板動作的精準把控,這個視頻讓海螺 AI 在 reddit 中迎來好評。
目前,海螺 AI 視頻模型在 VBench(視頻生成模型評測框架)的第三方獨立測試結果中綜合排名第一,在畫面質量、連貫性、流暢性等多維度均處於領先地位。
最近,香港中文大學和騰訊研究人員通過「 VideoGen-Eval 」項目,對當前主流AI視頻生成模型進行了全面評估,肯定了海螺 AI 在文本控制方面突出能力,尤其在人物表情、運鏡、多鏡頭生成和主體動態方面表現優異。
除了老司機,對於此前未接觸過 AI 的新人而言,海螺 AI 也非常友好。
一位名叫 Ksenia_Galushkina 的藝術家新手,花了兩天半時間,用海螺 AI 生成 80 多條視頻,製作完成了這條迷你藝術片。
視頻鏈接:https://mp.weixin.qq.com/s/Qh5ySlq4L3tnYmWM_66SGw
超「戲精」的海螺 AI,要幹掉好萊塢?
俗話說得好,光說不練假把式。海螺 AI 視頻模型的實力究竟如何,還得看一手評測。
接下來,我們從海螺 AI 的拿手絕活開始試水。
打個響指,金箍棒秒變笛子
海螺 AI 上新的圖生視頻功能,不僅能準確識別上傳的圖片,還能準確理解超過圖片內容之外的複雜文本。
換句話說,創作者可以化身任性的導演,只需下個指令,海螺 AI 就會發揮充分的想象力予以實現。
例如,讓《武林外傳》中的佟掌櫃和邢捕頭,上演一出苦情戲。
(圖生視頻。Prompt:女人悲傷地哭了起來,男人抱住並安慰她。)
不得不說,海螺 AI 的生成效果相當驚豔。佟掌櫃眉一皺、嘴一撅,哭泣的表情非常逼真,邢捕頭擁抱的動作也很自然流暢。
更難能可貴的是,雖然表情變化和動作幅度都較大,但畫面並未崩壞。
再比如被網友玩壞了的「分心男友」經典梗圖。我們輸入 Prompt:穿紅衣服的女生轉身,三個人擁抱在一起。
海螺 AI 完美遵循了文字指令,紅衣女子轉身,和身後的一對情侶擁抱,整套動作一氣呵成,沒有任何卡頓。
尤其是六隻胳膊交疊在一起,很容易出現扭曲變形,但它生成的視頻中,幾乎沒什麼明顯的 bug。
我們還拿它各種「折騰」世界名畫《蒙娜麗莎》。
(Prompt:蒙娜麗莎拿起手機,然後打起了電話。)
(Prompt:蒙娜麗莎戴上墨鏡。)
海螺 AI 很會「無中生有」,手裡要麼掏出個大哥大式兒的手機,扣在耳邊假裝打電話;要麼摸出個賽博朋克風格的墨鏡,罵罵咧咧地架在鼻樑上,光影、色調等細節處理得都挺到位。
最讓人驚喜的,還得是它對圖片中物品的精準控制。
比如那張著名的地鐵老人看手機的表情包。
不少人應該都見識過他吃手機的 AI 視頻,這次我們來一次難度升級:老人拿着的手機變成雞腿,並吃了起來。
上一秒老人還嫌棄地看着手機,下一秒就變成了雞腿,然後大快朵頤。
爲了體現地鐵的高速運行,海螺 AI 對背景的渲染也很逼真,窗外的綠樹快速後撤,環境不斷變化,增強了沉浸感。
還有讓猴哥的金箍棒秒變笛子,由此可見,海螺 AI 能夠很好地解構指令框架和深層語義,並在視頻生成中加以整合。
(prompt:男子手中的棍子變成了笛子。)
一張自拍 + 一個目的地,想去哪就去哪
在電影《鏡像世界》中,導演使用大量特殊鏡頭和後期製作技術,讓小哥從鏡子中穿越到另一個時空。
而現在要完成這一效果,只需要一張自拍和一個目的地,海螺 AI 就能實現「跨屏」聯動。
例如,將一位美女的照片和一幅風景圖拼在一起,然後輸入 prompt:女子走向綠地,站在草地上,望着美麗的湖面,鏡頭緩緩左移。
來瞅瞅效果:
右邊的美女完美融合到左邊的草地場景中,並且主體從原場景進入目標場景後,光影、色調都會完美嵌入新場景的設定。
(prompt:女子走向紅色的森林列車,鏡頭緩緩左移。)
海螺 AI 按照文字描述,鏡頭隨着女子的運動軌跡而移動,拼接處也逐漸消失。
輕鬆搞定好萊塢級特效
AI 時代,要有一顆會整活兒的心。
網友們就開發出各種特效玩法,比如 CG 合成、碎片化、變身、爆炸、流體……
要知道,特效這玩意兒,那是嘎嘎費錢。就拿《阿凡達》來說,它的總製作成本爲 2.37 億美元,其中特效成本就佔了 1.5 億美元。
財大氣粗的電影製作公司可以狠砸真金白銀,但對於獨立電影人來說,一分錢都難倒英雄漢。
如今海螺 AI 不用特效模板,只依靠模型綜合能力就能輕鬆實現好萊塢級別的特效,真・人人都能當導演。
X 網友 Stylez Morales 就用了一張圖和一句提示詞,得到一段變身特效鏡頭。
一個變形金剛機器人突然變身成一輛超跑,在賽博朋克的街道上疾馳,這畫面,真有一種電影級別的超現實視覺效果。
(Prompt:dramatic action scene dynamic camera shot of a transformer robot running down a futuristic dystopian cybersteampunk street avoiding explosions and transforms into a highly advanced supercar to get away atmospheric cinematic hyperreal photorealistic award winning blockbuster movie directed by Michael bay)
再比如擬人特效。毛茸茸的玩具小鹿突然奔跑起來。
(Prompt:小鹿向前跑動。)
玩具小狗突然「復活」,還招朋引伴。
(Prompt:另一隻小狗走進畫面,兩隻小狗玩了起來。)
爆炸特效。《浴血黑幫》中的三兄弟大步流星往前走,身後的建築在一片爆炸中摧毀。
(Prompt:三個男人往前走,後面的建築爆炸。)
藝術審美在線
海螺 AI 在藝術審美上,也超能打。
它能用專業級調光與構圖營造美學氛圍,精細控制光影效果與景別變化,畫面質感媲美大片。
比如一隻擬人化的小羊在森林裡跳舞。
畫質高清,鏡頭緩慢推進,毛茸茸的小羊羔蹦躂着,耳朵也有節奏地上下扇動,效果絲毫不輸迪士尼動畫。
再來看看海螺 AI 製作的時尚大片。
女模特擺着各種時尚 pose,表情自然且富有表現力,頭髮也會隨着動作而飄動,大衣鈕釦等細節也處理得很精細。
(Prompt:Fashion blockbuster, the female model strikes a fashionable pose, with the camera following closely.)
我們還上傳了一張戴着墨鏡、身穿西裝、端着酒杯的男模特圖片,然後輸入 Prompt:男人開心地舉起酒杯,然後從畫面左側走出來一位美女。
海螺 AI 完成度相當高,畫面也沒有模糊、扭曲等問題。
與 Runway 同臺競技
沒有對比,就沒有發言權,讓海螺 AI 和 Runway 打個擂臺,誰強誰弱也就一目瞭然。
我們就先用 OpenAI 創始四人組的照片打頭陣。
上傳同樣的照片,輸入同樣的提示詞:The three people sitting on the sofa stand up and walk out of the frame to the left.
這是海螺 AI 的生成效果:
這是 Runway Gen-3 Alpha Turbo 的效果:
海螺 AI 嚴格遵循提示詞,坐在沙發上的 Ilya、Greg、Murati 站起來,向左走出畫面,獨留 Altman 站在原地凌亂;而 Runway 生成的畫面則崩得離譜,照片中的四個人飛出沙發,完全沒有遵循物理世界的運動規律,甚至還出現了腦袋 360 度旋轉的詭異畫面。
再來一個多人物場景。
Prompt:strong man with cowboy hat in bar drinking beer with several women
海螺 AI 生成的畫面,細節更豐富,場景更復雜,人物表情也更自然。
相比之下,Runway 的鏡頭較爲簡單,男子喝啤酒時,杯中的啤酒沒有減少,左邊女生的手部也出現了莫名其妙的動作。
Prompt:flying toward of a wide shot of an extremely large nuclear powered monster emerging from a fierce storm vortex walking over a city, epic shot in a cinematic fashion, pure destruction.
海螺 AI 的電影質感、畫面豐富度更高,怪獸展現得也更生動。
Runway 則直接缺失了怪物主題,沒有準確理解 prompt 的含義。
這可能是目前國內最好的視頻大模型。
而在已經體驗過的人羣中,他們毫無例外地將海螺 AI 歸入第一梯隊。
如果說,9 月的海螺 AI 已經令人印象深刻,那麼,新增 「圖生視頻」的海螺 AI 又更上一層樓。它並不完美,但比大家試過的許多 AI 視頻模型都要好。
神奇海螺的智慧和魔力是不容被質疑的,既然 Sora 遲遲不來,爲什麼不問問神奇海螺呢?
大家還等什麼?快去體驗一波吧。
海螺AI官網鏈接:https://hailuoai.com/video