單圖解鎖全景視角！北大/港中文/騰訊等推出ViewCrafter | 已開源

隨便給張圖就能從更多視角查看全景了？！

話不多說，先看一波效果，單視角輸入be like：

難度升級，接下來換成雙視角，看起來銜接也非常絲滑。

以上來自ViewCrafter，由北大、港中文、騰訊等機構的研究人員提出，可以從單張或稀疏輸入圖像生成精確相機可控的新視角視頻。

還支持場景級文生3D、圖生3D、以及稀疏視角重建等應用。

目前論文和代碼均已開源，並提供了在線Huggingface demo供用戶使用。

ViewCrafter：一種新視角生成方法

傳統的新視角生成方法，如NeRF和3D-GS等技術，存在一個痛點：

這限制了它們在僅有稀疏（輸入圖像數量有限，不能提供完整視角或詳盡場景信息）甚至單張輸入視角的情況下的應用。

同時，傳統方法對訓練資源的需求較高，且不具備泛化能力，這限制了它們在訓練資源受限場景下的應用。

因此，ViewCrafter最終想實現：

這需要模型對3D物理世界有全面的理解。

接下來一起康康具體咋實現的。

概括而言，ViewCrafter是基於點雲先驗的可控視角視頻生成。

首先，快速多視圖/單視圖stereo技術的發展，使得從單張或稀疏圖像中快速重建點雲表徵成爲可能。

點雲表徵能夠提供3D場景的粗略信息，支持精確的相機位置控制以實現自由視角渲染。

然而，由於點雲的表示能力較弱，加之極其稀疏的輸入圖像只能提供有限的3D線索，重建出的點雲存在大面積的遮擋和缺失區域，並可能面臨幾何形變和點雲噪聲。

這些問題限制了其在新視角合成上的應用。

與此同時，在大規模視頻數據集上訓練的視頻擴散模型能夠深入理解3D物理世界，支持從單張圖像或文本提示中生成符合物理規律和現實世界規則的視頻內容。

然而，現有的視頻擴散模型缺乏顯式的場景3D信息，因此在視頻生成過程中難以實現精確的相機視角控制。

針對這些優缺點，團隊提出將視頻擴散模型的生成能力與點雲表徵提供的顯式3D先驗相結合，以實現相機精準可控的任意場景高保真度新視角視頻生成。

具體而言，給定單張或稀疏視角輸入圖像，團隊首先使用快速多視圖stereo方法構建其點雲表徵，以實現精準地移動相機進行自由視角渲染。

隨後，爲了解決點雲渲染結果中存在的大面積缺失區域、幾何失真和點雲僞影，團隊訓練了一個以點雲渲染結果爲控制信號的視頻擴散模型作爲增強渲染器。

這一渲染器能在粗糙的點雲渲染結果的基礎上進一步生成具有高保真度和3D一致性的新視角。

通過結合點雲提供的顯式3D信息以及視頻擴散模型的強大生成能力，新方法能夠在視頻生成過程中實現6自由度的精準相機位姿控制，並生成高保真度、一致性強的新視角視頻。

△相機軌跡規劃算法

此外，現有的視頻擴散模型難以生成長視頻，因爲長視頻推理會造成巨大的計算開銷。

爲了解決這一問題，研究採用了一種迭代式的新視角生成策略，並提出了一種內容自適應的像機軌跡規劃算法，以逐步擴展新視角覆蓋的區域和重建的點雲。

具體來說，從初始輸入圖像構建的點雲開始，團隊首先利用相機軌跡規劃算法，從當前點雲預測一段相機軌跡，以有效揭示遮擋和確實區域。

接着，團隊根據預測的軌跡渲染點雲，並利用ViewCrafter根據渲染的點雲生成高質量的新視角。

隨後利用生成的新視角更新點雲，以擴展全局點雲表徵。

通過迭代執行這些步驟，最終可以獲得覆蓋大視場範圍和擴展點雲的高保真新視圖，並支持高斯重建等下游任務。

具體應用上，基於ViewCrafter和提出的迭代式新視角生成算法，可以從單張圖像/稀疏視角甚至一段文字描述中進行3D高斯重建，以支持實時渲染和沉浸式3D體驗。

對比實驗

團隊從多個角度對比了新方法。

從新視角生成來看，團隊在Tanks-and-Temples，CO3D， RealEstate10K這三個真實世界數據集上與SOTA方法進行了定量和定性比較。

實驗結果證明，ViewCrafter在相機位姿控制的精準程度，以及生成新視角的視覺質量上都優於對比方法。

在場景重建方面，團隊在Tanks-and-Temples數據集上與稀疏視角重建領域的SOTA方法進行了定量和定性比較。

結果證明，ViewCrafter在3D高斯重建渲染出的新視角的視覺質量上也超過了對比方法。

文生3D結果如下。左邊顯示了文本提示以及文生圖效果，後面是最終的3D效果。

當然，團隊也進行了消融實驗。

比如利用點雲先驗作爲視頻擴散模型控制信號的有效性。

具體而言，一些同期工作採用普呂克座標作爲視頻生成模型的控制信號，以實現相機可控的新視角生成。

作爲對比，爲了驗證點雲控制信號的優越性，團隊訓練了一個以普呂克座標爲控制信號的新視角生成模型，並進行控制變量實驗，保證除了控制信號外其他模型結構與ViewCrafter一致。

兩個模型在新視角生成任務上對比結果如下所示：

實驗結果證明，不管是在新視角生成質量還是在相機控制的精準程度上，團隊使用的基於點雲的控制信號都要優於基於普呂克座標的控制信號。

另外，團隊驗證了模型對粗糙點雲的魯棒性。

如圖所示，對於作爲控制信號的點雲具有嚴重幾何形變的情況，模型依然能夠有效地進行幾何糾錯和空洞修補。

這證明了新方法對點雲控制信號的魯棒性。

概括下來，團隊驗證了ViewCrafter對於靜態場景的強大新視角生成能力。

接下來，團隊計劃探索和單目視頻深度估計方法結合，實現單目動態視頻的新視角生成和4D重建。

更多細節歡迎查閱原論文。