Stability AI 最新發佈的研究預覽模型「Stable Virtual Camera」是一個創新的多視角擴散模型,無需複雜的 3D 建模,就能夠將 2D 圖像轉換成為具有真實深度和透視感的沉浸式 3D 影片。同時,它亦提供了靈活的 3D 攝影機控制,用家可以自定攝影軌跡,而預設的 14 種動態攝影機路徑包括 360°、雙紐線、螺旋、移動推拉、平移和滾動等等。並且能夠由一張或者最多 32 張的圖片生成長達 1000 frames 的連貫影片。這模型目前以非商業授權,主要作為學術研究。而相關的論文、模型權重和程式碼都已經公開下載。其它 Stability 3D 模型
DreamCatalyst 三維編輯架構
DreamCatalyst 是一個新穎的三維編輯架構,它改進了現有基於分數蒸餾採樣(SDS) 的方法,解決了訓練時間長和結果品質低的問題。DreamCatalyst 的關鍵在於將 SDS 視為三維編輯的擴散逆向過程,而不像現有方法那樣單純地蒸餾分數函數,使得更好地與擴散模型的採樣動態相協調。結果,DreamCatalyst 大幅縮短了訓練時間,並提升編輯品質,在速度和品質上都超越現有最先進的神經輻射場(NeRF) 和三維高斯散點(3DGS) 編輯方法,展現其快速且高品質的三維編輯能力。

Google 正在模擬整個物理世界
谷歌最近的人工智慧計畫是模擬整個物理世界的系統,谷歌認為這是通往通用人工智慧的關鍵路徑,以及它如何與谷歌更廣泛的人工智慧策略相連,這當然包括 Gemini。
這是 Google DeepMind 一項突破性的 AI 計畫:建構模擬整個物理世界的系統,以朝向通用人工智能 (AGI) 邁進。該系統整合了多模態數據 (例如影片、音訊和機器人數據),用以模擬真實世界的物理規律,並將應用於機器人、遊戲和科學研究等領域。 這項計畫展現 Google 擴展 AI 模型以達到前所未有的智能和真實感的雄心壯志,並預期將對各產業帶來革命性的影響,加速 AGI 的實現。
Genesis 生成式物理引擎
Genesis 是一個強大的、通用物理引擎,旨在為機器人和更廣泛的應用程式(如具身 AI 和物理 AI)提供服務。它不僅是一個輕量級且超快速的模擬平台,擁有易於使用的 Python 介面和逼真的渲染系統,更是一個生成式數據引擎,能根據自然語言提示生成各種模態的數據,例如物理準確的影片、機器人策略、以及複雜的 3D 場景和角色動作。其核心是從零開始重建的物理引擎,結合多種物理求解器,並由上層的生成式代理框架進一步增強,實現數據生成的自動化。目前已公開發布物理引擎和模擬平台的原始碼,生成式框架將逐步推出。 Genesis 的目標是大幅提升模擬效率和數據生成能力,促進機器人學及相關領域的研究與發展。

TRELLIS 3D 高品質三維模型

輸出的 3D 型以 Mixamo 加入 Rigging 教學
MV-Adapter 多視角影像生成
它利用創新的雙重自我注意力層和平行注意力架構,高效建模 3D 幾何知識,並整合了條件編碼器以處理不同輸入,例如文字、圖片或幾何資訊。實驗結果顯示,MV-Adapter 在不同基礎 T2I 模型和控制條件下,都能生成高保真、多視角一致的影像,展現其適應性和多功能性,為多視角影像生成設定了新的品質標準。
