AI 生圖、生影片已經不稀奇,但 3D 模型生成一直卡在「看起來像,細節卻經不起檢驗」的尷尬階段。微軟亞洲研究院在 2025 年底開源的 TRELLIS.2,直接把門檻壓到「丟一張圖、3 秒拿到可用 3D 資產」的程度,而且不是只能看不能用的玩具,它輸出的是帶完整 PBR 材質的 .glb 檔,可以直接丟進 Unity、Unreal Engine 或 Blender 使用。
微軟開源 TRELLIS.2:一張照片 3 秒生出高品質 3D 模型
從「實心泥塑」到高精度 3D 資產
現有的 3D 生成模型有幾個老問題:細節模糊、結構失真、碰到開放表面(像衣服、樹葉)或透明材質(玻璃、塑膠)就投降。微軟亞洲研究院在官方文章中用了一個很傳神的比喻:你輸入「透明玻璃瓶」,AI 卻給你一個實心泥疙瘩。TRELLIS.2 的核心突破是它發明了一種叫 O-Voxel 的全新 3D 表達方式。傳統方法依賴「等值面場」來描述立體形狀,這套做法有個致命缺陷:只認得封閉結構,碰到開放表面或內部空間就沒轍。所以以前的樹葉會被強制變成雙層厚片,杯子也無法真正「中空」。
O-Voxel 完全不走場表達路線,改用稀疏體素結構,能穩健處理任意拓撲,開放表面、非流形幾何、內部封閉空間通通沒問題。一片葉子就是薄薄一片,邊緣銳利;一個玻璃瓶內外壁分明,裡面的東西也清清楚楚。
完整 PBR 材質,不是事後貼皮
另一個大升級是材質。大多數 3D 生成流程是先生成白模、再貼紋理,過程中很容易出現紋理錯位或模糊。TRELLIS.2 的做法是在同一個 3D 空間裡同步生成幾何結構與 PBR 材質,包括基礎色、粗糙度、金屬度、透明度…這代表材質是「原生」附著上去的,不是事後補貼。
實際效果如何?金屬杯子會隨光線角度反光,粗糙布料呈現自然漫反射,透明玻璃瓶裡的東西清晰可見。這對遊戲開發和視覺特效來說,直接省掉一大段手工調整材質的時間。
40 億參數、3 秒出圖,靠的是 16 倍空間壓縮
TRELLIS.2 是一個 40 億參數的大型生成模型,用的還是標準 DiT 架構。能跑這麼快,關鍵在它內建的 SC-VAE(稀疏壓縮變分自編碼器)。這套壓縮引擎能做到 16 倍空間下採樣,把一個 1024³ 的全紋理 3D 資產壓到約 9.6K 個 latent tokens,重建後視覺上幾乎看不出損失[1]。
在 NVIDIA H100 上的表現是這樣:
- 512³ 解析度:約 3 秒(形狀 2 秒 + 材質 1 秒)
- 1024³ 解析度:約 17 秒(形狀 10 秒 + 材質 7 秒)
- 1536³ 解析度:約 60 秒(形狀 35 秒 + 材質 25 秒)
1536³ 是什麼概念?菠蘿表皮的尖刺根根分明,布料花紋與自然褶皺、甚至表面細小刮痕都能被完整還原。
100% 開源,訓練代碼也公開
TRELLIS.2 不是那種只有推理 demo 的「開源」。整份專案採用 MIT 授權,完整訓練代碼、預訓練權重全部放上 GitHub,這代表遊戲工作室可以拿自家素材庫 fine-tune,教模型直接生出符合工作室風格規範的 3D 資產。獨立開發者不用從零開始捏模型,丟一張概念圖就能拿到基礎模型,再在上面精修。
TRELLIS.2 GitHub 倉庫
硬體門檻也不算太誇張:需要一張 24GB VRAM 以上的 NVIDIA GPU(官方測試用 A100 和 H100),環境限定 Linux,CUDA 12.4 推薦[3]。Hugging Face 上也有官方 demo 可以直接試玩。
從遊戲開發到 3D 列印,應用場景很清楚
微軟亞洲研究院首席研究員楊蛟龍對 TRELLIS.2 的願景講得很直接:「讓 3D 生成像文生圖、文生影片一樣簡單。」
幾個已經浮現的應用方向:
- 遊戲開發:角色、道具、場景的基礎模型快速生成,大幅縮短建模工時
- 電商 3D 展示:拍一張產品照就生出可旋轉的 3D 展示模型
- 3D 列印:上傳照片 → 生成模型 → 直接列印成實體物件
- 影視特效:快速原型與場景預覽
社群對接下來的功能更新也很期待,呼聲最高的包括多圖輸入提升準確性、文字轉 3D、文字驅動模型修改等。TRELLIS.2 把圖像轉 3D 這條路從「技術展示」推到了「生產力工具」的階段。4B 參數、MIT 開源、3 秒出圖、完整 PBR,這組合在 2026 上半年幾乎沒有對手,有相關需求的朋友快去玩玩吧。


