MIT 的 InstructMesh 讓新手在列印前修復 AI 生成的 3D 模型

AI 3D 生成器理解物體應該看起來如何，卻不理解它如何運作——若提示它 3D 列印一個馬克杯，你可能得到一個裝不了咖啡的杯子。當 MIT CSAIL 的人機互動工程小組讓 Microsoft 的 TRELLIS 重建 Thingiverse 上的熱門模型時，近 80% 的成品在結構上有缺陷。由 MIT CSAIL 與 Google 及東北大學共同打造的「InstructMesh」正是針對這個落差；MIT News 於 2026 年 10 月 1 日公布，團隊將於 11 月在 ACM UIST 研討會上發表。

其安排是：InstructMesh 將 TRELLIS 的 3D 生成與 GPT-4 的推理配對，並在生成器的潛在空間而非網格中進行編輯。使用者標出藍圖中想更改的部分，並以自然語言描述問題；系統會「對幾何進行詮釋性變更，供使用者評估與核准」，第一作者 Faraz Faruqi 表示——為一個先前需要 3D 建模工具領域專業知識的流程搭建鷹架。滑桿提供更精細的控制，例如放大或擠出特定部位。

測試方面：CSAIL 請從未做過任何 3D 建模的人找出並修復缺陷——據 MIT News，他們約有 90% 的時間兩者都做到了，並經專家審查（「這些新手缺乏專業知識，卻以直覺彌補了」）。他們接著設計了手機架和花瓶等物品。團隊本身則列印了一個被龍環繞、以龍尾為握把的馬克杯、一個貝殼形哨子、一副鏡片上方有蝴蝶翅膀的眼鏡、一個章魚飲料分裝器、一個給病患使用的牛仔布外觀膝支架，以及一個藏有馬達的蝦形「刷毛機器人」外殼。

現於 Google 任職的 Faruqi 描述了一個更宏大的下一步：將此方法納入擴增實境平台，讓你在周遭環境的脈絡中說明需求，它就會被 3D 列印出來——再加上物理模擬，以預測碗能否承受掉落，以及哪些材料最合適。

在生成器的潛在空間而非網格中編輯：將 TRELLIS 與 GPT-4 配對，讓使用者標出部位並說明哪裡有問題，核准詮釋性的幾何變更。

生成式 3D 模型見過數百萬種形狀，卻沒見過物體如何運作，因此列印品在使用時失敗，而非外觀上失敗。

傳統網格編輯需要 CAD 等級的專業知識，而 3D 設計新手並不具備。

LLM 推理加上潛在空間編輯，把「這哪裡有問題？」變成對話，而非建模任務。

讓使用者擔任核准者，既保留控制權，又由生成器提供實際幾何。

當生成器的輸出在專家所謂的正確性上失敗時，將編輯導回生成器本身：新手提供直覺，模型提供幾何。

團隊將於 2026 年 11 月在 ACM UIST 發表 InstructMesh（論文 arXiv:2608.28534）。Faruqi 現於 Google 任職，該方法可能被納入一個 AR 平台；計畫中的工作將加入物理模擬，以及用於細化較小特徵的較新版本 TRELLIS.2。目前尚無採用或商業數據。