MITのInstructMesh、AI生成3Dモデルを印刷前に初心者が修正できるようにする

AIの3D生成器は物体がどう見えるべきかは理解しているが、どう機能するかは理解していない——マグカップを3Dプリントするようプロンプトを出すと、コーヒーを入れられないカップができてしまうかもしれない。MIT CSAILのHCI Engineering GroupがMicrosoftのTRELLISにThingiverseの人気モデルを再現させたところ、ほぼ80%が構造的な欠陥を抱えて出力された。MIT CSAILがGoogleおよびNortheastern大学と共同で構築した「InstructMesh」はこのギャップに取り組むもので、MIT Newsが2026年10月1日に発表し、チームは11月のACM UISTシンポジウムでこれを発表する。

仕組みはこうだ。InstructMeshはTRELLISの3D生成とGPT-4の推論を組み合わせ、メッシュではなく生成器の潜在空間で編集を行う。ユーザーは設計図のうち変更したい部分をハイライトし、問題を自然言語で説明する。システムは「ユーザーが評価・承認できるよう、ジオメトリに解釈的な変更を加える」と筆頭著者のFaraz Faruqiは言う——これまで3Dモデリングツールの専門知識を要したプロセスを足場掛けするものだ。スライダーにより、特定の部分の拡大や押し出しなど、より細かい制御が可能になる。

検証では、CSAILはこれまで一度も3Dモデリングをしたことのない人々に欠陥の特定と修正を依頼した——MIT Newsによれば、専門家のレビューのもと、彼らは約90%の確率で両方を達成した（「これらの初心者に欠けていた専門性は、直感で補われた」）。彼らはさらにスマートフォンスタンドや花瓶などのアイテムを設計した。チーム自身は、尾を取っ手にしたドラゴンに包まれたマグカップ、貝殻型のホイッスル、レンズの上に蝶の羽が付いた眼鏡、タコ型のドリンクディスペンサー、患者向けのデニム風ニーブレース、モーターを隠したエビ型の「ブラシルボット」筐体を印刷した。

現在Googleに在籍するFaruqiは、より壮大な次のステップを描く。すなわち、周囲の環境の文脈で必要なものを説明すると3Dプリントされる拡張現実プラットフォームへのこのアプローチの組み込み——さらに、ボウルが落下に耐えられるかや最適な材料を予測する物理シミュレーションも加えるという。

メッシュではなく生成器の潜在空間で編集する。TRELLISとGPT-4を組み合わせ、ユーザーが部分をハイライトして何が問題かを述べ、解釈的なジオメトリ変更を承認できるようにする。

生成3Dモデルは数百万の形状を見てきたが、物体がどう機能するかは見ていない。そのため印刷物は見た目ではなく使用時に失敗する。

従来のメッシュ編集にはCADレベルの専門知識が必要で、3Dデザインの初心者には持ち合わせがない。

LLMの推論と潜在空間での編集により、「これの何が問題か？」をモデリング作業ではなく対話に変える。

ユーザーを承認者として保つことで制御を維持しつつ、生成器が実際のジオメトリを供給する。

生成器の出力が専門家の言う正確性で失敗する場合、編集を生成器自体に戻して処理する。初心者が直感を供給し、モデルがジオメトリを供給する。

チームは2026年11月のACM UISTでInstructMeshを発表する（論文arXiv:2608.28534）。Faruqiは現在Googleで働いており、このアプローチはARプラットフォームに組み込まれる可能性がある。計画中の作業では物理シミュレーションと、より小さな特徴の精緻化のための新しいTRELLIS.2が追加される。採用や商業的な数値はまだ存在しない。