MITs InstructMesh ermöglicht Laien, KI-generierte 3D-Modelle vor dem Druck zu reparieren

KI-3D-Generatoren verstehen, wie ein Objekt aussehen soll, nicht wie es funktioniert – fordert man einen auf, eine Tasse in 3D zu drucken, erhält man womöglich eine Tasse, die keinen Kaffee halten kann. Als die HCI Engineering Group des MIT CSAIL Microsofts TRELLIS beliebte Modelle von Thingiverse nachbilden ließ, kamen fast 80 % strukturell fehlerhaft heraus. „InstructMesh“, entwickelt vom MIT CSAIL mit Google und der Northeastern University, setzt an dieser Lücke an; MIT News kündigte es am 1. Oktober 2026 an, und das Team stellt es im November auf dem ACM-UIST-Symposium vor.

Das Arrangement: InstructMesh kombiniert die 3D-Generierung von TRELLIS mit der Schlussfolgerungsfähigkeit von GPT-4 und führt die Bearbeitung im latenten Raum des Generators statt im Mesh durch. Ein Nutzer markiert den Teil des Entwurfs, den er ändern möchte, und beschreibt das Problem in natürlicher Sprache; das System nimmt „interpretierende Änderungen an der Geometrie vor, die der Nutzer bewerten und genehmigen kann“, sagt Erstautor Faraz Faruqi – und gerüstet so einen Prozess, der zuvor Fachkenntnis in 3D-Modellierungswerkzeugen erforderte. Schieberegler ermöglichen eine feinere Steuerung, etwa das Vergrößern oder Extrudieren eines bestimmten Teils.

Der Test: CSAIL bat Personen, die noch nie etwas in 3D modelliert hatten, die Fehler zu identifizieren und zu beheben – laut MIT News gelang ihnen beides in etwa 90 % der Fälle, geprüft von einem Experten („was diesen Neulingen an Fachkenntnis fehlte, machten sie durch Intuition wett“). Anschließend entwarfen sie Gegenstände wie Handyhalterungen und Vasen. Das Team selbst druckte eine Tasse, die von einem Drachen umhüllt ist, dessen Schwanz als Henkel dient, eine muschelförmige Pfeife, eine Brille mit Schmetterlingsflügeln über den Gläsern, einen Oktopus-Getränkespender, eine kniehohe Schiene in Jeansoptik für einen Patienten und ein garnelenförmiges Gehäuse für einen „Bristle Bot“, das einen Motor verbirgt.

Faruqi, heute bei Google, beschreibt einen größeren nächsten Schritt: den Ansatz in eine Augmented-Reality-Plattform einzubetten, in der man im Kontext seiner Umgebung erklärt, was man braucht, und es dann 3D-gedruckt wird – dazu Physiksimulationen, um vorherzusagen, ob eine Schale einen Sturz übersteht und welche Materialien am besten geeignet wären.

Bearbeitung im latenten Raum des Generators, nicht im Mesh: TRELLIS mit GPT-4 kombinieren, Nutzer einen Teil markieren und sagen lassen, was falsch ist, interpretierende Geometrieänderungen genehmigen.

Generative 3D-Modelle haben Millionen von Formen gesehen, aber nicht, wie Objekte funktionieren, daher scheitern Drucke beim Gebrauch, nicht beim Aussehen.

Traditionelle Mesh-Bearbeitung verlangt CAD-Kenntnisse auf Expertenniveau, die Neueinsteiger im 3D-Design nicht haben.

LLM-Schlussfolgerung plus Bearbeitungen im latenten Raum verwandeln „Was ist hier falsch?“ in ein Gespräch statt in eine Modellierungsaufgabe.

Den Nutzer als Genehmigenden zu behalten, wahrt die Kontrolle, während der Generator die eigentliche Geometrie liefert.

Wenn die Ausgabe eines Generators an dem scheitert, was Experten Korrektheit nennen, leitet man die Bearbeitungen durch den Generator selbst zurück: Laien liefern die Intuition, das Modell liefert die Geometrie.

Das Team stellt InstructMesh im November 2026 auf dem ACM UIST vor (Paper arXiv:2608.28534). Faruqi arbeitet inzwischen bei Google, wo der Ansatz in eine AR-Plattform integriert werden könnte; geplante Arbeiten ergänzen Physiksimulationen und das neuere TRELLIS.2 zur Verfeinerung kleinerer Merkmale. Bislang gibt es keine Angaben zu Übernahme oder kommerziellen Zahlen.