MIT brachte einer CAD-generierenden KI durch Fütterung mit ihren eigenen Beinahe-Treffern bei

Ingenieure setzen zunehmend Vision-Language-Modelle ein, um 2D-Entwurfsskizzen in CAD-Code umzuwandeln, der 3D-Modelle für Simulation und Tests erzeugt – ein Schritt, der es ihnen normalerweise ermöglicht, einen Entwurf virtuell einem Crashtest oder Belastungstest zu unterziehen. Bestehende Modelle erzeugten jedoch oft CAD-Programme, die für die praktische Nutzung zu einfach waren, und die Forscher führten den Kernengpass auf einen Mangel an vielfältigen, hochwertigen CAD-Trainingsdaten zurück, nicht auf die Modellarchitektur.

Die Standard-Datenaugmentierung erzeugt mehr Trainingsbeispiele, indem sie bestehende zufällig verändert – Farbe, Größe, Form anpasst. Das von MIT geleitete Team entwickelte stattdessen GIFT: ein System, das neue Trainingsdaten gezielt auf der Grundlage dessen erzeugt, wo ein gegebenes Modell aktuell Schwierigkeiten hat. Es tastet das Modell bei einem CAD-Generierungsproblem mehrfach parallel ab, führt jedes erzeugte Programm aus, um die Korrektheit zu prüfen, und teilt die Probleme in drei Kategorien ein – immer richtig, immer falsch und etwa zur Hälfte richtig.

Die „immer richtig“-Probleme haben dem Modell nichts mehr beizubringen; GIFT verwirft sie. Die „etwa zur Hälfte richtig“-Probleme sind der Fokus von GIFT: Es korrigiert die Beinahe-Treffer zu funktionierenden Lösungen und fügt sowohl die Korrekturen als auch bestehende Erfolge einem neuen Trainingssatz hinzu. Dieser Prozess läuft über Inferenzzeit-Skalierung, sodass der Nutzer wählt, wie viel Rechenleistung er aufwenden möchte, ohne das zugrunde liegende Modell von Grund auf neu zu trainieren, und die gesamte Schleife erfordert keine menschliche Korrektur der Fehler des Modells.

Im Vergleich mit konkurrierenden Datenaugmentierungsansätzen erzeugten mit GIFT trainierte Modelle CAD-Programme, die besser zu den Referenzformen passten, während sie nur etwa 20 % der Rechenleistung benötigten. Der Hauptautor Giorgio Giannone beschrieb den Zielanwendungsfall so: GIFT auf ein leistungsschwaches CAD-Modell ansetzen, ein Rechenbudget festlegen und das System die eigenen Fehler des Modells in seine nächste Trainingsrunde umwandeln lassen.

Trainingsdaten nur aus den Problemen erzeugen, die ein Modell etwa zur Hälfte der Zeit richtig löst

Das Herausfiltern von Problemen, die ein Modell bereits 10 von 10 Mal löst, vermeidet es, Augmentierung für Beispiele zu verschwenden, die kein verbleibendes Signal zum Lernen mehr bieten.

Das Herausfiltern von Problemen, die es immer verfehlt, vermeidet es, Daten um Fälle herum aufzubauen, bei denen es keine teilweise Kompetenz gibt, auf der sich aufbauen ließe – das Erfolgsband von 50 % ist der Bereich, in dem ein Anstoß am zuverlässigsten einen Beinahe-Treffer in einen Erfolg verwandelt.

Die Korrektheit durch Ausführen des erzeugten CAD-Codes zu prüfen und nicht durch Ähnlichkeitsheuristiken zu bewerten, gibt GIFT ein Referenzsignal dafür, welche Versuche als korrigierenswerte Beinahe-Treffer gelten.

Die Augmentierung über Inferenzzeit-Skalierung auf einem bereits trainierten Modell laufen zu lassen, macht die Rechenkosten an das Budget des Nutzers anpassbar, ohne das vollständige Modell neu zu trainieren.

Wenn der Engpass eines Modells in generischen Trainingsdaten liegt, sollten neue Daten auf seine eigenen Grenzfälle ausgerichtet werden – die Probleme, die es teilweise richtig löst –, da diese pro Beispiel das am besten lernbare Signal tragen.

Die Arbeit, geleitet vom DeCoDE Lab des MIT in Zusammenarbeit mit dem MIT-IBM Computing Research Lab und Forschern, die heute bei Red Hat und IBM tätig sind, wurde auf der International Conference on Machine Learning vorgestellt. Die nächsten Schritte des Teams bestehen darin, GIFT auch auf die Fertigbarkeit der resultierenden 3D-Modelle zu erweitern, nicht nur auf geometrische Genauigkeit, und das Framework auf größere Modelle und ein breiteres Spektrum von CAD-Generierungsaufgaben anzuwenden. Die Forschung wurde teilweise vom MIT-IBM Computing Research Lab finanziert.