Le MIT a entraîné une IA génératrice de CAO en l'alimentant avec ses propres quasi-réussites

Les ingénieurs utilisent de plus en plus des modèles vision-langage pour transformer des croquis de conception 2D en code de CAO qui génère des modèles 3D destinés à la simulation et aux tests — une étape qui leur permet normalement de soumettre un design à des crash-tests ou des tests de résistance virtuels. Mais les modèles existants produisaient souvent des programmes de CAO trop simplistes pour un usage pratique, et les chercheurs ont identifié le goulot d'étranglement principal comme étant un manque de données d'entraînement de CAO diversifiées et de haute qualité, et non l'architecture du modèle.

L'augmentation de données standard crée davantage d'exemples d'entraînement en perturbant aléatoirement des exemples existants — en modifiant la couleur, la taille, la forme. L'équipe dirigée par le MIT a plutôt conçu GIFT : un système qui génère de nouvelles données d'entraînement en se fondant spécifiquement sur les points où un modèle donné rencontre actuellement des difficultés. Il échantillonne le modèle sur un problème de génération de CAO plusieurs fois en parallèle, exécute chaque programme généré pour vérifier son exactitude, et répartit les problèmes en trois catégories — toujours corrects, toujours faux, et à peu près à moitié corrects.

Les problèmes « toujours corrects » n'ont plus rien à apprendre au modèle ; GIFT les écarte. Les problèmes « à peu près à moitié corrects » sont ceux sur lesquels GIFT se concentre : il corrige les tentatives quasi réussies en solutions fonctionnelles et ajoute à la fois les corrections et les réussites existantes à un nouvel ensemble d'entraînement. Ce processus passe par une mise à l'échelle au moment de l'inférence, de sorte que l'utilisateur choisit la quantité de calcul à dépenser sans réentraîner le modèle sous-jacent depuis zéro, et toute la boucle ne nécessite aucune correction humaine des erreurs du modèle.

Testés face à des approches concurrentes d'augmentation de données, les modèles entraînés avec GIFT produisaient des programmes de CAO mieux alignés sur les formes de référence tout en n'utilisant qu'environ 20 % du calcul. L'auteur principal, Giorgio Giannone, a décrit le cas d'usage visé : pointer GIFT vers un modèle de CAO sous-performant, fixer un budget de calcul, et laisser le système convertir les propres erreurs du modèle en sa prochaine série de données d'entraînement.

Générer des données d'entraînement uniquement à partir des problèmes qu'un modèle réussit environ une fois sur deux

Écarter les problèmes qu'un modèle résout déjà 10 fois sur 10 évite de gaspiller l'augmentation sur des exemples qui n'ont plus de signal à enseigner.

Écarter les problèmes qu'il échoue toujours évite de construire des données autour de cas sans compétence partielle sur laquelle s'appuyer — la bande de 50 % de réussite est celle où une petite impulsion convertit le plus sûrement une quasi-réussite en succès.

Vérifier l'exactitude en exécutant le code de CAO généré, plutôt qu'en l'évaluant par des heuristiques de similarité, donne à GIFT un signal de référence pour déterminer quelles tentatives comptent comme des quasi-réussites dignes d'être corrigées.

Faire passer l'augmentation par une mise à l'échelle au moment de l'inférence sur un modèle déjà entraîné rend le coût de calcul ajustable au budget de l'utilisateur sans réentraîner le modèle complet.

Lorsque le goulot d'étranglement d'un modèle est constitué de données d'entraînement génériques, ciblez les nouvelles données sur ses propres cas limites, les problèmes qu'il réussit partiellement, car ce sont eux qui portent le plus de signal apprenable par exemple.

Ces travaux, dirigés par le DeCoDE Lab du MIT en collaboration avec le MIT-IBM Computing Research Lab et des chercheurs aujourd'hui chez Red Hat et IBM, ont été présentés à la Conférence internationale sur l'apprentissage automatique. Les prochaines étapes de l'équipe consistent à étendre GIFT pour optimiser également la fabricabilité des modèles 3D obtenus, et pas seulement leur exactitude géométrique, et à appliquer le cadre à des modèles plus grands et à un éventail plus large de tâches de génération de CAO. La recherche a été financée en partie par le MIT-IBM Computing Research Lab.