InstructMesh du MIT permet aux novices de corriger les modèles 3D générés par IA avant de les imprimer

Les générateurs 3D par IA comprennent à quoi un objet doit ressembler, pas comment il fonctionne — demandez à l'un d'eux d'imprimer une tasse en 3D et vous obtiendrez peut-être un récipient incapable de contenir du café. Lorsque le HCI Engineering Group du MIT CSAIL a fait recréer par TRELLIS de Microsoft des modèles populaires de Thingiverse, près de 80 % se sont révélés structurellement défectueux. « InstructMesh », développé par le MIT CSAIL avec Google et la Northeastern University, s'attaque à ce décalage ; MIT News l'a annoncé le 1er octobre 2026, et l'équipe le présente au symposium ACM UIST en novembre.

Le dispositif : InstructMesh associe la génération 3D de TRELLIS au raisonnement de GPT-4, et effectue les modifications dans l'espace latent du générateur plutôt que dans le maillage. L'utilisateur met en évidence la partie du plan qu'il souhaite modifier et décrit le problème en langage naturel ; le système effectue des « modifications interprétatives de la géométrie que l'utilisateur évalue et approuve », explique l'auteur principal Faraz Faruqi — encadrant ainsi un processus qui exigeait auparavant une expertise dans les outils de modélisation 3D. Des curseurs offrent un contrôle plus fin, comme agrandir ou extruder une partie donnée.

Le test : le CSAIL a demandé à des personnes n'ayant jamais modélisé quoi que ce soit en 3D d'identifier et de corriger les défauts — selon MIT News, elles y sont parvenues dans environ 90 % des cas, après examen par un expert (« ce qui manquait à ces novices en expertise, ils le compensaient par l'intuition »). Elles ont ensuite conçu des objets comme des supports de téléphone et des vases. L'équipe elle-même a imprimé une tasse enveloppée par un dragon dont la queue sert d'anse, un sifflet en forme de coquillage, des lunettes avec des ailes de papillon au-dessus des verres, un distributeur de boisson en forme de pieuvre, une genouillère à l'aspect denim pour un patient, et un boîtier de « bristle bot » en forme de crevette dissimulant un moteur.

Faruqi, désormais chez Google, décrit une prochaine étape plus ambitieuse : intégrer l'approche dans une plateforme de réalité augmentée où l'on explique ce dont on a besoin dans le contexte de son environnement et où l'objet est imprimé en 3D — avec en plus des simulations physiques pour prédire si un bol survit à une chute et quels matériaux conviendraient le mieux.

Modifier dans l'espace latent du générateur, pas dans le maillage : associer TRELLIS à GPT-4, laisser les utilisateurs mettre en évidence une partie et indiquer ce qui ne va pas, approuver des modifications interprétatives de la géométrie.

Les modèles 3D génératifs ont vu des millions de formes, mais pas le fonctionnement des objets ; les impressions échouent donc à l'usage, pas à l'apparence.

La modification traditionnelle de maillages exige une expertise de niveau CAO que les nouveaux venus en conception 3D n'ont pas.

Le raisonnement d'un LLM combiné à des modifications dans l'espace latent transforme « qu'est-ce qui ne va pas ici ? » en conversation plutôt qu'en tâche de modélisation.

Garder l'utilisateur comme approbateur préserve le contrôle tandis que le générateur fournit la géométrie proprement dite.

Lorsque la sortie d'un générateur échoue sur ce que les experts appellent la correction, renvoyer les modifications par le générateur lui-même : les novices apportent l'intuition, le modèle apporte la géométrie.

L'équipe présente InstructMesh à l'ACM UIST en novembre 2026 (article arXiv:2608.28534). Faruqi travaille désormais chez Google, où l'approche pourrait être intégrée à une plateforme de RA ; les travaux prévus ajoutent des simulations physiques et la version plus récente TRELLIS.2 pour affiner les petits détails. Il n'existe encore aucun chiffre d'adoption ou commercial.