MIT의 InstructMesh, 초보자도 출력 전에 AI 생성 3D 모델을 수정할 수 있게 해

AI 3D 생성기는 물체가 어떻게 보여야 하는지는 이해하지만 어떻게 작동하는지는 이해하지 못한다. 머그컵을 3D 프린트하라고 프롬프트하면 커피를 담을 수 없는 컵이 나올 수 있다. MIT CSAIL의 HCI Engineering Group이 Microsoft의 TRELLIS로 Thingiverse의 인기 모델을 재현하게 했을 때, 거의 80%가 구조적 결함을 보였다. MIT CSAIL이 Google, Northeastern University와 함께 개발한 'InstructMesh'는 이 간극을 공략한다. MIT News가 2026년 10월 1일 이를 발표했으며, 팀은 11월 ACM UIST 심포지엄에서 이를 선보인다.

구성은 이렇다. InstructMesh는 TRELLIS의 3D 생성과 GPT-4의 추론을 결합하고, 메시가 아닌 생성기의 잠재 공간에서 편집을 수행한다. 사용자는 청사진에서 바꾸고 싶은 부분을 강조하고 문제를 자연어로 설명한다. 시스템은 '사용자가 평가하고 승인할 수 있도록 형상에 해석적 변경을 가한다'고 제1저자 Faraz Faruqi는 말한다. 이는 이전에는 3D 모델링 도구에 대한 전문 지식이 필요했던 과정을 지원하는 것이다. 슬라이더는 특정 부분을 확대하거나 돌출시키는 등 더 세밀한 제어를 제공한다.

테스트는 이렇게 진행됐다. CSAIL은 3D 모델링을 한 번도 해본 적 없는 사람들에게 결함을 식별하고 수정하도록 요청했고, MIT News에 따르면 전문가의 검토 아래 이들은 약 90%의 확률로 두 가지를 모두 해냈다('이 초보자들이 전문성에서 부족한 것은 직관으로 메웠다'). 이들은 이어서 휴대폰 거치대와 화병 같은 물건을 디자인했다. 팀 자체는 꼬리를 손잡이로 한 용이 감싸고 있는 머그컵, 조개 모양 휘슬, 렌즈 위에 나비 날개가 달린 안경, 문어 모양 음료 디스펜서, 환자를 위한 데님 느낌의 무릎 보호대, 모터를 숨긴 새우 모양 '브리슬 봇' 케이스를 출력했다.

현재 Google에 있는 Faruqi는 더 큰 다음 단계를 설명한다. 주변 환경 맥락에서 필요한 것을 설명하면 3D 프린트되는 증강현실 플랫폼에 이 접근법을 접목하는 것, 그리고 그릇이 떨어져도 견디는지, 어떤 재료가 가장 적합한지 예측하는 물리 시뮬레이션을 더하는 것이다.

메시가 아닌 생성기의 잠재 공간에서 편집한다. TRELLIS를 GPT-4와 결합하고, 사용자가 부분을 강조해 무엇이 잘못됐는지 말하면 해석적 형상 변경을 승인한다.

생성형 3D 모델은 수백만 개의 형상을 보았지만 물체가 어떻게 기능하는지는 보지 못했기 때문에 출력물은 겉모습이 아니라 사용 단계에서 실패한다.

전통적인 메시 편집은 3D 디자인 초보자가 갖지 못한 CAD 수준의 전문성을 요구한다.

LLM 추론과 잠재 공간 편집은 '이거 뭐가 잘못됐지?'를 모델링 작업이 아닌 대화로 바꾼다.

사용자를 승인자로 남겨두면 생성기가 실제 형상을 제공하는 동안 제어권이 유지된다.

생성기의 출력이 전문가들이 정확성이라고 부르는 지점에서 실패할 때, 편집을 생성기 자체로 되돌려 보내라. 초보자는 직관을 제공하고 모델은 형상을 제공한다.

팀은 2026년 11월 ACM UIST에서 InstructMesh를 선보인다(논문 arXiv:2608.28534). Faruqi는 현재 Google에서 일하며, 이 접근법이 AR 플랫폼에 통합될 수 있다. 계획된 작업에는 물리 시뮬레이션과 더 작은 특징을 다듬기 위한 최신 TRELLIS.2가 추가된다. 아직 채택이나 상업적 수치에 관한 자료는 없다.