Исследователи MIT, Google и Северо-Восточного университета разработали InstructMesh — систему для создания и редактирования трехмерных моделей, предназначенных для последующей печати. Она помогает получать не только внешне привлекательные, но и пригодные для использования предметы. О проекте сообщила пресс-служба Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL).
Проблема генеративных моделей заключается в том, что они хорошо воспроизводят внешний вид объекта, но не всегда учитывают его назначение. Поэтому напечатанная по запросу пользователя кружка может оказаться неспособной удерживать кофе. Исправлять такие ошибки обычно сложно, особенно людям без опыта работы с трехмерными редакторами.
InstructMesh позволяет описать нужный предмет словами, получить его трехмерную модель, а затем выделить на чертеже отдельные участки для доработки. Система объединяет TRELLIS — инструмент Microsoft для создания 3D-моделей по текстовым и визуальным запросам — с языковой моделью GPT-4, поддерживающей ChatGPT. По словам ведущего автора проекта Фараза Фаруки, такой подход соединяет способности генераторов трехмерных объектов с возможностями языковых моделей рассуждать и понимать инструкции.
С помощью InstructMesh ученые создавали необычные версии обычных вещей. Среди примеров — кружка в форме дракона с хвостом вместо ручки, синяя свистулька, напоминающая раковину, и очки с крыльями бабочки над линзами. Кроме того, программа помогла сделать диспенсер в виде осьминога, который может одновременно направлять жидкость из щупалец в несколько стаканов.
Система подходит и для более практических задач. Исследователи изготовили коленный фиксатор с внешним видом джинсовой ткани, а также робота, похожего на разноцветную креветку: внутри корпуса находится мотор, благодаря которому устройство скользит по поверхности. При проверке на моделях с платформы Thingiverse около 80% созданных TRELLIS объектов имели конструктивные дефекты. Новички смогли обнаружить и исправить такие проблемы примерно в 90% случаев, что подтвердил эксперт.
Участники испытаний также создавали подставки для телефонов и вазы, используя текстовые команды и ползунки для точной настройки отдельных деталей. В дальнейшем авторы хотят добавить в InstructMesh физические симуляции, чтобы заранее оценивать, например, выдержит ли миска падение и какие материалы лучше выбрать. Фаруки, который теперь работает в Google, рассматривает возможность интеграции системы в платформу дополненной реальности: пользователь сможет описать потребность с учетом окружающей обстановки, после чего устройство быстро напечатает подходящий предмет, например чехол для телефона в стиле кошелька.
В работе также планируют использовать обновленную версию TRELLIS.2 для обработки мелких элементов трехмерных моделей. Старшим автором исследования стала доцент MIT Стефани Мюллер, а среди соавторов — специалисты Google, Северо-Восточного университета и CSAIL. Проект частично финансировали Google и совместная исследовательская программа MIT-HPI; представить результаты ученые намерены на симпозиуме ACM по программному обеспечению и технологиям пользовательских интерфейсов в ноябре.