Исследование MIT: генеративный ИИ не имеет целостного понимания мира

Исследователи Массачусетского технологического института провели новое исследование, которое показало интересные результаты в области генеративного искусственного интеллекта.

Ученые обнаружили, что популярная модель генеративного ИИ может с высокой точностью предоставлять пошаговые указания для навигации по Нью-Йорку, при этом не имея точного внутреннего представления о карте города. Когда специалисты проанализировали работу системы более детально, выяснилось, что в созданных моделью картах присутствовало множество несуществующих улиц, которые хаотично соединяли удаленные перекрестки, сообщает MIT News.

При тестировании модели исследователи закрыли некоторые улицы и добавили объезды. В результате эффективность системы резко снизилась - точность упала со 100% до 67% при закрытии всего 1% возможных улиц. Это наглядно показало, что модель не имеет целостного понимания пространственной структуры города.

Для оценки работы ИИ команда разработала две новые метрики. Первая определяет, может ли модель различать разные состояния системы, например, разные игровые доски. Вторая проверяет, понимает ли ИИ, что идентичные состояния должны иметь одинаковые варианты следующих ходов.

Результаты исследования продемонстрировали, что трансформеры могут показывать высокие результаты в определенных задачах без понимания базовых правил. По мнению ученых, для создания систем ИИ с точным представлением о мире потребуются новые подходы.

В дальнейшем исследователи планируют расширить спектр изучаемых задач, в том числе рассмотреть случаи с частично известными правилами. Также они намерены применить разработанные методы оценки к реальным научным проблемам.