Учёные и исследователи всё чаще обсуждают рекурсивный интеллект — способность искусственного интеллекта учиться у других систем ИИ. Однако, по словам специалиста, считать такую технологию уже существующей в полноценном виде преждевременно. Об этом говорится в интервью, опубликованном Wired.
Эксперт объяснил, что в сфере ИИ нередко используют «стремящиеся» названия, которые опережают реальные возможности технологий. В качестве примера он привёл машинное обучение: сам подход существует, но его название не означает, что машина действительно обладает человеческими способностями. По той же причине наличие отдельного направления curriculum learning (обучения по учебной программе) ещё не доказывает появление полноценного рассуждения.
Собеседник также сослался на работы Сами Бенджио, ранее руководившего им и ныне возглавляющего исследования машинного обучения в Apple. По его словам, во многих исследованиях команды Бенджио показано: достаточно немного изменить тесты для оценки рассуждений, и результаты моделей резко ухудшаются. Это указывает на работу с выученными закономерностями, а не на настоящее рассуждение.
Отдельно эксперт раскритиковал термин chain-of-thought reasoning (рассуждение по цепочке мыслей). Модели формируют последовательности токенов — отдельных элементов текста, — но исследователи не знают, действительно ли система «думает» и существует ли у неё цепочка рассуждений. Тем не менее такое поведение называют рассуждением, что создаёт впечатление уже достигнутых возможностей.
Проблемой остаётся и проверка научных заявлений компаний. Для полноценной оценки необходим доступ к данным, программному коду, обучающим и тестовым наборам, однако разработчики обычно их не раскрывают. Если тестовые задания попали в обучающую выборку, сравнение напоминает подготовку к экзамену по заранее известным вопросам, а не независимую проверку способностей.
Эксперт призвал не переносить заявления из пресс-релизов напрямую в законодательные инициативы и журналистские материалы. По его словам, достоверная научная оценка требует времени, открытой методики, обучающих и проверочных данных, чтобы результаты могли воспроизвести другие исследователи. Поэтому человеческое мышление и рассуждение пока нельзя считать воспроизведёнными современными системами ИИ.