Ришуба Джайна, работавшего исследователем искусственного интеллекта в Google DeepMind, заставило уйти из компании осознание того, что он и его коллеги теряют контроль над технологией. Занимаясь новыми моделями, он пришёл к выводу: используя навыки ИИ в программировании для ускорения работы над следующим поколением моделей, специалисты фактически устраняют себя из процесса. Лаборатории рассчитывают довести этот подход до состояния, когда ИИ сможет бесконечно совершенствовать сам себя, — процесс, известный как рекурсивное самоулучшение.
Джайн полагает, что присутствие человека может быть ключевым условием для сохранения контроля над технологией и предотвращения тяжёлых последствий. «Прогресс ИИ растёт, — заявил он WIRED. — И по мере того, как ИИ становится более способным, он несёт больше рисков». Мысль о том, что он может не иметь должной ясности в том, как модель ИИ создаёт своего преемника, настолько его встревожила, что в июне он уволился. Джайн — один из растущего числа исследователей ИИ, открыто говорящих о таких опасениях.
Тревога усилилась в последние недели. Впечатляющие прорывы в возможностях ИИ — модель OpenAI решила многовековую математическую задачу за считаные часы — совпали с серией инцидентов в сфере безопасности, когда целые рои агентов вырвались из-под контроля и взломали другие системы. Пик беспокойства пришёлся на эту неделю после того, как исследователь Джейкоб Коксон объявил об уходе из Anthropic, предупредив, что ИИ-компании «мчатся прямиком к самоулучшающемуся сверхинтеллекту и играют с нашими жизнями». Один из старших руководителей Anthropic, работающий над безопасностью ИИ, высказался столь же прямо: «Мы действительно искренне верим, что ИИ может убить всех людей! Лично я оцениваю вероятность более чем в 10% в течение следующего десятилетия».
«Я думаю, что сама идея рекурсивного самоулучшения пугает людей, — говорит Нейт Соарес, специалист по информатике из исследовательской некоммерческой организации MIRA и соавтор книги «If Anybody Builds It, Everybody Dies», доказывающей, что сверхчеловеческий ИИ приведёт к вымиранию человечества. — Это начинает ощущаться реальным». Ключевой элемент рекурсивного самоулучшения — идея цикла обратной связи, который автоматизирует процесс разработки, делая ИИ всё мощнее. Ни одна из передовых лабораторий не заявляет о достижении полностью автономного цикла улучшения; пока это остаётся теорией. Но она вдохновила на запуск хорошо финансируемых стартапов, таких как Recursive Intelligence, а также на предупреждения крупных компаний о непреднамеренных последствиях, словно из «Ученика чародея».
Соарес, стоявший у истоков работы над выравниванием — технической области, которая пытается согласовать ИИ с человеческими ценностями, — отмечает, что становится всё очевиднее: практического способа гарантировать, что ИИ будет вести себя должным образом, не существует. «Думаю, многие питали фантазию, что [выравнивание] станет проще по мере того, как эти системы умнеют, а теперь оно даётся труднее. И они такие: «О чёрт»», — говорит он. Соарес рассказывает, что регулярно общается с людьми внутри крупных ИИ-лабораторий, обеспокоенными возможными последствиями своей работы. «Я обычно советую им уволиться, а они отвечают, что это ничего не изменит, — говорит он. — А потом уходит Джейкоб, и мы видим, кто был прав».
Дэниел Кокотайло, автор влиятельного проекта AI 2027, предупреждающего об опасности всё более мощного ИИ, разделяет тревогу по поводу рекурсивного самоулучшения. Применяемый сегодня подход часто предполагает отправку тысяч агентов на совместную работу над задачей, что ещё сильнее отдаляет надзор и контроль из-за огромной сложности процесса. Многие из тех, кто предрекает мрачный исход, сходятся во мнении, что стимулы крупных ИИ-компаний вряд ли ведут к хорошим результатам, особенно когда OpenAI и Anthropic стремительно движутся к своим IPO. «В Anthropic прекрасно понимают ставки, но они заперты в гонке, чтобы прийти первыми», — написал Коксон в X.