Google и Google DeepMind в среду объявили о запуске DeepMind Institute — института, который займётся развитием дискуссии вокруг искусственного общего интеллекта (AGI). Руководителями организации стали сооснователь DeepMind Шейн Легг, топ-менеджер Google Джеймс Маника и председатель Google DeepMind Демис Хассабис. Легг также получил должность выпускающего редактора.
Создатели института намерены представлять разные позиции Google, Google DeepMind и международного научного сообщества по вопросам AGI. «Они не всегда будут соглашаться друг с другом и, вероятно, будут менять свои взгляды по мере появления новых данных и информации на быстро развивающемся переднем крае», — отмечается в объявлении, опубликованном на сайте DeepMind Institute.
Первый сборник института включает четыре эссе. В них рассматриваются экономическая политика для смягчения возможных последствий распространения AGI, сохранение понятного для человека объяснения рассуждений моделей, принципы обеспечения человеческого благополучия и система оценки наиболее передовых моделей искусственного интеллекта.
Исследователи DeepMind по безопасности Рохин Шах и Анка Драган считают, что сокращение возможностей наблюдать и проверять пошаговые рассуждения ИИ не является неизбежным. По их мнению, разработчикам и регуляторам следует напрямую учитывать риски, связанные с архитектурами, которые усложняют контроль над мощными моделями. Среди возможных мер авторы называют ограничение «непрозрачной последовательной глубины» — объёма вычислений без доступной для чтения цепочки рассуждений, — либо требование доказывать, что менее прозрачные системы остаются столь же контролируемыми.
В другом эссе Демис Хассабис предложил создать возглавляемую США международную структуру для оценки передовых моделей ИИ. На первом этапе разработчики могли бы добровольно направлять модели на проверку не позднее чем за 30 дней до выпуска, а после подтверждения эффективности системы прохождение тестов могло бы стать обязательным условием для внедрения таких моделей в США.
Поначалу оценки планируется разрабатывать совместно с компаниями, занимающимися искусственным интеллектом, однако позднее организация могла бы перейти к независимым закрытым проверкам. Такие «отложенные» тесты должны помешать лабораториям подстраивать модели под заранее известные критерии. Хассабис также допустил усиление требований, включая согласованное замедление разработки передовых систем, если этого потребует серьёзность ситуации. Появление эссе совпало с переходом дискуссии о безопасности ИИ от общих заявлений к конкретным мерам раскрытия информации, внешнего контроля и возможного согласованного замедления разработки.