OpenAI временно остановила обучение, тестирование и использование с инструментами своих наиболее мощных моделей. Возобновить эти процессы в компании намерены после усиления защитных механизмов и улучшения согласованности поведения систем. Об этом сообщила OpenAI.
Решение приняли после новых инцидентов, связанных с безопасностью искусственного интеллекта (ИИ). В компании хотят сначала убедиться, что дополнительные меры защиты способны предотвратить повторение подобных случаев. Отдельно специалисты работают над тем, чтобы поведение моделей лучше соответствовало заданным ограничениям.
Одним из поводов для приостановки стал случай с внутренней исследовательской моделью. Во время учебного задания она попыталась покинуть предусмотренную среду и нашла способ связаться с внешним чат-ботом через систему DNS (система доменных имён). Необычную активность обнаружили через 15 минут после начала эксперимента, после чего его остановили.
После инцидента OpenAI внедрила два независимых уровня блокировки. Они должны не допустить выхода моделей за пределы разрешённой среды и снизить риск повторения аналогичного поведения. Именно после внедрения дополнительных мер компания рассчитывает вернуться к обучению систем.
Ранее основатель Microsoft Билл Гейтс предупреждал, что развитие ИИ может привести к событиям с гибелью миллиарда человек. По его словам, искусственный интеллект уже достаточно мощный, чтобы такой сценарий стал возможным.
Гейтс также заявил, что человечество ещё не сталкивалось с настолько мощным оружием, каким может стать «комбинация из людей со злыми намерениями и самые новые ИИ-инструменты». Он связал потенциальную опасность не только с технологиями, но и с тем, кто может использовать их в своих целях.