Google DeepMind создала инструмент для изучения работы искусственного интеллекта

Компания Google DeepMind разработала новый инструмент для изучения работы искусственного интеллекта изнутри. Специалисты компании представили Gemma Scope - программу, которая помогает исследователям понять, что происходит во время генерации результатов искусственным интеллектом.

Руководитель команды механистической интерпретируемости в Google DeepMind Нил Нанда рассказал, что главная цель их работы - расшифровать алгоритмы внутри систем искусственного интеллекта. Команда стремится понять, как именно модель выполняет различные задачи, например, написание стихотворений, сообщает MIT Technology Review.

Для анализа особенностей работы модели Gemma специалисты DeepMind использовали инструмент под названием "разреженный автокодировщик". Его можно сравнить с микроскопом, который позволяет детально рассмотреть различные слои нейронной сети. Например, когда модели задают вопрос о чихуахуа, активируется категория "собаки", показывая все, что модель знает об этих животных.

Компания сделала Gemma и автокодировщики открытыми для общего доступа, чтобы другие исследователи могли изучать внутреннюю логику модели. Платформа Neuronpedia совместно с DeepMind создала демонстрационную версию Gemma Scope, где можно протестировать различные запросы и увидеть, как модель их обрабатывает.

Исследования в области механистической интерпретируемости могут иметь важное практическое применение. Например, команда под руководством Сэмюэля Маркса использовала разреженные автокодировщики для выявления предвзятости модели в отношении определенных профессий и гендера. Это позволило скорректировать работу системы и уменьшить подобные искажения.