Исследователи Калифорнийского университета в Лос-Анджелесе (UCLA) разработали оптико-нейронный процессор для быстрого выявления дипфейков — поддельных видеозаписей, созданных или изменённых с помощью искусственного интеллекта. Устройство способно одновременно обрабатывать не менее 15 видеопотоков, тогда как традиционные цифровые системы обычно анализируют ролики последовательно.
Часть вычислений в новой технологии выполняется за счёт распространения света. Благодаря этому несколько видео проходят оценку за один оптический цикл, без поочерёдной загрузки каждого файла в цифровой вычислительный конвейер. Описание разработки опубликовано в журнале eLight в исследовании «Масштабируемая энергоэффективная оптико-нейронная архитектура для мультиплексного выявления дипфейков».
Систему создала команда профессора Айдогана Озкана. Сначала компактный цифровой кодировщик извлекает из видео пространственные, спектральные и временные признаки, после чего преобразует их в фазовый рисунок и выводит на программируемый пространственный модулятор света. Затем световой фронт проходит через пассивный оптический декодер в свободном пространстве, а парные фотодетекторы напрямую формируют оценку подлинности каждого ролика.
В испытаниях с видимым светом процессор одновременно проверял 15 видео из набора Celeb-DF. Средняя точность составила 97,79%, чувствительность — 99,86%, а специфичность — 95,72%; показатель чувствительности означает способность находить изменённые ролики. Доля ложноотрицательных результатов составила около 0,14%, а при увеличении нагрузки до 18 видео за один оптический проход точность сохранилась на уровне 96,13%.
Дополнительные пассивные дифракционные слои позволили повысить результативность системы примерно на 6,8% при проверке более сложных подделок. Такие фазовые элементы могут работать без дополнительного электропитания, поскольку выполняют вычисления за счёт дифракции света. Процессор также протестировали на видео, созданных моделью VEO-3 компании Google, и после минимальной донастройки он показал точность 94,80% и чувствительность 97,61% на ранее неизвестных примерах.
По данным ScienceDaily, оптическая архитектура продемонстрировала устойчивость к атакам типа «чёрного ящика» и обладает встроенной защитой от атак типа «белого ящика». Система сохраняла работоспособность при шуме, размытии, сжатии JPEG и экспериментальных смещениях компонентов, поскольку часть параметров вычислений физически закреплена в оптическом оборудовании и сложнее поддаётся измерению или обратной разработке. Разработчики предлагают использовать процессор как первый этап масштабной проверки: подозрительные видео после параллельного оптического анализа можно направлять на более глубокое исследование цифровыми моделями в задачах модерации контента, подтверждения подлинности медиа и безопасности.