Исследователи из Университетского колледжа Лондона (UCL) восстановили короткие видеоролики по активности мозга мышей. Животные смотрели записи, а учёные фиксировали работу отдельных клеток зрительной коры. Затем система создавала версии видео, близкие к увиденному мышами.
Результаты опубликованы в журнале eLife. Работа может помочь точнее изучить обработку зрительной информации и в будущем сравнивать восприятие одинаковой обстановки у разных видов. Ранее в подобных экспериментах с людьми применяли функциональную магнитно-резонансную томографию (фМРТ), однако она давала более общие сведения об активности мозга.
Для нового метода использовали записи отдельных нейронов, полученные с помощью микроскопической съёмки изменений уровня кальция в клетках. Исследователи также учитывали движения мышей и изменения диаметра их зрачков. На основе этих данных модель оценивала реакцию нейронов на просмотр видео, а алгоритм постепенно менял пиксели первоначально пустого ролика.
Методику проверили на десятисекундном видео, которого не было среди материалов для обучения модели. Используя только активность мозга мыши во время просмотра, система смогла восстановить ролик, похожий на исходный. Руководитель исследования Джоэл Бауэр из Sainsbury Wellcome Centre при UCL отметил: «Using this approach, we were able to achieve high-quality reconstructions of 10-second video clips. The accuracy of the reconstructions improved with the inclusion of data from more individual neurons, demonstrating the importance of comprehensive neural data.»
Для оценки результата учёные сравнили соответствующие пиксели оригинального и восстановленного видео. Анализ показал лишь небольшие различия во времени отображения сцен, но разрешение изображений и охват зрительного поля пока требуют улучшения. Как сообщил ScienceDaily, дальнейшая работа будет связана со сбором данных для более чётких реконструкций и восстановления большей части того, что видят животные.
Учёные намерены выяснить, насколько внутреннее представление окружающего мира отличается от реальной картины перед глазами. По словам Бауэра, мозг не создаёт идеальную копию действительности: зрительная система изменяет и фильтрует поступающую информацию. «We don’t have a perfect representation of the world in our heads. The visual processing pipeline skews and warps our representation in a way that modifies information. This deviation between reality and representations in the brain is not necessarily an error but a feature, reflecting how our minds interpret and augment sensory information. We want to explore how this happens in the brain.»