Впервые ученые успешно реконструировали 10-секундный видеоклип мыши, используя только активность ее мозга, открыв новое окно в понимание того, как мозг кодирует и обрабатывает визуальный опыт. Это достижение принадлежит исследовательской группе под руководством Университетского колледжа Лондона (UCL). Соответствующая статья недавно была опубликована в журнале «eLife».

В последние годы нейробиология по-прежнему фокусируется на том, как человеческий мозг «склеивает» мир, который мы видим, из сигналов, получаемых глазами. Предыдущие исследования в основном показывали добровольцам изображения или видео с помощью оборудования для визуализации, такого как функциональный магнитный резонанс, а затем пытались расшифровать визуальную информацию об активности мозга до одного пикселя. Эта работа продолжает эту общую цель, но решила отслеживать активность зрительной коры посредством записи на уровне отдельных клеток у мышей, чтобы получить более подробную картину визуального представления мозга.

Используя только данные об активности зрительной коры мышей, команда смогла реконструировать ранее просмотренные видеоклипы с участием мышей с удивительным качеством. Первый автор статьи, Джоэл Бауэр из оздоровительного центра UCL Sainsbury, сказал, что они хотели найти более общий и реалистичный способ изучить, как мозг понимает то, что он видит. Многие существующие методы могут делать выводы только на основе конкретных условий или стимулов, и их трудно обобщить на более естественные и сложные визуальные сцены, в то время как новые методы пытаются напрямую уловить то, что представляет мозг, и сравнить это с реальностью.

Что касается конкретной технологии, исследовательская группа приняла «модель динамического нейронного кодирования». Модель, первоначально разработанная другой командой для конкурса Sensorium 2023 года, использовалась для прогнозирования интенсивности активности каждого нейрона, когда мыши смотрели фильм, с учетом таких факторов, как спонтанные движения животного и диаметр зрачка. Команда UCL еще больше усовершенствовала модель на основе того же набора данных: они сравнили два типа активности нейронов — активность, предсказанную моделью, когда мыши смотрели на «пустой экран», и реальную активность, измеренную с помощью технологии микроскопической визуализации. Этот метод визуализации позволяет точно определить, какие нейроны активируются в определенные моменты времени, основываясь на изменениях локальных концентраций кальция внутри клетки.

В ходе работы модели исследователи начинают с «пустого фильма» и используют алгоритм для непрерывной настройки каждого пикселя до тех пор, пока сгенерированное видео не будет статистически полностью соответствовать видео, которое мыши действительно смотрели. После завершения обучения модель смогла реконструировать видеоклип продолжительностью около 10 секунд на основе активности мозга мышей, смотрящих новое видео. Стоит отметить, что эти видео, использованные для реконструкции, не участвовали в обучении модели, что лучше отражает универсальность метода.

Болл отметил, что детализация реконструированных видео значительно улучшилась после добавления данных от большего количества отдельных нейронов, подчеркнув важность получения более полных нейронных данных. Чтобы оценить реконструкцию, команда использовала метрику корреляции пикселей, сравнивая каждый пиксель каждого кадра исходного фильма с соответствующим пикселем в реконструированном фильме. Результаты показывают, что различия в пространстве и времени между ними относительно ограничены, что указывает на то, что такого рода «перевод фильма», основанный на активности мозга, может достигать очень высокой точности.

В будущем исследователи планируют собирать данные о мозге с более высоким разрешением и более широким охватом, чтобы обеспечить более четкую и широкую реконструкцию визуальной сцены. С точки зрения применения они особенно надеются использовать эту технологию для исследования «отклонения восприятия от реальности»: то есть того, почему и как визуальное представление в мозгу отклоняется от объективного изображения перед нами. Болл отметил, что у людей нет полностью реальной «копии мира» в мозгу. Визуальная информация выборочно усиливается, сжимается или искажается во время передачи и обработки. Это отклонение — не простая ошибка, а функциональный механизм, используемый мозгом для интерпретации и улучшения воспринимаемой информации.

Это исследование реконструкции зрительных пленок на мышах закладывает основу для аналогичных работ в будущем на более сложных животных и даже на людях. Благодаря продолжающемуся развитию технологий визуализации, вычислительных моделей и методов анализа данных ученые, возможно, смогут получить более глубокое понимание того, как мы «видим» мир, и, как ожидается, предоставят новую теоретическую поддержку для диагностики и лечения нарушений зрения, интерфейсов «мозг-компьютер» и иммерсивных систем искусственного восприятия.