Реконструкция изображений по нейронной активности уже неоднократно удавалась; к примеру, Брайс Кюль из Университета США поставил несколько успешных опытов по расшифровке данных об активности головного мозга, позволивших воссоздать изображения человеческих лиц, причем удавалось получить как непосредственно наблюдаемые во время сбора информации изображения, так и воспоминания об однажды виденных лицах. Однако до сих пор во всех подобных экспериментах компьютерные алгоритмы, обрабатывавшие данные, не реконструировали изображение непосредственно из данных об активности мозга, а сравнивали наблюдаемые паттерны активности с уже имевшимися в библиотеке.

В этом году японские нейробиологи из Университета Киото завершили эксперимент, в котором нейросеть реконструировала изображения по паттернам активности мозга, не обращаясь к существующей базе данных. Нейросеть со значительной степенью подобия воссоздала изображения геометрических фигур, символов и животных.

Нейросеть, созданная в Киото, не обращалась к библиотекам изображений и паттернов нейронной активности. Вместо этого она обучалась на небольших изменениях активности нейронов, возникавших при просмотре незначительно отличающихся друг от друга изображений. Чтобы обучить нейросеть, добровольцам, помещенным в сканер для функциональной магнитно-резонансной томографии (фМРТ), демонстрировали изображения, всего их было 1200; каждую картинку участники эксперимента видели по пять раз.

Результат реконструкции абстрактных геометрических фигур. Yukiyasu Kamitani et al., 2018.

После обучения нейросеть генерировала изображения, основываясь на данных фМРТ. Несмотря на то, что на этапе обучения нейросети добровольцам показывали исключительно фотографии реальных объектов, нейросеть оказалась способна реконструировать и изображения абстрактных предметов, показанных участникам эксперимента после завершения обучения. Это говорит о том, что компьютер научился обобщать информацию, извлеченную из данных об активности мозга, и выделять семантически значимые элементы изображений, а не только соотносить паттерны активности с имеющимися примерами.

Препринт статьи опубликован в репозитории bioRxiv.org.