Фильмы нашего разума

(Сентябрь 2011)

Из научных лабораторий приходят известия о результатах, словно сошедших с экранов фантастических фильмов. Причем даже после очистки от рекламной шумихи успехи ученых не могут не впечатлять.

frame-grab

В золотые годы советского кинематографа (точнее, в середине 1960-х годов, когда хрущевская оттепель уже закончилась, едва начавшись, однако всерьез это ощутили лишь первые диссиденты) появился совершенно чудесный анимационный фильм «Шпионские страсти».

В мультике этом доблестную советскую контрразведку и ее борьбу с кознями империализма впервые в истории СССР изобразили без пафоса и патетики. Более того, с иронией и юмором, присущими жанру кинопародии.

В одном из кульминационных эпизодов с разоблачением арестованной шпионки на сцене появляется генерал Сидорцев. Приблизившись к сидящей на стуле вражине, он чуть наклоняется и пристальным взором вглядывается в шпионскую голову. И тут же перед ним словно на экране всплывает вся картина преступной операции. Более того, достав внушительную лупу, генерал прочитывает на картине даже мелкие подробности в планах иностранных диверсантов…

Столь заманчивая для спецслужб идея – порыться в чужом сознании и воочию посмотреть, что там за мыслишки у людей в голове – еще не раз обыгрывалась во множестве зарубежных фантастических фильмов. Но как-то само собой всегда подразумевалось, что все это чистые фантазии или нереально далекое будущее. Ныне, однако, данные идеи обретают уже совершенно реальные очертания.

Сведя воедино несколько продвинутых инфотехнологий – от томографического сканирования мозга до мощного компьютерного видеосимулятора – ученые калифорнийского университета в Беркли продемонстрировали, что по активности нейронов коры уже становится возможным в общих чертах восстанавливать вид визуальных картин в голове человека. Пока что, правда, речь идет о весьма конкретных условиях специфического опыта. Однако для первых шагов даже этот результат выглядит чрезвычайно  впечатляюще.

Если говорить о подробностях этих экспериментов, то ученые использовали известные возможности технологии fMRI, или функциональной магнитно-резонансной томографии (фМРТ), а также собственной разработки вычислительные модели, благодаря которым им удалось добиться успеха в «декодировании и реконструкции динамического визуального опыта людей».

Если перевести этот словесный оборот на общечеловеческий язык, то ученые демонстрировали испытуемому небольшой фрагмент произвольного голливудского кинофильма, а затем по снимкам сканирования мозга восстанавливали на экране компьютера тот клип, который смотрел человек. Точнее, не сам клип, а то, что они смогли в коре мозга углядеть и восстановить.

Чтобы огромная техническая сложность решаемой задачи стала понятнее, надо дать некоторые пояснения. Сама идея о том, что по результатам декодирования фМРТ-сканов в области зрительной коры можно воссоздавать визуальные картины, обрабатываемые мозгом, выдвинута и исследуется учеными довольно давно.

Более того, с середины 2000-х годов из разных лабораторий стали регулярно появляться результаты, свидетельствующие, что  это действительно возможно – восстанавливать по сканам томографа те картинки, что разглядывает при сканировании человек. Но, надо подчеркнуть, исключительно статичные картинки – символы, цифры, естественные черно-белые фотографии и так далее.

Восстанавливать естественные динамичные картины принципиально сложнее по той причине, что метод фМРТ физически регистрирует активность мозга по сигналам, зависящим от уровня кислорода в крови. То есть динамика снимаемой картины непосредственно связана со скоростью тока крови через мозг, а эта скорость несравнимо медленнее скорости нейросигналов, кодирующих динамическую информацию в зрительной коре.

Иначе говоря, ученые полагают, что переход от декодирования статичных картин к адекватному декодированию динамики – это тот самый критически важный шаг, что должен помочь в получении реконструкций таких внутренних состояний сознания, как воображение, сны и тому подобные процессы.

Именно в этом направлении и удалось ныне заметно продвинуться исследователям лаборатории Берклиевского университета, возглавляемой Джеком Гэлантом (Jack Gallant).

В своих предыдущих исследованиях Гэлант и его коллеги уже построили достаточно мощную вычислительную модель для декодирования статичных фотографий. Этот алгоритм позволял им по фМРТ-сканам мозга с высокой точностью воссоздавать ту  картинку, что рассматривал человек.

Для решения куда более сложной проблемы – декодирования сигналов мозга при наблюдении движущихся картинок – была разработана новая, двухэтапная вычислительная модель. Суть ее сводится к раздельному моделированию лежащих в основе процессов: работы нейропопуляций и гемодинамики, то есть сигналов тока крови (коль скоро два процесса функционируют с существенно различными скоростями).

В компьютере, обрабатывающем изображения-сканы томографа, мозг поделен на крошечные трехмерные кубики, именуемые объемными пикселями или кратко «вокселями» (от VOlumetric piXELs). Конкретно в данном эксперименте один воксель соответствует объему ткани мозга размером 2х2х2,5 миллиметра.

Физически каждый такой воксель представляет собой совокупную активность сотен тысяч нейронов. И для каждого вокселя исследователи построили модель,  которая описывает, каким образом информация о формах и движениях в просматриваемом человеком фильме отображается в активности мозга.

Эта модель описывает быструю визуальную информацию и медленную гемодинамику с помощью раздельных компонентов. Сначала записывались сигналы тока крови в зрительной коре испытуемых, которые смотрели обычные кинофильмы, а затем шло  подстраивание алгоритма раздельно к индивидуальным вокселям.

Чтобы наглядно продемонстрировать эффективность избранного подхода, исследователи сконструировали на его основе «байесовский декодер» – скомбинировав модели оценочного кодирования с образцами предварительно просмотренных человеком кинофильмов.

Поясняя, почему для анализа был выбран именно просмотр кинофильмов, Синдзи Нисимото (Shinji Nishimoto, ведущий автор исследования в лаборатории Гэланта), говорит примерно так:

«Естественный визуальный опыт человека напоминает просмотр кинофильма. Для того, чтобы разрабатываемая технология нашла широкое применение, мы должны понять, каким образом наш мозг обрабатывает такого рода динамический визуальный опыт».

Сам Нисимото и еще двое других исследователей команды служили в качестве испытуемых клиентов в продолжительной серии экспериментов. Главным образом, это было сделано по той причине, что процедура сканирования каждый раз требует от добровольцев тихо и  неподвижно лежать внутри магнита фМРТ на протяжении нескольких часов.

А процедур таких требовалось довольно много, потому что ради формирования большой библиотеки образов, необходимой для обучения программы, было просмотрено в общей сложности  18 миллионов секунд скачанных с YouTube видеотрейлеров к голливудским кинофильмам.

Образцы мозговой активности снимались один раз в секунду. Набранные таким способом данные предоставили основу для разработки вычислительных моделей, которые способны предсказывать паттерны мозговой активности, порождаемые при просмотре уже совершенно произвольных фильмов (то есть не входивших в начальный набор клипов, использованных для построения модели).

После чего фМРТ использовали для измерения мозговой активности, порождаемой другим набором клипов –  где были трейлеры фильмов, полностью отличающихся от первого набора. Результаты декодирования нагляднее всего, наверное, иллюстрирует фрагмент восстановленного клипа.

brain-clip

Слева – это кадр фильма, который человек смотрел, находясь внутри магнита. Справа – реконструкция этого фрагмента по мозговой активности, зарегистрированной с помощью фМРТ. Как и в первой фазе экспериментов, образцы мозговой активности снимались раз в секунду, а каждая 1-секундная секция просматриваемого фильма восстанавливалась по отдельности. Восстановление производилось путем смешивания и усреднения примерно 100 наиболее вероятных фрагментов из общих накоплений в библиотеке реконструкции.

В целом результаты декодирования показали, что восстановленное динамическое изображение оказывается весьма цельным. Хотя при этом качество размытой картинки оказалось заметно зависимым от конкретного вида мозговой активности каждого из тестируемых людей. Но как бы там ни было, работа исследователей в Беркли стала первой наглядной демонстрацией того, что динамический визуальный опыт человека в принципе может быть восстановлен даже на основе той очень медленной мозговой активности, что регистрируется с помощью фМРТ.

Первые же вопросы к исследователям, представившим столь любопытные результаты, естественно, касаются возможностей заглянуть во внутренние образы сознания – вроде  декодирования сновидений, воспоминаний и прочих визуальных картин воображения.

Ученые высказываются на данный счет довольно осторожно. В целом, современной наукой предполагается, что все ментальные процессы имеют конкретный нейробиологический базис. В условиях такого предположения, если в наличии появятся хорошие средства для измерения мозговой активности и хорошие вычислительные модели мозга, то в принципе это должно стать возможным – декодировать визуальный контент внутренних ментальных процессов вроде снов, памяти и так далее.

Однако надо подчеркнуть, что вплоть до настоящего времени науке не известно, реализуются ли процессы вроде сновидений и воображения в мозге таким же способом, который функционально подобен восприятию внешнего мира. Если это так, то тогда да – должна быть и возможность для использования разработанных ныне технологий в задачах декодирования мозговой активности в процессах сновидений или работы воображения…

Еще осторожнее ученые отвечают на вопросы, непосредственно связанные с применением их открытия в работе спецслужб, правоохранительных органов и в судебных разбирательствах.

По мнению исследователей, потенциальное использование данной технологии в следственной и юридической системе представляется им весьма сомнительным.

Многие психологические исследования ныне продемонстрировали, что показания очевидцев на редкость ненадежны. Свидетели часто обладают плохой памятью, но обычно не знают об этом. При этом память людей имеет тенденцию быть смещенной – из-за привходящих обстоятельств и событий, непреднамеренных подсказок, либо подстраивания памяти под уже известные вещи (предыдущие воспоминания). Кроме того, свидетели часто дополняют свои истории, чтобы сделать логически связными те события, детали которых они хорошо не помнят.

По этим причинам, считают ученые, любое устройство «чтения мозга», нацеленное на декодирование хранимой там памяти, неизбежно будет ограничено не только самой технологией, но также и качеством хранимой в сознании информации. В конечном же счете, аккуратное и точное считывание ложной памяти способно предоставлять всего лишь ошибочную информацию.

Так что любое будущее приложение этой технологии в системе следствия и юриспруденции, полагают исследователи, должно быть встречено с чрезвычайной настороженностью…

* * *

customLogo

Дополнительные подробности об этой работе можно найти:

на сайте лаборатории Гэланта gallantlab.org ,
а также в публикации журнала «Современная биология» (Shinji Nishimoto, An T. Vu, Thomas Naselaris, Yuval Benjamini, Bin Yu & Jack L. Gallant. «Reconstructing visual experiences from brain activity evoked by natural movies».  Current Biology. ).