( Январь 2020, idb )
Обычно принято считать, будто системы Искусственного Интеллекта – это самый что ни на есть авангард научно-технического прогресса человечества. Но можно, однако, увидеть здесь и нечто в корне иное…
На сайте «Лос-Анджелесского книжного обозрения», весьма разнообразно и содержательно отражающего интеллектуальную жизнь в США, имеется раздел тематических блогов BLARB. А одна из постоянных рубрик-колонок этого раздела – под выразительным названием PROVOCATIONS – и по общему духу своему «провокационному», и по целому ряду более конкретных частных признаков (типа ключевых слов) чрезвычайно близка, как выяснилось, сайту kiwibyrd.org.
Иначе говоря, практически все сквозные темы этого американского блога – вроде цензуры и слежки в общедоступном интернете, пост-правды и прочих форм обмана, вновь разгорающихся углей национализма и так далее – не только регулярно освещаются в текстах киви-архива, но и подаются обычно с той же самой позиции «интеллектуальной провокации». То есть в преднамеренно остраненном виде, заставляющем увидеть привычные, казалось бы, вещи с иной, зачастую неожиданной стороны.
Начиная с первых дней нынешнего года сквозной темой всех публикаций раздела Provocations выбраны риски и угрозы для человечества со стороны AI, то есть систем Искусственного Интеллекта (ИИ). Ну а самой популярной-читаемой среди всех блог-записей на сайте BLARB в целом стабильно остается самая первая из статей нового AI-цикла. Написанная известным футурологом-писателем-фантастом Кори Доктороу и озаглавленная подобающе-провокационным образом: «Наши неофобные, консервативные ИИ-повелители желают, чтобы все оставалось как прежде» .
О публицистике, фантастике и в целом о неординарных взглядах этого интересного автора на прогресс и наше будущее в материалах киви-архива рассказывалось уже неоднократно (см. ссылки в конце). А потому вполне естественно обратить внимание и на новую статью Доктороу…
#
Поскольку переводить весь текст известного автора дословно и целиком здесь вряд ли уместно, но при этом и о многих из упоминаемых там вещей рассказать хотелось бы, проще всего выбрать эдакий компромиссный вариант «вольного пересказа близко к оригиналу». То есть все ключевые моменты статьи Доктороу будут освещены, но без претензии на точное соответствие источнику…
Итак, для всех, кто не в теме, автор первым делом сообщает, что вот уже несколько десятилетий выступает в публицистическом жанре в качестве «активиста новых технологий», а потому постоянно и в огромных количествах – как бы по долгу службы – читает самые разнообразные труды с анализами и критикой технологических достижений.
И вот, как опытный специалист по такого рода литературе, Доктороу компетентно утверждает, что среди всех новых технологий системы ИИ сумели вызвать на себя столь мощный огонь критики буквально со всех флангов, которого вряд ли удавалось добиться хоть какому-то из других технических новшеств человечества. Причем более всего тут слышны, как обычно, громкие беспочвенные заявления и откровенная глупость. Из-за чего действительно умные и проницательные подходы к критике известны и слышны обществу, к сожалению, гораздо меньше, чем хайп.
Но среди всех тех реально хороших, содержательных и аналитически аккуратных критических работ, которые упоминает Доктороу, ни одна не произвела на него столь сильного впечатления, как странное и по-женски лирическое эссе Молли Сотер под названием «Срочное отозвание» (“Instant Recall” by Molly Sauter).
Главная тема в эссе Сотер – это то, что машинное обучение в основах работы ИИ является фундаментально консервативным. Оно ненавидит любые перемены. Если вы начинаете писать текстовое сообщение своему парню или подруге со слов «Привет, дорогуша», то в следующий раз, когда станете набирать сообщение в тот же адрес, начало текста со слова «Привет» уже с необходимостью повлечет за собой автоматически предлагаемое «дорогуша» в качестве следующего слова фразы. Даже если на этот раз вы решили объявить о том, что пришла пора расстаться.
Ну а если вы набираете такое слово или фразу, которые никогда прежде не вводили, то система автозаполнения будет подсказывать вам статистически наиболее частую фразу от всех её пользователей. По этому поводу Доктороу вспоминает, в частности, как недавно произвел небольшой интернет-фурор, когда в одной из своих статей документально воспроизвел, что за штуки может вытворять система предлагаемого автозаполнения в его собственном текстовом сообщении, предназначенном для семейной няни-бэбиситтера. Конкретно в той ситуация система ИИ вступительную фразу к няне дочери «Вы не могли бы посидеть» продолжила словами «на моем лице и на»…
Почему это важно и существенно. Именно такого рода консервативность пронизывает каждую систему алгоритмических умозаключений ИИ. Неважно, зачем вы зашли в сеть – хоть для поиска холодильника или пары обуви – далее эти алгоритмы машинного обучения будут следовать за вами повсюду и при перемещениях от одного сайта к другому постоянно «перенацеливать» вас на то, что вы начинали искать. Даже после того, как вы уже купили себе все нужное, будь то холодильник или обувь.
Если вы затратили какое-то время в Ютубе на исследование проблем белого национализма или конспирологических идей про «плоскую Землю», то дальше рекомендации от Ютуба будут настойчиво пытаться заставить вас снова и снова углубить ваши «интересы» в этих областях. Если в Твиттере вы подпишетесь на твиты какого-то человека, то вас будут просто заваливать предложениями подписаться на твиты множества других подобных людей.
Спору нет, системы машинного обучения способны генерировать очень хорошие отчеты о корреляциях (типа: «вот этот человек имеет в адресной книге адрес вон того человека, и в большинстве случаев это означает, что данные люди являются друзьями»). Но вот с пониманием причинно-следственных связей у таких систем имеются большие проблемы (отчего в Фэйсбуке жертвам преследований постоянно предлагают стать подписчиками своих мучителей, которые, естественно, имеют адреса своих жертв у себя в адресных книгах).
В конечном счете, все машинное обучение сводится к отысканию таких вещей, которые подобны тому, что система машинного обучения моделировать уже умеет. К примеру, системы машинного обучения вполне хороши в делах нахождения таких автомобилей, которые похожи на автомобили, уже системе известные. Аналогично хороши они бывают и в выявлении таких лиц, что похожи на те лица, которые они уже знают. Именно поэтому лица белых мужчин распознаются такими системами наиболее надежно – потому что системы эти обучаются на лицах тех людей, которые их сделали, и на лицах других людей из из круга.
И именно вот это – то, что делает машинное обучение столь ядовито-токсичным. Если вы попросите систему ИИ подсказать, кого полицейским следует арестовать, то система будет стабильно предлагать пойти и арестовать таких людей, которые похожи на тех, кого арестовывают постоянно. Как сформулировал эту проблему Патрик Болл, аналитик техно-правозащитной организации Human Rights Data Analysis Group, «Предсказывающая полицейская система не предсказывает преступления, она предсказывает полицейские действия».
Но есть, однако, существенная разница между такой полицией, которая отправляется за обычными подозреваемым сама по себе, и такой полицией, которая делает так, потому что сделать это сказал им алгоритм. Такого рода смещенность оценок из-за «отмывания эмпирикой данных» (Empiricism-washing) выдается за нечто объективное, потому что, дескать, теперь эта смещенность просчитана компьютером.
Отмывание эмпирикой данных – это ныне один из главных грязных трюков технократов повсюду. Опираясь на «данные от компьютера», они по умолчанию подразумевает, что «данные не лгут». А потому все сомнительные рецепты от политиков, основанные на данных, теперь можно отделять от «политики» и переносить в область «научно полученных свидетельств».
Эта ловкость рук и трюкачество, пытающиеся создать впечатление, будто данные могут вам говорить, чего желает общество или что ему требуется. На самом же деле все эти данные (плюс их соответствующий анализ или манипуляции) помогают вам получить то, чего вы хотите.
В качестве наглядного примера того, как в политике обращаются с «научными данными», Доктороу напоминает недавнюю историю вокруг увольнения Дэвида Натта (David Nutt), главного нарколога в правительстве Великобритании.
Вспомните об истории с переклассификацией рекреационных наркотиков, происходившей в Британии при прошлом «царе наркоконтроля» по имени Дэвид Натт. Когда ему поручили присвоить категорию риска каждому из рекреационных наркотиков, Натт собрал комиссию экспертов, дабы они проранжировали все такие наркотики по признакам того, насколько они опасны для самих употребляющих, для их семей, для общества в целом.
После этого Натт пришел в Парламент и сказал законодателям так: «Вы формулируете мне, каковы ваши приоритеты, в чем вы заинтересованы больше всего – в защите употребляющих, в защите их семей или же в защите общества – и я рассказываю вам, как классифицировать каждый из этих наркотиков»… (Дополнительные подробности об этой английской истории см. в текстах «Шелковый путь в контексте» и «За что, собственно, боремся?» )
Эмпирические данные предоставили Натту инструменты для объяснения того, как классифицировать наркотики, опираясь на приоритеты политики. Но вот собственно приоритеты были исключительно делами человеческих суждений, а не каких-то эмпирических истин, извлеченных из данных. (Когда политикам сильно не понравилась принципиальная позиция Натта в вопросах вредности алкоголя и безвредности популярных «запрещенных» наркотиков, ему пришлось уйти.)
Сбор и анализ данных – это бесспорно полезное дело. Причем дело столь же давнишнее, как переписи населения, проводившиеся сборщиками податей с древнейших времен цивилизации. Но в корне ложной является идея о том, будто уже сами данные с опорой на некие Черные Ящики расскажут нам все, что нас интересует – и чего мы хотим, и как нам это получить. Фактически, за триумф рационализма и прогресса мы пытаемся выдать лишь самую малость замаскированные автоматизированные системы реакций и повторений.
Вопрос о том, что делает та или иная конкретная технология – это важный вопрос, пишет в заключение Доктороу. Но намного более важным является то, КТО эту технологию применяет, К КОМУ и РАДИ ЧЕГО она применяется…
# #
Поскольку опубликован этот материал был на литературно-публицистическом сайте «Лос-Анджелесского книжного обозрения», понятно, наверное, что содержательные комментарии технического сорта тут имело смысл поискать где-нибудь в других местах. Например, на известной веб-площадке Hacker News , где постоянно тусуются компьютерщики вообще и специалисты по созданию ИИ-систем в частности.
Конечно же, статья Кори Доктороу не прошла здесь незамеченной и вызвала оживленную дискуссию среди профессионалов. Пересказывать которую смысла особого нет, но два наиболее характерных комментария, отражающих суть позиций у препирающихся сторон, по всему будет предоставить полезно.
Итак, реакция одного из специалистов по системам ИИ, в разных вариациях повторявшаяся и многими другими его коллегами, прозвучала так:
Мы сами, как правило, желаем чтобы системы машинного обучения имитировали нас, людей (или же данные, порождаемые людьми), а потому мы и учим сами их так делать. Но ведь существуют также генеративные системы машинного обучения (вроде GANs) и системы МО на основе симуляций (вроде AlphaGo), которые могут быть существенно более креативными.
Нет ничего, что препятствовало бы нам позволять ИИ-агентам быть креативными и эволюционировать в условиях сложного окружения. Просто сейчас от этого нет пока коммерческой пользы.
Доктороу пишет как человек, который не понимает математику систем машинного обучения, однако имеет на этот счет весьма сильное мнение.
Всякий раз, когда в процесс обучения вводятся случайные числа (стохастический отбор мини-блоков, инжекция шума, выбор эпсилон-жадного действия и т.д.), в системе происходит та или иная форма исследований неведомого, отыскание новых маршрутов для решения поставленной проблемы. Замешивание в данные шума оказывается не только парадоксально полезной штукой, но и необходимым аспектом обучения…
А вот как звучат столь же типичные возражения другого человека, тоже профессионала и преподавателя:
Данная статья вовсе не разбирается с тем, что способны делать системы машинного обучения, а что нет. Статья посвящена другому – тому, как люди и организации воплощают собственные идеи о том, что могут делать системы МО, а что нет.
А это, как было отмечено уже в самом начале дискуссии, проблема философского, а не технического спора.
Важно не то, сколь узки или широки способности систем МО к описанию текущего состояния дел. Намного важнее то, кто интерпретирует выход этих систем – чтобы затем предоставлять обществу инсайты относительно каких-то великих и универсальных истин.
В области науки большинство учебных программ для получения ученой степени имеет в качестве обязательного требования прохождение курса «философия науки». Мне же, как члену инженерного (а не научного) факультета, постоянно приходится сталкиваться с огромным сопротивлением тому, чтобы подобный курс стал частью обязательной программы также и для получения ученых степеней в области инжиниринга или информатики. Вместо этого, в учебных программах для таких степеней принят существенно иной подход к научным/техническим знаниям – будто это и не наука вовсе, а скорее религия.
И все те комментарии, что можно здесь видеть от специалистов по машинному обучению, – это еще одно наглядное свидетельство и напоминание, почему курсы по философии науки действительно необходимы при подготовке такого рода специалистов…
# # #
На этом цитирование содержательных комментариев пора завершить. Однако всю статью в целом было бы неразумно заканчивать мыслями о том, будто стандартный курс «философии науки» – это необходимое и достаточное условие для освоения профессионально правильных подходов к научным и техническим знаниям.
Никакие курсы «философии науки», к сожалению, не помогли предотвратить процесс превращения нынешней официальной научной жизни в еще одну – посюстороннюю – форму религии. Со всеми известными болячками религиозных сообществ – вроде слепого почитания иерархии, приверженности мертвым догмам и яростной борьбы со всевозможными ересями. Подробности на данный счет можно найти, к примеру, в тексте «Климат и догмы, диссиденты и ереси» .
Закончить же текст вполне естественно очередной интеллектуальной провокацией.
Все внимательные читатели наверняка обратили внимание на достаточно свежий, пока еще не затертый термин «неофобия», который использовал Кори Доктороу для обозначения «страхов всего нового», «страхов перемен».
Ну а внимательных почитателей научно-фантастической франшизы «Матрица» наверняка должна была зацепить и отчетливая двусмысленность этого же термина применительно к страхам и фобиям «ИИ-повелителей». Ибо в контексте Матрицы для компьютерного сверхразума, поработившего человечество, «Нео-фобия» – это еще и активная неприязнь к главному врагу, лидеру повстанцев по имени Нео…
Отсюда естественно задаться вопросом: случайно или нет футуролог Кори Доктороу привлек именно этот термин в контексте угроз и рисков человечеству со стороны быстро прогрессирующих систем ИИ?
Или же, как выразился недавно один из философов науки, «Лучше не знать – а то очень страшно»?…
[The End]
Дополнительное чтение для размышлений
Электрическая мифология. О том, что активные усилия по запрету нового и более прогрессивного начали широко практиковать в индустрии намного раньше, чем стали появляться системы искусственного интеллекта.
Шаманы Матрицы. Подробности о том, как среди причин очень медленного прогресса человека к человеческой жизни давно и определенно проглядывают признаки запретов от холодного и бездушного ИИ.
Вершины погибших альпинистов. О том, как работает автоматизированная система «охраны периметра богов».
Куда идем? Про текст Кори Доктороу об отчетливой тенденции властей перекладывать на ИИ все следящие и запретительные функции.
О других текстах, взглядах и делах Кори Доктороу: Шухер на зоне , Наши в Раше, О книгах и сдвигах , Windows 10 как религия ИТ-деспотий.
Основные источники
Hacker News: Machine learning is fundamentally conservative (lareviewofbooks.org)
kiwi arXiv 