Беззаконие роботехники

(Декабрь 2011)

Способны ли люди, постоянно нарушающие общепринятые нормы этики, выработать правила этичного поведения для роботов?

В декабрьском (2011) номере американского журнала «The Atlantic» опубликована большая аналитическая статья под названием «Доклад об этике для дронов: что рассказал ЦРУ ведущий эксперт по роботам» (“Drone-Ethics Briefing: What a Leading Robot Expert Told the CIA,” by Patrick Lin).

О том, что публикации подобного рода уже определенно необходимы и своевременны, разъяснять с подробностями, наверное, вряд ли требутся. Количество роботов, применяемых в военных конфликтах армиями и спецслужбами разных стран, ныне исчисляется уже десятками (а может и сотнями) тысяч штук. Однако никаких государственных законов или международных соглашений, регулирующих это дело, на горизонте пока не видно.

Как свидетельствуют исследующие данную проблему специалисты, пока что «законы просто безмолвствуют».

Иначе говоря, на вооружении целого ряда стран ныне уже имеются роботизированные боевые системы, не только по команде людей, но и самостоятельно открывающие огонь на поражение. Однако законодатели этих стран и международного сообщества в целом все еще не считают необходимым всерьез задаться вопросами о том, а можно ли в принципе выдавать автономным роботам лицензию на убийство…

В этой связи, конечно же, никак невозможно не помянуть знаменитые «Три закона роботехники» из цикла фантастистических рассказов Айзека Азимова «Я, робот»:

1. робот не должен наносить вреда человеку;
2. робот должен подчиняться приказам человека, если это не противоречит п.1;
3. робот должен защищать свое собственное существование, если это не противоречит пп.1 и 2.

Сопоставляя эти важные и очень давно сформулированные мыслителем-визионером принципы с тем, что происходит ныне, можно совершенно определенно констатировать, что для создателей и теоретиков реальных современных роботов «утопические и наивные» азимовские идеи совершенно неинтересны.

В частности, автор упомянутого доклада для ЦРУ, Патрик Лин (считающийся одним из ведущих в США теоретиков роботехники), в своем обзорном докладе о прогнозируемых в недалеком будущем проблемах с роботами в военном и разведывательном деле, не помянул знаменитые принципы Азимова вообще ни единым словом. Очевидно, считая их абсолютно неактуальными.

Зато этот специалист описал немало примечательных (и вызывающих понятное беспокойство) сценариев и задач, которые уже сейчас видятся теоретикам вполне подходящими для их перекладывания на роботов.

Примерно в таком вот контексте.

«3D» вместо 3 законов роботехники

Основная причина, по которой государства хотели бы иметь роботов на службе задачам национальной безопасности и разведки, заключается в том, что роботы способны делать свою работу в условиях, известных как «три D».

Первое D – от Dull, т. е. «скучная работа». Такая, к примеру, как продолжительное наблюдение или рекогносцировка на местности. Или патрулирование территорий. Или охрана периметров в течение длительных интервалов времени, невозможных для людей.

Второе D – от Dirty, т. е. «грязная работа». Такая работа, скажем, как обращение с ядовитыми и опасными для человека материалами. Работа с последствиями ядерных или биохимических аварий и атак. Любая другая работа в условиях среды, неподходящей для людей – вроде подводного мира или открытого космоса.

Третье D – от Dangerous, т. е. «опасная работа». Типичный пример такого рода задач – обследование туннелей в системах пещер, где прячутся боевики сил сопротивления или террористы, как их обычно принято сейчас называть. Либо контроль над поведением враждебно настроенной толпы. Или обезвреживание самодельных взрывных устройств.

Кроме того, отмечает Лин, ныне в этот комплекс все чаще добавляют еще одно «четвертое D» – как Dispassion, то есть способность роботов постоянно сохранять в своей работе бесстрастность. Этот момент, правда, среди ученых-теоретиков роботехники продолжает оставаться наиболее дебатируемым (оспаривается не отсутствие у робота эмоций, конечно, а стремление рассматривать этот аспект как важный плюс в работе).

Лично для Лина в этом споре правая сторона вполне ясна. Очевидно, что боевые роботы никогда не будут действовать со зла или из ненависти. Им чужды любые другие эмоции, способные приводить к военным преступлениям, вроде резни мирного населения, и другим присущим войне злоупотреблениям, таким как массовые изнасилования. На роботов не действуют такие вещи, как адреналин и голод. Они не могут страдать от недосыпа, низкого морального духа, сомнений, которые влияют на суждения людей и на их оценку ситуации.

Короче говоря, заключает свои доводы Лин, именно роботы способны быть объективными, «немигающими наблюдателями» для гарантирования этичного поведения бойцов в условиях военных действий. Иначе говоря, по мнению этого эксперта, для защиты национальной безопасности роботы не только способны делать многие из человеческих работ лучше, чем человек, но и, быть может, действовать при этом даже более этично. По крайней мере, в сильно стрессовой обстановке войны.

Довольно неожиданный – и откровенно смердящий фашизмом – пример Лина в поддержку этой идеи выглядит следующим образом.

Сценарий: пытки

В многочисленных приложениях роботехники, связанных с пленными и заключенными, роботов можно было бы использовать не только для охраны зданий, но и для охраны людей. Например, полагает Лин, одним из преимуществ этого стало бы прекращение тюремных издевательств над заключенными, вроде тех, что имели место в тюрьмах Гуантанамо на Кубе и Абу Граиб в Ираке.

И уж коли речь зашла о пленных и заключенных, то следует упомянуть еще один близко связанный с этой темой сценарий, касающийся применения роботов в таких вещах, как допросы и пытки. (Тут Патрик Лин на всякий случай объявляет, что сам он не является сторонником применения пыток – однако не видит ничего дурного в том, чтобы порассуждать «теоретически», каким образом могли бы выглядеть пытки людей в оптимальном варианте, т. е. с помощью роботов…).

Большой плюс от применения роботов в этом непростом деле, по мнению эксперта, – это разрешение дилеммы относительно использования врачей при допросах с пристрастием и пытках. Совершенно очевидно, что такого рода деятельность врачей заведомо конфликтует с их обязанностью заботиться о здоровье людей и с клятвой Гиппократа не причинять вреда.

Ну а роботы уже сегодня способны отслеживать признаки жизнедеятельности в допрашиваемых подозреваемых так же хорошо, как это могут делать доктора-люди. Кроме того, на роботов можно возлагать и такие задачи, как управление вводом инъекций в тело допрашиваемых. Наконец, роботы по своей природе «способны вызывать у допрашиваемого болевые ощущения более контролируемым способом, свободным от озлобленности и предрассудков» (цитируя доводы эксперта дословно)…

Уже на этом месте, в сущности, всякий трезвомыслящий человек способен отчетливо осознать, в какие бездны скатывается современная роботехника под руководством политиков и государственных спецслужб – причем отнюдь не в тоталитарной, а вполне себе «демократической» стране.

Однако на этом интересные спец-области применения роботов отнюдь не заканчиваются. Вот как, к примеру, представляется теоретикам роботехники еще один перспективный вариант приложений: «роботы как троянские кони или дары со скрытым сюрпризом».

Сценарий: секс и обман

Предлагается рассмотреть такую модификацию хорошо известной по жизни ситуации. На сегодняшний день не являются секретом случаи, когда в Афганистане при расчетах с местными полевыми командирами американцы за оказываемые им услуги расплачиваются не деньгами – что слишком уж похоже на подкуп – а пачками, скажем, упаковок с Виагрой.

Наряду с деньгами, секс, как известно, это один из основополагающих стимулов в поведении людей. Поэтому вполне возможна ситуация, когда в следующий раз один из таких местных вождей или информаторов среди аборигенов в качестве оплаты за свои услуги захочет получить секс-робота. Такого рода роботы, как многие наслышаны, сегодня уже существуют.

Сконцентрировавшись на широких – в потенциале – возможностях секс-роботов, в интересах спецслужб можно выделить тот аспект, что подобные роботы вполне могут также иметь в себе встроенные функции слежки и возможности для нанесения удара. В каком-то смысле, это может быть троянский конь в виде «роковой женщины», пусть и механической.

Тот же самый, в сущности, сценарий обмана может работать и с другими роботами, не только моделями для секс-удовольствий. Это может быть и автомобиль, и другая бытовая техника…

Проблема: нежелательный пиар-эффект от применения роботов

Пока что, впрочем, одна из главных проблем с применением роботов на войне – это зачастую негативное отношение людей к подобной технике, особенно в тех странах, где ее непосредственно применяют.

Патрик Лин признает, что сегодня все чаще слышны критика и слова о том, что использование дронов в войне или миротворческих миссиях не помогает Америке «завоевать сердца и умы» местного населения зарубежных стран.

Например, быстро стало ясно, что естественное желание американцев отправить своих роботов патрулировать Багдад ради поддержания мира и спокойствия в городе, населением воспринималось бы просто как нежелание «освободителей» физически контактировать с местным населением.

Что же касается применения дронов в боевых действиях, то противники США регулярно изображают американцев как нечестных и трусливых – за откровенное нежелание вступать при сражении в непосредственные контакты человека с человеком. Американские аналитики признают, что этот аспект боевой роботехники играет на руку противникам – подпитывает их пропаганду и усилия по набору новых союзников, в итоге приводя к росту новой массы боевиков и террористов.

Еще один источник проблем – грубые и неуклюжие попытки сформировать позитивный образ боевых роботов в глазах американской общественности и международного сообщества.

В качестве примера Лин приводит транслировавшееся не так давно интервью по телевидению, в котором один из высокопоставленных американских военных отвечал на озабоченность общества тем, что дроны делают войну чересчур простым и легким занятием. Опасение людей вызывает то, что с помощью таких дронов-самолетов, вооруженных ракетами, их операторы, находящиеся за многие тысячи километров в комфортной и абсолютно безопасной обстановке, способны наносить смертоносные удары по целям, которые для них ничем не отличаются от антуража видеоигры.

Отвечая на эту озабоченность, военный начальник не придумал ничего умнее, как уподобить применение дронов США действиям библейского героя Давида, который использовал пущенный из пращи камень для победы над гигантом Голиафом. По мнению этого военного мыслителя, раз священное писание подразумевает право Давида на использование метательного орудия, значит, оно оправдывает и американские дроны, вооруженные ракетами.

Даже оставляя в стороне саму логику столь сомнительной аргументации, несложно сообразить, что отсыл к религиозным текстам для обоснования своей правоты в нынешних военных конфликтах не может приводить ни к чему иному, кроме дополнительного усиления трений и разжигания ненависти.

Проблема: допустимые сопутствующие потери

Еще одна очень большая проблема в связи с применением боевых роботов – вооруженные ракетами и другим оружием летального действия, дроны могут не удовлетворять международным законам о гуманном поведении при военных действиях. То есть, иначе, общепринятым законам войны.

Например, критики боевой роботехники отмечают, что нельзя позволять роботам принимать свои собственные решения об атаке (как это уже делают ныне некоторые модели), потому что роботы не имеют технической возможности отличать сражающихся от тех, кто не участвует в сражении. То есть роботы не отвечают «принципу различения», который имеется в документах вроде Женевской конвенции и в лежащей в ее основе традиции справедливой войны.

Этот принцип требует, чтобы оружие никогда не было нацелено на тех, кто не участвует в сражении. Однако неоспоримо, что для робота чрезвычайно сложно отличить террориста, направившего на него свою пушку, от, скажем девчушки, указывающей на него рожком с мороженным.

Хуже того, в реальных условиях сегодняшних войн даже людям порой бывает чрезвычайно непросто соблюдать этот принцип. Поскольку боевик в Афганистане, скажем, легко может выглядеть точно так же, как обычный местный пастух, нередко имеющий при себе автомат AK-47 ради того, чтобы защищать свое стадо коз.

Другой предмет для серьезнейшего беспокойства – это то, что использование летальных роботов легко оборачивается непропорциональным применением силы относительно масштаба военной задачи. Имеются в виду так называемые «сопутствующие потери» или непреднамеренные смерти оказавшихся поблизости и ни в чем неповинных гражданских людей.

Сегодня на Ближнем Востоке такое происходит сплошь и рядом – при ударах ракетами Hellfire, запускаемыми с борта дрона-самолета Reaper для уничтожения очередного из выслеженных предводителей в стане неприятеля.

Спрашивается: Какова «приемлемая степень» соотношения убитых невинных людей за каждого ликвидированного таким вот манером «плохого человека»? Два к одному? Или 10 к 1? А может быть, и 50 к 1?

Мало того, что никто и нигде в международном законодательстве не зафиксировал это численное соотношение. Эта крайне нехорошая неопределенность многие годы тянется и тянется, ясное дело, совсем не случайно.

Ибо в руководящих кругах государств вроде США, по свидетельству Лина, вполне допустима ситуация, при которой в принципе могут иметься и такие люди-цели, стоимость уничтожения которых расценивается настолько высоко, когда соотношение 1000 к 1 или даже больше того посчитают допустимым в качестве «сопутствующих потерь».

Проблема: размытие границы между шпионажем и войной

Переходя к теме, наиболее актуальной для разведывательного сообщества, эксперт особо подчеркивает, что линия раздела между войной и шпионажем ныне становится все более и более размытой.

Исторически складывалось так, что шпионаж не принято рассматривать в качестве подобающей или «хорошей» причины для вступления в войну. Ибо война традиционно определяется как вооруженный физический конфликт между политическими сообществами.

Однако по той причине, что ныне все больше и больше ценностей государства оказывается или в цифровой форме, или основано на информации, то делается вывод и о возможностях теперь атаковать – и, соответственно, быть атакованными – с помощью «некинетических» средств вооружения. А именно, через применение кибероружия, которое выводит из строя компьютерные системы противника или похищает важную для него информацию.

Непосредственным отражением этих идей стало то, что в 2011 году США объявили как часть своей киберполитики продекларированное право «реагировать применением кинетического оружия в ответ на некинетическую атаку».

Проецируя все эти тенденции на конкретную тему о роботехнике в войне и шпионаже, можно отметить следующие проблемы.

Если линия раздела между шпионажем и войной становится все более размытой, а для шпионажа используется робот, то при каких условиях это можно считать актом войны?

Например – вполне реалистичная ситуация – если шпионский робот, пытаясь избежать своего захвата, случайно нанесет на чужой территории вред иностранному гражданину? Может ли это событие стать искрой для начала вооруженного конфликта? Или совсем правдоподобный сценарий: что было бы, если бы при недавнем случае с дроном ЦРУ, захваченным в Иране, он случайно упал на школу или военную базу, убив попутно детей или солдат?

Проблема: ответственность

Несчастные случаи с роботами – это абсолютно правдоподобный и вероятный сценарий происшествий, уже ныне случающихся повсеместно.

В сентябре 2011 небольшой разведывательный дрон-самолет RQ-Shadow столкнулся с военным транспортным самолетом в Афганистане, заставив того совершить аварийную посадку.

Летом этого же года, при тестовом полете боевого дрона-вертолета MQ-8B Fire Scout в США, его операторы потеряли управление роботом примерно на полчаса, в течение которых машина пролетела свыше 20 миль в направлении строго ограниченного для полетов воздушного пространства вокруг Вашингтона.

Несколько лет тому назад в Южной Африке, при демонстрации новой пушки-робота «Эрликон», способной автоматически поражать цели ПВО, произошел технический сбой, из-за которого робот открыл огонь по окружающим его людям, убив 9 человек и ранив еще 14.

Ошибки и несчастные случаи, как известно, происходят с технологиями все время. Поэтому было бы крайне наивно предполагать, что столь сложная вещь, как робот может быть сделана с гарантированным иммунитетом к подобным проблемам.

Более того, внедряемые ныне боевые роботы с некоторой степенью автономности в своих решениях, поднимают закономерные вопросы о том, кто должен нести бремя ответственности за возможный вред и ущерб, наносимый роботом. Даже если этот ущерб наносится случайно, а не предумышленно.

Понятно, вроде бы, что сам робот никакой ответственности понести не может (впрочем кому-то, судя по комментариям Патрика Лина, даже эта мысль отнюдь не представляется совершенно очевидной). Кто тогда должен отвечать? Оператор, запустивший машину? Или программисты, писавшие софт для роботовых «мозгов»? Или же фирма-изготовитель машины? А может, отвечать должен продавец?

Уже сейчас просматриваются намеки на то, что изготовители роботов будут пытаться заранее освободить себя от всякой ответственности. По той же примерно схеме, как это делают в софтверной индустрии с помощью EULA или лицензионного соглашения с конечным пользователем – документ, с которым все наверняка знакомы, поскольку обязаны «кликнуть-подписать» его в качестве обязательного условия при начале использования нового программного обеспечения.

Или же пользователям роботов следует с самого начала категорически настаивать на том, что данные продукты должны быть самым тщательным образом протестированы со стороны изготовителя и иметь доказанную сертификатом «безопасность»?

Что, по идее выглядит более логично при эксплуатации столь критичного к сбоям оборудования. Например, только представьте себе, что вы при покупке автомобиля обязаны подписать EULA, которое возлагает на вас – как конечного пользователя – всю ответственность за любые возможные сбои в работе механической и электронно-компьютерной частей машины…

#

Пока что ни все конкретно перечисленные здесь проблемы с роботами, ни многие другие из описанных в полном тексте обзора Патрика Лина, не решены на деле практически никак.

Хотя явно уже пора заниматься этим всерьез.

(Статью Патрика Лина можно найти на сайте издания «The Atlantic» )