(Март 2019, idb )
Системы Искусственного Интеллекта (ИИ), как известно, за последние годы совершили очень внушительный рывок, продемонстрировав сверхчеловеческие способности в довольно широком диапазоне разных задач. Люди уже не могут считаться лучшими в мире игроками не только в шахматы, но и в покер или в го, проигрывают ИИ во многих компьютерных играх вроде StarCraft, в делах вождения автомобиля, катера или самолета, в проблемах диагностики и лечения некоторых заболеваний. Список побед ИИ прирастает постоянно.
Однако даже самые сложные системы ИИ пока что не способны состязаться не только с людьми, но и с обычными животными в делах адаптации к неожиданным переменам в окружающей обстановке. Как определить, насколько умны самые лучшие из нынешних систем искусственного интеллекта при их сравнении с представителями мира животных? Могут ли самые продвинутые агенты ИИ быть столь же умны, как мыши, скажем? Или как вороны? Или как шимпанзе?
Набор из нескольких десятков тестов, уже проведенных ранее с животными, позволит получить первые ответы на подобные вопросы. Организаторы состязаний на основе таких тестов ставят перед собой цель выявить самые лучшие из нынешних подходов ИИ в делах адаптации к обстановке, сопоставляя их с результатами исследований животного царства. Итоги такой «олимпиады» покажут, готовы ли великие достижения систем ИИ на равных состязаться с великими достижениями биологической эволюции.
Проект «Олимпиада Животные-ИИ», который начинается в июне нынешнего года, это результат совместной партнерской работы между Кембриджским университетом, точнее, его Ливерхьюмским Центром будущего интеллекта , и базирующимся в Праге исследовательским институтом GoodAI , то есть «Хороший-ИИ». Фактически, это новый способ оценивать прогресс ИИ в направлении того, что принято именовать общим или сильным искусственным интеллектом.
Нынешний уровень разумности машин в этой терминологии пока что находится на уровне «слабого ИИ». Потому что несмотря на большие успехи в конкретных задачах, системам ИИ еще только предстоит в будущем обрести такую гибкость интеллекта, которая позволяет людям планировать свои действия, рассуждать о причинах и последствиях, и соответственно поступать на основе здравого смысла во множестве самых разных областей жизнедеятельности.
Присоединение же участников к нынешней Олимпиаде позволит исследователям разносторонне протестировать свои подходы и разработки – не только в состязаниях с другими исследователями ИИ, но и в состязаниях, по сути, со всем животным царством. Чтобы победить в таких соревнованиях, система ИИ должна иметь способности к обобщению своих знаний и возможностей – для решения таких задач, которые не были предусмотрены обучением.
От абсолютного победителя этой Олимпиады потребовался бы подлинный прорыв в области ИИ, то есть демонстрация способностей, находящихся далеко за пределами возможного для всех нынешних подобных систем. Однако, даже небольшие успехи в решении каждой из поставленных задач продемонстрируют, что в принципе и это уже возможно для ИИ – не только отыскивать полезные структуры и закономерности в данных, но и экстраполировать на их основе понимание того, как работает окружающий мир.
Каждому из участников по окончании состязаний будет присвоен «профиль животного», показывающий, какому из конкретных животных наиболее близко соответствуют особенности и показатели их системы ИИ.
Чтобы узнать подробности об этой необычной олимпиаде, редакция журнала IEEE Spectrum побеседовала с Мэтью Кросби, одним из непосредственных организаторов состязания, представляющим Ливерхьюмский центр Кембриджа.
Вопрос: Как вообще появился это проект?
Кросби: Собственно идея родилась как итог нашего общения с исследователями интеллекта животных. Вы может взять животное, поместить его в обстановку, с которой оно никогда прежде не встречалось, и дать ему проблему для решения. Типа добраться до еды или выбраться из ловушки. Весьма часто животные действительно способны решать сами подобные проблемы. С другой стороны, когда вы обучаете систему ИИ, чтобы она отлично решала какую-то конкретную задачу, чаще всего просто нет никакого смысла помещать её в новую обстановку. Поэтому ИИ даже не пытается решать подобную проблему, если она возникнет. Системы ИИ вообще никак на это не реагируют обычно.
Вопрос: А что именно делает тесты интеллекта животных полезными и интересными для исследователей ИИ?
Кросби: Многие из тестов животного интеллекта включают в себя процесс обучения. Например, как забирать еду из аппарата. Исследователи хотят выяснить, добивается ли животное успеха по той причине, что оно реально умное и соображает, как работает аппарат, или же оно просто повторяет один и тот же паттерн поведения, которому его обучили методом проб и ошибок. То есть, приходит ли успех через понимание или через элементарное запоминание операций?
Мы хотели бы перенести эти вещи в область ИИ, используя как модель эксперименты для тестирования интеллекта на предмет реального понимания ситуации, физики окружающей среды, так сказать. Будет ли ИИ понимать (как умное животное), что если еда пропадает из зоны видимости, то она всё еще существует?
Вопрос: А вы можете дать какие-нибудь конкретные примеры тестов и заданий?
Кросби: Ну, сама суть всей затеи с соревнованиями – это протестировать системы ИИ на таких задачах, с которыми они прежде не встречались. Поэтому я не могу вдаваться тут в подробности. Но вполне могу сказать, что за основу мы выбирали такие эксперименты, которые знамениты в литературе об интеллекте животных.
В одном из классических экспериментов, к примеру вы помещаете перед животным несколько непрозрачных перевернутых чашек. Под одну из чашек вы кладете еду, а задача животного – эту еду достать. Сначала вы кладете корм каждый раз под одну и ту же чашку, назовем её А, и эта процедура эквивалентна фазе обучения в условиях обстановки ИИ. Затем, когда наступает фаза тестирования, вы кладете еду сначала под чашку А, затем извлекаете её оттуда – в полной видимости для животного – и помещает еду под чашку Б. Некоторые животные, вроде шимпанзе, сразу же берутся за чашку Б. Но многие менее умные животные все равно ищут еду под чашкой А, потому что они научились решать эту задачу через запоминание.
Другой знаменитый эксперимент идет напрямую от басни Эзопа «Ворона и кувшин». Аппарат с едой плавает на поверхности воды внутри тестовой трубы. Уровень воды в трубе низкий, поэтому ворона не может до еды дотянуться. Однако ворону можно научить брать камешки и бросать в трубу. Камешки на дне поднимают уровень воды и в конце концов он становится высоким настолько, что ворона может достать корм. В эксперименте на проверку сообразительности можно устроить обстановку так, что у животного имеются как камешки, так и кусочки пробки. Которые при бросании в трубу плавают на поверхности воды, никак не повышая её уровень. Вороны сами соображают, что надо кидать камешки, а не пробки.
Вопрос: Похоже на то, что данные тесты заточены под некоторые весьма непростые аспекты интеллекта, типа обобщения получаемых знаний и синтеза новой информации. Или, быть может, даже на самостоятельное решение творческих проблем?
Кросби: Данный проект охватывает множество таких элементов в сфере исследований ИИ, которые считаются действительно трудными. Пока что у нас здесь нет даже оценочной шкалы, потому все наши рейтинги выстроены на основе человеческих игр. Таких игр, в которые люди играют сегодня или играли в прошлом. Здесь же мы конструируем такие задачи, которые специально заточены под тестирование способностей типа обобщения знаний и передачи обучения. Даже если никто из участников не проявит себя великолепно в этих состязаниях, они все равно станут очень полезным делом.
Вопрос: А не нацелена ли эта олимпиада отчасти и на то, чтобы сдуть пузыри шумихи вокруг ИИ?
Кросби: Вокруг ИИ сейчас и правда поднято много шума. Успехи здесь действительно реальны, вроде системы AlphaGo, победившей самого лучшего в мире игрока в го. Это впечатляет, спору нет. Но вот то, что данный успех означает с позиций оценки общего интеллекта машины — это для людей понять намного сложнее. Многие из публикаций СМИ на тему общего интеллекта несколько преувеличивают масштаб прогресса.
Мы считаем, что важно и полезно поощрять в этом деле и здоровый скептицизм. Системами ИИ за последнее время достигнут гигантский прогресс. Уже есть целый список проблем, которые сегодня удается решать с помощью ИИ, хотя всего три-четыре года назад такие задачи были для ИИ совершенно неподъемными.
Но при этом нам надо быть предельно аккуратными, объясняя людям, что это значит. Ведь система ИИ может быть совершенно великолепна при решении одной конкретной задачи, однако из этого пока вовсе не следует, будто она сможет решать такие аналогичные проблемы, с которыми прежде не сталкивалась.
Нынешнее состязание как раз и задумано для тестирования именно такого рода вещей. Возможно, мы и сами удивимся тому, насколько хороши могут быть агенты ИИ в подобных задачах. Однако пока что мы полагаем, что те проблемы, которые будут поставлены перед системами ИИ для их решения, являются весьма трудными.
Вопрос: Каковы собственно процедура состязаний и расписание мероприятий?
Кросби: Сейчас у нас имеется около 50 задач, почерпнутых из литературы об исследованиях интеллекта животных. В апреле 2019 мы выложим полные комплекты информации, касающиеся состязаний. В июне соревнования начнутся непосредственно, мы будем публиковать все приготовленное, а люди смогут сразу с этим работать. Мы будем публиковать множество обучающих сред со множеством разных объектов. Так что агенты ИИ будут полностью знать всю среду и все объекты, для их обучения будут предоставлены все подробности и детали. Но следует подчеркнуть, что это состязания на способности к обобщениям, так что собственно в тестах агенты ИИ должны будут использовать эти объекты разными способами. В декабре 2019 у нас будут финальные результаты соревнований.
Вопрос: Как вы думаете, по-настоящему успешные агенты ИИ должны продемонстрировать наличие здравого смысла?
Кросби: Сейчас есть такие исследовательские группы, которые работают над обучением систем ИИ интуитивному пониманию физики окружающего мира. Пониманию базовых правил того мира, в котором система обитает. Я надеюсь, что люди, работающие в данной области, присоединятся к нашим соревнованиям.
Ведь они занимаются вещами, которые действительно интересны для всей области ИИ. Но может быть и так, что у них нет подходящего полигона и системы оценок, которые позволили бы проверить их наработки и констатировать, «Да, у нас здесь действительно хороший прогресс». Я надеюсь, что они услышат об Олимпиаде Животные-ИИ и подумают: «Вот и пришло наше время засиять»…
Источники:
Animal-AI Olympics
Animal-AI Olympics Will Test AI on Intelligence Tasks Designed for Crows and Chimps, IEEE Spectrum, 27 Feb 2019
# #
Дополнительное чтение:
kiwi arXiv 