(Март 2001)
Светлой памяти отца теории информации Клода Элвуда Шеннона
24 февраля (2001) покинул наш мир Клод Шеннон, один из выдающихся умов XX столетия, «отец» теории информации и научной криптографии. Фундаментальные идеи и теории Шеннона появились на свет более полувека назад, однако и поныне они остаются не менее современными и важными, чем в годы своего зарождения.
Более того, можно говорить, что лишь нынешняя эпоха высокоскоростных цифровых коммуникаций позволяет в полной мере оценить гигантский вклад этого ученого, вследствие ряда личных качеств названного одним из соратников «самым неизвестным среди великих математиков».
Клод Элвуд Шеннон родился в городке Питоски, штат Мичиган, 30 апреля 1916 года. Благодаря влияниям отца-радиолюбителя и старшей сестры, всю жизнь посвятившей математике, весьма рано проявилось и дарование Клода, крайне удачно сочетавшее в себе технический талант инженера-электронщика и выдающиеся теоретические способности к глубокому математическому анализу проблем.
В 1936 году Шеннон закончил Мичиганский университет со степенями бакалавра в математике и электронной технике. Еще через 4 года он закрепил свое «обоюдоострое» образование в стенах Массачусетского технологического института (MIT), в 1940 защитив здесь магистерскую диссертацию по электротехнике и докторскую — по математике.
Уже магистерская диссертация Шеннона «Символический анализ релейных и переключающих схем» стала без преувеличения новым словом в науке.
В эпоху аналоговых радиоэлектронных устройств и счетно-решающих машин на шестеренках и валиках, Шеннон разработал, по сути дела, теоретическое обоснование для электронных цифровых схем. Ныне такие схемы лежат в основе функционирования практически всех современных компьютерных и коммуникационных систем.
Суть новаторского подхода, предложенного в диссертации, заключалась в том, чтобы работу переключателей и реле в электрических схемах анализировать на базе аппарата булевой алгебры, достаточно абстрактной по тем временам технике математической логики, созданной в в середине XIX века английским математиком Джорджем Булем.
Впоследствии Шеннон таким образом пояснял причину своего выдающегося открытия: «Просто случилось так, что никто другой не был знаком с обеими этими областями одновременно»…
Время тогда было известно какое, и в 1941 году Шеннон начал работу в математическом отделении научно-исследовательского центра Bell Laboratories, сосредоточенного по-преимуществу на проблемах военных коммуникационных систем и криптографии. Напряженная работа в этой области за годы войны дала богатейшие плоды в мирное время.
В 1948 году Шеннон публикует свой эпохальный труд «Математическая теория связи», оригинал которого можно найти на сайте Bell Labs (русский перевод есть тут).
Цель перед работой ставилась сугубо практическая — как можно было бы улучшить передачу информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических шумов. При решении же этой задачи у Шеннона родилась поистине революционная работа, положившая начало целой науке под названием «теория информации».
Безусловный интерес представляет то, как ученый переформулировал цель исследования: «Фундаментальная проблема связи состоит в том, чтобы на одном конце в точности или приблизительно воспроизвести сообщение, которое избрали для передачи на другом конце».
Для строгого математического описания и решения проблемы в такой формулировке Шеннон разработал теоретический фундамент столь тщательным образом, что введенные им конструкции и терминология остаются стандартом и по сию пору.
Достаточно быстро Шенноном был сделан вывод, что наилучшим решением проблемы стало бы более эффективное кодирование или «упаковка» информации. Однако для начала требовалось строго определить, что это собственно такое — «информация» — и чем измерять ее количество.
Имея за плечами аппарат двоичной логики, за единицу информации Шеннон принял то, что впоследствии окрестили «битом», другими словами, выбор одного из двух равновероятных вариантов. Что же касается количества информации, то ее Шеннон определил через энтропию — математическую меру, в термодинамике и статистической физике применяемую для характеристики степени хаотичности (разупорядоченности) систем.
Как гласит предание, пошедшее из уст самого автора, использовать энтропию ему посоветовал знаменитый математик Джон фон Нейман. Со своеобразным чувством юмора, свойственным этим людям, фон Нейман обосновал свой совет тем, что в среде математиков и инженеров мало кто знает об энтропии, а посему Шеннон получит огромное преимущество в неизбежных грядущих спорах вокруг новой теории.
Однако вопреки ожиданиям, новаторской теории Шеннона был сужден по сути дела мгновенный и широчайший успех среди инженеров, занимающихся системами связи. Она породила огромное количество исследовательских работ и стала мощным стимулом к развитию всех тех технологий, что в конечном счете привели к сегодняшнему «веку информации».
Другая эпохальная работа Клода Шеннона, вышедшая практически одновременно с «теорией информации», по ряду причин не получила такого же же широкого резонанса, поскольку явно опережала свое время сразу на несколько десятилетий.
Речь идет, конечно же, об опубликованной в 1949 году статье «Теория связи в секретных системах» («Communication Theory of Secrecy Systems», русский перевод этой работы можно найти здесь: PDF).
На самом деле эта статья представляла собой несколько переработанный отчет, подготовленный Шенноном еще в 1945 году. То, что данная работа была рассекречена и опубликована в открытой печати — само по себе маленькое чудо, рационально объяснить которое можно лишь тем, что уровень абстрагирования явно показался принимающим решения инстанциям чересчур далеким от практики.
Ну а то, что значит этот труд для современной криптологии, можно проиллюстрировать лишь одним примером. Всю истоию криптографии от античности до наших дней принято делить на два периода: до 1949 года, когда «тайнопись» считали шаманством, оккультизмом и родом искусства, и после 1949 года, когда криптология стала полноценной прикладной наукой со строгой математической теорией в своем фундаменте.
За Клодом Шенноном всегда ходила слава весьма разнообразно одаренного человека. Во многом он напоминал «универсальных людей» эпохи Возрождения, причем порою отличался весьма эксцентричным поведением. Одной из наиболее примечательных деталей его жизни непременно упоминают следующую — временами Шеннон любил разъезжать по коридорам Bell Labs на одноколесном велосипеде, да еще жонглируя при этом мячами.
В 50-е годы ученым был предпринят целый ряд интереснейших работ, связанных с системами искусственного интеллекта. Одним из первых Шеннон высказал мысль о том, что машины могут играть в игры и самообучаться. Причем идеи эти сразу стали находить практическое воплощение.
Для решения задач поиска выхода из лабиринта Шеннон построил «умную электромеханическую мышку», получившую имя античного героя Тесея. Это устройство стало одной из самых ранних попыток «научить» машину самостоятельно обучаться и находить выход из запутанных коридоров.
В честь шенноновского «Тесея» организацией IEEE учрежден международный конкурс изобретений «микромышь», в котором по сию пору тысячами участвуют студенты технических вузов из разных стран мира.
В те же 50-е годы Шеннон создал машину, способную «читать мысли». Говоря точнее, коллега Шеннона Дэйв Хагельбаргер (Dave Hagelbarger) построил машину, которая в опытах с подбрасыванием монеты предсказывала, что будет выбирать человек — «орла» или «решку». Эта машина явно предсказывала выбор с вероятностью, большей 50%. Так, в эксперименте с 9795 бросками машина 5218 раз сделала правильное предсказание выбора человека.
Идея «чтения мыслей» состояла в том, что человек не способен генерировать «чисто случайные» последовательности, невольно подстраиваясь под результаты предыдущих испытаний. Логика обычно примерно такова: «вот выпало три подряд решки, значит, теперь-то уж точно выпадет орел». Основываясь на этой логике Хагельбаргер и разработал ряд несложных алгоритмов предсказания.
Шеннона эта задача заинтересовала и он построил собственную машину для чтения мыслей, выставив ее на соревнование с хагельбаргеровской. В конечном итоге машина Шеннона выиграла, правда, с минимальным преимуществом .
Примечательным работам Шеннона в области конструирования шахматных компьютеров отдается должное на сайте IBM, посвященном знаменитой машине «Deep Blue». Говорится там, в частности, следующее.
Постоянно изменяющаяся сложность шахматной доски — это, к примеру, проблема работы авиадиспетчера в миниатюре. Для компьютерных ученых шахматы являются как бы лабораторным полигоном. Еще на заре компьютерной эпохи, в 1950 году Клод Шеннон сформулировал это так: «Проблема игры в шахматы жестко очерчена, как в терминах допустимых операций, так и в своей конечной цели. Она не настолько проста, чтобы быть тривиальной, но и не слишком сложна для отыскания удовлетворительных решений».
Как можно видеть, формулирование проблем всегда явно было сильной стороной Шеннона. Ведь правильно сформулировать задачу — это наполовину ее решить…
В 1956 году Шеннону исполнилось 40 лет, и очевидно, что рубеж этот стал переломным в его жизни. По каким-то труднообъяснимым причинам он решает прекратить свои исследовательские работы в Bell Labs, вместо этого занявшись преподаванием.
Начиная с 1956 года Шеннон в качестве приглашенного профессора приступает к работе в МТИ, а в 1958 становится там постоянным преподавателем. Последующие 20 лет в МТИ показали, что Шеннону стало как будто «неинтерсно» заниматься областями, где он достиг столь впечатляющих высот.
(Примечание из 2013. Правдоподобную версию относительно мотивов ухода ученого из большой науки можно найти в материале «Тайны внутри секретов». О любопытных «домашних» исследованиях Шеннона см. материал «Мы не будем полагаться на случай»).
Зато в эти годы, и особенно после ухода в 1978 году на пенсию, математик полностью отдался своей давней страсти — жонглированию. Шенноном было построено несколько жонглирующих машин и даже была создана «общая теория жонглирования».
Его постоянно и бесконечно притягивала эта завораживающая игра из непрекращающейся ловли и подбрасывания падающих предметов, формирующих в воздухе причудливые динамические фигуры. Вполне возможно, что суть этого увлечения и истинный смысл «теории жонглирования» Шеннона человечеству еще только предстоит постичь в будущем.
В целом же все работы, проделанные этим ученым за его долгую жизнь, весьма наглядно подтверждают неоднократно высказывавшиеся Шенноном слова, что мотивацией его деятельности в значительно большей степени всегда руководило любопыство, нежели «практическая полезность»:
«Я всегда следовал своим интересам, не думая ни о том, во что они для меня выльются, ни об их ценности для мира. Я потратил уйму времени на совершенно бесполезные вещи… Мне просто было интересно, как эти вещи устроены».
И вряд ли случайность, что последняя фраза по сути дела является программным лозунгом в деятельности многих нынешних «хакеров».
kiwi arXiv 