Быть услышанными

(Сентябрь 2012)

В городе Сиднее, Австралия, где летом проходил финал всемирного молодежного конкурса инфотехнологических новаций Microsoft Imagine Cup, одним из главных победителей стала команда разработчиков из Донецка. Мобильное устройство, созданное умельцами Украины, в реальном времени способно переводить жестовый язык глухих и глухонемых людей в звуки обычной устной речи.

event

Согласно данным Всемирной организации здравоохранения, на сегодняшний день в мире насчитывается около 40 миллионов людей с полным или частичным отсутствием слуха. Иными словами, это примерно столько же, сколько граждан живет в довольно большой стране с населением как у Аргентины и Швеции вместе взятых.

Как и в прочих больших странах с собственным языком, подавляющая масса «населения» этой общности – глухих, немых и глухонемых «жителей» – для общения друг с другом использует особый, весьма развитый в коммуникационном смысле язык жестов, характеризуемый множеством разновидностей и наречий.

Хотя к жестовым языкам и наречиям глухих довольно долго было принято относиться как к языкам примитивным и «ненастоящим», при действительно научном подходе к анализу было установлено, что это не так.

После тщательных исследований, проведенных профессиональными лингвистами во второй половине XX века, было обнаружено, что жестовые языки обладают всеми компонентами, присущими полноценным языкам. То есть, они столь же богаты и непросты, как и всякий звуковой язык повсеместного применения.

Языки жестов обладают своей собственной развитой грамматикой и могут быть использованы для обсуждения самых различных тем: от совсем простых и конкретных до весьма возвышенных или абстрактных.

Сами глухонемые, можно отметить, интуитивно знали это задолго до выводов ученых-лингвистов. Так, один из виднейших деятелей Всероссийского общества глухонемых, А. Я. Удаль, еще в начале 1920-х годов настаивал, что глухие

не «безнадежно обижены в смысле языка… далеко не обижены, хотя, правда, язык наш не сходен с языком остального человечества… [и] в свое время нам удастся внести в общую сокровищницу человеческой культуры кое-что новое, ценное, что недоступно по физическим условиям для наших товарищей – слышащих».

Но как бы там ни было, хотя жестовые языки постоянно и динамично развиваются их носителями, за пределами этой общности по сию пору имеется очень мало людей, действительно хорошо понимающих язык жестов.

Если переформулировать этот факт чуть иначе, то очень многие люди из-за полного отсутствия или ослабленного слуха по сию пору продолжают иметь серьезные трудности при попытках общения со слышащими на том языке, который является для них родным и естественным.

Казалось бы, в нынешнюю эпоху цифровых коммуникаций и высоких технологий, когда туча народу много лет занимается компьютерными системами перевода с одного языка на другой, уже давно могли бы появиться устройства для облегчения естественного общения между глухими и слышащими.

Однако реально ничего подобного – чтобы не очень дорого и нормально работало – на мировом рынке пока так и не обозначилось.

Иначе говоря, как это ни поразительно, но группе молодых донецких специалистов из Компьютерной академии «ШАГ» (программисты Антон Пастерников, Максим Осика, Антон Степанов и дизайнер Валерий Ясаков) удалось ныне создать в этой области нечто воистину новаторское.

enabletalk-gloves

Сконструированное украинцами устройство представляет собой, в первом приближении, надеваемую на руку перчатку (лучше, конечно, две) плюс смартфон.

Перчатка, при более тщательном рассмотрении, – это сам по себе целый компьютер-манипулятор, оборудованный кучей всевозможных датчиков-сенсоров, чипом микроконтроллера, батареями питания и беспроводной связью Bluetooth, с помощью которой происходит соединение со смартфоном.

На смартфоне же, соответственно, работает программа-переводчик, которая преобразует сигналы перчаток о жестах рук в слова и фразы обычной человеческой речи.

Даже при сколь скупом описании устройства несложно, наверное, представить, сколь эффектно выглядела его презентация на сцене финала конкурса в Сиднее.

По свидетельству там присутствовавших, уже в самом начале, когда один из создателей, надев перчатки, проделал несколько несложных движений рукой, а программа-переводчик его смартфона на чистом английском через динамики тут же трансформировала жесты в слова приветствия «Nice to meet you», то по залу пронеслось восхищенное «о-о-о»…

Дорога же к триумфу в Австралии заняла у разработчиков около полугода и начиналась вот как.

На одном из спортивных мероприятий осенью 2011 ребята столкнулись с типичной, в общем-то, бытовой ситуацией – когда спортсменам-легкоатлетам из местного общества глухонемых было очень непросто общаться с остальными участниками-слышащими.

Живая картина столь противоестественного языкового барьера и подтолкнула программистов к идее сделать что-нибудь эдакое современное, способное доступными средствами техники снимать подобную проблему в принципе.

Сосредоточившись на концепции перчатки-манипулятора, разработчики начали предварительные исследования в ноябре 2011, а уже в январе 2012 перешли к фазе создания аппаратного прототипа и написания алгоритмов распознавания.

Первый прототип перчатки работал с так называемыми дактильными символами – когда конфигурации пальцев показывают лишь буквы алфавита и обозначения цифр. Хотя это еще далеко не полноценный язык жестов, с помощью дактильного алфавита уже вполне можно выстраивать слова и фразы – примерно как печатать на клавиатуре без собственно кнопок клавиатуры.

Для тестировании первого прототипа пригласили к сотрудничеству глухонемых спортсменов, однако – к удивлению разработчиков – довольно многих это приглашение крайне смутило и они отказались.

Как поняли эту ситуацию программисты, дело было не столько в обычных трудностях общения, сколько в страхе того, что конструкторы дают им ложную надежду. Что вот, они сейчас увидят и потрогают устройство, которое способно решить их проблему общения, однако в итоге дело так и не будет доведено до реального конечного продукта…

Несколько храбрецов, впрочем, согласились приступить к тестированию. К радости испытателей, концепция показала себя вполне работоспособной.

Однако глухонемые спортсмены сразу дали понять, что куда круче было бы научить перчатку распознаванию «хирем», то есть базовых элементов жестового языка, выступающих в качестве аналогов фонем языка звукового.

Поскольку язык жестов является «многомерным» (здесь одновременно важны и конфигурация пальцев, и ориентация ладони, и положение руки в пространстве, и структура ее движения), то всего одним жестом бывает возможно передавать даже не слог или слово, а целую фразу. Типа, «объект огромных размеров движется по мосту».

Так что далее конструкторы взялись осваивать тонкости жестового языка уже всерьез. И к участию в Imagine Cup, ежегодном IT-конкурсе творческой молодежи мира, уже в 10-й раз проводимом корпорацией Microsoft, донецкая команда смогла представить в корне иной, существенно продвинутый в распознавании хирем прототип под названием EnableTalk (что можно перевести как «позволяю разговаривать»).

Хотя изначальная программа устройства была разработана под современную платформу Windows Phone 7, для участия в конкурсе команде пришлось вернуться к более древней ОС Windows Mobile.

Причина тому довольно дурацкая: в Windows Phone 7 сторонним разработчикам не предоставляется доступ к стеку Bluetooth – а это именно тот канал, по которому перчатки связываются по беспроводной связи с мобильным устройством, на котором работает программа-переводчик.

Сами перчатки сейчас оснащены акселерометром, гироскопом, компасом и 15 сенсорами на изгибы пальцев и ладони, что позволяет определять текущую позицию, форму и перемещение перчатки в пространстве. Данные от сенсоров поступают в контроллер, находящийся с тыльной стороны перчатки и питающийся от аккумуляторной батарейки.

Аккумулятор можно перезаряжать через USB, а кроме того, имеется и небольшая солнечная батарея – для увеличения интервала работы устройства между подзарядками. Данные от перчатки через Bluetooth идут в смартфон, где знаки жестов переводятся программой-приложением в звуки речи с помощью стандартных интерфейсов Microsoft Speech API и Bing API.

Помимо относительной дешевизны (по прикидкам, пара сотен долларов), компактности и отсутствия проводов, система EnableTalk имеет еще одно огромное преимущество – способность к самообучению благодаря встроенной в нее нейросети.

Иными словами, устройство можно легко перенастраивать под жестовые языки разных стран, а также под индивидуальные особенности и предпочтения пользователей в исполнении конкретных жестов.

Сразу же после победы в финале Imagine Cup 2012 разработчики устройства стали получать множество предложений о сотрудничестве из самых разных стран: о портировании системы на мобильные платформы Google Android и Apple iOS, о создании библиотек базовых жестов для жестовых языков разных стран и тому подобные идеи творческого развития для столь интересной концепции.

Сами создатели EnableTalk надеются довести свой продукт до стадии массового производства. Победа в конкурсе дала им право претендовать на дополнительный грант от Microsoft в размере 3 миллионов долларов – суммы, специально выделяемой новаторам под практическую реализацию их перспективных изобретений.

Следить за дальнейшей судьбой этой разработки можно на сайте проекта http://enabletalk.com/.

enabletalk-site