Сурдотелефон. Учёные из Сибири создали приложение, переводящее речь в жесты

 «Я часто думаю о том, в каком информационном вакууме они живут, - говорит Юля. - Государство выделяет им сурдопереводчиков - сходить, скажем, куда-то по делам. Но в целом проблема не решается».

Как считать жесты

А как её можно решить в идеале? В идеале - написать программу для мобильных телефонов, которая будет загружаться в «трубки» как глухих, так и слышащих (их родственников, волонтёров, соцработников, а то и всех желающих). Когда слышащий будет звонить глухому, программа трансформирует его речь в бегущую строку на экране. Плюс некий аватар сурдопереводчика (нарисованный персонаж, мультяшная кукла) языком жестов покажет с экрана нужную информацию. Можно общаться и в обратную сторону: видеокамера на телефоне будет считывать жесты глухого и переводить их в звучащую «на другом конце провода» речь.

В России 300 тыс. человек вообще ничего не слышат: у них тотальная глухота, без жестов не обойтись. В Новосибирске таких около 4 тыс., и многие ежегодно поступают учиться в местный Институт социальной реабилитации НГТУ. Именно для этих людей профессор Михаил ГРИФ, зав. кафедрой автоматизированных систем управления НГТУ, взялся разрабатывать компьютерный сурдопереводчик. Было это в конце 90-х.

«Удивительно, но до нас никто не смог реализовать такую идею - научиться распознавать голос, преобразовывать его в язык жестов на компьютерном персонаже или через видеоофильм перевода. Мы реализовали её первыми, - рассказывает Михаил Гриф. - Мобильных телефонов тогда не было, программа работала на персональном компьютере. Это, конечно, усложняло её использование на практике. Кроме того, трудно было сделать этот самый аватар, компьютерный персонаж, который бы передавал жесты сурдоязыка без искажений».

Переводчица Зоя

С тех пор технологии «подросли». И Михаил Гриф вернулся к разработке.

Юлия Мануева приехала в Новосибирск из Улан-Удэ. «У меня мама работает на предприятии, где делают протезы для инвалидов. Поэтому я с детства знакома с темой, - говорит она. - А программирование - та отрасль, где ты реально видишь результат своего труда. Хоть таким способом я могу помочь глухим людям».

Юлия пишет программы, распознающие жесты. В любом языке одно слово может иметь несколько значений, как, например, «лук», «коса», «команда». Чтобы компьютерный переводчик выбрал верный жест из двух-трёх имеющихся в словаре и не ввёл в заблуждение своего глухого хозяина, он должен правильно понять значение слова. Оно ему становится ясно из контекста - соседних слов. Над этим и работает Мануева. «Слышащему человеку трудно представить, сколько тут тонкостей, - продолжает М. Гриф. - Вот вы, например, знаете, что единого русского языка жестов не существует? У него долго не было официально признанного статуса. В разных регионах используются разные диалекты. В Москве один, в Санкт-Петербурге - другой, в Сибири - третий. Иначе говоря, двое глухих из Москвы и Питера могут не понять друг друга, у них разница в жестах достигает 60%! Мы привлекали лингвистов из всех этих регионов, прислушивались к их рекомендациям».

Три года ушло на создание мультяшного персонажа, аватара. Сейчас он превратился в девушку по имени Зоя, показывающую жесты сурдоязыка с экрана смартфона. Перевод можно ускорить или замедлить, остановить, повторить. Теперь программисты работают над тем, чтобы «подселить» Зою в телевизор - для перевода фильмов и программ. Хорошо бы ещё, чтобы ей нашлось место в госучреждениях, куда часто обращаются инвалиды по слуху. А то им приходится, как правило, писать на бумажке, зачем они пришли, положенных по закону сурдопереводчиков на всех не хватает. Наконец, ноу-хау учёных можно адаптировать к любому из мировых языков. А это значит - помочь глухим путешествовать по миру.