Язык жестов глухонемых переводчик

Глухой программист из Новосибирска разработал автоматический переводчик с языка жестов

Глухой программист Алексей Приходько разработал систему, которая автоматически переводит язык жестов на русский язык. Технология позволяет управлять компьютером, не используя мышь. Работу над прототипом он закончил в начале августа.

Камера программы распознает картинку и фиксирует жесты, затем изображение переводится в модели и обрабатывается внутри системы. Система сопоставляет картинку с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод, сообщается на сайте Новосибирского государственного технического университета.

По словам Алексея Приходько, на данный момент есть много компаний, которые заявляют о собственных разработках переводчика для глухих, и некоторые даже продают свои решения. Но, из-за специфики жестового языка, все они недостаточно качественные для пользования, говорит программист, который сам не слышит с детства.

«Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие крупные компании до сих пор не смогли реализовать полностью эту задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего», — говорит он.

Проблема связана с грамматикой языка жестов. Ни одна программа не может заменить живого переводчика, потому что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции), сообщается на сайте вуза.

«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существуют два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека.

Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — отметил Алексей Приходько.

Безмаркерная система, созданная программистом, при помощи специальных камер накладывает виртуальную «сетку» на изображение. На ней программные алгоритмы находят опорные точки, по которым определяются жесты. Затем система обрабатывает данные и воспроизводит заданные действия: перевод или управление.

«Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест», — сказал программист.

В данный момент прототип переводит на уровне азбуки глухих. К защите кандидатской диссертации Алексей Приходько намерен обучить систему другим компонентам грамматики жестового языка, чтобы создать из нее готовый продукт для массового внедрения и использования людьми с нарушением слуха. Для доработки прототипа программист ищет инвесторов.

Алексей Приходько — единственный в мире программист и эксперт по разработке системы для перевода жестового языка, сообщается на сайте Новосибирского государственного технического университета. Ранее он уже создавал технические решения для людей с нарушением слуха. В начале июля 2019 года он с командой создал проект для обучения глухих — «Жестовый интерфейс», в 2017 году – проект «Математика в тишине».

По данным Inc., ранее ученые из Калифорнийского университета в Сан-Диего разработали «умную» перчатку, которая автоматически переводит американский язык жестов (ASL) в текст на экране цифрового устройства. Стоимость гаджета не превысила 100 долларов.

Источник

Жестовый язык

Жестовая речь неслышащих. Многих она раздражает. Сколько раз в театре, на лекции или собрании, когда переводчик с помощью мимики и жестов переводит группе глухих содержание диалогов или выступлений, приходилось слышать: «Не машите руками, вы нам мешаете!».

Люди, которые так говорят, ничего или почти ничего не знают о глухих. Они не представляют, какой страшный дефицит информации всегда окружает неслышащих, не понимают, что язык жестов способен в какой-то степени компенсировать этот дефицит. Роскошь человеческого общения, о которой так хорошо сказал французский летчик и писатель Антуан де Сент-Экзюпери, достигается здесь много труднее.

В Москве на Измайловском бульваре есть необычный театр — Мимики и жеста. Все актеры этого театра — глухие. Только жестовая речь позволяет глухим зрителям, посещающим свой театр, понимать диалоги, следить за действием так же свободно, как слышащим. Давайте заглянем в этот единственный не только в Советском Союзе, но и в Европе профессиональный театр глухих актеров.

На его сцене идет «Капричос» — история жизни великого испанца Франсиско Гойи. Он родился в 1746 году, а в 46 лет полностью утратил слух. Действие «Капричос» происходит в самом конце XVIII и первом десятилетии XIX века. Глухой художник получает заказ от испанской королевы. Он работает над картиной «Маха». Появляются призраки — юродивые, монахи, инквизиторы. Толпа издевается над художником. По указанию инквизиторов «Маху» бросают в костер. Пантомима изображает пламя, разнузданную оргию толпы — безудержное пьянство, безумное веселье, кривляние и драки.

Все реплики передаются языком жестов. Впрочем, пантомима настолько выразительна, что содержание сцен понятно слышащим, не владеющим жестовой речью. Актер, исполняющий роль Гойи, создает запоминающийся образ подлинного художника, противостоящего слепой и жестокой толпе.

Спектакль, премьера которого состоялась в 1976 году, получил высокую оценку зрителей. За него Театр мимики и жеста удостоился Почетного диплома Министерства культуры СССР и Всесоюзного театрального общества.

Язык жестов у разных народов имеет много сходных элементов. Например, русский жест «слух, слушаю, слушать» — указательный палец, показывающий на ухо, отличается от аналогичного жеста в амслене только положением кисти руки. У русских рука расположена вертикально, у американцев — горизонтально. Совершенно идентичны в русской и американской жестовых системах знаки «мороз, холодно, охладить», «воин, солдат, армия» и др.

Интересна трансформация жестов «окно» и «телевизор». В первом случае указательные пальцы и мизинцы обеих рук образуют вертикальный прямоугольник (окно). Горизонтальное положение того же прямоугольника превращает его в знак «телевидение, телевизор». В жестуно тот же предмет обозначается символом двух латинских букв «Т» и «V». Поднятый вверх указательный палец левой руки образует «ножку» Т, а дактиль- ный знак «V» располагается над ним горизонтально.
Большой знаток русской жестовой речи и один из инициаторов работ по унификации жестов различных стран И. Гейльман сообщает, что в настоящее время специальная комиссия по интернациональному языку жестов отобрала и рекомендовала странам, входящим во Всемирную федерацию глухих (ВФГ), свыше 600 знаков (7).

К сожалению, жестуно пока внедряется медленно.

Источник

Разговорник для начинающих. Основные жесты, которые помогут вам при общении с глухими людьми Жест «Уважение»

Жесты глухих — это еще один иностранный язык. Выучить его, значит погрузиться в мир людей, для которых каждое движение рук или лица значат целое слово или предложение.

Каждое последнее воскресенье сентября отмечается Международный день глухих. В этот день принято обращать внимание на проблемы людей с недостатком или отсутствием слуха. В Беларуси около 10 тысяч неслышащих взрослых людей без учета детей.

Как и в любом иностранном языке, у языка жестов есть базовые слова и выражения, которые необходимо знать человеку для общения с глухими людьми. Это полезный навык, учитывая, что неслышащие люди не живут в другой стране, а находятся рядом с нами.

Фотограф TUT.BY Дарья Бурякина сделала фотопроект, где зафиксированы жесты и фразы, которые послужат небольшим разговорником между вами и неслышащим человеком. Проводником по наиболее употребляемым из них стала Ирина Радевич — переводчик жестового языка.

Жест «Здравствуйте, привет»

Жест «Помощь»

Жест «Спасибо»

Жест «Доброта»

Жест «Дом»

На языке жестов общаются 360 миллионов человек по всему миру – это в два раза больше, чем людей в России. В быту часто его называют «языком глухих», что не совсем корректно. Такое название никого не оскорбляет, просто не отражает всех сфер его применения. Жесты также используют друзья человека с инвалидностью по слуху, сотрудники МЧС или работники на заводах, где слишком шумно.

В каждой стране язык свой, и мы с тобой поговорим о русском жестовом языке или РЖЯ. Недостаточно просто выучить алфавит на пальцах: здесь строгое построение слов в предложении, и всегда приходится думать о порядке. Не все слова совпадают – много лексики взято из австрийского жестового языка, а в целом РЖЯ похож на французский!

Зачем же тебе это надо? В России людей с нарушениями слуха около 200 тысяч. Шанс столкнуться с таким человеком на улице выше, чем с иностранцем. Они живут так же, как мы: работают, заводят семьи, интересуются искусством. И иногда им тоже нужна помощь или просто человеческое общение.

Язык жестов не только полезный, но и интересный. Он развивает мелкую моторику рук и укрепляет память. Человек, быстро делающий сурдоперевод, выглядит как настоящий волшебник! Плюс, жестовый язык очень красив – посмотри эти адаптации известных песен и убедись.

Источник

Поделиться с друзьями
admin
Оцените автора
( Пока оценок нет )
Как переводится?
Adblock
detector