Необходимая поддержка

Казахстанские студенты разработали онлайн-словарь казахского жестового языка - полноценную платформу, содержащую 1800 слов. Мобильное приложение этого словаря может распознавать конфигурации рук из видео или камеры.

 

Разработчики хотят научить новому жестовому языку всех казахстанцев с нарушениями слуха. О процессе разработки и используемых технологиях при создании онлайн-словаря рассказал лидер проекта, студент программы «Докторантура» Школы инженерии и цифровых наук Nazarbayev University Медет Мукушев.

- Основной миссией проекта является предоставление равного доступа к информации и образованию для всех детей, включая детей с нарушениями слуха, и создание модели для более широкой интеграции инклюзивных технологий в образовательную среду. Мы стремимся поддержать детей с нарушениями слуха, помогая им улучшить навыки чтения и изучения жестового языка. Проект направлен на создание инклюзивной и технологически продвинутой образовательной платформы, которая позволит детям с нарушениями слуха расширить свои образовательные возможности и участвовать в образовательном процессе наравне с другими учениками, - рассказывает он.

Для разработки словаря были привлечены профессиональные переводчики жестового языка, чтобы обеспечить высокое качество записи жестов. В частности, для датасета FluentSigners-50, который является одним из ключевых в этом проекте, были привлечены носители жестового языка. Это обеспечило точность и аутентичность записанных данных.

- Говоря о широком функционале, хочется отметить, что мы включили в словарь более 20 категорий: страны и города, знакомство, семья, дом, эмоции, IT, медицина, галактика и другие. В каждой категории записаны 50-70 жестов, что позволяет пользователям охватывать широкий спектр тем. В настоящее время мы уже начали работу по расширению списка жестов и планируем увеличить общее количество до 5000 жестов. Таким образом, словарь будет регулярно обновляться и расширяться, чтобы охватить еще больше тематик и обеспечить пользователям более полный и функциональный ресурс для изучения казахского жестового языка, - продолжает Медет Мукушев.

Жесты демонстрируются с помощью записанных видео, что позволяет пользователям видеть правильное выполнение каждого жеста. Кроме того, студентами Nazarbayev University были адаптированы модели, которые показывают жесты через аватара, использующего ключевые точки тела для точного отображения движений. Авторы проекта продолжают работу над улучшением аватара для более качественной демонстрации. Поиск жестов также будет доступен по изображению конфигурации рук, которые можно показать через веб-камеру, что делает поиск интуитивным и удобным.

- На данный момент платформа доступна в веб-версии. Мы активно работаем над адаптацией платформы для мобильных телефонов, чтобы словарь был доступен пользователям на различных устройствах. Наш словарь будет отличаться тем, что мы применяем различные алгоритмы искусственного интеллекта. Например, для обратного поиска жестов создали поиск по конфигурации рук. Команда студентов уже разработала данную функцию в приложении для iOS. Теперь же мы планируем внедрить это на платформе, - объясняет студент.

По заверениям разработчиков, словарь будет бесплатным. Кроме того, на платформе есть возможность чтения книг на казахском, русском и английских языках. Пользователи могут переводить незнакомые слова на жестовый язык, просто нажав на слово. В будущем команда авторов планирует добавить обучающие игры, новые книги, а также возможность сохранять пройденные слова и их описание на жестовом языке. Эти дополнительные функции уже будут доступны по подписке за небольшую плату.

- Наша платформа станет важным инструментом для популяризации казахского жестового языка, сделав его более доступным для изучения как для людей с нарушениями слуха, так и для слышащих людей, желающих научиться жестовому языку. Это поможет укрепить межкультурные связи и улучшить коммуникацию в обществе. Платформа станет важным ресурсом для улучшения взаимопонимания между людьми с нарушениями слуха и слышащими, предоставляя возможность последним изучить основы жестового языка. Это способствует лучшему взаимодействию в различных сферах, от повседневного общения до профессиональной деятельности, - подытожил Медет Мукушев.

Inform.kz,
фото Nazarbayev University