Барьеры в общении между людьми с нарушением слуха и говорящими остаются серьезной проблемой в повседневной жизни. От заказа еды до вызова экстренных служб — отсутствие общего языка может приводить к изоляции и неудобствам. Теперь команда исследователей из Южной Кореи представила перспективное технологическое решение: носимая система из семи умных колец, способная переводить американский и международный языки жестов (ASL и ISL) в текст в режиме реального времени.
В статье, опубликованной в журнале Science Advances, описывается устройство, которое устраняет разрыв в коммуникации без необходимости привлекать человеческих переводчиков или использовать громоздкое оборудование. Делая акцент на точности, комфорте и доступности, это нововновение решает ключевые ограничения существующих технологий перевода.
Преодоление ограничений текущих технологий
На протяжении многих лет разработчики пытались оцифровать перевод языка жестов, однако предыдущие решения сталкивались со значительными практическими трудностями. Большинство существующих прототипов используют перчатки, оснащенные множеством датчиков, которые часто неудобны, громоздки и ограничивают свободу движений. Такие перчатки могут мешать естественной плавности движений рук, что критически важно для точной передачи жестов.
Альтернативой являются системы на основе камер, которые предлагают неинвазивный подход, но сильно зависят от условий окружающей среды. Они требуют прямой видимости, контролируемого освещения и фиксированного положения камер, что делает их неприменимыми для динамичных реальных сценариев, таких как прогулка по улице или перемещение в переполненной комнате.
«Разрыв между знающими язык жестов и не знающими его делает определенные задачи… намного сложнее», — отметили исследователи, подчеркнув необходимость решения, которое будет бесшовно работать в повседневной жизни.
Как работает система из семи колец
Для решения этих проблем исследователи из Университета Ёнсе, Университета иностранных языков Хангук и Корейского института науки и технологии разработали модульную систему, использующую умные кольца для каждого пальца, а также дополнительные датчики для фиксации позы руки. Такая конструкция позволяет:
- Естественное движение: Кольца легкие и ненавязчивые, они не мешают ловкости и комфорту пользователя.
- Точное распознавание: Система фиксирует как динамические движения (например, жесты «танец», «летать» или «солнце»), так и статические позиции рук (например, «я» и «ты»).
- Универсальная совместимость: Что важно, системе не требуется калибровка для новых пользователей. В ходе тестирования она с высокой надежностью распознавала 100 слов ASL и ISL, даже когда ее использовали люди, ранее не встречавшиеся системе.
Поскольку устройство распознает слова последовательно, оно может строить перевод на уровне предложений без необходимости обширного дополнительного обучения правилам грамматики. Это делает технологию высокоадаптивной и готовой к немедленному использованию широкой аудиторией.
Почему это важно: больше, чем просто перевод жестов
Значение этой технологии выходит далеко за рамки немедленных средств помощи в общении. С учетом того, что по всему миру более 72 миллионов глухих и слабослышащих людей используют ASL или ISL, надежное портативное средство перевода может фундаментально улучшить социальную интеграцию и доступность общественных пространств.
Однако лежащая в основе технология — беспроводная модульная архитектура, способная отслеживать тонкие движения рук, — имеет потенциал для применения в других отраслях. Исследователи предполагают, что эту платформу можно адаптировать для:
- Виртуальной и дополненной реальности (VR/AR): Обеспечение интуитивного управления жестами в иммерсивных средах.
- Бесконтактных интерфейсов: Позволяя пользователям взаимодействовать с устройствами без физического контакта, что становится все более важным в местах, требующих соблюдения гигиены.
- Мониторинга реабилитации: Предоставление точных данных о движениях рук для физиотерапии и отслеживания процесса восстановления.
Заключение
Хотя система из семи колец находится еще в экспериментальной стадии, она представляет значительный скачок вперед в области носимых технологий. Приоритизируя комфорт пользователя и гибкость в различных условиях среды, она предлагает жизнеспособный путь к общению без барьеров для миллионов людей. По мере развития этой технологии она может не только трансформировать наше взаимодействие с сообществом глухих, но и переопределить то, как мы будем управлять цифровыми интерфейсами в будущем.
