Бар’єри у спілкуванні між людьми з порушенням слуху та розмовляючими залишаються серйозною проблемою у повсякденному житті. Від замовлення їжі до виклику екстрених служб відсутність загальної мови може призводити до ізоляції та незручностей. Тепер команда дослідників з Південної Кореї представила перспективне технологічне рішення: система, що носиться з семи розумних кілець, здатна переводити американську та міжнародну мови жестів (ASL та ISL) у текст у режимі реального часу.
У статті, опублікованій у журналі Science Advances, описується пристрій, який усуває розрив у комунікації без необхідності залучати людських перекладачів або використовувати громіздке обладнання. Наголошуючи на точності, комфорті та доступності, це нововведення вирішує ключові обмеження існуючих технологій перекладу.
Подолання обмежень поточних технологій
Протягом багатьох років розробники намагалися оцифрувати переклад мови жестів, проте попередні рішення стикалися із значними практичними труднощами. Більшість існуючих прототипів використовують рукавички, оснащені безліччю датчиків, які часто незручні, громіздкі і обмежують свободу рухів. Такі рукавички можуть заважати природній плавності рухів рук, що важливо для точної передачі жестів.
Альтернативою є системи на основі камер, які пропонують неінвазивний підхід, але залежать від умов навколишнього середовища. Вони вимагають прямої видимості, контрольованого освітлення та фіксованого положення камер, що робить їх непридатними для динамічних реальних сценаріїв, таких як прогулянка вулицею або переміщення по кімнаті.
«Розрив між знаючими мову жестів і не знаючими її робить певні завдання… набагато складнішими», — зазначили дослідники, наголосивши на необхідності рішення, яке буде безшовно працювати у повсякденному житті.
Як працює система із семи кілець
Для вирішення цих проблем дослідники з Університету Йонсе, Університету іноземних мов Хангук та Корейського інституту науки і технології розробили модульну систему, що використовує розумні кільця для кожного пальця, а також додаткові датчики для фіксації пози руки. Така конструкція дозволяє:
- Природний рух: Кільця легкі та ненав’язливі, вони не заважають спритності та комфорту користувача.
- Точне розпізнавання: Система фіксує як динамічні рухи (наприклад, жести «танець», «літати» чи «сонце»), і статичні позиції рук (наприклад, «я» і «ти»).
- Універсальна сумісність: Що важливо, системі не потрібно калібрування для нових користувачів. У ході тестування вона з високою надійністю розпізнавала 100 слів ASL і ISL, навіть коли її використовували люди, які раніше не зустрічалися в системі.
Оскільки пристрій розпізнає слова послідовно, він може будувати переклад лише на рівні пропозицій без необхідності додаткового навчання правилам граматики. Це робить технологію високоадаптивною та готовою до негайного використання широкою аудиторією.
Чому це важливо: більше, ніж просто переклад жестів
Значення цієї технології виходить далеко за межі негайних засобів допомоги у спілкуванні. З огляду на те, що у всьому світі понад 72 мільйони глухих і людей, які погано чують використовують ASL або ISL, надійний портативний засіб перекладу може фундаментально покращити соціальну інтеграцію та доступність громадських просторів.
Однак технологія, що лежить в основі — бездротова модульна архітектура, здатна відстежувати тонкі рухи рук, — має потенціал для застосування в інших галузях. Дослідники припускають, що цю платформу можна адаптувати для:
- Віртуальної та доповненої реальності (VR/AR): Забезпечення інтуїтивного управління жестами в іммерсивних середовищах.
- Безконтактних інтерфейсів: Дозволяючи користувачам взаємодіяти з пристроями без фізичного контакту, що стає все більш важливим у місцях, які потребують дотримання гігієни.
- Моніторингу реабілітації: Надання точних даних про рухи рук для фізіотерапії та відстеження процесу відновлення.
Висновок
Хоча система з семи кілець знаходиться ще в експериментальній стадії, вона представляє значний стрибок вперед в області технологій, що носяться. Пріоритизуючи комфорт користувача та гнучкість у різних умовах середовища, вона пропонує життєздатний шлях до спілкування без бар’єрів для мільйонів людей. У міру розвитку цієї технології вона може не лише трансформувати нашу взаємодію з спільнотою глухих, а й перевизначити те, як ми керуватимемо цифровими інтерфейсами в майбутньому.
