Рисунок на этих перчатках напоминает кубистический ослепляющий камуфляж, но задача сумасшедшего узора — сделать перчатки, напротив, более заметными для камеры.
Кроме того, только кажется, что раскраска хаотична. На деле она представляет собой результат долгого подбора наилучших форм и дает массу преимуществ “Системе распознавания жестов в реальном времени с цветными перчатками”.
Создали ее Роберт Ванг и Йован Попович из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института. Прелесть разработки в том, что сами перчатки (не считая цвета) — самые обычные, из эластичного синтетического материала. Снимает руки человека банальная веб-камера, и весь секрет — в хитроумной программе распознавания. А уж что дальше делать с этой информацией, зависит только от фантазии пользователя.
Тут необходимо небольшое отступление. В попытках по-новому организовать общение компьютера и человека инженеры обычно конструируют аксессуары, напичканные датчиками (вспомним электронные перчатки для глухонемых и перчатки — сенсоры эмоций).
Видели мы и перчатки для игры на виртуальной гитаре, в которых не было ничего особенного, кроме яркой окраски (тоже для облегчения распознавания камерой). Только вот информации машина о таких перчатках получала немного — взаимное положение рук да их смещение в пространстве.
Между тем идея сделать перчатки для компьютерного интерфейса без всякой электроники была настолько привлекательной, что не раз всплывала в разных проектах, один из которых послужил прообразом фантастической системы из фильма “Особое мнение”. Но и его нельзя было назвать идеальным — маркеры на пальцах позволяли камерам захватывать движение именно пальцев, а не кисти в целом.
Последнее ограничение и преодолели Ванг с Поповичем. Ориентируясь на цветные узоры, камера теперь может оцифровывать любой жест руки, аппарат различает каждый палец и видит форму ладони, легко опознает положение руки ладонью вниз и вверх. А ведь для систем машинного зрения зачастую это проблема: растопыренные пальцы выглядят похоже в обоих случаях.
И все же — почему именно такой рисунок? Пара десятков разнокалиберных пятен десяти цветов на каждой руке легко выделяется программой из окружающего фона, что позволяет системе не сбиваться при любом освещении и угле обзора. Опознанное расположение всех пятен машина переводит в упрощенную компьютерную модель — цветной рисунок 40 х 40 пикселей.
Далее компьютеру нужно понять — что же он видит. Для этого авторы придумали новый алгоритм быстрого поиска наиболее точных визуальных совпадений в базе данных, а она содержит 100 тысяч шаблонов положения пальцев и кисти. Так что на распознавание любого движения компьютеру нужны доли секунды — запаздывание практически не ощущается.
Различный размер руки у разных пользователей тоже не поставит комплекс в тупик. Эластичные перчатки хорошо садятся практически на любую кисть, а перед началом применения системы необходима небольшая калибровка, которую можно выполнить за несколько секунд.
Кстати, о калибровке. Дебютировала система Color Glove еще в августе прошлого года на выставке-конференции SIGGRAPH 2009, прошедшей в Новом Орлеане (к ней был подготовлен и пояснительный PDF-документ). Но тогда она была еще довольно сырая: та же настройка под разную руку занимала много времени и да и в целом комплекс работал с ошибками. Теперь же изобретателям удалось устранить недочеты, повысить скорость работы программы и ее гибкость.
Специалисты из США полагают, что массовое распространение их системы откроет путь к дешевым наборам “жестовых интерфейсов”. Собственно набор — перчатки да оригинальный софт, остальное у пользователей уже должно быть.
Также Роберт и Йован считают, что абстракционистский цветной узор можно распространить на все тело человека, пишет membrana. В таком случае система может быть использована для захвата полного набора движений пользователя. Дешево и сердито. А что при этом клиент будет похож на клоуна – так это веселый побочный эффект.