Google предложила разработчикам новое ПО на основе машинного обучения для точного отслеживания языка жестов
Google предложила разработчикам новое ПО на основе машинного обучения для точного отслеживания языка жестов
Google предложила разработчикам новое ПО на основе машинного обучения для точного отслеживания жестов смартфонами. Исходный код и сквозной сценарий выложены на портале GitHub.
Google представила технологию Hand Tracking на конференции по компьютерному зрению и распознаванию образов в июне 2019 года и вскоре внедрила ее в кроссплатформенный фреймворк MediaPipe для прикладного машинного обучения, работающего с такими задачами, как распознавание лиц и обнаружение объектов.
Google представил технологию на основе трех моделей ИИ, работающих в тандеме. Сеть фокусируется на координатах 21 точки ладони, для чего детектор ладони - BlazePalm - анализирует кадр и получает ограничивающий прямоугольник, модель ориентира руки оценивает выделенную область и определяет трехмерные точки руки, а распознаватель жестов ищет ранее вычисленную конфигурацию точек в наборе жестов.
Исследователи отмечают, что правильно определенная форма ладони позволяет значительно ускорить процесс дальнейшего распознавания жестов, а значит, сократить размерность данных. Это позволяет использовать данный алгоритм на смартфоне, а не в облаке. Для обучения алгоритма потребовались 30 000 реальных изображений с помеченными вручную координатами, а также высококачественная синтетическая модель руки, отрисованная на разных фонах и сопоставленная с соответствующими координатами.
Способность компьютера воспринимать форму и движение рук может улучшить его взаимодействие с пользователем в различных технологических областях. Ученые Google выразили надежду, что передача этой методики более широкому сообществу исследователей и разработчиков приведет к появлению творческих вариантов использования, стимулирует разработку новых приложений и новых направлений исследований
