Google запропонувала розробникам нове програмне забезпечення на основі машинного навчання для точного відстеження мови жестів
Google запропонувала розробникам нове програмне забезпечення на основі машинного навчання для точного відстеження мови жестів
Google запропонувала розробникам нове ПЗ на основі машинного навчання для точного відстеження жестів смартфонами. Вихідний код та наскрізний сценарій викладені на порталі GitHub.
Google представила технологію Hand Tracking на конференції з комп'ютерного зору і розпізнавання образів у червні 2019 року і незабаром впровадила її в кросплатформовий фреймворк MediaPipe для прикладного машинного навчання, що працює з такими завданнями, як розпізнавання обличчя > та виявлення
Google представив технологію на основі трьох моделей ІІ, що працюють у тандемі. Мережа фокусується на координатах 21 точки долоні, для чого детектор долоні - BlazePalm - аналізує кадр і отримує прямокутник, що обмежує, модель орієнтира руки оцінює виділену область та визначає тривимірні точки руки, а розпізнавач жестів шукає раніше обчислену конфігурацію крапок у наборі жестів.
Дослідники зазначають, що правильно визначена форма долоні дозволяє значно прискорити процес подальшого розпізнавання жестів, а отже, скоротити розмірність даних. Це дозволяє використовувати цей алгоритм на смартфоні, а не в хмарі. Для навчання алгоритму знадобилося 30 000 реальних зображень із позначеними вручну координатами, а також високоякісна синтетична модель руки, відмальована на різних фонах та зіставлена з відповідними координатами.
Здатність комп'ютера сприймати форму та рух рук може покращити його взаємодію з користувачем у різних технологічних галузях. Вчені Google висловили сподівання, що передача цієї методики ширшій спільноті дослідників та розробників призведе до появи творчих варіантів використання, стимулює розробку нових додатків та нових напрямків досліджень
