+38/050/370-3627
+38/093/220-0872
+38/044/257-2444
Новини

Microsoft HoloLens: прямий доступ до відеосенсорів у дослідному режимі допоможе розробникам комп'ютерного зору

Microsoft HoloLens: прямий доступ до відеосенсорів у дослідницькому режимі допоможе розробникам комп'ютерного зору

Microsoft HoloLens - перший у світі самодостатній голографічний комп'ютер. І тепер, завдяки дослідницькому режиму (Research Mode), що з'явився в останньому випуску Windows 10, HoloLens стає потужним пристроєм для досліджень комп'ютерного зору. З коду програм розробники можуть не тільки звертатися до аудіо- та відеопотоків з сенсорів, але й використовувати вбудовані алгоритми комп'ютерного зору, такі як SLAM (локалізація з одночасною побудовою карти), щоб отримувати дані про рух HoloLens у просторі, а також алгоритми просторового зіставлення ( spatial mapping), щоб створювати тривимірні моделі довкілля. Це можливо завдяки кільком вбудованим відеокамерам, які доповнюють кольорову відеокамеру, яка зазвичай доступна програмам.

HoloLens має чотири камери стеження за навколишнім середовищем, що формують зображення у відтінках сірого (grayscale), та датчик глибини для вимірювання відстаней та захоплення жестів користувача. Як показано на рис. 1, дві grayscale-камери налаштовані як стереоустановка, яка захоплює область перед пристроєм, так що відстані до візуальних елементів, що відстежуються, можна визначати за допомогою тріангуляції. Дві додаткові grayscale камери допомагають розширити поле зору для функцій відстеження. Ці синхронізовані камери з кадровим затвором (global-shutter) мають набагато більшу світлочутливість, ніж кольорова камера, і формують зображення зі швидкістю до 30 кадрів на секунду (FPS).

Датчик глибини використовує активне інфрачервоне (ІЧ) підсвічування для визначення відстані до об'єктів через час прольоту. Ця камера може працювати у двох режимах. Перший забезпечує високочастотне (30 FPS) вимірювання відстаней до близько розташованих об'єктів і зазвичай використовується для ручного відстеження, тоді як друге використовується для низькочастотного (1-5 FPS) вимірювання відстаней до далеких об'єктів і зараз застосовується для просторового зіставлення (spatial mapping). Крім вимірювання відстаней, ця камера дозволяє отримувати ІЧ-зображення з активним освітленням, які можуть бути корисними власними силами, оскільки ІЧ-випромінювання виходить безпосередньо з HoloLens, і на нього майже не впливає навколишнє світло.

У новітньому випуску Windows 10 для HoloLens у дослідників з'явилася можливість увімкнути на своїх пристроях HoloLens дослідницький режим (Research Mode), щоб отримати доступ до потоків необроблених (raw) даних з усіх аудіо- та відеосенсорів (мал. 2).

Дослідники, як і раніше, можуть використовувати результати, отримані вбудованими алгоритмами комп'ютерного зору, але тепер можуть звертатися ще й до необроблених даних із сенсорів, щоб використовувати їх у своїх власних алгоритмах. Потоки даних із сенсорів HoloLens можна обробляти безпосередньо на пристрої, а також передавати бездротовим зв'язком на інший комп'ютер або в хмару, якщо потрібна велика обчислювальна потужність. Це відкриває перед HoloLens безліч нових можливостей у сфері комп'ютерного зору. Наприклад, HoloLens можна використовувати для аналізу світу з точки зору користувача, що носить цей пристрій. Для цього ключовою перевагою може бути здатність HoloLens візуалізувати результати алгоритмів у 3D-світі, що розгортається перед користувачем. Крім того, сенсорні можливості HoloLens можуть бути дуже корисними для робототехніки: наприклад, з їх допомогою робот може орієнтуватися у навколишньому середовищі.

 

Інші новини

Найкраща ціна