Дослідники перевірили, як відрізняються хмарні інструменти для комп'ютерного зору AWS Rekognition, Google Cloud Vision та Azure Computer Vision

Дослідники протестували роботу хмарних сервісів для комп'ютерного зору від Amazon, Google і Microsoft. Експерименти проходили 11 місяців на 3 різних завданнях. Результати показували нестабільність результатів сервісів між собою та у часі.

Різні хмарні AI-платформи надають різний спектр послуг. Відсутність документації з відмінностями викликає проблеми розробників, які впроваджують обробку даних у виробництво. Дослідники перевірили, як відрізняються хмарні інструменти для комп'ютерного зору найбільших хмарних провайдерів — AWS Rekognition, Google Cloud Vision і Azure Computer Vision. Завданням дослідження було переконатися у стабільності роботи обраних сервісів. Якщо ні, як це описано в офіційній документації.

Розробники можуть не усвідомлювати, що послуги відрізняються від провайдера до провайдера через порівнянність структури хмарних систем зберігання. Сухий опис ML-сервісів не дає повної картини того, як системи працюють зсередини.

Дослідники використовували три датасети для перевірки сервісів. Два з них було зібрано самостійно — перший, у якому було 30 зображень, і другий із 1,650 зображеннями. Як третій був обраний публічний набір даних COCOVal17  з 5 тисячами зображень.

Дослідження тривало 11 місяців і було поділено на дві основні фази:

• 13 тижнів з квітня по серпень 2018 року;
• 17 тижнів з листопада до березня 2019

Сервіси тестувалися за 6 характеристиками:

1. Послідовність найбільш ймовірної передбачуваної категорії для зображення у кожному сервісі;
2. Семантична послідовність передбачених категорій для одного сервісу;
3. Ступінь впевненості сервісу у найбільш ймовірній передбаченій категорії;
4. Порівняльність довірчих інтервалів у різних сервісів;
5. Послідовність найвірогіднішої передбаченої сервісом категорії в часі — чи не змінюється прогноз з часом;
6. Схожість ступеня впевненості у передбаченій сервісом категорії у часі 

Результати дослідження винесли у три тези:

• Сервіси для комп'ютерного зору видають різні результати на однакове вхідне зображення;
• Підказки сервісів у часі нестабільні та змінюються (для найбільш ймовірної передбаченої категорії);
• Зміни в архітектурі сервісів не документуються
• Це важливо, тому що комерційні ML-системи може бути не відтворювані і нестійкі. Дослідження показує зміну передбачень одного сервісу у часі. Крім цього, впровадження різних сервісів в одну систему також може бути нестійким через різницю в архітектурах сервісів (і, відповідно, передбачення).

Інші новини