Microsoft відповідає на зростання потреб у пошуку, роблячи ІІ доступним для дослідників та розробників
Microsoft відповідає на зростання потреб у пошуку, роблячи ІІ доступним для дослідників та розробників
Усього кілька років тому пошук в Інтернеті був простим. Користувачі вводили кілька слів і перегортали сторінки з результатами.
Сьогодні ті ж користувачі фотографують об'єкт, що їх цікавить, на телефон і перетягують знімок у вікно пошуку або усно ставлять питання інтелектуальному помічнику, взагалі не торкаючись пристрою. На своє запитання вони хочуть отримати конкретну відповідь, а не список сторінок із можливими збігами.
Ці завдання кидають виклик традиційним пошуковим системам, заснованим на інвертованому індексуванні, які для видачі результатів використовують зіставлення за ключовими словами.
«Алгоритми пошуку за ключовими словами не справляються з роботою, коли люди запитують або роблять знімок і запитують у пошуковика: що це?», — каже Ранган Маджумдер, програм-менеджер з відділу Microsoft Bing Search and AI, який працює над пошуковою системою Bing та штучним інтелектом.
Звичайно, проблема відповідності очікуванням користувачів не нова: розробники вирішують її з перших днів існування пошукових систем в Інтернеті. Але сьогодні задовольняти зростаючі потреби стає простіше завдяки досягненням у галузі штучного інтелекту (ІІ), у тому числі за допомогою інноваційних розробок дослідників із команди Bing та фахівців з азійської філії Microsoft.
«ІІ робить продукти, з якими ми працюємо, більш природними, — каже Маджумдер. — А раніше людям доводилося думати, як сформулювати запит, щоб знайти саме те, що потрібне».
Microsoft створила один із найпередовіших інструментів на основі ІІ, з допомогою якого можна краще задовольняти зростаючі потреби людей у пошуку, і зробила його доступним для всіх у вигляді проекту з відкритим вихідним кодом на GitHub. Крім того, на сайті лабораторії штучного інтелекту Microsoft AI lab нещодавно опубліковані приклади використання цього інструменту та відео з поясненнями.
Алгоритм, який отримав назву Space Partition Tree And Graph (SPTAG, граф і дерево розбиття простору), дає можливість використовувати переваги інтелектуальних моделей глибокого навчання, щоб за лічені мілісекунди виконувати пошук мільярдів фрагментів інформації, які називають векторами. Завдяки йому можна швидше надавати користувачам більш релевантні результати.
Векторний пошук полегшує пошук за змістом, а не за ключовим словом. Наприклад, якщо користувач вводить запит «яка висота вежі в Парижі?», Bing може дати відповідь природною мовою, повідомивши, що висота Ейфелевої вежі 324 метри, і це буде саме те, що потрібно користувачеві, хоча слово «Ейфелева» у запиті не зустрічалося, а слова «яка» немає в результатах пошуку.
>Microsoft використовує векторний пошук у власній пошуковій системі Bing. Ця технологія допомагає Bing краще розуміти зміст мільярдів пошукових запитів та знаходити найбільш релевантні результати серед мільярдів веб-сторінок.
Використання векторів для більш ефективного пошуку
Вектор — числове уявлення слова, пікселя або іншої точки даних — допомагає визначити, яке значення має фрагмент даних. Завдяки досягненням в одній з областей штучного інтелекту, що називається глибоким навчанням, фахівці Microsoft змогли просунутися в розумінні та представленні мети пошуку за допомогою векторів.
Якщо перевести фрагменти даних до числового вигляду, вектори можна впорядковувати або зіставляти з близькими, розташованими поруч числами, щоб знаходити подібність. Ці близькі результати відображаються користувачам, покращуючи результати пошуку.
Технологію, що лежить в основі векторного пошуку Bing, інженери компанії почали розробляти після того, як почали помічати незвичайні закономірності в пошукових запитах користувачів.
«Аналізуючи журнали, ми виявили, що пошукові запити стають дедалі довшими», — сказав Маджумдер. Це свідчило про те, що користувачі почали ставити більше питань з великою кількістю подробиць, тому що пошук за ключовими словами давав погані результати, і «намагалися вести себе як комп'ютери», коли описували абстрактні речі. Все це неприродно і незручно для користувачів.
Щоб покращити результати пошуку порівняно з традиційним зіставленням за ключовими словами для Bing було векторизовано понад 150 мільярдів фрагментів даних, проіндексованих пошуковою системою. При векторизації враховувалися окремі слова, символи, фрагменти веб-сторінок, повні запити та інші елементи. Коли користувач щось шукає, Bing може просканувати індексовані вектори та видати найкращий збіг.
Технологія призначення векторів постійно покращується за допомогою глибокого навчання. Щоб краще розуміти зміст пошукових запитів, моделі враховують такі дані, як клацання користувачів за результатами пошуку.
За словами фахівців із Microsoft, ідея векторизації мультимедіа та пошукових даних не нова, але використовувати її у глобальних масштабах пошукових систем, таких як Bing, стало можливо лише недавно.
«Bing обробляє мільярди документів щодня, і наша ідея полягає в тому, що ми можемо представити всі записи у вигляді векторів і виконувати пошук за цим гігантським індексом із більш ніж 100 мільярдів векторів, щоб знаходити найбільш релевантні результати за 5 мілісекунд» , — каже Джеффрі Чжу (Jeffrey Zhu), менеджер програм із команди Microsoft Bing.
Щоб пояснити масштаби, Маджумдер запропонував таке порівняння: стос із 150 мільярдів візитівок дістав би від Землі до Місяця, а пошук Bing за допомогою алгоритму SPTAG міг би миттєво знайти 10 будь-яких карток у цьому стосі.
Пошук за візуальними та звуковими даними
Розробники Bing кажуть, що їхній проект з відкритим вихідним кодом знайде застосування і в корпоративному, і в споживчому середовищі. Наприклад, за звуковим фрагментом можна визначати мову, якому говорять користувачі. У сервісах з великою кількістю зображень цю технологію можна використовувати для визначення об'єкта по фотографії: користувачеві достатньо сфотографувати квітку, щоб дізнатися його назву. Якщо пошук буде повільним або нерелевантним, користувачі дуже засмутяться.
«Пошук із затримкою навіть у кілька секунд може зробити програму непридатною для використання», — зауважив Маджумдер.
Розробники сподіваються, що дослідники та вчені за допомогою їх алгоритму зможуть здійснювати прориви в інших областях, пов'язаних із пошуком.
