Microsoft анонсувала сховище ключів FASTER для великих обсягів даних
Microsoft анонсувала сховище ключів FASTER для великих обсягів даних
Microsoft представила сховище ключів FASTER для додатків і служб, що обробляють великі обсяги даних, що оновлюються. Внутрішні тести показали, що новинка виконує до 160 млн операцій в секунду на одній машині. Вона обходить за продуктивністю Intel TBB, RocksDB і Redis.
Застосування сховища
У сфері «інтернету речей» технологія здатна зберігати інформацію про продуктивність мільйонів пристроїв. В області рекламних платформ вона може стежити за активністю кожного користувача: результатами пошуку, моделями поведінки і статистикою за кожним оголошенням.
Переваги FASTER
Зазвичай для обробки даних використовується кілька машин, де велике навантаження виявляється на пам'ять, а інші ресурси витрачаються нераціонально. Як вирішення проблеми FASTER пропонує дві нововведення:
- паралельний хеш-код для динамічного зростання та стиснення даних при збереженні логічних покажчиків на запису в журналі;
- паралельний алгоритм запису журналів.
Індекс хешу складається з кодів з 8-байтовими записами. У них містяться покажчики до записів, що зберігаються в гібридному журналі. Для підвищення продуктивності всі операції з таблицею виконуються за методом «порівняти і замінити». Ключі не зберігаються як частина індексу, тому займають мінімум місця.
На відміну від традиційних сховищ, початок гібридного журналу FASTER оновлює записи тільки після прочитання, а кінець приймає зміни моментально. Між ними знаходиться область пам'яті, доступна тільки для читання даних, що надає можливість швидкого копіювання в кінці журналу. У разі відмови дані відновлюються без створення окремого запису в журналі. Подробиці про роботу FASTER розкрито в технічному документі.
Microsoft експериментує з різними типами сховищ. У травні 2017 року вона представила систему зберігання даних на основі ДНК.
