Facebook відкрила код розподіленої системи зберігання наборів даних, що послідовно надходять, LogDevice
Facebook відкрила код розподіленої системи зберігання послідовно надходять наборів даних LogDevice
Facebook відкрила код розподіленої системи зберігання послідовно надходять наборів даних LogDevice. Система зберігає порядок надходження записів, забезпечує стійкість до відмови логів і масштабується для їх швидкої обробки. Код проекту написано на мові С++ та опубліковано під ліцензією BSD.
Робота з даними
У сховище дані надходять у виді безперервного потоку неподільних записів, кожен з яких є мінімальним об'єктом адресації і має унікальний ідентифікатор послідовності (LSN). Додаток, що передає логи, отримує інформацію про нього після успішного запису даних. При читанні йому можуть повертатися відразу кілька записів, але адресація виробляється лише на основі LSN.
Сховище працює в режимі поповнення і не підтримує зміну або видалення. Він може зберігати записи необмежений час, також є можливість чищення застарілих даних за командою адміністратора, автоматично після закінчення зазначеного часу або при досягненні заданого об'єму дискового простору.
Інші можливості
LogDevice адаптується під різні види навантаження. Наприклад, система працює з великими обсягами даних систем машинного навчання, реплікує всі вхідні дані для підвищення відмовостійкості. Вона автоматично перерозподіляє навантаження на вузли при виході з буду та зменшення їх продуктивності. Двигун локального зберігання на вузлах заснований на вбудованій базі даних RocksDB і працює як з жорсткими дисками, так і і с SSD-накопичувачами.
