Apache Software Foundation опублікувала реліз Apache Hadoop 3.2
Apache Software Foundation опублікувала реліз Apache Hadoop 3.2
Apache Software Foundation опублікувала реліз Apache Hadoop 3.2, вільної платформи для організації розподіленої обробки великих обсягів даних з використанням парадигми map/reduce, при якій завдання ділиться на безліч дрібніших відокремлених фрагментів, кожен з яких може бути запущений на окремому вузлі. Сховище на базі Hadoop може охоплювати тисячі вузлів та містити ексабайти даних.
До складу Hadoop входить реалізація розподіленої файлової системи Hadoop Distributed Filesystem (HDFS), що автоматично забезпечує резервування даних та оптимізована для роботи MapReduce-додатків. Для спрощення доступу до даних у Hadoop сховище розроблено БД HBase і SQL-подібну мову Pig, яка є свого роду SQL для MapReduce, запити якого можуть бути розпаралелені та оброблені кількома Hadoop-платформами. Проект оцінюється як повністю стабільний та готовий для промислової експлуатації. Hadoop активно використовується у великих промислових проектах, надаючи можливості, аналогічні платформі Google Bigtable/GFS/MapReduce, при цьому компанія Google офіційно делегувала Hadoop та іншим проектам Apache право використання технологій, на які поширюються патенти, пов'язані з методом MapReduce.
Hadoop займає перше місце серед репозиторіїв Apache за кількістю змін, що вносяться, і п'яте місце за розміром кодової бази (близько 4 млн рядків коду). З великих впроваджень Hadoop відзначаються сховища Netflix (зберігається понад 500 мільярдів подій на день), Twitter (кластер із 10 тисяч вузлів у режимі реального часу зберігає більше зетабайту даних та обробляє понад 5 мільярдів сеансів на день), Facebook (кластер із 4 тисяч вузлів зберігає понад 300 петабайт і щодня збільшується на 4 Пб на день).
Основні зміни в Apache Hadoop 3.2:
- Доданий конектор для файлової системи ABFS, що підтримує сховища Azure Datalake Gen2;
- Розширені можливості конектора S3A, в якому забезпечена коректна обробка урізаних конфігурацій AWS S3 та DynamoDB IO;
- У YARN (Yet Another Resource Negotiator) додано підтримку атрибутів вузлів, що дозволяє прикріплювати різні мітки до вузлів та розміщувати контейнери з урахуванням даних міток;
- Реалізовано SPS (Storage Policy Satisfier), що дозволяє створювати розширення для HDFS (Hadoop Distributed File System), що переміщують блоки між різними типами сховищ на основі політик зберігання, заданих для файлів та каталогів;
- Представлений інструмент Hadoop Submarine для спрощення розробки, тренування та розгортання моделей глибинного машинного навчання на базі фреймворку TensorFlow в одному кластері Hadoop YARN;
- Додано HDFS-клієнт на C++ з підтримкою асинхронного вводу/виводу для HDFS;
- Забезпечено можливість оновлення начинки контейнерів через CLI-інтерфейс або API YARN Native Service без зупинки роботи пов'язаних з ними сервісів, що довго працюють.
Додатково можна відзначити виявлення вразливості в коді авторизації HDFS, що дозволяє дізнатися значення розширених атрибутів через виконання операції listXAttrs. Проблема викликана тим, що під час перевірки повноважень враховувався лише доступ до операцій перегляду каталогів на рівні файлових шляхів, але не виконувалась перевірка прав на читання вмісту.
Крім того, наводяться відомості про виявленні шкідливого ПЗ, що вражає незахищені сховища на базі Hadoop. Для впровадження шкідливого ПЗ в мережі знаходяться неоновлені сервери, що містять невиправлені відомі вразливості в Hadoop YARN, а також в Redis і Active MQ, що дозволяють виконати код в системі. У разі успішної експлуатації вразливостей на сервері в більшості випадків запускається код для майнінгу криптовалют, організації стеження в локальній мережі або крадіжки корпоративних закритих даних. В окремих випадках зафіксовано застосування шкідливого програмного забезпечення Xbash, яке підтримує сканування мережі для виявлення нових вразливих жертв, виконує чищення вмісту БД і вимагає викуп за відновлення даних (вказується, що дані зашифровані, але насправді вони просто видаляються).
