Big Data Tools 1.1 - оновлення плагіна для JetBrains IntelliJ IDEs
Інструменти великих даних 1.1 - оновлення плагінів для IDE JetBrains IntelliJ
JetBrains випустила нову версію плагіна Big Data Tools.
Тепер він має клієнт для Kafka і запустив Новий майстер проектів, який автоматично налаштовує залежності для роботи з Spark.
Інтеграція з Zeppelin тепер вміє користуватися системними оповіщеннями і відправляє оповіщення, коли закінчилася дуже тривала операція (за замовчуванням це вимкнено, тому що багато хто ненавидить оповіщення).
Моніторинг Кафки
Протягом року JetBrains проводив опитування про те, які технології, на вашу думку, слід підтримувати в наступному випуску. Можна здогадатися, яка технологія перемогла. У якийсь момент JetBrains навіть перестав включати Кафку в список варіантів, тому що він завжди вигравав з приголомшливим рахунком.
Екосистема Кафки величезна. Існує стільки проектів, які не тільки в повній мірі використовують його можливості, але і розширюють їх неймовірно корисними способами. Які частини ми повинні підтримувати в плагіні? Мета полягає в тому, щоб все необхідне було доступно в міру розвитку. Наприклад, навряд чи вам доведеться переналаштовувати Кафку щохвилини, коли вся система буде повністю перезапущена (це було б корисно для адміністратора, але не для розробника). З іншого боку, перегляд тем може бути дуже корисним. Ви не можете їх згадати, правда?
Коли ви дивитеся на продукти, які люди зазвичай використовують для роботи з Kafka, є кілька, які зазвичай спадають на думку, як-от Kafka Tool, Kafdrop, Burrow і, можливо, пара інших. У кожного є свої сильні і слабкі сторони. Наприклад, у Burrow немає графічного інтерфейсу, але він може вимірювати затримки в групах споживачів.
У цьому випуску JetBrains зосередився на основних функціях, які потрібні практично кожному користувачеві: перегляд і настройка груп і тем споживачів. JetBrains ще не може переглядати певні повідомлення та створювати нові теми (як це робить Kafdrop). Але якщо інструменти великих даних мають одну значну перевагу, це те, що вся доступна інформація за темами відображається безпосередньо в IDE і оновлюється автоматично, тому вам не доведеться безцільно блукати по веб-інтерфейсах, щоб отримати цю інформацію. . Можна сказати, що це не заміна існуючих інструментів, а зручне доповнення до них.
Зміни в інструментах big data 1.1
Нові можливості
- Підтримка Apache Kafka
- Майстер для проектів SBT, Gradle та Maven Spark
- Сповіщення про заповнення нотатки та виконання клітинки
- Можливість групувати діаграми та синхронізувати налаштування діаграм із Zeppelin
- Підтримка проксі для S3
- Вибір кодування для табличних файлів
- Можливість налаштувати робочий каталог в Spark Submit
- Можливість вибору інтерпретатора Python для локального надсилання іскри
- Прискорення відкриття каталогів Azure
- Перейменування і відключення підключень з вікна засобу BDT
Виправлення помилок
- Покращені дії для роботи з файловими системами у вікні засобу BDT
- Покращена поведінка кнопки «Тестове підключення» в з'єднанні Azure
- Виправлено проблеми з відкриттям файлу таблиці
- Фільтрування файлів ZPLN та JSON під час імпорту та експорту нотаток Zeppelin
- Облікові дані сховища Zeppelin належним чином збережені
- Кнопка "Виконати" не зникає після згортання клітинки
- Краще оновлення та відображення даних у моніторингу Spark та Hadoop
- Зависання з повільним Інтернетом досліджуються та усуваються
Незначні зміни
- Сполучення клавіш Ctrl+F2 зупиняє виконання клітинок
- Повідомлення про обмеження для HDFS-з'єднань через тунелювання SSH
- Покращено візуалізацію для клітинок в нотатках Цепеліна
- Удосконалення віконних дій інструмента BDT
- Виправлення помилок у повідомленнях плагінів
