JetBrains представив наступне оновлення плагіна Big Data Tools
Вийшло чергове оновлення плагіна Big Data Tools. Майже півтора року JetBrains випускав тільки попередній перегляд дочасного доступу, і тепер ми раді представити вам найпершу версію, розраховану на широку аудиторію.
Big Data Tools - це плагін, який дозволяє підключатися до кластерів Hadoop і Spark. Він надає можливість моніторингу сайтів, додатків та окремих завдань. Крім того, ви можете створювати, запускати і редагувати ноутбуки Zeppelin. Ви можете вибрати не перемикатися на веб-інтерфейс Zeppelin і продовжувати спокійно працювати з улюбленої IDE. Плагін забезпечує зручну навігацію по коду, розумне автозаповнення, рефакторінги і швидкі виправлення прямо всередині ноутбука. Плагін доступний для установки в IntelliJ IDEA Ultimate, PyCharm і DataGrip. Ви можете завантажити його зі сторінки плагіна на сайті або встановити безпосередньо з IDE.
Імпорт та експорт ноутбуків Zeppelin
Плагін Big Data Tools бере на себе невеликі рутинні операції, для яких незручно перемикатися на веб-інтерфейс. Однією з таких операцій є імпорт та експорт ноутбуків. Тепер ви можете зберегти свій ноутбук на комп'ютері і поділитися ним з колегами, не виходячи з IDE.
Прекодове підсвічування
У Zeppelin є можливість оголосити змінні за межами Блокнота - вони будуть доступні при запуску інтерпретатора. Наприклад, ви можете використовувати це для збереження конфігурації.
Відповідна настройка називається цепелін. SparkInterpreter.precode (теоретично тут може брати участь будь-який інтерпретатор, але на даний момент наше підсвічування підтримує тільки Spark і PySpark).
Запустіть сценарій перед виконанням spark-submit
Якщо вам потрібно якимось чином налаштувати своє середовище перед запуском завдання, тепер є простий спосіб зробити це. Просто вкажіть рядок, який ви хотіли б виконати за допомогою оболонки в налаштуваннях spark-submit.
Ноутбуки тепер можна знайти за допомогою функції Пошуку всюди (викликається подвійним натисканням клавіші Shift).
Знайдені ноутбуки будуть відображатися разом з усіма результатами пошуку у вкладці «Все», а також окремо у вкладці «Блокноти Цепеліна».
Встановити останню версію можна або з офіційної сторінки плагіна, або безпосередньо в IDE (плагін називається «Інструменти великих даних»). На сторінці плагіна ви можете залишити свої відгуки та пропозиції, а також оцінити його зірочками.