JetBrains представил очередное обновление плагина Big Data Tools
Вышло очередное обновление плагина Big Data Tools. Почти полтора года JetBrains выпускали только Early Access Preview, и сейчас рады представить вам самую первую версию, рассчитанную на широкую аудиторию.
Big Data Tools — это плагин, позволяющий подключаться к кластерам Hadoop и Spark. Он предоставляет возможность мониторинга узлов, приложений и отдельных задач. Кроме того, можно создавать, запускать и редактировать ноутбуки Zeppelin. Вы можете не переключаться на веб-интерфейс Zeppelin и продолжать спокойно работать из любимой IDE. Плагин обеспечивает удобную навигацию по коду, умное автодополнение, рефакторинги и квик-фиксы прямо внутри ноутбука. Плагин доступен для установки в IntelliJ IDEA Ultimate, PyCharm и DataGrip. Вы можете скачать его со страницы плагина на сайте либо установить прямо из IDE.
Импорт и экспорт ноутбуков Zeppelin
Плагин Big Data Tools берет на себя мелкие рутинные операции, ради которых неудобно переключаться на веб-интерфейс. Одна из таких операций — импорт и экспорт ноутбуков. Теперь вы можете сохранить ноутбук себе на компьютер и поделиться им с коллегами, не выходя из IDE.
Подсветка precode
В Zeppelin есть возможность объявить переменные вне блокнота — они будут доступны при запуске интерпретатора. Например, это можно использовать для хранения конфигурации.
Соответствующая настройка называется zeppelin.SparkInterpreter.precode (теоретически здесь может участвовать любой интерпретатор, но в данный момент наша подсветка поддерживает только Spark и PySpark).
Запуск скрипта перед выполнением spark-submit
Если перед запуском задачи на выполнение вам нужно как-либо сконфигурировать среду, теперь для этого есть простой способ. Просто укажите строку, которую хотели бы выполнить с помощью шелла, в настройках spark-submit.
Теперь ноутбуки можно находить с помощью Search Everywhere (вызывается двойным нажатием клавиши Shift).
Найденные ноутбуки будут отображены вместе со всеми результатами поиска во вкладке «All», а также отдельно — во вкладке «Zeppelin Notebooks».
Установить свежую версию можно либо с официальной страницы плагина, либо прямо в IDE (плагин называется «Big Data Tools»). На странице плагина вы можете оставить свои отзывы и предложения, а также поставить оценку при помощи звездочек.