JetBrains представил очередное обновление плагина Big Data Tools
JetBrains представил очередное обновление плагина Big Data Tools
Вышло очередное обновление плагина Big Data Tools. Почти полтора года JetBrains выпускали только Early Access Preview, и сейчас рады представить вам самую первую версию, рассчитанную на широкую аудиторию.
Big Data Tools — это плагин, позволяющий подключаться к кластерам Hadoop и Spark. Он предоставляет возможность мониторинга узлов, приложений и отдельных задач. Кроме того, можно создавать, запускать и редактировать ноутбуки Zeppelin. Вы можете не переключаться на веб-интерфейс Zeppelin и продолжать спокойно работать из любимой IDE. Плагин обеспечивает удобную навигацию по коду, умное автодополнение, рефакторинги и квик-фиксы прямо внутри ноутбука. Плагин доступен для установки в IntelliJ IDEA Ultimate, PyCharm и DataGrip. Вы можете скачать его со страницы плагина на сайте либо установить прямо из IDE.
Импорт и экспорт ноутбуков Zeppelin
Плагин Big Data Tools берет на себя мелкие рутинные операции, ради которых неудобно переключаться на веб-интерфейс. Одна из таких операций — импорт и экспорт ноутбуков. Теперь вы можете сохранить ноутбук себе на компьютер и поделиться им с коллегами, не выходя из IDE.
Подсветка precode
В Zeppelin есть возможность объявить переменные вне блокнота — они будут доступны при запуске интерпретатора. Например, это можно использовать для хранения конфигурации.
Соответствующая настройка называется zeppelin.SparkInterpreter.precode (теоретически здесь может участвовать любой интерпретатор, но в данный момент наша подсветка поддерживает только Spark и PySpark).
Запуск скрипта перед выполнением spark-submit
Если перед запуском задачи на выполнение вам нужно как-либо сконфигурировать среду, теперь для этого есть простой способ. Просто укажите строку, которую хотели бы выполнить с помощью шелла, в настройках spark-submit.
Теперь ноутбуки можно находить с помощью Search Everywhere (вызывается двойным нажатием клавиши Shift).
Найденные ноутбуки будут отображены вместе со всеми результатами поиска во вкладке «All», а также отдельно — во вкладке «Zeppelin Notebooks».
Установить свежую версию можно либо с официальной страницы плагина, либо прямо в IDE (плагин называется «Big Data Tools»). На странице плагина вы можете оставить свои отзывы и предложения, а также поставить оценку при помощи звездочек.
