Big Data Tools 1.1 - обновление плагина для JetBrains IntelliJ IDEs
Big Data Tools 1.1 - обновление плагина для JetBrains IntelliJ IDEs
JetBrains выпустила новую версию плагина Big Data Tools.
Теперь в нём есть клиент для Kafka и заработал New Project Wizard, который автоматически настраивает зависимости на работу со Spark.
Интеграция с Zeppelin теперь умеет пользоваться системными оповещениями и высылает оповещение, когда закончилась очень долгая операция (по умолчанию это выключена, т.к. многие люди ненавидят оповещения).
Kafka monitoring
В течение года JetBrains проводили опросы о том, какие технологии, по вашему мнению необходимо поддерживать в следующем выпуске. Вы можете догадаться, какая технология победила. В какой-то момент JetBrains даже перестали включать Кафку в список опций, потому что он всегда побеждал с потрясающим счетом.
Экосистема Kafka огромна. Существует так много проектов, которые не только используют все его возможности, но и расширяют их невероятно полезными способами. Какие части мы должны поддерживать в плагине? Цель состоит в том, чтобы обеспечить доступность всего необходимого по мере вашего развития. Например, вам вряд ли потребуется каждую минуту перенастраивать Kafka при полном перезапуске всей системы (это было бы полезно для администратора, но не для разработчика). С другой стороны, просмотр тем может быть очень полезным. Ведь их невозможно запомнить, правда?
Когда вы смотрите на продукты, которые люди обычно используют для работы с Kafka, есть несколько, которые обычно приходят на ум, например, Kafka Tool, Kafdrop, Burrow и, возможно, парочка других. У каждого есть свои сильные и слабые стороны. Например, у Burrow нет графического интерфейса, но он может измерять задержки в группах потребителей.
В этом выпуске JetBrains сосредоточились на основных функциях, которые нужны почти каждому пользователю: просмотру групп и тем потребителей и их настройке. JetBrains пока не могут просматривать определенные сообщения и создавать новые темы (как это делает Kafdrop). Но если у инструментов больших данных есть одно существенное преимущество, так это то, что вся доступная информация по темам отображается непосредственно в среде IDE и обновляется автоматически, поэтому вам не нужно бесцельно бродить по веб-интерфейсам, чтобы получить эту информацию. . Можно сказать, что это не замена существующих инструментов, а удобное дополнение к ним.
Changes in Big Data Tools 1.1
New Features
- Apache Kafka support
- Wizard for SBT, Gradle, and Maven Spark projects
- Notifications on a note and cell execution completion
- Ability to group charts and synchronize chart settings with Zeppelin
- Proxy support for S3
- Encoding selection for table files
- Option to set up a working directory in Spark Submit
- Ability to choose a Python interpreter for Local Spark Submit
- Speed up Azure directory opening
- Renaming and disabling connections from the BDT tool window
Bug Fixes
- Improved actions for working with file systems in the BDT tool window
- Better behavior of `Test Connection` button in Azure connection
- Problems with opening table file are fixed
- Filtering .zpln and .json files when importing and exporting Zeppelin notes
- Zeppelin repository credentials are properly saved
- The `Run` button doesn’t disappear after collapsing a cell
- Better refreshing and displaying data in Spark and Hadoop monitoring
- Freezes with slow Internet are investigated and fixed
Minor Changes
- Ctrl+F2 now stops cell execution
- Notifications about restrictions for HDFS connections via SSH tunneling
- Visualization for cells in Zeppelin notes is improved
- Improve the BDT tool window actions
- Fix typos in plugin messages
