TensorWatch - Microsoft открыла исходный код инструмента для отладки и визуализации процесса обучения моделей

TensorWatch — это инструмент для отладки и визуализации процесса обучения моделей. Библиотека была разработана Microsoft Research. Основной функционал инструмента — мониторинг процесса обучения моделей в режиме реального времени в Jupyter Notebook.

TensorWatch был позволяет кастомизировать то, какую часть модели и как пользователь хочет визуализировать, и создавать дашборды. Помимо стандартного логгирования, с помощью библиотеки можно отправлять запросы в модель, которая обучается, и получать результат запроса в формате потока ответов (Lazy Logging Mode). TensorWatch позволяет пользоваться несколькими методами для объяснения предсказаний модели, включая Lime.

Когда пользователь записывает TensorWatch поток, значения сериализируются и отправляются в TCP/IP сокет и записываются в указанный файл. Из Jupyter Notebook ранее логированные значения читаются из файла и прослушивается TCP/IP сокет, чтобы вытаскивать будущие значение. Визуализатор слушает поток и обрабатывает значения, когда они поступают.  

Почти все в TensorWatch представляется в виде потоков: файлы, сокеты, консоли и визуализаторы. Поток может слушать другие потоки, что позволяет создавать data flow граф.