IBM разработала сервис для контроля процессов, протекающих в ходе обучения нейронных сетей
IBM разработала сервис для контроля процессов, протекающих в ходе обучения нейронных сетей. Система выявляет возникающие заблуждения и придает большую прозрачность причинам принимаемых решений.
Универсальный и наглядный инструмент
Новый инструмент работает с популярными ИИ-фреймворками, такими как Watson, Tensorflow, SparkML, AWS SageMaker и AzureML. Сервис реализован на платформе IBM Cloud и поможет контролировать процесс обучения, внося необходимые корректировки. По заявлению представителей компании, ПО легко адаптировать под любую архитектуру нейросети. Более того, система способна автоматически предлагать корректировку входных данных для устранения заблуждений.
Сервис показывает параметры процесса обучения с помощью наглядных диаграмм, что делает работу пользователя проще. Среди отображаемых данных — сочетание факторов, принятых к рассмотрению, уверенность в принятом решении и основания этой уверенности. Кроме того, изменения параметров сохраняются в лог, что позволит изучить действия ИИ внимательнее.
Сервис контроля платный, но то же время IBM заявила, что планирует выпустить версию продукта с открытым исходным кодом. Компания декларирует это как вклад в международное сотрудничество в устранение заблуждений ИИ.
Проблемы доверия
Причины решений, принимаемых искусственным интеллектом, в большинстве случаев скрыты от конечного пользователя. При этом исследования показали, что нейросети способны усваивать присущие обществу заблуждения и стереотипы, например, гендерные или расовые. Это породило некоторое недоверие к ИИ и страх утраты контроля над технологией. По данным проведенного IBM опроса, 82 % процента предпринимателей рассматривают вопрос внедрения нейросетей. Однако при этом 60 % опасаются возможных проблем, а 63 % не уверены, что смогут достаточно уверенно управлять новыми инструментами.
Так называемая «проблема черного ящика», заключающаяся в непрозрачности принимаемых ИИ решений, воспринимается мировым сообществом весьма серьезно. Работы над повышением прозрачности и доверия ведутся достаточно активно. В сентябре 2018 года ученые MIT опубликовали свою разработку, иллюстрирующую процесс принятия решений нейросетью.
