Microsoft в сотрудничестве с OpenAI публикует исследования новых угроз в эпоху искусственного интеллекта
Microsoft в сотрудничестве с OpenAI публикует исследования новых угроз в эпоху искусственного интеллекта, уделяя особое внимание выявленным действиям, связанным с известными субъектами угроз Forest Blizzard, Emerald Sleet, Crimson Sandstorm и другими. Наблюдаемая деятельность включает в себя быстрые инъекции, попытки злоупотребления большими языковыми моделями (LLM) и мошенничество.
За последний год скорость, масштаб и сложность атак возросли наряду с быстрым развитием и внедрением искусственного интеллекта. Защитники только начинают осознавать и применять возможности генеративного искусственного интеллекта, чтобы сместить баланс кибербезопасности в свою пользу и опережать противников. В то же время нам также важно понять, как ИИ может потенциально использоваться злоумышленниками в руках злоумышленников. Сегодня в сотрудничестве с OpenAI Microsoft публикует исследование о возникающих угрозах в эпоху искусственного интеллекта, уделяя особое внимание выявленным действиям, связанным с известными субъектами угроз, включая быстрые инъекции, попытки злоупотребления большими языковыми моделями (LLM) и мошенничество. Microsoft анализ текущего использования технологии LLM субъектами угроз выявил поведение, соответствующее использованию злоумышленниками ИИ в качестве еще одного инструмента повышения производительности в наступательной среде. Microsoft и OpenAI еще не наблюдали особенно новых или уникальных методов атак или злоупотреблений с использованием ИИ, возникающих в результате использования ИИ злоумышленниками. Однако Microsoft и наши партнеры продолжают внимательно изучать эту ситуацию.
Целью партнерства Microsoft с OpenAI, включая публикацию этого исследования, является обеспечение безопасного и ответственного использования технологий искусственного интеллекта, таких как ChatGPT, при соблюдении самых высоких стандартов этического применения для защиты сообщества от потенциального неправильного использования. В рамках этого обязательства мы приняли меры по разрушению активов и учетных записей, связанных с субъектами угроз, улучшению защиты технологии OpenAI LLM и пользователей от атак или злоупотреблений, а также формированию защитных ограждений и механизмов безопасности вокруг наших моделей. Кроме того, мы также глубоко привержены использованию генеративного искусственного интеллекта для устранения злоумышленников и использования возможностей новых инструментов, включая Microsoft Copilot for Security , для повышения уровня защиты во всем мире.
Принципиальный подход к обнаружению и блокировке злоумышленников
Развитие технологий порождает потребность в строгих мерах кибербезопасности и безопасности. Например, указ Белого дома об искусственном интеллекте требует тщательного тестирования безопасности и государственного надзора за системами искусственного интеллекта, которые оказывают серьезное влияние на национальную и экономическую безопасность или общественное здоровье и безопасность. Наши действия по усилению защиты наших моделей ИИ и партнерству с нашей экосистемой в области безопасного создания, внедрения и использования этих моделей соответствуют требованию Исполнительного указа о всеобъемлющих стандартах безопасности и защиты ИИ.
В соответствии с лидерством Microsoft в области искусственного интеллекта и кибербезопасности, сегодня Microsoft объявляет о принципах, определяющих политику Microsoft и действиях по снижению рисков, связанных с использованием наших инструментов искусственного интеллекта и API со стороны национальных продвинутых постоянных угроз (APT) и усовершенствованных постоянных манипуляторов (APM). и синдикаты киберпреступников, которые мы отслеживаем.
Эти принципы включают в себя:
- Выявление и действия против использования злоумышленниками: при обнаружении использования каких-либо интерфейсов прикладного программирования (API), служб или систем Microsoft AI выявленным злоумышленником, включая национальные APT или APM, или синдикаты киберпреступности, которые мы отслеживать, Microsoft предпримет соответствующие действия, чтобы нарушить их деятельность, например, отключит используемые учетные записи, прекратит работу служб или ограничит доступ к ресурсам.
- Уведомление других поставщиков услуг ИИ. Когда мы обнаруживаем использование злоумышленником ИИ, API-интерфейсов, служб и/или систем другого поставщика услуг, Microsoft незамедлительно уведомит поставщика услуг и поделится соответствующими данными. Это позволяет поставщику услуг независимо проверять наши выводы и принимать меры в соответствии со своей собственной политикой.
- Сотрудничество с другими заинтересованными сторонами. Microsoft будет сотрудничать с другими заинтересованными сторонами для регулярного обмена информацией об использовании искусственного интеллекта обнаруженными злоумышленниками. Это сотрудничество направлено на содействие коллективным, последовательным и эффективным мерам реагирования на риски, общесистемные.
- Прозрачность. В рамках наших постоянных усилий по продвижению ответственного использования ИИ Microsoft будет информировать общественность и заинтересованные стороны о действиях, предпринятых в соответствии с этими принципами субъектов угроз, включая характер и масштабы использования ИИ субъектами угроз, обнаруженных в наших системах, и меры. принятые против них, в зависимости от обстоятельств.
Microsoft по-прежнему привержена ответственным инновациям в области искусственного интеллекта, уделяя первоочередное внимание безопасности и целостности наших технологий с соблюдением прав человека и этических стандартов. Эти принципы, объявленные сегодня, основаны на методах ответственного ИИ Microsoft , наших добровольных обязательствах по продвижению ответственных инноваций в области ИИ и Кодексе поведения Azure OpenAI . Мы следуем этим принципам в рамках наших более широких обязательств по укреплению международного права и норм и продвижению целей Декларации Блетчли, одобренной 29 странами.
Взаимодополняющие средства защиты Microsoft и OpenAI защищают платформы искусственного интеллекта
Поскольку партнерство Microsoft и OpenAI распространяется на безопасность, компании могут принимать меры при появлении известных и новых злоумышленников. Microsoft Threat Intelligence отслеживает более 300 уникальных субъектов угроз, в том числе 160 субъектов национальных государств, 50 групп программ-вымогателей и многих других. Эти злоумышленники используют различные цифровые идентификаторы и инфраструктуры атак. Эксперты и автоматизированные системы Microsoft постоянно анализируют и сопоставляют эти атрибуты, выявляя попытки злоумышленников уклониться от обнаружения или расширить свои возможности за счет использования новых технологий. Последовательно предотвращая действия злоумышленников с помощью наших технологий и тесно сотрудничая с партнерами, Microsoft продолжает изучать использование злоумышленниками ИИ и LLM, сотрудничать с OpenAI для мониторинга активности атак и применять полученные знания для постоянного улучшения защиты. В этом блоге представлен обзор наблюдаемых действий, собранных из инфраструктуры известных субъектов угроз, определенных Microsoft Threat Intelligence, а затем переданных OpenAI для выявления потенциального злонамеренного использования или злоупотребления их платформой и защиты наших общих клиентов от будущих угроз или вреда.
Признавая быстрый рост искусственного интеллекта и постоянное использование LLM в кибероперациях, Microsoft продолжает работать с MITRE над интеграцией этих тактик, методов и процедур (TTP) на тему LLM в структуру MITRE ATT&CK® или MITRE ATLAS™ (Состязательный ландшафт угроз ). для систем искусственного интеллекта). Это стратегическое расширение отражает стремление не только отслеживать и нейтрализовать угрозы, но и стать пионером в разработке контрмер в развивающемся ландшафте киберопераций с использованием искусственного интеллекта. Полный список ДТС по теме LLM, в который входят те, которые мы выявили в ходе наших расследований, приведен в приложении.
Краткое изложение выводов Microsoft и OpenAI и информации об угрозах
Экосистема угроз за последние несколько лет выявила постоянную тенденцию, когда субъекты угроз следят за тенденциями в технологиях параллельно со своими коллегами-защитниками. Злоумышленники, как и защитники, рассматривают искусственный интеллект, в том числе LLM, чтобы повысить свою производительность и воспользоваться преимуществами доступных платформ, которые могут способствовать достижению их целей и методов атак. Группы киберпреступников, субъекты угроз на национальном уровне и другие злоумышленники изучают и тестируют различные технологии искусственного интеллекта по мере их появления, пытаясь понять потенциальную ценность их операций и меры безопасности, которые им, возможно, придется обойти. Со стороны защитника жизненно важно ужесточить те же меры безопасности от атак и внедрить столь же сложный мониторинг, который предвидит и блокирует вредоносную активность.
Хотя мотивы и сложность различных субъектов угроз различаются, у них есть общие задачи, которые необходимо выполнять в ходе нацеливания и атак. К ним относятся разведка, например, изучение отраслей, местоположений и взаимоотношений потенциальных жертв; помощь с кодированием, включая улучшение таких вещей, как программные сценарии и разработка вредоносных программ; и помощь в изучении и использовании родных языков. Языковая поддержка является естественной особенностью программ LLM и привлекательна для субъектов угроз, постоянно сосредотачивающихся на социальной инженерии и других методах, полагающихся на ложные, вводящие в заблуждение коммуникации, адаптированные к работе, профессиональным сетям и другим отношениям их жертв.
Важно отметить, что Microsoft исследование с OpenAI не выявило серьезных атак с использованием LLM, которые Microsoft внимательно отслеживает. В то же время Microsoft считает, что это важное исследование, которое следует опубликовать, чтобы выявить постепенные шаги на ранней стадии, которые, как Microsoft наблюдает, предпринимают известные злоумышленники, и поделиться информацией о том, как Microsoft блокирует их и противодействует им, с сообществом защитников.
Хотя злоумышленники по-прежнему будут интересоваться ИИ и проверять текущие возможности технологий и средства контроля безопасности, важно учитывать эти риски в контексте. Как всегда, необходимы гигиенические методы, такие как многофакторная аутентификация (MFA ) и защита с нулевым доверием , поскольку злоумышленники могут использовать инструменты на основе искусственного интеллекта для улучшения существующих кибератак, основанных на социальной инженерии и обнаружении незащищенных устройств и учетных записей.