Adobe відкрила вихідний код утиліти One-Stop Anomaly Shop (OSAS) для виявлення та класифікації аномалій
Adobe відкрила вихідний код утиліти One-Stop Anomaly Shop (OSAS) для виявлення і класифікації аномалій
Adobe відкрила вихідний код утиліти One-Stop Anomaly Shop (OSAS) для виявлення та класифікації аномалій у даних журналу безпеки. Вихідний код доступний на GitHub під ліцензією Apache 2.0. Стверджується, що новинка легко модифікується і проста у використанні.
OSAS використовує машинне навчання і дозволяє визначити, які функції або комбінації функцій дають найбільшу користь з точки зору аналізу в конкретному наборі даних. За словами розробників, новинка визначає, з якої причини та чи інша подія є аномалією.
One-Stop Anomaly Shop надає аналітикам безпеки та дослідникам можливість швидко перевіряти журнали безпеки, навіть якщо файл журналу безпеки має різні типи подій. OSAS самостійно відзначає різні типи даних в журналах, але дозволяє вручну встановлювати правила розмітки. Дані з тегами використовуються для машинного навчання.
One-Stop Anomaly Shop дозволяє визначити унікальність аномалії, її зв'язок з конкретною подією, мережевим портом або адресою. Все це дозволяє поліпшити захист систем від зовнішніх вторгнень. Адже аномалія може послужити сигналом про те, що хакери намагаються проникнути в систему.
Для зручності роботи з OSAS пропонується контейнер Docker з пошуковою системою Elasticsearch, індексатором logstash і веб-інтерфейсом Kibana. Сам додаток написано на Python.
OSAS - це новий проект Adobe Security з відкритим вихідним кодом. Він надає набір інструментів розвідки безпеки, спрямований на виявлення аномалій у заданому наборі даних. Інструмент реалізує та поєднує в собі кілька попередніх досліджень, офіційних документів та інших проектів з відкритим кодом Команди безпеки Adobe Security Intelligence Team .
OSAS здатний запускатися «з коробки» і дозволяє дослідникам: (а) експериментувати з наборами даних; (b) контролювати, як обробляється набір даних і як поєднуються функції; і (c) може допомогти скоротити шлях до пошуку збалансованого рішення для виявлення загроз безпеці.
Проект «Єдине вікно аномалій» (OSAS) допомагає зменшити цей ефект, впроваджуючи двоетапний підхід до обробки даних:
1. Спочатку необроблені дані споживаються та маркуються (позначаються) за допомогою стандартних рецептів для різних типів полів, таких як многочлен, текст та числові значення. На цьому етапі складні функції також створюються шляхом поєднання різних атрибутів — так само, як у усталеному процесі розробки функцій для класичного ML. Крім того, процес тегування дозволяє на основі правил призначати мітки для використання знань у домені від експертів.
2. Далі мітки використовуються як вхідні функції для загальних (без нагляду) або цільових (контрольованих) алгоритмів MН. Для цього OSAS пропонує три стандартні варіанти, але ми маємо намір додати ще.
(ви можете знайти більше інформації про "Hubble", інший проект Adobe з відкритим кодом, на GitHub)
Функція автоматичного навчання/тегування дозволяє використовувати OSAS для різноманітного спектру наборів даних і проектів. Компонент тегування «Експертні знання» робить його високоефективним у націлюванні на загрози безпеці та зміщує базову операцію з навчання без нагляду на напівкероване , подібно до моделі «Оповіщення на основі ризиків».
З технічної точки зору, OSAS - це набір інструментів інтерфейсу командного рядка (CLI), який забезпечує наступну функціональність:
1. Автоматично генерує власний файл конфігурації конвеєра, вгадуючи типи полів і створюючи складні функції в певних випадках.
2. Створює попередньо навчену модель для власного конвеєра на основі конфігураційного файлу та необробленого набору даних.
3. Застосовує раніше створену модель до раніше небачених даних.
Репозиторій з відкритим вихідним кодом містить повний вихідний код проекту. Ми також надаємо докеризовану версію, оснащену WebUI та інтегровану з Elastic Search OpenDistro, для швидкого візуального аналізу результатів.
