Виявлення збоїв у роботі серверів на основі шаблонізації логів та аналізу рідкісних і нових шаблонів подій

Abstract

У магістерській роботі виконано дослідження методів виявлення збоїв у роботі серверів на основі аналізу лог-файлів. Розроблено підхід до шаблонізації подій журналів, що дозволяє перетворити неструктуровані записи у впорядковану множину шаблонів. Запропоновано інтегральний індекс аномальності, який оцінює відхилення частот появи шаблонів у поточних вікнах від тренувальних значень, а також удосконалений варіант цього показника з ваговими коефіцієнтами, що враховують інформативність рідкісних подій. Проведено експериментальні дослідження на відкритих наборах даних BGL, Spirit та Thunderbird. Отримані результати показали, що використання вагових коефіцієнтів дозволяє підвищити точність виявлення аномалій на 10–20 % порівняно з класичними частотно-часовими та кластеризаційними методами. Наукова новизна полягає у поєднанні шаблонізації логів з ваговою оцінкою інформативності подій. Практичне значення полягає у можливості використання запропонованого методу в системах моніторингу стану серверів та SIEM-рішеннях для раннього виявлення збоїв.