“Интуиция подсказывает: чем больше данных, тем легче найти в них отклонение. Теория информации возражает: добавление сигнала в шум без потери его смысла имеет предел — этот предел и есть наша эффективность. Мы ищем иголку в стоге сена, одновременно раздувая сам стог.”
Как большие данные меняют задачу поиска аномалий
Классические методы обнаружения аномалий строились на статистике малых выборок. Норма описывалась доверительными интервалами, а всё, что выпадало за три сигмы, объявлялось выбросом. Объёмы данных были таковы, что эксперту часто хватало визуального осмотра графиков. Ситуация изменилась с появлением больших данных. Потоки информации стали высокоразмерными, нестационарными и зашумлёнными. Простой выброс на одном измерении потерял смысл — аномалией теперь может быть комплексное взаимодействие сотен параметров, незаметное при поточечном анализе.
В высокоразмерных пространствах возникает «проклятие размерности». С ростом числа признаков объём данных, необходимый для надёжной оценки распределения, растёт экспоненциально. В пространстве из тысячи измерений почти все точки становятся одинаково удалёнными друг от друга, и понятие «ближайшего соседа» размывается. Аномалия перестаёт быть статистическим выбросом и превращается в редкое, но сложное событие в многомерном потоке.
Проблема усугубляется не только объёмом, но и природой самих данных. Они поступают из распределённых источников — сенсоров, логов, трафика. Шум здесь не гауссовский, он структурирован и может мимикрировать под полезный сигнал. Задача смещается с поиска единичных артефактов к выявлению скрытых паттернов, свидетельствующих о системном сбое, атаке или глубоком изменении в работе объекта.
Теория информации как инструмент формализации
Когда статистические методы сталкиваются с многомерностью и шумом, на помощь приходит теория информации. Она не оперирует конкретными распределениями или пороговыми значениями. Её базовые понятия — энтропия, взаимная информация, дивергенция Кульбака-Лейблера — позволяют измерить количество информации и степень неопределённости в данных независимо от их природы.
Энтропия Шеннона количественно выражает степень неупорядоченности или неожиданности в системе. Для потока данных высокая энтропия означает высокий уровень шума или хаотичности. Взаимная информация измеряет, насколько знание о одной переменной уменьшает неопределённость в другой. Это ключевая метрика для обнаружения аномалий, которые проявляются как неожиданные корреляции или их исчезновение в обычно связанных каналах.
Теория информации позволяет формализовать фундаментальный вопрос: сколько информации об истинном состоянии системы (например, «есть вторжение» или «нет вторжения») мы можем извлечь из наблюдаемых данных, учитывая помехи? Это и есть граница обнаружения — теоретический предел, выше которого не может прыгнуть ни один алгоритм, каким бы сложным он ни был.
Пределы обнаружения: что говорит теорема обнаружения
Одна из центральных теорем в этой области — теорема обнаружения, или лемма Чёрнова-Штейна. В упрощённой форме она устанавливает связь между вероятностями ошибок первого и второго рода (пропуск аномалии и ложное срабатывание) и дивергенцией Кульбака-Лейблера между распределениями «нормального» и «аномального» трафика.
Дивергенция Кульбака-Лейблера, это мера того, насколько одно вероятностное распределение отличается от другого. Если она мала, то даже в идеальных условиях отличить одно состояние от другого сложно. Теорема даёт нижнюю границу для суммарной вероятности ошибки. Например, если между нормальным и атакующим трафиком существует небольшая информационная дивергенция, то ни один детектор не сможет одновременно достичь низкого уровня ложных срабатываний и низкого уровня пропусков.
На практике это означает: если злоумышленник строит атаку так, чтобы её статистические свойства были максимально близки к легитимному трафику (низкая дивергенция), то автоматическое обнаружение будет заведомо ненадёжным. Можно лишь выбрать — либо ловить большинство атак, но захлёбываться ложными срабатываниями, либо держать ложные срабатывания на минимуме, пропуская значительную часть инцидентов.
Почему просто добавить больше данных не всегда помогает
Интуитивное решение для сложных случаев — собрать больше обучающих данных. Кажется, что это должно снизить неопределённость и улучшить обнаружение. Теория информации вносит важные коррективы: добавление данных помогает только в том случае, если эти данные несут новую информацию о различии между нормой и аномалией.
Если новые данные являются просто повторением или линейной комбинацией уже имеющихся, их информационная ценность стремится к нулю. Энтропия совместного распределения растёт медленнее, чем объём набора. Более того, в зашумлённых системах существует предел, после которого дополнительный шум в новых данных начинает подавлять слабый сигнал об аномалии. Наступает насыщение — дальнейшее накопление данных не повышает точность детектора, а лишь увеличивает вычислительные затраты.
Ситуация усложняется в нестационарных системах, где понятие «нормы» со временем дрейфует. Данные, собранные месяц назад, могут уже плохо описывать текущее состояние. Здесь ключевую роль играет скорость изменения взаимной информации между историческими и текущими данными. Если она падает слишком быстро, то прошлый опыт становится мало полезен, и система обнаружения должна полагаться на краткосрочные паттерны, что повышает её чувствительность к шуму.
Практические следствия для систем мониторинга и SIEM
Понимание теоретических границ меняет подход к проектированию систем мониторинга и SIEM. Во-первых, это заставляет честно оценивать достижимые цели. Невозможно требовать от системы стопроцентного обнаружения целевых атак с нулевым уровнем ложных срабатываний, если дивергенция между легитимными действиями продвинутого злоумышленника и нормальной активностью минимальна.
Во-вторых, это смещает фокус с создания универсального «самого умного» алгоритма на архитектурные решения. Эффективность можно повысить не в лоб, а за счёт разумного разделения задачи:
- Сегментация данных: Разделение трафика на группы с высокой внутренней взаимной информацией (например, по типам сервисов, подразделениям). Внутри такой группы проще выявить отклонение, так как «норма» лучше определена.
- Многоуровневая детекция: Первый уровень использует простые и быстрые методы для отсева явного шума и обнаружения грубых аномалий (высокая дивергенция). Второй уровень применяет сложные модели (например, основанные на машинном обучении) к уже очищенному потоку для поиска слабых сигналов.
- Управление компромиссом: Система должна позволять настраивать баланс между ложными срабатываниями и пропусками в зависимости от критичности защищаемого актива. Для бухгалтерского сервиса важнее минимизировать ложные срабатывания, чтобы не парализовать работу, а для ядра сети — минимизировать пропуски, даже ценой большого числа предупреждений.
Что остаётся за пределами формальных границ
Теоретико-информационные границы описывают пределы для полностью автоматических систем, работающих с данными в заданной модели. Однако они не отменяют роли эксперта-аналитика. Человеческое восприятие способно к смысловому синтезу — соединению информации из формальных алертов, контекста бизнес-процессов, внешних новостей и интуиции, что выходит за рамки формальных моделей.
Кроме того, существуют классы аномалий, которые плохо описываются вероятностными распределениями. Например, скоординированные low-and-slow атаки, где каждый отдельный запрос легитимен, но их совокупность в пространстве и времени формирует вредоносный паттерн. Обнаружение таких угроз требует моделей, учитывающих временные ряды, графы взаимодействий и причинно-следственные связи, чьи теоретические пределы изучены ещё слабее.
Понимание границ, это не призыв к бездействию, а карта для навигации. Оно показывает, где автоматизация может дать максимальный эффект, а где необходима эшелонированная защита, включающая не только детекцию, но и превентивные меры, сегментацию и готовность к инцидентам. Самый совершенный детектор не заменит своевременного обновления и грамотной конфигурации.