«Почему в мире, где каждый второй вендор заявляет о 99,9% эффективности, нет ни одного универсального и признанного стандарта, чтобы это проверить? Потому что сама задача измерения эффективности защиты, это не техническая проблема, а политическая и экономическая. Она упирается в то, кто платит, кто устанавливает правила и что на самом деле считается победой.»
Что такое «эффективность» в мире информационной безопасности?
Прежде чем говорить об её измерении, нужно договориться о терминах. Эффективность, это не абстрактное «хорошо защищает». В инженерном смысле это отношение достигнутого результата к цели. Но цель в безопасности редко бывает единой и измеримой. Для одного заказчика цель — не допустить утечки данных в публичный доступ. Для другого — предотвратить шифровальщик на рабочих станциях. Для третьего — выполнить формальные требования регулятора. Эффективность одного и того же средства защиты будет разной для каждой из этих целей.
Вендоры часто подменяют понятия, говоря об эффективности в лабораторных условиях против известных угроз. Это похоже на испытание бронежилета стрельбой из конкретного пистолета с определённого расстояния. Результат будет точным, но бесполезным для понимания, защитит ли этот жилет в реальной перестрелке, где могут стрелять из другого оружия, бить ножом или использовать гранату.
Реальная эффективность, это способность снижать операционный риск бизнеса в его уникальной среде. А это уже комплексная величина, зависящая от сотен факторов: от грамотности пользователей до архитектуры сети и актуальности правил корреляции событий.
Кто должен проводить сертификацию и кто за неё заплатит?
Идея независимой сертификации кажется очевидной: создать эталонный полигон, набор тестов и методик, на котором все продукты проходят проверку. Результаты публикуются, и заказчик может сравнить их объективно. Однако за этой простотой скрываются фундаментальные противоречия.
Первое — финансирование. Кто будет платить за создание и поддержку такой лаборатории? Если это государство, то сразу возникает вопрос лоббирования и поддержки отечественных вендоров. Если это консорциум самих вендоров, то они никогда не согласуют методики, которые ставят кого-то из участников в заведомо проигрышное положение. Если платит заказчик (как, например, при оплате тестов в AV-TEST или VirusTotal), то модель становится коммерческой, а результаты могут быть доступны только за деньги, что снижает прозрачность.
Второе — независимость экспертов. Мир информационной безопасности тесен. Специалист, который сегодня разрабатывает методики тестирования для лаборатории, завтра может устроиться в одну из проверяемых компаний. Гарантировать полную объективность в таких условиях практически невозможно.
Проблема «движущейся мишени»: угрозы меняются быстрее тестов
Методика сертификации требует зафиксированных критериев. Обычно это набор malware-сэмплов, эксплойтов или сценариев атак. Но к моменту, когда лаборатория соберёт актуальную коллекцию, разработает тесты, проведёт испытания и опубликует отчёт, угрозы уже эволюционируют. Появится новый вектор атаки или метод обхода защиты.
Сертификат, выданный вчера, сегодня уже не гарантирует защиты от новой волны вымогателей. Это создаёт ложное чувство безопасности у заказчика, который доверяет «знаку качества». Вендоры же оказываются в гонке не столько с хакерами, сколько с тестовыми лабораториями, оптимизируя продукты под известные тестовые сценарии, а не под реальные угрозы. Это явление хорошо известно в индустрии антивирусов как «оверфиттинг» под тестовые выборки.
Пример: гонка антивирусных тестов
Независимые тесты антивирусов существуют десятилетиями. Но между лабораториями нет согласия даже в базовых вопросах: что считать детектом (простая сигнатура, эвристика, поведенческий анализ), как учитывать ложные срабатывания, как тестировать облачные компоненты. Один и тот же продукт может показывать 99,9% защиты в тесте AV-Comparatives и 92% в тесте SE Labs — просто потому, что у них разные методики и наборы угроз.
Более того, некоторые вендоры заключают партнёрские соглашения с тестовыми лабораториями, получая доступ к сэмплам и методикам до публикации результатов. Формально это помогает улучшить продукты, но фактически ставит других участников в неравные условия.
Регуляторный подход: сертификация соответствия, а не эффективности
В России и многих других странах существует государственная система сертификации средств защиты информации (СЗИ). Однако её цель принципиально иная. Регулятор (ФСТЭК, ФСБ) сертифицирует не «эффективность» в смысле «насколько хорошо продукт останавливает хакеров», а соответствие техническим и методическим требованиям.
Эти требования описывают, какие функции должен иметь продукт (ведение журналов, разграничение доступа, целостность), как он должен быть разработан (защита от НДВ, наличие руководств), и иногда — уровень устойчивости к определённым тестовым воздействиям. Получив сертификат, вендор доказывает, что его продукт построен по определённым правилам и прошёл формализованные испытания. Но это не ответ на вопрос «насколько хорошо он защитит мой конкретный контур от целевой атаки?».
Такой подход понятен с точки зрения регулятора: он создаёт управляемый и проверяемый процесс. Но для заказчика это создаёт разрыв между формальным соблюдением регуляторики и реальной безопасностью. Можно построить инфраструктуру исключительно из сертифицированных СЗИ и всё равно стать жертвой инцидента, потому что сертификация не покрывала конкретный использованный злоумышленником вектор.
Экономика вендоров: почему им невыгодна прозрачность
Рынок security solutions построен на асимметрии информации. Заказчик не может самостоятельно и с приемлемыми затратами проверить все заявления вендора. Поэтому продажи строятся на доверии, репутации, успешных кейсах (часто анонимизированных) и экспертных мнениях.
Появление единого, признанного всеми рейтинга эффективности обрушило бы эту модель. Продукты-лидеры получили бы неоспоримое преимущество, а аутсайдеры были бы вынуждены либо резко снижать цены, либо уходить с рынка. Это привело бы к консолидации рынка и снижению конкуренции в долгосрочной перспективе. Большинство игроков не заинтересованы в таком исходе.
Кроме того, прозрачные сравнения сделали бы бессмысленными многие маркетинговые бюджеты. Зачем проводить дорогие рекламные кампании, если все видят цифры в независимой таблице? Вендоры предпочитают вкладываться в создание собственных, контролируемых тестов и «доказательств концепции», где они сами выбирают условия и могут показать продукт в лучшем свете.
Что остаётся в руках заказчика: практические шаги
Поскольку надеяться на появление универсального «знака качества» не приходится, ответственность за оценку смещается на сторону того, кто покупает и внедряет.
- POC (Proof of Concept) на своих данных и инфраструктуре. Это единственный способ приблизиться к оценке реальной эффективности. Нужно не просто смотреть демо, а запустить продукт в изолированном сегменте своей сети, загрузить свои логи, смоделировать свои типичные угрозы.
- Фокус на операционных метриках, а не на маркетинговых. Вместо «эффективности детектирования 99,9%» спрашивайте: среднее время на расследование инцидента с помощью этой платформы, количество ложных срабатываний в день, трудоёмкость её сопровождения, скорость обновления детекторов.
- Аудит и тестирование силами третьих сторон. Заказ регулярных пентестов и Red Team-операций, результаты которых сравниваются с показателями SOC и срабатываниями внедрённых средств защиты. Это даёт интегральную оценку эффективности всей системы, а не одного инструмента.
- Анализ архитектуры и методологии вендора. Как продукт собирает данные? На какой срок хранятся сырые логи? Как часто обновляются детекторы? Открыты ли для заказчика логики корреляции? Ответы на эти вопросы часто говорят об эффективности больше, чем любые тестовые цифры.
Будущее: эволюция в сторону измерения результата, а не инструмента
Тренд последних лет — смещение фокуса с проверки «железа и софта» на оценку outcomes (результатов). Речь идёт о стандартах и подходах, которые измеряют не то, насколько хорош файрволл, а насколько защищён бизнес-процесс, который он прикрывает.
Например, подход, основанный на кибер-страховании: страховая компания, оценивая риски, косвенно проводит аудит всей security-позиции организации. Стоимость полиса и условия выплат становятся своеобразной метрикой эффективности. Другой пример — frameworks вроде MITRE ATT&CK, которые позволяют организации самостоятельно оценивать, насколько её средства защиты покрывают тактики и техники актуальных противников.
Вероятно, будущее не за единой сертификацией продуктов, а за развитием культуры внутреннего измерения и управления безопасностью на основе бизнес-рисков. Инструменты будут оцениваться не изолированно, а по вкладу в общее снижение этих рисков. Это сложнее, чем сравнивать цифры в таблице, но именно так устроена реальная безопасность — она всегда контекстна и никогда не бывает абсолютной.