«Falsifiability, это не просто философский принцип, а вопрос выживания для индустрии информационной безопасности. Если мы не можем опровергнуть свои утверждения, мы строим замки на песке и называем это наукой. Особенно в России, где регуляторика требует конкретных доказательств, а не красивых презентаций.»
Что такое фальсифицируемость и почему она важна
Фальсифицируемость (falsifiability), это критерий научности, предложенный философом Карлом Поппером. Утверждение считается научным, если в принципе можно представить наблюдение или эксперимент, который его опровергнет. Если теория построена так, что никакой факт не может её поколебать, она находится вне науки, это может быть догма, вера или псевдонаука.
В IT-безопасности этот принцип сталкивается с парадоксом. С одной стороны, индустрия оперирует конкретными уязвимостями, эксплойтами и инцидентами — казалось бы, идеальная почва для проверяемых гипотез. С другой, значительная часть практики, это прогнозы, оценки рисков и рекомендации, которые сложно или невозможно строго опровергнуть. Например, утверждение «внедрение этого фреймворка повысит безопасность» часто остаётся недоказанным, пока не случится провал. Но к тому моменту цена ошибки становится катастрофической.
В контексте российских требований, таких как 152-ФЗ или приказы ФСТЭК, вопрос фальсифицируемости перестаёт быть абстрактным. Регулятор требует обоснования выбора средств защиты, оценки их эффективности. Как можно обосновать что-либо, если базовые утверждения о безопасности системы по своей природе нефальсифицируемы? Мы часто заменяем научную проверку комплаенсом: система считается безопасной, потому что соответствует некому нормативному документу, а не потому, что её устойчивость была экспериментально доказана и потенциально опровергнута.
Где security research сталкивается с нефальсифицируемыми утверждениями
Исследования в области безопасности полны утверждений, которые сложно или невозможно проверить на опровержение. Это создаёт почву для субъективных оценок, маркетинговых заявлений и «театра безопасности».
Оценки рисков и прогнозы угроз
«Риск реализации данной угрозы для организации — высокий». Что опровергает это утверждение? Только факт успешной атаки. Но её отсутствие можно трактовать и как эффективность защитных мер, и как низкую мотивацию атакующего, и как простую удачу. Утверждение нефальсифицируемо по своей сути, так как его «опровержение» (отсутствие инцидента) не является однозначным доказательством.
Эффективность средств защиты (СЗИ)
Производители заявляют об эффективности своих продуктов в 99,9%. Как это проверить? Тестирование на известных образцах вредоносного кода не отражает реальную угрозу нулевого дня. Реальное опровержение, это прорыв защиты, но единичный случай можно списать на уникальные обстоятельства или ошибку оператора. Критерий Поппера здесь не работает, потому что нет чёткого эксперимента, который мог бы раз и навсегда доказать неэффективность.
.
Категоризация и модели (типа Kill Chain или MITRE ATT&CK)
Эти модели — не теории, а таксономии и frameworks. Они полезны для структурирования знаний, но их нельзя «опровергнуть» в научном смысле. Утверждение «атака развивается по цепочке Kill Chain» нефальсифицируемо — любые отклонения можно объяснить вариативностью тактики, а не неверностью модели. Это делает модели мощным инструментом для анализа, но слабым — для строгого научного предсказания.
Области, где фальсифицируемость возможна и уже работает
Не всё в security research построено на песке. Есть направления, где принцип проверяемости и опровержимости не только применим, но и является основой методологии.
Поиск и верификация уязвимостей (Vulnerability Research)
Это наиболее «научная» часть исследований. Гипотеза: «В программном модуле X версии Y существует уязвимость типа Z, позволяющая выполнить произвольный код». Эта гипотеза прекрасно фальсифицируема. Достаточно предъявить работающий эксплойт (proof of concept), который стабильно приводит к желаемому результату (например, получению shell) в контролируемых условиях. Любая третья сторона может воспроизвести эксперимент и подтвердить или опровергнуть утверждение. Процедура Responsible Disclosure и программы Bug Bounty институционализируют этот процесс проверки.
Криптография и анализ алгоритмов
Утверждения криптографии часто сводятся к вычислительной сложности. Гипотеза «алгоритм шифрования A обеспечивает 128-битную стойкость» фальсифицируема. Её опровержением будет демонстрация атаки, которая ломает шифр со сложностью менее 2^128 операций. Конкурсы по криптоанализу, такие как SHA-3, построены именно на этом принципе — поиске способа опровергнуть заявленные свойства алгоритма.
.
Сравнительный анализ эффективности контрмер
Хотя утверждение об абсолютной эффективности средства защиты нефальсифицируемо, сравнительные утверждения проверить можно. «Механизм предотвращения выполнения данных (DEP) более эффективен против эксплойтов переполнения буфера, чем только ASLR», это проверяемая гипотеза. Можно создать тестовый набор эксплойтов и измерить процент успешных атак в контролируемой среде с разными комбинациями защит. Результаты такого исследования могут быть опровергнуты более качественным экспериментом.
Почему регуляторика часто игнорирует принцип фальсифицируемости
Требования регуляторов, таких как ФСТЭК, часто строятся не на принципах доказательной науки, а на принципах управления рисками и комплаенса. Это порождает несколько проблем.
- Чек-листовый подход. Безопасность сводится к выполнению пунктов: установлен межсетевой экран, настроено журналирование, проведено обучение. Факт выполнения пункта легко проверить (фальсифицируем: либо журналы есть, либо их нет). Но связь между выполнением пункта и реальным повышением безопасности системы часто остаётся нефальсифицируемым допущением, заложенным в методике регулятора.
- Опора на формальные критерии. Сертификация средства защиты (СЗИ) по требованиям ФСТЭК или Минобороны часто подтверждает, что продукт прошёл определённые лабораторные испытания, а не то, что он эффективен в конкретной инфраструктуре заказчика. Утверждение «сертифицированное СЗИ обеспечивает безопасность» нефальсифицируемо на практике, так как провал защиты можно списать на неправильное развёртывание или уникальную угрозу.
- Отсутствие метрик для опровержения. В требованиях редко заложены количественные метрики, позволяющие через год-два сказать: «Защита, построенная по этому регламенту, не сработала, так как количество успешных инцидентов превысило расчётный порог X». Нет порога — нет возможности для опровержения.
Как двигаться в сторону более фальсифицируемых практик
Полностью избавиться от нефальсифицируемых элементов в security не получится — слишком много факторов связано с человеческим поведением и непредсказуемостью противника. Но можно сделать практики более строгими и проверяемыми.
Сдвиг от комплаенса к доказательной безопасности (Evidence-Based Security)
Вместо вопроса «Соответствуем ли мы регламенту?» задавать вопрос «Какие у нас есть доказательства, что наша защита работает?». Таким доказательством могут быть:
- Результаты регулярных упражнений красной команды (Red Team), где атакующие пытаются опровергнуть утверждение об эффективности защиты.
- Метрики, основанные на телеметрии: среднее время обнаружения (MTTD), среднее время реагирования (MTTR), процент ложных срабатываний. Ухудшение этих метрик может служить опровержением гипотезы о достаточности текущих мер.
- Результаты моделирования угроз (Threat Modeling) с явными допущениями, которые можно впоследствии проверить.
Формулировка проверяемых гипотез для проектов
Перед внедрением нового средства защиты или процесса стоит формулировать гипотезу в фальсифицируемом виде. Не «Мы повысим безопасность», а «Внедрение WAF снизит количество успешных SQL-инъекций, обнаруживаемых нашими сканерами, до нуля в течение квартала». Через квартал этот результат можно измерить и, в случае неудачи, гипотеза будет опровергнута. Это заставляет думать о конкретных механизмах и метриках, а не о размытых целях.
Развитие культуры воспроизводимых исследований
В академической и прикладной research-среде нужно ценить не только открытие новой уязвимости, но и воспроизводимость результатов. Публикация детального отчёта (write-up) с шагами воспроизведения, конфигурацией среды и точными версиями ПО, это акт фальсифицируемости. Он позволяет другим исследователям проверить и либо подтвердить, либо опровергнуть находку. В российском контексте это особенно важно для валидации заявлений об уязвимостях в отечественном ПО.
Итог: фальсифицируемость как компас, а не догма
Falsifiability в security research не только возможна, но и необходима как ориентир. Мы не сможем сделать все наши утверждения строго научными — противник слишком адаптивен, а системы слишком сложны. Однако мы можем и должны стремиться к тому, чтобы ядро наших практик — поиск уязвимостей, анализ алгоритмов, сравнение контрмер — строилось на проверяемых и опровержимых основаниях.
Там, где фальсифицируемость невозможна (в прогнозах, оценках рисков), нужно честно признавать это и работать с вероятностями и сценариями, не выдавая их за непреложные истины. Для регуляторики это означает эволюцию от формального соответствия к управлению, основанному на данных и доказательствах. В конечном счёте, культура, которая ищет способы опровергнуть свои собственные убеждения о безопасности, оказывается устойчивее той, которая строит неприступные, но нефальсифицируемые крепости на бумаге.