«Измерение эффективности обучения, это не про сбор цифр ради отчёта. Это про то, как превратить разовые мероприятия в работающий механизм, который меняет поведение людей и снижает реальные риски. Если вы не можете доказать, что обучение работает, значит, вы просто тратите деньги и время.»
Зачем вообще измерять?
В сфере информационной безопасности и регуляторики обучение часто воспринимается как формальность: провели инструктаж, поставили галочку, отчитались перед ФСТЭК. Но формальный подход создаёт иллюзию защищённости. Реальный пробой безопасности происходит не из-за отсутствия политик, а из-за того, что сотрудник, имея все инструкции, всё равно кликнул по фишинговой ссылке или подключил сомнительный USB-накопитель.
Измерение эффективности переводит обучение из категории «расходы» в категорию «инвестиции». Оно позволяет ответить на ключевые вопросы: стали ли сотрудники реже совершать ошибки? Узнали ли они что-то новое, что можно применить на практике? Привело ли это к снижению инцидентов? Без ответов на эти вопросы невозможно управлять человеческим фактором — главным звеном в цепи безопасности.
От реакции к результату: модель Киркпатрика
Большинство попыток измерить обучение заканчиваются на первом уровне — сбором отзывов («понравилось/не понравилось»). Для комплексной оценки в российском ИТ-контексте можно адаптировать классическую модель Дональда Киркпатрика, состоящую из четырёх уровней.
Уровень 1: Реакция
Что измеряем: удовлетворённость участников форматом, содержанием и подачей материала. Это не просто «нравится», а оценка полезности и применимости знаний.
Как измерять: анкетирование сразу после обучения. Вопросы должны быть конкретными: «Насколько чётко были объяснены требования 152-ФЗ к хранению персональных данных?», «Сможете ли вы применить алгоритм действий при обнаружении инцидента?», а не общими «Понравился ли вам семинар?».
Ловушка: высокая удовлетворённость не гарантирует усвоения знаний. Сотрудникам может понравиться лектор, но ключевые тезисы останутся неусвоенными.
Уровень 2: Усвоение
Что измеряем: фактические знания и навыки, полученные в ходе обучения. Усвоил ли сотрудник, как классифицировать информацию по приказу ФСТЭК? Запомнил ли шаги по реагированию на утечку?
Как измерять: тестирование (контрольные вопросы, ситуационные задачи, кейсы) до и после обучения. Разница в результатах покажет прирост знаний. Для технических тем (настройка DLP, работа с SIEM) эффективны практические задания в тестовой среде.
Пример: вместо вопроса «Что такое фишинг?» дать задание — «Перед вами три письма. Определите, какое из них фишинговое, и объясните по каким признакам».
Уровень 3: Поведение
Что измеряем: изменения в рабочих процессах и ежедневном поведении сотрудников. Это самый сложный, но и самый важный уровень. Знания, не применяемые на практике, бесполезны для безопасности.
Как измерять:
- Наблюдение и аудит: проверка, следуют ли сотрудники обновлённым регламентам после обучения (например, правильно ли маркируют конфиденциальные документы).
- Анализ инцидентов: отслеживание динамики — стало ли меньше нарушений, связанных с человеческим фактором (пересылка данных в мессенджерах, потеря носителей).
- Опросы руководителей: регулярный сбор обратной связи от начальников отделов об изменениях в поведении подчинённых.
Стоит помнить: для изменения поведения одного обучения недостаточно. Нужна поддерживающая среда: чёткие регламенты, напоминания, позитивное подкрепление со стороны руководства.
Уровень 4: Результаты
Что измеряем: влияние обучения на бизнес-показатели и ключевые метрики безопасности организации. Это уровень стратегической эффективности.
Какие метрики могут быть:
- Снижение количества успешных фишинговых атак (по данным имитационных тестов).
- Сокращение времени реагирования на инциденты ИБ (так как сотрудники быстрее и правильнее их фиксируют).
- Уменьшение числа нарушений, выявленных при внутренних аудитах или проверках ФСТЭК.
- Снижение финансовых потерь, связанных с утечками данных или простоями.
Связь между обучением и этими результатами не всегда прямая и мгновенная. Требуется время и анализ данных, чтобы выделить вклад именно обучающих программ на фоне других мер (технических, организационных).
Инструменты и методы сбора данных
Для каждого уровня нужны свои инструменты. Их комбинация даёт объёмную картину.
Для уровней 1 и 2 (Реакция и Усвоение)
- Системы дистанционного обучения (СДО): встроенные механизмы тестирования, опросов и отслеживания прогресса. Позволяют автоматизировать сбор первичных данных.
- Google Forms / «Яндекс Формы»: для быстрого создания анкет обратной связи и простых тестов.
Для уровня 3 (Поведение)
- Технические средства контроля (в рамках закона и политик): логирование действий (попытки доступа, пересылка файлов), данные от DLP-систем о потенциальных нарушениях. Анализ трендов до и после обучения.
- Пентесты и физзинг: регулярные контролируемые проверки (например, отправка тестовых фишинговых писем) для оценки бдительности сотрудников.
- Фокус-группы и интервью: глубинные беседы с сотрудниками из разных отделов для понимания барьеров в применении знаний.
Для уровня 4 (Результаты)
- Интеграция данных: совмещение данных из СДО, SIEM-системы, тикетов на инциденты и отчётов службы ИБ в едином дашборде (например, в Power BI или «Яндекс DataLens»).
- Корреляционный анализ: поиск взаимосвязей между активностью обучения в определённых отделах и снижением числа инцидентов по ним.
Адаптация под российскую регуляторику: ФСТЭК и 152-ФЗ
Требования регуляторов задают обязательный минимум, но редко дают методику оценки качества его выполнения. Ваша задача — выйти за рамки формального соответствия.
- Приказ ФСТЭК № 17: обязывает обучать работников. Измерение эффективности (уровни 2-4) превращает эту обязанность в инструмент реального повышения защищённости.
- 152-ФЗ: требует обеспечения безопасности персональных данных. Эффективное обучение операторов ПДн — ключевой способ предотвратить утечки по неосторожности. Доказательством эффективности для регулятора могут служить не только программы обучения, но и метрики, показывающие их результат (например, нулевые результаты тестовых утечек).
В отчётах для проверяющих, помимо факта проведения обучения, стоит указывать и ключевые показатели его результативности: процент успешно прошедших тестирование, динамику по внутренним нарушениям. Это демонстрирует системный, а не формальный подход.
Типичные ошибки и как их избежать
- Измерять только сразу после обучения. Знания забываются. Внедрите периодическое микрообучение (короткие тесты, рассылки-напоминания) и замеряйте знания через 3 и 6 месяцев.
- Игнорировать контекст. Падение результатов может быть связано не с плохим обучением, а с неработающими процессами или отсутствием мотивации. Анализируйте причины.
- Гнаться за идеальными цифрами. 100%-й результат тестирования часто говорит либо о его простоте, либо о списывании. Допустимый и осмысленный порог (например, 85%) лучше, чем идеальный, но недостоверный.
- Не связывать обучение с инцидентами. Если после курса по фишингу количество сообщений о подозрительных письмах выросло, это не провал, а успех. Сотрудники стали внимательнее.
Что в итоге?
Эффективность программы обучения, это не абстрактная величина, а совокупность данных, которые показывают её движение от знания к действию и результату. Начните с обязательных уровней 1 и 2, но сразу проектируйте процессы для сбора данных по уровням 3 и 4. Интегрируйте оценку в ежегодный цикл управления рисками ИБ.
В конечном счёте, правильно выстроенное измерение отвечает на главный вопрос: стали ли мы безопаснее благодаря тому, чему научили наших людей? Если ответ обоснован цифрами и фактами, а не интуицией, значит, обучение работает не на галочку, а на реальную защиту бизнеса.