Почему модель ИИ ошибается, когда меняется мир: что такое data drift
Модель не начинает учиться сама, когда меняются входные данные. Разбираем три вида сдвига, что можно заметить без меток, как оценивать качество и когда действительно нужно переобучение.
Изменение распределения входов само по себе не доказывает ухудшение качества. Надёжная диагностика разделяет covariate shift, concept drift и label shift, отличает сигналы без меток от оценки и фактического измерения производительности.
Три разных изменения, которые часто называют одним словом
Data drift обычно используют как общее название изменения данных между обучением и эксплуатацией. Но для диагностики важно понять, какая именно часть распределения изменилась. Covariate shift означает, что изменилось распределение признаков P(X), тогда как зависимость целевой переменной от признаков P(Y|X) остаётся прежней. Например, в сервис чаще стали приходить длинные сообщения, хотя связь между содержанием письма и тем, является ли оно спамом, не изменилась.
Concept drift устроен иначе: меняется сама зависимость P(Y|X). То, что раньше было хорошим признаком мошенничества, перестаёт им быть, потому что изменилось поведение злоумышленников или правила сервиса. Label shift означает изменение долей классов P(Y) при условии, что распределение признаков внутри каждого класса P(X|Y) остаётся стабильным. Эти изменения могут происходить одновременно, но они не взаимозаменяемы: один тест по входным признакам не определит автоматически, что именно произошло.
Что можно увидеть, пока метки ещё не пришли
Начать можно с того, что действительно доступно в потоке без ответов «правильно/неправильно»: сравнить распределения ключевых признаков с эталонным периодом, проверить пропуски и новые категории, посмотреть на распределение предсказаний и уверенности модели. Для отдельных признаков используют, например, PSI, тест Колмогорова — Смирнова или хи-квадрат; для многомерного пространства применяют двухвыборочные тесты и классификаторы, отличающие данные из обучающего и текущего периодов. Rabanser и коллеги сравнивали такие подходы на разных наборах данных и показали, что обнаружить сдвиг и понять, насколько он вреден, — не одна и та же задача.
Сигнал о сдвиге не является измерением ошибки. Рост PSI говорит о различии распределений при выбранном способе разбиения, а не о том, что модель стала чаще ошибаться. Сдвиг может быть статистически заметным из-за большого потока, но несущественным для решения; и наоборот, важная проблема может скрываться в небольшой группе или в изменившейся связи признаков с целью. Brier score, accuracy, ROC AUC и фактическую калибровку нельзя посчитать без истинных меток: для них нужно знать правильный ответ хотя бы на проверяемой выборке.
Можно ли оценить качество до получения ответов
Да, но важно называть результат оценкой, а не фактом. Например, Confidence-Based Performance Estimation (CBPE) использует вероятности, которые выдаёт классификатор, и калибровку, построенную на размеченном эталонном наборе, чтобы оценить метрики на новом потоке без его меток. В документации NannyML v0.10.3 описаны этот подход и его предпосылки: эталонные данные должны позволять откалибровать уверенность модели, а связь между уверенностью и правильностью предсказаний должна оставаться достаточно устойчивой. Если модель стала систематически увереннее именно там, где чаще ошибается, или новый поток вышел за условия, представленные эталоном, CBPE может дать убедительную, но неверную оценку. Это не независимая проверка: её результат нужно сопоставлять с метками, как только они появятся.
Поэтому у команды есть три разных уровня знания. Первый — мы видим, что изменились входы или предсказания. Второй — специальный оценщик предполагает, как могло измениться качество, но опирается на допущения. Третий — мы получили достаточно репрезентативные истинные метки и измерили фактическую ошибку, AUC, precision/recall или Brier. Смешивать эти уровни опасно: прогноз качества полезен для приоритизации проверки, но не заменяет проверку.
Как построить мониторинг, который не поднимает тревогу на каждый чих
Сначала зафиксируйте baseline: на каких данных модель проверяли, какие признаки для неё важны, как меняются показатели в обычные дни и в сезонные пики. Затем выберите окна сравнения и частоту проверок под реальный поток. Для сервиса с тысячами событий в час и для редких медицинских решений одинаковое окно бессмысленно. Учитывайте задержку меток, размер выборки, сегменты пользователей и цену двух ошибок мониторинга: пропустить деградацию или заставить команду реагировать на безвредное колебание.
Полезно разделить панели: качество и схема входных данных; сдвиги признаков; распределение предсказаний и уверенности; оценка производительности; фактические метрики после поступления меток. Порог PSI или KS не стоит переносить из чужого примера как закон. Его калибруют на истории конкретной системы, проверяют устойчивость сигнала на соседних окнах и смотрят, приводит ли он к полезному действию. При появлении тревоги проверьте сначала пайплайн данных, новые категории, пропуски и изменения продукта, затем оценку качества и только после этого выбирайте способ вмешательства.
Пять шагов после сигнала тревоги
1. Проверьте, не изменился ли сам сбор данных: схема, единицы измерения, пропуски, новые категории, дубли и задержки. Ошибка в пайплайне может выглядеть как дрейф модели. 2. Сравнивайте текущий поток с подходящим baseline и отдельно смотрите важные сегменты. Окно и частоту проверок выбирайте по скорости потока, сезонности, размеру выборки и цене ложных тревог. 3. Разделите наблюдения: что произошло с признаками, что — с распределением предсказаний, и что — с оценкой производительности. Не превращайте изменение одного показателя в вывод о другом. 4. Используйте CBPE только если её предпосылки для нового потока правдоподобны. Запишите результат как оценку и укажите, на каких данных и допущениях она основана. 5. Получите репрезентативные метки, измерьте качество на тех же сегментах и только затем выбирайте действие: исправить данные, перекалибровать вероятности, изменить порог или переобучить модель.
Такой порядок не обещает обнаружить каждую проблему заранее. Он помогает не перепутать сбой данных, безвредное изменение потока и реальную потерю качества — и не запускать дорогое переобучение на основании одного сигнала.
Сдвиг данных не обязательно ломает модель
Представим прогноз спроса на мороженое. Это собирательный пример для объяснения механизма, а не описание конкретного датасета или измеренного эксперимента. Летом распределение температуры смещается вверх: жарких дней стало больше, и тест обнаружения covariate shift это заметит. Но если новые значения остаются в области, на которой модель обучалась, а связь температуры со спросом P(Y|X) не изменилась, качество может остаться прежним. Сам факт, что входные данные стали другими, ещё не означает, что модель стала хуже.
Теперь изменим условия. Если температура выходит далеко за пределы обучающего диапазона, модель начинает экстраполировать туда, где её поведение не проверяли. Если люди стали покупать мороженое по другой причине, меняется P(Y|X): это уже concept drift. Если изменилась доля дней с высоким спросом при стабильном распределении погоды внутри каждого класса, возникает label shift. В реальной системе причины могут накладываться друг на друга, поэтому одного графика распределения недостаточно.
Когда решать, что пора менять модель
Когда метки становятся доступны, соберите выборку, которая действительно представляет новый поток, а не только самые подозрительные случаи. Сравните её с прежним периодом по тем же метрикам и отдельно по важным сегментам. Если качество упало, разберите причину: сломалась ли доставка признаков, изменились ли правила разметки, ушла ли часть данных за обучающую поддержку, поменялась ли сама зависимость между признаками и целью. Работа Gama и коллег по обнаружению дрейфа показывает другой класс сигналов — изменение онлайн-ошибки модели. Такой подход требует поступления правильных ответов и не заменяет мониторинг входных распределений.
Действие зависит от диагноза. Ошибка в сборе признака требует исправить данные, а не переобучать модель. При стабильной зависимости иногда достаточно обновить калибровку или порог решения. При подтверждённом concept drift может понадобиться переобучение на новых репрезентативных данных, но и тогда нужно проверить, не ухудшилась ли работа на прежних сегментах. Мониторинг должен помогать выбрать следующий тест, а не автоматически запускать обучение при каждом статистическом отклонении.
Главная мысль проста: дрейф — это повод задать вопрос, а не готовый диагноз. Фиксированная модель не меняет веса от того, что изменился поток. Чтобы понять, стала ли она хуже, нужно отделить сдвиг входов от изменения целевой зависимости, оценку без меток — от измерения по меткам, а тревогу мониторинга — от решения о переобучении.