Стоп-слово заблокировало подходящий контент: разбор контекста

Слово «удар» встречается и в сообщении о насилии, и в учебном разборе теннисной техники. Одинаковая блокировка удобна для фильтра, но не объясняет риск рекламодателю. Исправление начинается с определения того, что именно команда хочет исключать.

IAB Tech Lab Content Taxonomy даёт общий язык описания контента. Категория помогает договориться о теме, но сама по себе не выдаёт разрешение бренду на размещение. Пригодность зависит ещё и от конкретного материала и принятой политики.

Сначала договоритесь, что означает ошибка

В этой проверке положительный класс — «контент требует блокировки». False positive означает, что система заблокировала подходящий материал. False negative — пропустила неподходящий. Если поменять значение положительного класса, названия ошибок тоже поменяются. Подпишите определение в отчёте.

Руководство IAB о brand safety и suitability отдельно разбирает ошибочные срабатывания словарей. Это документ 2020 года: здесь использую его понятийное различие, а не старые проценты или рекомендации по современным интерфейсам площадок.

Размечайте материал, а не одно найденное слово

Соберите выборку срабатываний и выборку пропущенного контента. Для оценки распространённости ошибок нужна случайная выборка из соответствующего потока. Отдельный набор трудных случаев полезен для диагностики, но его нельзя выдавать за частоту ошибок всей кампании.

Сохраните текст фрагмента, заголовок, ближайшее окружение, URL, дату и версию политики. Два проверяющих независимо принимают решение по одинаковым правилам. Разногласия разбирают до изменения фильтра; спорная политика не превращается в истинную разметку голосом самого уверенного участника.

Эти четыре примера объясняют классы и не оценивают качество реальной системы. Для изображения и видео нужен осмотр соответствующей сцены; анализ подписи не заменяет анализ самого материала. Комментарии и соседние публикации также учитываются, если они входят в согласованную область проверки.

Считайте два вида потерь отдельно

Условный пример: в случайной проверке 100 материалов было 20 неподходящих. Фильтр заблокировал 15 из них и ещё 10 подходящих. Получается 15 верных блокировок, 10 лишних, 5 пропущенных рисков и 70 верных пропусков.

Точность блокировки равна 15 / 25 = 60%. Полнота выявления риска — 15 / 20 = 75%. Доля ложных блокировок среди подходящих материалов — 10 / 80 = 12,5%. Это три разных знаменателя. Их определения соответствуют метрикам классификации scikit-learn. Называть все три «процентом ошибки» неудобно для решения.

Стоимость пропущенного риска и лишней блокировки не обязана быть одинаковой. Я бы сначала определил недопустимые категории, затем проверял, где уточнение контекста возвращает подходящие материалы без роста критических пропусков. Единого приемлемого процента для всех брендов нет.

Исключение должно иметь границы

Вместо отмены слова целиком создайте проверяемое правило: категория, язык, контекст, область URL и срок пересмотра. Зафиксируйте примеры, которые должны проходить и блокироваться после правки. Не расширяйте разрешение на весь канал по одному спортивному посту.

Прогоните старую и новую версию на отложенной выборке, которую не использовали для настройки исключения. Покажите обе матрицы ошибок. Если объём мал, запишите ограничение и продолжите наблюдение; ноль ошибок на нескольких примерах не является гарантией.

Базовое определение brand safety помогает согласовать словарь. Для практического старта возьмите двадцать недавних срабатываний и столько же случайных пропусков, отдельно пометив диагностическую, нерепрезентативную природу такой первой выборки.