Два AI-классификатора разметили отзывы по-разному: что проверять
Как разбирать расхождения двух AI-классификаторов: сопоставимый вход, журнал решений, спорные категории и эталонная выборка для повторной проверки.
Один AI отнёс «доставка быстрая, но корпус треснул» к сервису, другой — к качеству. Третья модель может выбрать ещё что-нибудь. Чтобы получить полезную разметку, сначала нужно решить, какую задачу описывает категория и разрешено ли одному отзыву иметь несколько тем.
Это отдельный этап после сбора корпуса из статьи об анализе отзывов. Здесь цель — воспроизводимость классификации. Список красивых инсайтов и голосование моделей её не обеспечивают.
Проверьте, что классификаторы видели одно и то же
Сверьте ID и полный текст каждой записи. Один процесс мог обрезать длинные отзывы, потерять заголовок или получить только первую страницу выгрузки. Сравнение меток имеет смысл после проверки одинакового входа и исключения дублей.
Зафиксируйте модель и версию, промпт, словарь классов, формат ответа и параметры, действительно поддерживаемые выбранной моделью. Не переносите одинаковые настройки между поставщиками по названию. Случайность генерации — лишь одна возможная причина; неопределённая инструкция останется неопределённой и при повторном запуске.
Для каждого кода запросите подтверждающий фрагмент текста. Отсутствующую тему, отказ или неразобранный ответ помечайте отдельно. Принудительный выбор из неподходящих классов даёт формально аккуратный, но бесполезный результат.
Таблица ручного разбора
Условный пример. Все реплики придуманы для демонстрации. Аналитик сначала читает исходник, затем сравнивает метки; решение должно объясняться правилом.
| Текст | Метка А | Метка Б | Решение | Правило |
|---|---|---|---|---|
| «Быстро привезли, корпус треснул» | Сервис | Качество | Доставка и дефект | Несколько явно названных тем допустимы |
| «За эти деньги ожидал большего» | Цена | Функции | Ценность не уточнена | Нельзя придумывать отсутствующую функцию |
| «Пришлось звонить трижды» | Доставка | Поддержка | Неясный этап контакта | Без контекста этап неизвестен |
| «Всё отлично» | Сервис | Сервис | Общая оценка | Совпадение не доказывает тему сервиса |
Последняя строка нужна специально. Если проверять только разногласия, общая систематическая ошибка останется незамеченной. В аудит включите часть совпадений из разных классов и длин, а также редкие и неоднозначные случаи. Если выборку обогатили сложными отзывами, её доля ошибок не описывает весь поток без поправки на способ отбора.
Как получить рабочий эталон
Два человека независимо размечают отобранные записи по одной версии словаря. Для спорных мест сохраняют причину: пересечение классов, недостаточный контекст, потеря текста или ошибка модели. Окончательное решение принимает назначенный редактор, опираясь на исходник и правило. Его метка тоже остаётся проверяемым решением, а не абсолютной истиной.
В руководстве GOV.UK наблюдения отделены от выводов. В журнале классификации это три разных поля: фрагмент отзыва, присвоенный код и объяснение аналитика.
Добавьте к каждому спорному классу положительный пример, близкий отрицательный пример и разрешение неоднозначности. Например: «доставка» требует упоминания получения, переноса или перевозки; слово «быстро» без контекста недостаточно. Изменив словарь, пересмотрите затронутые старые строки с сохранением версии.
Две проверки вместо одного процента
Условный пример: на 100 отзывах модели совпали в 80 случаях. Согласие равно 80%. После ручного аудита оказалось, что часть совпадений неверна. Поэтому отдельно сравнивайте каждую модель с рабочим эталоном и показывайте ошибки по классам, включая пропущенные темы.
Справочник scikit-learn различает метрики согласия разметчиков и матрицу ошибок относительно эталона. Для многоярлычной задачи заранее определите, считается ли успехом точное совпадение всего набора тем или качество каждой темы отдельно. Эти два отчёта нельзя называть одним и тем же процентом точности.
Материал, по которому меняли правила, остаётся набором для разработки. Окончательную проверку проведите на отложенных отзывах с теми же условиями. Если словарь продолжает меняться, версию запуска фиксируйте заново. Начните с нескольких реальных расхождений и одной уточнённой границы класса: это даст больше, чем ещё один общий промпт «анализируй внимательнее».