Качество и галлюцинации: контроль в процессе

Ошибки, которые встречаются в процессах

В курсе «Нейросети для работы» проверка — это личная привычка: прочитал ответ, сверил факты. В компании этого мало. Нейросетью пользуются разные люди, результатов десятки в день, и проверка должна быть частью процесса, а не доброй волей сотрудника.

Сначала — какие ошибки ловить:

Ошибка	Пример в интернет-магазине
Выдуманный факт	в описании чайника указана функция поддержания температуры, которой нет
Пропуск	в ответе о возврате не сказано, что нужен чек
Искажение	срок возврата 14 дней превратился в 30
Неверный тон	ответ на жалобу звучит холодно или с намёком на вину клиента
Устаревшие сведения	ответ по правилам доставки, которые поменялись месяц назад

Выдумки — самые коварные: они звучат так же уверенно, как правда.

Пять способов встроить контроль

1. Ограничения в инструкции. «Отвечай только по базе знаний; если ответа нет — так и скажи». Это снижает выдумки — мы делали это в уроке 5.

2. Ссылка на источник. Попросите, чтобы ответ указывал, из какого документа он взят: «Источник: Правила возврата, п. 3». Проверяющий сверит за секунды, а ответ без источника сразу виден как подозрительный.

3. Чек-лист проверки. Для каждой задачи — три-пять пунктов, что смотреть. Для описания товара: все характеристики есть у поставщика; нет обещаний, которых нет в характеристиках; цена и размеры совпадают. Проверяющий идёт по списку, а не «читает в целом».

4. Сплошная, потом выборочная проверка. На старте человек проверяет каждый результат. Когда несколько недель подряд ошибок стабильно мало, можно перейти к выборочной: например, каждый пятый результат. Для ответов клиентам и документов с деньгами сплошная проверка остаётся всегда.

5. Журнал ошибок. Каждую найденную ошибку записывают: что случилось, в какой задаче, почему. Раз в неделю журнал смотрят — и превращают повторяющиеся ошибки в правки инструкции, шаблона или базы знаний.

Метрики качества

Чтобы говорить о качестве цифрами, достаточно трёх показателей:

• доля результатов с правками — сколько из 100 черновиков пришлось исправлять;
• доля ошибок — сколько содержали выдумки, пропуски или искажения;
• время на проверку — сколько минут уходит на один результат.

Если время на проверку приближается ко времени, за которое человек сделал бы работу сам, — внедрение не окупается, и нужно искать причину.

Ответственность

Последнее и самое важное: должно быть записано, кто отвечает за результат. Не «нейросеть ошиблась», а «оператор отправил письмо — оператор отвечает за содержание». Это не про наказания, а про ясность: тот, кто нажимает «отправить», должен понимать, что проверка — его работа.

Закон здесь на той же стороне: если нейросеть ошиблась в процессе компании, отвечает компания.