Проверка ответов: галлюцинации и как их ловить

Где ошибки встречаются чаще всего

Вы уже знаете, что модель подбирает правдоподобный текст, а не сверяется с фактами. Поэтому ошибки чаще всего прячутся в конкретике:

• цифры и статистика — доли рынка, численность, проценты;
• даты и события, особенно недавние;
• цитаты и высказывания известных людей;
• ссылки и источники — могут вести в никуда или на другую работу;
• имена, названия, законы и их статьи;
• расчёты на больших объёмах.

Общие объяснения, идеи, структура текста ошибаются реже. Поэтому проверяйте не всё подряд, а в первую очередь конкретику.

Как проверять

Первоисточник. Цифры — на официальном сайте статистики или компании, законы — в правовой базе, цитаты — в оригинальном интервью или книге. Если первоисточник не находится, факт лучше не использовать.

Ссылки — открыть. Не доверяйте названию ссылки, перейдите по ней и убедитесь, что там действительно написано то, что утверждает модель.

Логика. Сходятся ли цифры между собой? Не противоречит ли ответ сам себе? Простая проверка «на здравый смысл» ловит удивительно много ошибок.

Перекрёстный вопрос. Задайте тот же вопрос иначе или в новом чате. Если ответы расходятся, это сигнал проверить внимательнее. Но совпадение ответов ещё не доказательство — первоисточник надёжнее.

Как снизить число ошибок запросом

Несколько фраз заметно уменьшают риск выдумок:

Если не знаешь точно — так и скажи, не придумывай.
Отделяй проверенные факты от предположений.
Укажи, на чём основан каждый вывод.

А для работы с документами:

Отвечай только на основе текста ниже. Если ответа в тексте нет —
напиши «в документе этого нет».

Если сервис умеет искать в интернете, попросите показать источники — их удобно проверить.

Где решает только человек

Есть темы, где цена ошибки особенно высока:

• медицина — диагнозы, лекарства, дозировки;
• право — договоры, судебные споры, налоги;
• финансы — инвестиции, кредиты, крупные покупки;
• безопасность — электрика, конструкции, химия.

Здесь нейросеть полезна, чтобы разобраться в теме, понять термины и подготовить вопросы специалисту. Но решение принимает врач, юрист или другой профессионал — и он же за него отвечает.

Ответственность — на вас

Если в отчёт попала выдуманная цифра, отвечать будет не нейросеть, а тот, кто отправил отчёт. Об этом стоит помнить при каждом использовании: нейросеть ускоряет работу, но не снимает ответственности.