Ошибки ИИ: как ловить их до того, как их увидит клиент

Почему ошибка выглядит убедительно

Инструмент устроен так, чтобы выдавать связный и уместный ответ. Признание «я не знаю» для него не естественнее выдуманного правдоподобного варианта — если специально не потребовать обратного.

Три типа опасных ошибок

1. Выдуманная деталь. Срок, условие или характеристика, которых не было в исходных данных.
2. Подмена неизвестного. Не нашлось значения — подставлено похожее из другого случая.
3. Ответ за пределами компетенции. Вопрос, на который отвечать вообще не следовало, получает уверенный ответ.

Что встроить

• Обязательные поля: пустое лучше выдуманного, и незаполненное видно сразу
• Сверка с источником: сумма и срок берутся из системы, а не из текста ответа
• Явный список того, о чём отвечать нельзя, с передачей человеку
• Журнал исправлений: что поправил сотрудник — это карта систематических ошибок

Проверять всё подряд бессмысленно: это возвращает ту же трудоёмкость, ради снятия которой всё затевалось. Проверять нужно там, где ошибка дорога и не видна с первого взгляда.

Выборочный контроль

Первые недели — ежедневная выборка, потом реже. Смотреть стоит не среднее качество, а крайние случаи: самые длинные обращения, самые короткие, нестандартные формулировки. Именно там ломается.

Когда остановиться

Если после месяца исправлений одни и те же ошибки повторяются, дело не в настройке, а в задаче: она требует знания, которого у машины нет. Такую часть процесса честнее вернуть человеку, чем чинить бесконечно.