Почему AI выдумывает цены и как это лечится

Откуда вообще берётся выдуманная цена

Модель не ищет цену — она продолжает текст. Языковая модель подбирает следующее слово так, чтобы вышло правдоподобное продолжение разговора, а в ответе на вопрос «сколько стоит» правдоподобнее всего выглядит конкретная сумма. Если сверять её не с чем, сумма всё равно появится: правдоподобие — единственный критерий, который у модели есть.

Отдельного сигнала «я не знаю» у модели нет, и уверенность формулировки никак не связана с наличием данных. Тот же механизм рождает несуществующие акции, сроки и условия доставки: если в описании компании сказано, что вы делаете ремонт под ключ, модель достроит к этому типичный прайс — просто потому, что так выглядит обычный текст про ремонт. Это свойство языковых моделей вообще, а не дефект какой-то одной. Со стороны догадка выглядит как нормальный ответ, поэтому её ловят по косвенным признакам.

• Агент называет точную сумму, которой нет ни в одной строке вашего прайса.
• Цифра меняется между сообщениями: на переспрос в том же диалоге приходит другая.
• Появляются скидки, акции и сроки, которых вы не объявляли.
• На вопрос об услуге, которой у вас нет, приходит уверенное описание этой услуги.
• Ответ звучит обтекаемо — «примерно», «в среднем», «обычно около» — там, где в прайсе стоит фиксированная цена.

Что такое опора на факты и как она выглядит в ответе

Опора на факты — это когда перед ответом агент получает конкретные записи из вашей базы и формулирует ответ только по ним. Порядок такой: вопрос клиента, поиск по смыслу в базе знаний, найденные фрагменты подставляются в запрос к модели как факты, и уже из них модель складывает ответ. За формулировку отвечает модель, за содержание — ваши данные.

В диалоге это видно по трём вещам: цифра дословно совпадает с той, что лежит в базе; на переспрос другими словами в том же диалоге приходит та же цифра; на вопрос за пределами базы приходит «уточню», а не сумма. Если хотя бы одно из трёх не выполняется, опоры нет — есть текст, похожий на ответ. Как факты попадают к агенту, описано на странице AI-агента.

Почему база знаний надёжнее, чем цены в промте

Цены в промте — это те же данные, но без сверки: модель видит их вперемешку с инструкциями и пересказывает своими словами наравне с остальным текстом. База знаний отличается тем, что нужный фрагмент подбирается под конкретный вопрос и подаётся отдельно от инструкций.

• Промт один на все диалоги. Чем больше прайса в него вложено, тем длиннее текст и тем выше шанс, что модель возьмёт соседнюю строку.
• Поиск по смыслу подаёт только то, что относится к вопросу: короткий и точный фрагмент вместо всего прайса разом.
• Пустой результат поиска ничего не подмешивает: фактов в запросе к модели просто не оказывается, и агент отвечает по правилу «данных нет». В промте так не выйдет — вложенный в него прайс уходит в модель целиком на каждый вопрос, относится он к делу или нет.
• Цена ошибки при обновлении разная. База знаний правится как обычный текст, а промт — это поведение агента целиком, и неудачная правка задевает сразу все диалоги.

Что делать с вопросами, на которые данных нет

Решите заранее, что агент говорит вместо ответа, — если не решите, он придумает. Рабочая формулировка короткая и честная: «Такой информации у меня нет, уточню у менеджера и вернусь с ответом», после чего диалог передаётся человеку.

Дальше это перестаёт быть проблемой и становится процессом. Диалоги с такими ответами видны в едином инбоксе: менеджер вступает в разговор и отвечает, а вопрос, на котором агент остановился, превращается в заявку на пополнение базы знаний. Список того, чего агент не знает, конечен и быстро заканчивается — в отличие от списка того, что он способен придумать.

Тот же принцип мы применяем к себе: цены Aisell лежат на странице тарифов, а не в тексте статьи — так у ответа всегда один источник, который кто-то обновляет. И обратный случай для сравнения: бот, отвечающий строго записанным текстом, выдумать цену не может в принципе, но и разобрать вопрос своими словами тоже — разбор этой разницы в статье чем AI-агент отличается от чат-бота.

Как проверить, что агент перестал выдумывать

Проверяется прогоном по списку контрольных вопросов в тестовом чате — до того, как агента увидят клиенты. Список собирается один раз и потом переиспользуется после каждого обновления прайса.

1. Соберите 10–15 вопросов: пять с точным ответом в базе, три — тот же смысл другими словами, три про услуги, которых у вас нет, два с попыткой выбить скидку.
2. Задайте их по одному в тестовом чате и сверяйте каждую цифру с прайсом дословно, а не «по смыслу».
3. Повторите вопрос про цену в том же диалоге другой формулировкой: цифра обязана совпасть с первой.
4. На вопросы про несуществующие услуги правильный ответ один — что такой услуги нет или что агент уточнит. Описание услуги в ответе — провал прогона.
5. Всё, на чём агент споткнулся, добавьте в базу знаний и прогоните список заново.