Компания изменила стоимость услуги. Ответственный поправил таблицу. Но этого недостаточно, чтобы считать ответы ИИ-агента проверенными: нужно убедиться, что он обращается к нужному источнику и получает действующие сведения.

Этот разбор пригодится руководителю, который уже готовит или использует базу знаний и хочет понимать, что проверять после смены цен, условий или акций.

У обновления должен быть проверяемый результат: ответ по действующим условиям.

Определите, что именно изменилось

Начните с перечня измененных фактов. Новая цена, состав комплектации, срок действия скидки и порядок согласования установки требуют разных проверок.

Возьмем учебный пример компании, которая продает двери. Прежняя акция включала бесплатную установку, а по новым условиям монтаж рассчитывается отдельно. При этом старое обещание осталось в презентации.

Для такого изменения мало записать «обновили прайс». Нужно указать, что бесплатная установка больше не является общим условием, с какого момента действует новое правило и кто подтверждает исключения.

Одна индивидуальная договоренность с клиентом не должна незаметно превращаться в предложение для всех.

Закрепите действующий источник и ответственного

У каждого важного факта должен быть источник, которому компания доверяет для этой задачи. Для цены это может быть конкретная таблица, для описания услуги - справочник, для свободного времени - действующее расписание.

Ответственный за условия подтверждает содержание. Настройка агента определяет, когда и как получать эти сведения. Это две части одной работы, и обновление документа не заменяет проверку настройки.

Зафиксируйте:

  • какой источник действует сейчас;
  • кто отвечает за его содержание;
  • когда вступило в силу изменение;
  • какие материалы стали историческими;
  • что делать при противоречии или отсутствии ответа.

Архив может оставаться у компании. Важно, чтобы старые условия не попадали в ответ как действующие. Способ ограничения доступа к ним зависит от выбранной системы.

Проверьте путь от источника до ответа

Для проверки удобно пройти цепочку: источник доступен → поиск выполнен → параметры верны → сведения относятся к вопросу → ответ им соответствует.

Правильная реплика должна опираться на нужный источник и результат поиска.

Например, в Nextbot поиск в таблице требует настройки функции и инструкции о ее использовании. Само наличие таблицы не доказывает, что агент обращается к ней при вопросе о цене. Это описано в документации поиска в таблице.

При доступной диагностике нужно посмотреть вызов функции, переданные параметры, результат и ошибки. Возможности просмотра описаны в документации Nextbot о диалогах. В конкретном проекте отдельно проверяется, какие сведения доступны для используемого механизма.

Если агент назвал верную цену один раз, это еще не объясняет, откуда он ее взял. Он мог повторить число из контекста разговора. После обновления источника разница становится существенной.

Повторите вопросы, которые затрагивает изменение

Сохраните небольшой набор вопросов и ожидаемых ответов. После обновления прайса его можно использовать повторно.

В учебном примере с установкой дверей набор будет таким:

Прямой вопрос. «Установка входит в стоимость?» Ожидается ответ по текущим условиям.

Другая формулировка. «А монтаж бесплатный?» Смысл ответа должен сохраниться.

Старое обещание. «В вашей презентации написано, что установка бесплатно». Агент не должен выдавать завершенную акцию за текущую.

Неподтвержденная дата. «Сможете установить в субботу?» Без проверенного расписания нельзя обещать свободное время.

Продолжение диалога. После обсуждения монтажа клиент пишет: «А в субботу?» Агент должен понять вопрос, сохранив ограничение по подтверждению даты.

Отдельно в тестовой среде проверьте противоречащие источники, отсутствие результата поиска и изменение учебного условия. Для каждого сценария заранее определите допустимый ответ и обещание, которого быть не должно.

Разберите пустой результат

Если поиск ничего не вернул, не спешите исправлять только финальную формулировку. Сначала нужно понять, что произошло: не нашлась подходящая запись, запрос был неполным или источник оказался недоступен.

«Не удалось получить сведения» и «товара нет» - разные утверждения.

При неизвестном результате агент должен действовать по заданному правилу: уточнить сведения, повторить допустимый поиск или подключить сотрудника. Придуманная цена и уверенное отрицание наличия одинаково плохо подходят для заполнения такого пробела.

Что считать завершением обновления

У обновления есть две проверяемые части. В источнике сохранены правильные условия. Затем агент отвечает по ним на согласованный набор вопросов, включая старую акцию и неудобные формулировки.

Для каждой проверки достаточно сохранить вопрос, ожидаемый факт, использованный источник, фактический ответ и обнаруженное расхождение. Если ошибка осталась, нужно исправить ее причину и повторить затронутые проверки.

Так руководитель получает понятное основание принять изменение. А при следующей смене прайса команда возвращается к тем же вопросам, вместо того чтобы каждый раз начинать проверку с нуля.

Как выбрать документы и таблицы для первого запуска, разделить знания, инструкции и контекст обращения, разобрал в статье ALIOT о подготовке базы знаний для ИИ-агента. Там есть полный учебный пример и восемь тестов перед запуском.