ИИ-помощник на сайте: какие задачи ему поручить, а какие оставить людям

Начните с вопросов, которые повторяются

Соберите типичные обращения без персональных данных: что входит, как записаться, где найти документ, от чего зависит цена. Для каждого подготовьте проверенный ответ и ответственного за актуальность. Если сотрудники сами дают разные объяснения, сначала согласуйте правила. Подключение языковой модели не устраняет путаницу в бизнес-процессе.

Для простой навигации иногда достаточно обычного сценарного чата или хорошего раздела вопросов. ИИ имеет смысл там, где формулировки разнообразны и нужен поиск по содержательной базе знаний. Не добавляйте его только ради надписи на сайте: оцените, какую конкретную нагрузку он снимает с команды.

Задайте границы знаний и полномочий

Помощник должен опираться на утверждённые условия, отличать точную цену от предварительного ориентира и признавать отсутствие ответа. Источники нужно обновлять при изменении тарифов. Полезно хранить версию правил, по которой был дан ответ: иначе трудно выяснить, почему вчера клиент увидел старые условия.

Не выдавайте модели полный доступ к CRM и внутренним документам. На первом этапе достаточно чтения разрешённой базы и передачи обращения. Если нужны изменения заказа или запись, каждое действие проверяется обычным серверным кодом: кто пользователь, есть ли право, корректны ли параметры. Важные операции требуют отдельного подтверждения.

Учитывайте попытки изменить поведение помощника

Текст посетителя или внешнего документа может содержать инструкции, которые пытаются увести модель от её задачи. OWASP описывает это как prompt injection и рекомендует ограничивать полномочия, проверять операции и оставлять контроль человека для рискованных действий. Одной фразы «не нарушай правила» в настройке недостаточно.

Не помещайте в доступную модели базу пароли, ключи и чужие обращения. Журналы диалогов тоже требуют ограниченных доступов и продуманного хранения. До подключения внешнего сервиса определите, какие сведения ему передаются и допустимо ли это для вашего процесса. Для оценки прототипа лучше использовать обезличенные примеры.

Документация: OWASP: риски prompt injection и ограничение полномочий

Сделайте переход к человеку простым

Сложная претензия, нестандартная смета и конфликтующие данные — повод передать разговор менеджеру. Посетителю не нужно несколько раз доказывать боту, что он хочет человека. Покажите способ связи и честные условия ответа. ИИ-помощника не следует выдавать за реального сотрудника с вымышленной биографией.

При передаче сохраните краткое описание задачи и уже полученные сведения в разрешённых пределах. Менеджеру полезен контекст, а клиенту неприятно повторять всё сначала. Проверьте, что уведомление о новом обращении действительно доходит: автоматический ответ в чате не равен обработанной заявке.

Запускайте после проверки на неудобных вопросах

Протестируйте опечатки, противоречивые запросы, попытки получить чужие данные и вопросы без ответа в базе. Оценивайте точность, число полезно завершённых диалогов, передачи людям и стоимость обслуживания. Начните с ограниченной темы. В ontech.pro такую задачу обсуждаем как отдельную интеграцию с проверяемым сценарием, а не обещание заменить весь отдел продаж.