Кейс Unisender | HelpDeskEddy NLU

Руководитель проекта: Александра Винникова 

Диалог-дизайнер: Роман Ковалев

Наш клиент — компания Unisender. Главная задача бота — автоматизировать поддержку пользователей и предоставлять им ответы на интересующие вопросы  согласно спроектированным сценариям.

Решение включает два компонента: основной бот, отвечающий за основную логику общения и базу знаний, основанную на технологии NLU (Natural Language Understanding), и бот-коннектор, обеспечивающий связь между основным ботом и платформой HelpDeskEddy.

Создание бота

В рамках HelpDeskEddy были установлены правила обработки запросов клиентов, которые определяют передачу обращений нашему боту и обмен сообщениями между клиентом и ботом.

Система NLU была обучена на основе реальных вопросов от клиентов. Тикеты группируются по заданным меткам, а реплики клиентов используются для определения соответствующих интентов. 

На начальном этапе команда разработала первичный набор обучающих фраз с помощью кластеризации, которая позволила выделить около 20 основных тем. За месяц работы бота были сформированы новые сценарии и их количество на данный момент увеличилось до 50. Заказчик проверил фразы на соответствие интентам и добавил свои. Уровень распознавания установлен на 70%.

При приветствии бот анализирует ключевые слова в запросе клиента с использованием регулярных выражений и, при необходимости, сразу перенаправляет клиента в соответствующий интент. Перед обработкой NLU каждый запрос проходит через проверку на опечатки. Если клиент отправляет файлы вместо текстовых запросов, мы сразу передаём их оператору.

Сценарии каждого интента могут разветвляться и включать собственные меню с кнопками. Кнопки были созданы в HDE в разделе «Омниканальные кнопки» для тестового канала (Telegram) и рабочего канала (чат-виджет на сайте). Бот также автоматически присваивает метки (теги) тикетам в соответствии с интентом и передаёт их в HDE.

При необходимости бот переводит клиента к оператору (заложено логикой в части сценариев в виде прямого перевода, либо предложение позвать оператора) или закрывает заявку, если клиент молчит в течение 15 минут.

Если система NLU не может распознать запрос клиента, бот предлагает варианты выбора тематики обращения,  используя меню с кнопками, и переводит клиента к оператору, если у клиента возникает такая необходимость.

Результат

Бот успешно запущен в работу, задачи выполняются. В процессе интеграции выяснилось, что модель NLP иногда неверно интерпретирует запросы реальных пользователей. Заказчик решил эту проблему, дополнительно обучив модель на основе новых вопросов клиентов, которые не удалось распознать ранее.

Комментарии проектной команды Chatme.ai

Как был организован процесс контроля качества работы бота после его запуска, и какие меры были приняты для устранения выявленных проблем?

Первые часы после запуска бота мы вручную мониторили диалоги с пользователями и вносили небольшие корректировки по запросам коллег из Unisender: изменяли текстовки, чтобы ответы бота были более user-friendly, а также вносили правки в логику сценария. Кроме того, боты с NLU всегда нуждаются в регулярном дообучении первое время после выхода в продакшн, так как у нас появляется выборка реальных запросов пользователей — дообучение после запуска происходило совместно с коллегами.

Какие уроки были извлечены из этого проекта, и как они могут быть применены в будущих проектах?

У нас возникли сложности в ходе настройки подключения к HelpDeskEddy, связанные с конфликтующими правилами: у коллег были настроены собственные правила маршрутизации и необходимо было внедрить в эту готовую систему бота. Реализация такого кейса дала нам более глубокое понимание настроек HDE и в будущих проектах с аналогичной интеграцией позволит сократить процесс подключения и исключить потенциальные ошибки маршрутизации.

Спросили у коллег из Unisender 

Какие результаты были достигнуты в ходе проекта, и как они повлияли на бизнес-процессы компании Unisender?

На данный момент мы рассматриваем состояние проекта как MVP. На первых этапах после запуска удалось расширить количество пользовательских сценариев в 2,5 раза. Мы достигли автоматизации 20% при корректности работы бота на уровне 78%.

Какие планы на дальнейшее развитие и совершенствование бота существуют у компании Unisender и команды проекта?

Изначально проект стартовал как решение базовых вопросов клиентов, которые решает 1ая линия поддержки. Мы планируем запускать новые сценарии, которые позволят помогать сотрудникам 1,5ой и 2ой линии, что позволит снизить и перераспределить общую нагрузку входящих обращений.

В планах рассматриваем интеграцию с внутренними системами для разработки более сложных персонализированных интеграционных сценариев. Планируем увеличивать количество сценариев, в т.ч. используя LLM на части тематик обращений. Уже сейчас работаем над улучшением распознавания модели.