Post-call аналитика с LLM: автоматическое QA 100% звонков вместо выборки 5%
Супервайзер может добросовестно слушать звонки каждый день — и всё равно почти не видеть, что происходит с клиентским сервисом в целом. Проблема здесь не в людях и не в дисциплине проверки: выборочный контроль по определению оставляет большую часть разговоров за кадром.
Стандартная практика QA в контакт-центрах: супервайзер прослушивает 3–5% звонков в выборке. Это означает, что 95% звонков никогда не проверяются.
Системные нарушения скрипта, некачественное обслуживание, compliance-риски — всё это может месяцами оставаться незамеченным. LLM-based post-call аналитика решает эту проблему радикально: каждый звонок автоматически транскрибируется и оценивается по полному чеклисту качества за секунды после его завершения.
Что происходит со звонком после завершения
Полный pipeline обработки звонка после его завершения:
- Шаг 1 — Транскрипция: аудиозапись → ASR (batch mode, Whisper large v3 или Yandex SpeechKit). Diarization — разделение на каналы оператора и клиента. Для stereo-записей (большинство современных ACD) diarization тривиальна; для mono — используйте speaker diarization модели (pyannote.audio). Точность транскрипции: 90–96% WER для качественного аудио.
- Шаг 2 — Структуризация: разбивка транскрипта на реплики с timestamp, нормализация текста (числа, аббревиатуры).
- Шаг 3 — LLM-оценка: транскрипт + чеклист качества → LLM → structured JSON с оценками по каждому критерию.
- Шаг 4 — Сохранение и дашборд: результаты в data warehouse → BI-дашборд для супервайзеров.
- Шаг 5 — Feedback оператору: автогенерация персонализированного coaching-отчёта.
Время обработки звонка: 30–120 секунд после завершения (зависит от длины и модели).
Сам по себе поток транскриптов не отвечает на вопрос, хорошо ли обслужили клиента. Чтобы автоматическая оценка была пригодна для бизнеса, ей нужен столь же понятный стандарт, какой используют сильные руководители контроля качества — но изложенный без двусмысленностей.
Как превратить правила качества в проверяемые критерии
Качество автооценки напрямую зависит от качества чеклиста. Несколько принципов:
- Конкретные, верифицируемые критерии: «Оператор назвал имя клиента при приветствии» — хорошо. «Оператор был вежлив» — плохо (субъективно, LLM оценивает непредсказуемо).
- Бинарные критерии + шкальные: «Оператор предложил альтернативу при отказе от основного продукта: да/нет» и «Качество объяснения условий: 1–5».
Пример чек-листа для МФО (фрагмент):
- Идентификация клиента: оператор запросил ФИО и дату рождения — да/нет
- Раскрытие ПСК: упомянута полная стоимость кредита — да/нет
- Запрещённые фразы: не использовались угрозы или давление — да/нет
- Предложение страховки: если предложена — получено ли согласие — да/нет/н/а
- Завершение: оператор уточнил, остались ли вопросы — да/нет
Validation: калибруйте автооценку на 200–500 вручную размеченных звонках. Целевая agreement с human QA: >85% по каждому критерию.
Даже удачный чек-лист не гарантирует корректный ответ модели. Одно дело — найти, прозвучала ли обязательная фраза, другое — объяснить оценку сложного разговора так, чтобы её можно было проверить. Здесь на первый план выходит устройство самого запроса к LLM.
Почему промпт важен не меньше самой модели
Промпт для оценки звонка — критически важный компонент. Несколько проверенных техник:
Chain-of-thought для сложных критериев: перед выставлением оценки LLM формулирует аргументацию. Это повышает точность и делает оценку объяснимой.
Grounding с цитатами: LLM обязан привести дословную цитату из транскрипта, подтверждающую оценку. Исключает галлюцинации и даёт супервайзеру быстрый доступ к релевантному моменту.
Структурированный вывод (JSON Schema): фиксированный формат гарантирует парсируемость без ручного post-processing.
Модели: для оценки длинных звонков (>10 мин) используйте модели с большим контекстом: Claude 3.5 Sonnet (200K), GPT-4o (128K). Для коротких звонков (<5 мин) достаточно GPT-4o-mini — значительная экономия при тех же результатах.
Однако выявить недочёт — лишь половина задачи. Если оценка остаётся цифрой в дашборде, контакт-центр получает ещё одну систему контроля. Польза появляется тогда, когда по конкретному разговору оператор понимает, что уже получается и какой навык стоит улучшить.
Когда оценка становится помощью оператору
Автоматический фидбек оператору — мощный инструмент непрерывного развития. LLM генерирует персонализированный отчёт:
«Иван, за прошедшую неделю: сильные стороны — вы отлично обрабатываете возражение "дорого" (12 из 14 случаев — лучший результат в команде). Зоны роста — в 7 из 23 звонков вы не уточнили, остались ли у клиента вопросы. Вот пример звонка, где это стоило сделать: [ссылка на момент в записи]»
Ключевые элементы coaching-отчёта: конкретные примеры (не абстрактные советы), сравнение с бенчмарком команды, динамика за период, одна приоритетная зона роста (не список из 10 пунктов).
Геймификация: рейтинг операторов по автооценке, публичный дашборд (опционально), бонус за growth в QA-метрике. Повышает внутренний adoption и мотивацию к улучшению.
Так замыкается цикл: разговор фиксируется, проверяется по понятным правилам, а результат возвращается в обучение и управление качеством. Массовая оценка ценна именно этой связью, а не одним лишь процентом охвата.
Post-call LLM-аналитика трансформирует QA из выборочного контроля в тотальный continuous improvement. 100% покрытие звонков выявляет системные проблемы, невидимые при 5%-выборке.
Автоматический coaching заменяет дефицитное время супервайзеров. Экономия на QA-функции: 40–60% при том же качестве контроля.
Стартовая точка: выберите 5–7 наиболее критичных критериев качества, откалибруйте модель на 300 размеченных звонках, запустите в режиме «shadow» (параллельно с ручной проверкой) для валидации.


