Мониторинг ИИ агентов в продакшне: метрики, трейсинг и алертинг

Иерархия метрик для ИИ агентов

Метрики агентов разбиваются на три уровня:

Операционные метрики (инфраструктура):

• Latency: p50, p95, p99 времени отклика
• Throughput: запросов в секунду
• Error rate: процент запросов, завершившихся ошибкой
• Availability: uptime агента

LLM-метрики (модель):

• Token consumption: токенов на запрос, стоимость в долларах
• Model latency: время генерации ответа
• Context window utilization: % использования окна контекста
• Retry rate: частота повторных вызовов модели

Агентские метрики (бизнес-логика):

• Task completion rate: доля успешно завершённых задач
• Steps per task: среднее количество итераций на задачу
• Tool call success rate: процент успешных вызовов инструментов
• Goal achievement: достигнута ли цель задачи (требует LLM-as-judge или ручной разметки)

Агентские метрики — наиболее ценные, но наиболее трудоизмеримые. Автоматизируйте их через LLM-as-judge или тесты с детерминированными ответами.

Реализация распределённого трейсинга

Трейсинг позволяет восстановить полную цепочку выполнения задачи: от запроса пользователя через все LLM-вызовы и вызовы инструментов до финального ответа.

Структура span для LLM-вызова (стандарт OpenTelemetry + GenAI convention):

{

  "name": "llm.completion",

  "trace_id": "abc123",

  "span_id": "def456",

  "parent_span_id": "ghi789",

  "attributes": {

    "gen_ai.system": "anthropic",

    "gen_ai.request.model": "claude-3-5-sonnet",

    "gen_ai.usage.prompt_tokens": 1247,

    "gen_ai.usage.completion_tokens": 312,

    "agent.step": 3,

    "agent.tool_name": "search_database"

  }

}

Интегрируйте трейсинг на уровне LLM-клиента, а не на уровне агентного фреймворка — это даёт независимость от фреймворка и полное покрытие всех вызовов.

Instrumentation для популярных библиотек: OpenLLMetry поддерживает auto-instrumentation для LangChain, OpenAI SDK, Anthropic SDK, LlamaIndex — достаточно трёх строк кода для начала сбора трейсов.

Настройка алертов

Алерты для ИИ агентов должны работать на нескольких уровнях одновременно:

Алерты реального времени (немедленная реакция):

• Error rate > 5% за последние 5 минут
• P99 latency > 30 секунд
• Стоимость токенов > X$ за час (защита от runaway agents)

Алерты деградации качества (требуют анализа):

• Task completion rate падает на > 10% относительно baseline за 24 часа
• Среднее число шагов на задачу растёт > 20% за неделю (признак деградации промпта или изменения модели)
• Tool call error rate > 15% для конкретного инструмента

Аномалии (требуют расследования):

• Отдельная сессия использует > 5x медианного числа токенов
• Агент вызывает один и тот же инструмент > 5 раз подряд (loop detection)
• Запросы к нетипичным внешним сервисам

Используйте скользящее окно для baseline, чтобы алерты на деградацию автоматически адаптировались к изменениям нагрузки.

Инструменты наблюдаемости: сравнение

На рынке доступно несколько специализированных платформ для LLM-наблюдаемости:

LangSmith (LangChain Inc.): лучшая интеграция с экосистемой LangChain/LangGraph, удобный replay и debugging UI, встроенные evaluation datasets. Ограничение: vendor lock-in с LangChain.

Arize Phoenix: open-source, поддержка OpenTelemetry, хорошая визуализация embeddings drift. Подходит для команд, предпочитающих самостоятельный хостинг.

Helicone: фокус на cost tracking и rate limiting, прокси-архитектура (минимальные изменения кода). Лучший выбор для контроля расходов.

Langfuse: open-source, поддержка self-hosting, хорошие возможности для A/B-тестирования промптов. Растущее сообщество.

Для enterprise рекомендуется: Arize Phoenix или Langfuse с self-hosting + собственный Grafana дашборд для операционных метрик.

Continuous evaluation в продакшне

Статические тесты недостаточны: качество агента может деградировать из-за изменений модели провайдером, дрейфа входных данных или накопленных изменений промптов. Необходима непрерывная оценка.

Реализуйте следующий pipeline:

1. Sampling: случайная выборка 1–5% production-запросов
2. Automated evaluation: LLM-as-judge оценивает качество ответа по чеклисту
3. Human review queue: самые низко оценённые ответы попадают в очередь ручной проверки
4. Regression detection: автоматическое сравнение метрик качества с baseline
5. Alerting: уведомление команды при статистически значимой деградации

Цель: обнаруживать деградацию качества в течение 24–48 часов, а не при поступлении жалоб от пользователей.

Заключение

Надёжный мониторинг ИИ агентов требует как минимум трёх слоёв: операционные метрики (как работает система), LLM-метрики (как работает модель) и агентские метрики (достигаются ли бизнес-цели). Трейсинг на основе OpenTelemetry обеспечивает вендор-независимую основу для наблюдаемости. Инвестируйте в непрерывную автоматическую оценку качества — это единственный способ обнаружить деградацию раньше, чем её заметят пользователи