2026 · AI в проде
Агенты в проде, работу которых можно измерить
MCP, журнал прогонов и ретро вместо демонстрации
Проблема
Типичное внедрение LLM выглядит так: сделали прототип, показали на созвоне, включили в процесс — и дальше никто не знает, стало ли лучше. Нет учёта, что агент делал, сколько это стоило и где он ошибся. Через месяц инструмент тихо перестают использовать, а причина неизвестна.
Проблема не в модели, а в отсутствии контура: без журнала и метрик агент остаётся демонстрацией, даже когда формально работает.
Что сделано
- MCP-сервер платформы: агент получает доступ к задачам, обсуждениям, участникам и репозиторию через единый протокол, а не через набор самодельных скриптов.
- Журнал прогонов: каждый запуск пишется со статусом, результатом, коммитами, изменениями файлов, тестами, деплоем и стоимостью.
- Закрытые списки значений вместо свободного текста: классификация результата проверяется на входе, опечатка не ложится в базу молча.
- Реапер: прогон, который никто не закрыл дольше двенадцати часов, закрывается автоматически с понятной причиной.
- Ретро-разбор: отдельный агент читает журнал и предлагает правки в инструкции — по данным, а не по ощущениям.
- Прикладные сценарии: триаж обращений, классификация, уведомления, поддержка внутри интерфейса, ежедневная сводка ментору.
Как это измеряется
Смысл журнала в том, что результат виден без чтения транскриптов. Отдельный экран показывает доставленное рядом с расходом: сколько прогонов, сколько коммитов, сколько деплоев, что не дошло и по какой причине. Метрики строятся по закрытым полям, поэтому сравнимы между неделями.
Чем подтверждается
- Схема журнала версии 3: провайдер, результат, коммиты, тесты, деплой, класс ошибки, источник.
- Ежедневная сверка с базой прогонов: токены, цена и модель подтягиваются автоматически.
- Агенты работают в том же контуре, что и люди: те же задачи, те же правила, та же отчётность.
Что применимо у вас
Если у вас уже есть LLM в процессе и вы не можете ответить «стало ли лучше» — нужен сначала журнал, потом улучшения. Порядок именно такой: без учёта любые изменения промптов и моделей — гадание.