Сучасні автоматизовані агенти часто роблять заяви про успішне виконання завдань, проте ці твердження не завжди підкріплені реальними даними. Проблема виникає, коли система приймає рішення на основі простого тексту, ігноруючи відсутність технічних артефактів, таких як коди виходу або логи. Нова система оцінки доказів пропонує структурувати цей процес, перетворюючи розпливчасті заяви на перевірені рішення, що базуються на конкретних технічних доказах.
Основою методології є класифікація доказів на чотири рівні: Missing, Asserted, Derived та Observed. Кожен рівень визначає, чи може агент автоматично змінити стан тікета, чи повинен обмежитися лише коментарем. Система чітко розмежовує твердження, що не мають підтвердження, від тих, які супроводжуються повним пакетом даних, включаючи ідентифікатор завдання, команду виконання та фрагмент лога.
Шість гілок логіки, або «листків», визначають допустимі дії для кожного рівня оцінки. Наприклад, якщо докази відсутні, система автоматично відхиляє запит на закриття тікета. Якщо ж докази є «спостережуваними» (Observed), система дозволяє коментування, але вимагає додаткового підтвердження від людини для мутації стану. Це запобігає ситуаціям, коли терміновість у заголовку тікета помилково сприймається як дозвіл на автоматичне закриття.
Технічна реалізація передбачає використання спеціального модуля, який не залежить від зовнішніх SDK чи мережевих викликів. Він аналізує пакет даних і присвоює йому відповідний клас. Важливо, що модель штучного інтелекту в цій схемі виступає лише як оповідач, який може допомогти сформулювати коментар, але не має права змінювати оцінку доказів або створювати відсутні поля даних.
Безпека даних є критичним аспектом, тому перед відправкою будь-яких пакетів на зовнішні сервери обов'язково проводиться редагування секретів. Хоча існують безкоштовні опції для запуску серверів або доступу до моделей, розробники наголошують на необхідності перевірки поточних умов використання. Не варто довіряти застарілим даним про квоти чи терміни зберігання, оскільки вони можуть змінитися в будь-який момент.
Цей підхід не є сертифікацією для аудиторів, а слугує інженерним контролем для внутрішніх процесів. Він допомагає уникнути ситуацій, коли зручність автоматизації переважає над точністю даних. Якщо команда схильна ігнорувати правила заради швидкості, система перетворюється на формальність. Тому головна вимога — зробити функцію оцінки авторитетною, щоб вона залишалася надійним фільтром для будь-яких агентних дій.
🔗 Першоджерело: Читати оригінал