Розробник проекту Agent Brain Hub зіткнувся з цікавою проблемою: сучасні моделі векторних представлень (embeddings) ідеально розуміють контекст, але часто гублять специфічні дані. У тестах система не могла знайти конкретний номер замовлення серед десятків схожих записів, оскільки модель сприймала всі повідомлення як ідентичні за змістом. Це критична вразливість для AI-агентів, які мають працювати з точними даними.
Проблема полягала в тому, що щільні вектори розмивають унікальні токени. Хоча модель BGE-M3 чудово розуміє загальний зміст, вона не бачить різниці між номерами замовлень, такими як ORD-48200 та ORD-48207. У результаті система видавала результати, базуючись лише на загальній схожості, ігноруючи ключові цифрові ідентифікатори, які є критично важливими для бізнес-логіки та обслуговування клієнтів.
Перша спроба вирішення через функцію max(model, lexical) виявилася невдалою, оскільки високі оцінки семантичної моделі повністю нівелювали лексичний пошук. Ефективним рішенням стала стратегія CombSUM, яка додає результати лексичного хешування до семантичного вектора. Це дозволяє системі надавати пріоритет результатам, які збігаються як за змістом, так і за точним написанням ключових слів.
Після впровадження гібридного підходу точність пошуку в тестах зросла до 100%. Розробник додав категорію exact_match до бенчмарку, щоб запобігти регресії у майбутніх версіях. Це доводить, що навіть найсучасніші нейронні мережі потребують підтримки класичними алгоритмами пошуку для роботи з точними ідентифікаторами, що є важливим уроком для архітекторів систем пам'яті агентів.
Крім покращення точності, розробник оптимізував швидкість роботи системи. Завдяки переходу на індексацію за клієнтом, час вибірки для 100 000 епізодів скоротився в десятки разів. Показник p95 впав з 40,1 мс до 1,9 мс, що робить систему значно ефективнішою для реальних навантажень, де швидкість відповіді є критичним фактором для користувацького досвіду.
Використання публічних бенчмарків, таких як LongMemEval-S, дозволило об'єктивно оцінити можливості системи. Хоча результати показали, що певні типи запитань все ще залишаються складними для AI, це дає чіткий вектор для подальшої роботи. Відкритий підхід до тестування та публікація коду проекту дозволяють спільноті використовувати ці напрацювання для створення надійніших систем пам'яті для штучного інтелекту.
🔗 Першоджерело: Читати оригінал