При розробці RAG-систем або веб-агентів якість вхідних даних має вирішальне значення. Кожна сторінка, яку ви завантажуєте, перетворюється на токени, що споживають контекстне вікно та підвищують вартість запитів. Недавнє дослідження 20 реальних веб-сторінок продемонструвало, що використання сирого HTML є вкрай неефективним підходом, оскільки середня сторінка містить близько 128 000 токенів, що повністю заповнює стандартне контекстне вікно.
Результати аналізу показують, що перетворення сторінок у спеціалізований Markdown для LLM дозволяє скоротити обсяг токенів на 98% порівняно з сирим HTML. Навіть у порівнянні з простим перетворенням сторінки в текст, оптимізований Markdown забезпечує економію 63% токенів. Це досягається завдяки видаленню навігаційних меню, футерів, повідомлень про файли cookie та рекламних блоків, які зазвичай лише засмічують контекст моделі.
Основний виграш у продуктивності забезпечує вилучення основного контенту, що дає медіанну економію 51%. Додаткове очищення форматування додає ще близько 9% ефективності. Важливо розуміти, що цей показник варіюється залежно від типу сторінки: портали з великою кількістю меню показують значно вищі результати оптимізації, ніж чисті статті, де економія може бути меншою, але все одно суттєвою для стабільності роботи.
Використання сирого HTML не лише збільшує витрати, але й погіршує якість відповідей моделі. Велика кількість стороннього шуму в контексті змушує LLM витрачати ресурси на обробку нерелевантної інформації. Крім того, надлишковий текст у векторному індексі створює конкуренцію для корисних фрагментів даних, що негативно впливає на точність пошуку та загальну ефективність RAG-конвеєрів під час виконання запитів.
З фінансової точки зору, економія токенів є відчутною. При ціні в один долар за мільйон вхідних токенів, оптимізація дозволяє економити близько восьми доларів на кожну тисячу оброблених сторінок. Оскільки RAG-системи платять за токени під час ембедингу, а агенти — при кожному зверненні до контекстного вікна, ці витрати швидко накопичуються, роблячи якісну попередню обробку даних обов'язковою інвестицією для будь-якого проєкту.
Розробникам слід пам'ятати, що вибір інструменту для вилучення контенту має критичне значення. Важливо перевіряти, чи не видаляє обраний парсер занадто багато корисної інформації, адже надмірне скорочення може бути гіршим за недостатнє. Рекомендується проводити вибіркову перевірку результатів роботи ваших конвеєрів, щоб переконатися, що ви отримуєте оптимальний баланс між стислістю та повнотою даних для подальшої обробки штучним інтелектом.
🔗 Першоджерело: Читати оригінал