1) Выкинули векторные базы для своих агентов
https://vercel.com/blog/build-knowledge-agents-without-embeddings
Источники данных (репозитории, документы, транскрипты) синхронизируются в файловую систему через снапшоты
Агент ищет информацию через grep, find и cat внутри изолированных песочниц Vercel Sandbox
Никакого векторного поиска, никакого тюнинга порогов релевантности.
На их данных:
- Стоимость обработки одного запроса упала с ~$1.00 до ~$0.25 — в 4 раза
- Качество ответов выросло
- Дебаг стал тривиальным: видишь, какой grep запустил агент, какой файл прочитал, какую секцию вытащил. Чинишь за минуты
С эмбеддингами всё иначе: чанк набрал 0.82, правильный — 0.79. Проблема в границах чанка? В модели? В пороге? Удачи в отладке. LLM уже умеют работать с файловыми системами, они обучены на огромном количестве кода. Навигация по директориям, grep по файлам – это не новый навык для модели, а самый натуральный. И гораздо лучше получается применять его, если у вас нет тысяч неструктурированных файлов.