Вышел ClawRouter - штука, которая автоматически маршрутизирует запросы к LLM и старается не переплачивать за «слишком умную» модель там, где хватит простой.
Схема понятная: он оценивает входящий промпт по набору признаков (вроде сложности, наличия кода, длины и т.д.) и за пару секунд решает, какой модели это отдать. Простые вопросы - в более дешёвые, сложные - в более мощные. Заявляют, что на этом можно экономить до 80% лимитов/расходов, если у вас много рутинных запросов.
Из того, что описано в проекте:
- оценка запроса по 14 пунктам
- выбор из 40+ моделей (в зависимости от того, что у вас подключено)
- решение принимается быстро и работает локально
- идея - меньше запросов в дорогие модели без потери качества на простых задачах
Репозиторий проекта: ClawRouter
Кто-нибудь уже пробовал такие роутеры у себя? Насколько заметна экономия, и не падает ли качество ответов из-за неправильного выбора модели?
