bert_gpt4_augmented

routellm/bert_gpt4_augmented — классификатор маршрутизации запросов из проекта RouteLLM, разработанного авторами системы RouteLLM. Он оценивает текстовый запрос, чтобы выбрать, направить ли его более сильной или более дешёвой языковой модели; сам ответы на запросы не генерирует. Модель основана на XLM-RoBERTa, содержит около 305,2 млн параметров и принимает текст с контекстом до 514 токенов. В RouteLLM маршрутизаторы обучаются на данных предпочтений и используют их расширение для улучшения выбора модели.

Подходит для маршрутизации текстовых запросов между парой LLM с учётом компромисса между стоимостью и качеством. Карточка Hugging Face не содержит подробного описания модели или лицензии; сведения о лицензии в доступных источниках не установлены. Как классификатор, она выбирает маршрут и не заменяет целевые языковые модели.