Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
FRSsum — компактная языковая модель на архитектуре LLaMA, разработанная для разбора запросов об учёте посещаемости и кадровых вопросах и формирования ответов с опорой на предоставленный контекст. Модель содержит 10,5 млн параметров, распространяется в формате safetensors и рассчитана на контекст до 512 токенов. В карточке указаны английский язык и лицензия MIT.
Модель предназначена для лёгких сценариев HR-ассистента и работы с запросами об attendance. Заявленные в карточке validation loss 0,0662 и perplexity 1,07 приведены без описания набора данных или методики оценки, поэтому сами по себе не подтверждают качество в прикладной среде. Малый размер и короткий контекст ограничивают сложные многошаговые запросы и обработку объёмных документов.
Сценарии применения
разбор запросов об учёте рабочего времени и посещаемости
ответы HR-ассистента на вопросы сотрудников
формирование ответов по предоставленному кадровому контексту
Ограничения
Контекст ограничен 512 токенами, что затрудняет работу с объёмными документами и сложными запросами. Карточка не описывает данные и методику оценки приведённых метрик, поэтому они не гарантируют качество в реальных HR-сценариях.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель