Компактная англоязычная Llama-модель, выровненная методом RLAIF для генерации текста и ответов на вопросы с учётом предпочтений.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Sudhanshu1985 разработал slm-500m-rlaif — языковую модель семейства Llama на 517,7 млн параметров, полученную дообучением thesreedath/slm-500m-qa с помощью RLAIF. В процессе выравнивания использовалась Bradley–Terry reward-модель, обученная оценивать примеры по предпочтениям; политика оптимизировалась методом RLOO с KL-регуляризацией относительно исходной SFT-модели.
Модель предназначена для генерации текста и ответов на вопросы, в том числе в сценариях, где важно учитывать предпочтения при формировании ответа. В README приведён результат pref-acc 0,76 на парах предпочтений gpt-4.1-mini, а средняя награда после обучения выросла с −0,20 до 0,10. Доступны веса в формате safetensors; контекст — 1024 токена, основной язык карточки — английский.
Лицензия — Apache-2.0. Модель компактна, но ограниченное окно контекста и небольшой размер могут снижать качество на длинных запросах и сложных задачах; приведённая оценка относится к указанным парам предпочтений и не гарантирует качество во всех сценариях.
Контекст ограничен 1024 токенами, а размер модели составляет около 518 млн параметров. Значение pref-acc 0,76 измерено на парах предпочтений gpt-4.1-mini и не характеризует качество во всех задачах.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
RLAIF alignment of thesreedath/slm-500m-qa. A Bradley-Terry reward model (pref-acc 0.76 on gpt-4.1-mini preference pairs) scores on-policy samples; the policy is optimized with RLOO policy gradient + KL to the frozen SFT. Mean reward -0.20 -> 0.10. RL-based counterpart to Sudhanshu1985/slm-500m-dpo.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…