Компактная англоязычная модель Llama на 125,8 млн параметров, дообученная методом RLAIF для генерации диалоговых ответов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Sudhanshu1985/slm-125m-rlaif — компактная языковая модель, дообученная с помощью RLAIF (обучения с подкреплением на основе обратной связи от ИИ). В README описан процесс выравнивания: скалярная reward-модель оценивала ответы по предпочтениям, сформированным с помощью gpt-4.1-mini, а политика оптимизировалась методом RLOO с KL-регуляризацией относительно исходной SFT-модели. В метаданных указаны архитектура Llama, 125,8 млн параметров, контекст 1024 токена и библиотека Transformers.
Модель предназначена для генерации текста в диалоговом формате и может использоваться для изучения или применения компактной модели, дообученной на предпочтениях ИИ. README сообщает об улучшении среднего вознаграждения с -0,158 до 0,155. Модель унаследовала чат-шаблон SYSUSERANSWER от SFT-модели.
Модель дообучена на thesreedath/slm-125m-base; README также упоминает промежуточную SFT-модель slm-125m-sft, однако метаданные указывают базой именно slm-125m-base. Лицензия — Apache-2.0. Английский язык указан в тегах карточки. Короткий контекст и небольшой размер ограничивают пригодность модели для длинных диалогов и сложных задач; оценки reward в README не заменяют независимую проверку качества.
Контекст ограничен 1024 токенами, а модель содержит 125,8 млн параметров, что ограничивает работу с длинными контекстами и сложными запросами. Приведённое в README изменение среднего reward не является независимой оценкой качества ответов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
RLAIF (Reinforcement Learning from AI Feedback) alignment of Sudhanshu1985/slm-125m-sft. A scalar reward model (Bradley-Terry on gpt-4.1-mini preference pairs) scores on-policy samples; the policy is optimized with RLOO policy gradient + KL to the frozen SFT. Mean reward -0.158 -> 0.155. This is the RL-based counterpart to Sudhanshu1985/slm-125m-dpo. Uses the SFT chat template: <|bos|><|system|>SYS<|user|>USER<|assistant|>ANSWER<|eos|>.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…