Компактная англоязычная авторегрессионная модель на архитектуре SRLM для генерации текста с контекстом до 512 токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
SRLM-1M — компактная авторегрессионная языковая модель на архитектуре SRLM, основанной на ROSA, с примерно 900 тысячами параметров. Модель разработана автором репозитория Martico2432 и обучена на подмножестве smollm-corpus fineweb-edu-dedup объёмом более 16 миллионов токенов.
Модель предназначена для генерации текста на английском языке. Контекст ограничен 512 токенами. В карточке приведены результаты оценок на Wikitext v2, ARC-Easy, BLiMP и HellaSwag; они характеризуют экспериментальную модель малого размера, а не подтверждают пригодность для широкого практического применения.
Для загрузки требуется собрать расширение rosa.pyx и использовать конфигурацию модели. Веса опубликованы в форматах PyTorch и Safetensors. Лицензия — MIT.
Модель очень мала — около 900 тысяч параметров — и обучена на ограниченном подмножестве данных; приведённые оценки указывают на ограниченные возможности. Контекст составляет 512 токенов, а запуск требует сборки расширения rosa.pyx.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
A Small ROSA based Language Model, of 900k parameters.
Trained on smollm-corpus fineweb-edu-dedup subset, over 16M tokens.
To run this model, you have to:
python setup.py build_ext --inplaceНа своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Архитектура srlm неизвестна transformers в образе рантайма.