Экспериментальная текстовая модель на 2,7 млрд параметров, полученная линейным слиянием StableLM Zephyr 3B и Rocket 3B.
23скачиваний за 30 дней1лайквеса обновлены16 дек 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
RocketZephyr-3B — экспериментальная модель генерации текста, созданная автором репозитория путём линейного слияния моделей stabilityai/stablelm-zephyr-3b и pansophic/rocket-3B с помощью mergekit. В слиянии использованы веса 1,0 и 0,3 соответственно.
Модель основана на плотной архитектуре StableLM Epoch и содержит 2,7 млрд параметров. Она предназначена для генерации текста; заявленный контекст составляет 4096 токенов. В репозитории опубликованы веса в формате safetensors.
Автор указывает, что модель, предположительно, наследует лицензию Stable Non-Commercial Research Community License Agreement, поэтому её использование может быть ограничено некоммерческими исследовательскими целями. README описывает проект как эксперимент по слиянию моделей.
Сценарии применения
генерация текста по запросу
эксперименты со слиянием языковых моделей
сравнение ответов объединённых моделей
Ограничения
README описывает модель как эксперимент и не приводит оценок качества. Автор лишь предполагает, что действует некоммерческая исследовательская лицензия; условия следует сверить с лицензией базовой модели.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель