Языковая модель Mamba с заявленными 2,8 млрд параметров для генерации текста и экспериментов с архитектурой Mamba.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Mamba-2.8b-slimpj — языковая модель с архитектурой Mamba, опубликованная проектом State Spaces. В README указано 2,8 млрд параметров и обучение на 600 млрд токенов набора SlimPajama; метаданные каталога при этом сообщают об общем размере 6 млрд параметров, поэтому размер модели в источниках расходится.
Модель предназначена для генерации текста и языкового моделирования. Её можно применять как основу для экспериментов и разработки приложений, которым требуется продолжение текста. README показывает загрузку через MambaLMHeadModel из библиотеки mamba-ssm; в репозитории указан формат PyTorch.
Модель обучалась на SlimPajama, но сведения о поддерживаемых естественных языках, длине контекста и специализированных возможностях не приведены. Лицензия — Apache-2.0. Конкретные ограничения качества и безопасного использования в карточке не описаны.
README указывает 2,8 млрд параметров, тогда как метаданные каталога — 6 млрд. Поддерживаемые языки, длина контекста и конкретные ограничения качества не описаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Mamba-2.8b-slimpj is a model using the Mamba architecture, with 2.8B parameters, trained for 600B tokens on the SlimPajama dataset.
Model code: https://github.com/state-spaces/mamba/tree/main
To load the model, follow the installation instruction in the code repo, and then:
from mamba_ssm.models.mixer_seq_simple import MambaLMHeadModel
model = MambaLMHeadModel.from_pretrained("state-spaces/mamba-2.8b-slimpj")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.