mamba2-1.3b
Mamba-2 1.3B — языковая модель для авторегрессивной генерации текста на архитектуре Mamba-2.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Mamba-2 1.3B — авторская языковая модель на архитектуре Mamba-2, опубликованная командой State Space Models. Конфигурация содержит 48 слоёв, размер скрытого представления 2048 и словарь из 50 277 токенов; в метаданных Hugging Face указано 2,9 млрд параметров. Модель предназначена для авторегрессивного предсказания и генерации текста, а её архитектура основана на пространственно-состояниевом слое вместо обычных слоёв внимания.
Модель принимает текстовые токены и выдаёт текстовые продолжения; карточка не указывает специальную языковую специализацию или длину контекста. Репозиторий распространяется под лицензией Apache-2.0 и содержит веса PyTorch. Карточка модели почти пуста, поэтому подробные сведения о данных обучения, языках и оценке качества не подтверждены.
Сценарии применения
- генерация продолжения текста по подсказке
- создание черновиков и коротких текстов
- эксперименты с языковыми моделями на архитектуре Mamba-2
Ограничения
В карточке модели не приведены результаты оценивания, данные обучения или явная информация о поддерживаемых языках и длине контекста. Поэтому качество для конкретных задач и языков по имеющимся сведениям оценить нельзя.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.
- Ревизия весов
- c5b59d0