mamba-1.4b

state-spaces/mamba-1.4b — базовая языковая модель семейства Mamba, разработанная авторами архитектуры Albert Gu и Tri Dao и опубликованная организацией State Space Models. Это авторегрессионная модель для продолжения текста и языкового моделирования; её можно использовать для генерации текста по заданному началу и для экспериментов с языковыми моделями. Архитектура основана на селективных моделях пространства состояний (SSM) и предназначена для обработки последовательностей с линейным по длине последовательности масштабированием. В официальном репозитории указаны 1,4 млрд параметров и 48 слоёв; модель обучена на корпусе The Pile объёмом 300 млрд токенов.

Это базовая, не настроенная на выполнение инструкций модель, поэтому она не рассчитана на диалоговый формат и может хуже справляться с прикладными запросами, чем instruction-tuned модели. В предоставленных метаданных указаны 2,9 млрд параметров, тогда как авторский репозиторий называет вариант 1.4B; число параметров в описании соответствует авторскому названию модели. Модель принимает и генерирует текст; подтверждённый набор поддерживаемых языков и длина контекста не установлены. Репозиторий Hugging Face указывает лицензию Apache-2.0.