mamba-790m

state-spaces/mamba-790m — базовая языковая модель семейства Mamba, разработанная командой State Spaces под руководством Albert Gu и Tri Dao. Она предназначена для авторегрессионного языкового моделирования и генерации продолжений текста, а также может использоваться как backbone для последующей адаптации под прикладные задачи обработки последовательностей. Модель основана на селективной state-space architecture без стандартного механизма self-attention и оптимизирована для линейного масштабирования по длине последовательности.

Для конфигурации mamba-790m исходные материалы указывают 48 слоёв и размерность модели 1536; обучение проводилось на 300 млрд токенов датасета The Pile. Переданные метаданные Hugging Face указывают 1.7B параметров, что расходится с названием конфигурации 790m и опубликованными характеристиками семейства. Поддержка языков и нативная длина контекста в доступных источниках не установлены.

Это базовая, не instruction-tuned модель, поэтому она не предназначена для непосредственного диалогового использования без дополнительной настройки. Модель распространяется по лицензии Apache-2.0.