mamba2-130m

state-spaces/mamba2-130m — базовая языковая модель от команды State Space Models, построенная на архитектуре Mamba-2, разновидности модели пространства состояний. Она предназначена для генерации продолжений текста и экспериментов с языковым моделированием. По данным разработчика, модели семейства Mamba-2 обучены на 300 млрд токенов корпуса The Pile; вариант на 130 млн параметров имеет 24 слоя и размерность модели 768. В предоставленных метаданных указано 236,8 млн параметров; README карточки модели пустой.

Модель принимает текстовые токены и генерирует текст. Это базовая, не настроенная на выполнение инструкций модель; разработчик отмечает, что она может уступать более крупным или дообученным моделям. Длина контекста и конкретный список поддерживаемых естественных языков не подтверждены использованными источниками. Репозиторий распространяется по лицензии Apache-2.0.