mamba-370m

state-spaces/mamba-370m — базовая языковая модель, опубликованная разработчиками State Space Models и основанная на архитектуре Mamba. Это модель последовательностей с селективными state space layers, рассчитанная на языковое моделирование и генерацию продолжений текста. Репозиторий разработчиков описывает вариант на 370 млн параметров с 48 слоями и размерностью модели 1024; модель обучена на корпусе The Pile и не проходила instruction tuning.

Архитектура Mamba использует аппаратно-ориентированную реализацию и линейную по длине последовательности обработку. Модель принимает текстовые токены и генерирует текст; данные о конкретном наборе поддерживаемых естественных языков и длине контекста в использованных источниках отсутствуют. Подходит для экспериментов и приложений языкового моделирования, но как базовый чекпойнт может хуже справляться с инструкциями, чем дообученные чат-модели. Лицензия репозитория — Apache-2.0.