mamba2-370m

Она предназначена для моделирования последовательностей, прежде всего для задач языкового моделирования и генерации текста. Модель обучена на 300 млрд токенов из набора данных The Pile.

Архитектура основана на Mamba-2 — state space model с линейным по длине последовательности масштабированием, без attention-слоёв. Конфигурация включает около 370 млн параметров, 48 слоёв, размер скрытого представления 1024 и словарь из 50 277 токенов; все слои используют Mamba2. Указаний на поддержку изображений, аудио или других модальностей, а также на конкретный набор языков и максимальную длину контекста в доступной карточке модели нет.

Сильные стороны семейства Mamba — вычислительная эффективность при обработке длинных последовательностей и меньшие требования к памяти по сравнению с классическими Transformer-моделями в соответствующих сценариях. Ограничения данного экземпляра заключаются в отсутствии подробной model card, инструкций по конкретным прикладным задачам и опубликованных характеристик качества; поэтому его возможности для диалога, следования инструкциям и специализированных задач не подтверждены. Модель распространяется по лицензии Apache-2.0.