mpt-7b-bf16-sharded

Исходную модель разработала команда MosaicML. Репозиторий предназначен для запуска inference и fine-tuning в условиях ограниченной оперативной памяти, в частности в Google Colab, поскольку веса разделены на несколько файлов.

Модель относится к decoder-only Transformer и предназначена для авторегрессионной генерации текста. Она содержит около 7 млрд параметров, сохранена в формате BF16 и работает с текстовыми данными; заявленная категория применения — text generation. Архитектура MPT использует модификации, ориентированные на эффективное обучение и inference, включая ALiBi, а для загрузки может требоваться trust_remote_code из-за нестандартной реализации MPT. Модель обучалась MosaicML с нуля на англоязычных текстах и коде.

Сильные стороны — открытая реализация, возможность коммерческого использования исходной модели по Apache-2.0, поддержка эффективного inference и удобная шардированная упаковка. Ограничения включают отсутствие дообучения для следования инструкциям, возможность фактически неверных, предвзятых или нежелательных ответов, а также необходимость осторожной настройки и дополнительных защит при пользовательском применении. Точная длина контекста для данного шардированного репозитория в его карточке явно не указана.