MMfreeLM-1.3B

ridger/MMfreeLM-1.3B — предварительно обученная языковая модель, разработанная Rui-Jie Zhu (ridger) в рамках проекта MatMul-Free LM. Она предназначена для авторегрессионной генерации текста и совместима с библиотекой Transformers. Модель использует архитектуру HGRNBit/MatMul-Free LM, исключающую матричное умножение в ключевых вычислениях и применяющую тернарные веса в некоторых слоях. Для версии 1.3B заявлены 24 слоя, скрытая размерность 2048 и обучение на 100B токенов.

Модель содержит примерно 1,5 млрд параметров и поддерживает контекст до 2048 токенов. Она рассчитана на продолжение и генерацию текста по заданному промпту, а не на специализированные мультимодальные задачи. Модель распространяется под лицензией Apache-2.0. Документация не предоставляет подтверждённых сведений о языковом составе обучающих данных, instruction-tuning, специализированных областях применения или результатах оценки качества.