LD-Zephyria-37b

LD-Zephyria-37b — экспериментальная текстовая модель семейства Mistral, созданная на основе unsloth/Mistral-Small-Instruct-2409 методом позднего дублирования слоёв. В модели 37,3 млрд параметров и контекст до 131 072 токенов; метаданные указывают на поддержку диалогового режима и интерфейса вызова функций.

Архитектура включает 55 слоёв: дублирование начинается с 28-го слоя, а после него остаются семь уникальных финальных слоёв. Модель предназначена для генерации текста и диалогов, в том числе сценариев, где полезно извлечение разнообразных признаков до этапа уточнения. README предупреждает, что слои down_proj и o_proj обнулены и требуют восстановления, поэтому текущие веса могут работать некорректно. Лицензия в предоставленных данных не указана.