Lyra4-Gutenberg2-12B — диалоговая языковая модель, созданная дообучением Sao10K/MN-12B-Lyra-v4 на датасетах jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo. Для обучения применялся ORPO в течение трёх эпох; данные были оформлены в формате ChatML. Модель построена на плотной архитектуре Mistral и содержит 12,1 млрд параметров.

Модель предназначена для генерации текста в диалоге и выполнения инструкций. В README указано увеличение длины последовательности относительно Lyra4-Gutenberg-12B; метаданные каталога указывают контекст до 1 024 000 токенов. В опубликованных результатах Open LLM Leaderboard указаны средний балл 19,74, IFEval 25,85 и BBH 33,73.

Модель распространяется в формате Safetensors и доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Показатели бенчмарков описывают лишь отдельные тесты и не гарантируют качество для конкретных задач; самостоятельные ограничения модели в карточке не описаны.