openhermes-7b-dpo

amazingvince/openhermes-7b-dpo — экспериментальная DPO-донастройка модели OpenHermes, опубликованная автором репозитория. В README она описана как дообучение OpenHermes на данных, призванных улучшить способности модели; базовая линия OpenHermes 2.5 основана на Mistral 7B и включает дополнительное обучение на наборах инструкций по программированию. Метаданные указывают на плотную авторегрессионную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов.

Модель предназначена для генерации текста в диалоговом формате, включая ответы на инструкции и вопросы; базовое семейство также ориентировано на задачи с кодом. В карточке сказано, что модель экспериментальная, а подробности будут добавлены позднее. Доступны веса Safetensors, лицензия — Apache-2.0. README не приводит результатов именно этой версии, поэтому её качество и улучшения относительно базовой модели подтвердить нельзя.