HINT-lab/mistral-7b-ppo-m-hermes — разговорная языковая модель, разработанная Jixuan Leng, Chengsong Huang, Banghua Zhu и Jiaxin Huang. Авторы дообучили teknium/OpenHermes-2.5-Mistral-7B методом PPO-M — алгоритмом RLHF с калибровкой модели вознаграждения. В карточке указано, что PPO-M предназначен для снижения словесной чрезмерной уверенности у LLM, обученных с RLHF: модель вознаграждения использует оценки уверенности наряду с попарными предпочтениями, чтобы соотносить уверенность ответа с его качеством.

Модель основана на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы в диалоговом формате. Заявленная длина контекста — 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Данные указывают на английский язык исходной модели OpenHermes, но языки обучения этой версии отдельно не перечислены.

Модель подходит для диалоговых ответов и генерации текста с акцентом на более калиброванную словесную уверенность. Карточка ссылается на препринт об алгоритме PPO-M; сравнительные оценки этой конкретной версии не приведены. Лицензия в предоставленных данных не указана.