MaxMin-RLHF-baseline — дообученная диалоговая языковая модель на архитектуре Llama 3.1, созданная как контрольный чекпойнт для оценки метода MaxMin-RLHF на панели предпочтений UltraFeedback. В основе лежит meta-llama/Llama-3.1-8B-Instruct; модель содержит 7,5 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов.

Чекпойнт обучен на 300 шагах оптимизации с глобальным размером пакета 16, чередуя оптимизацию по четырём целям: следование инструкциям, правдивость, честность и полезность. Он предназначен прежде всего для генерации ответов в диалоге и сравнительной оценки методов согласования с предпочтениями. В README описан протокол оценки с независимыми показателями выигрыша по каждой цели на отложенных запросах.

Модель использует лицензию Llama 3.1. Данные не сообщают о языковом охвате этой производной модели отдельно от базовой; её качество и поведение за пределами указанной оценки не охарактеризованы.