MaxMin-RLHF на TL;DR — диалоговая языковая модель на архитектуре Llama, дообученная методом MaxMin-RLHF на базе meta-llama/Llama-3.1-8B-Instruct. Разработчик применил алгоритм из работы Chakraborty et al. (ICML 2024): три чередующихся раунда по 100 обновлений, в каждом оптимизировалась цель с наименьшей стандартизованной относительно базовой политики полезностью. Обучение использовало датасет TL;DR и четыре цели: полноту, фактическую точность, краткость и полезность.

Модель предназначена для генерации текста и ответов в диалоге, в частности для создания кратких, содержательных и точных резюме. В метаданных указаны 7,5 млрд параметров, контекст до 131 072 токенов, формат safetensors и библиотека Transformers. Модель принимает текст и генерирует текст; языки, на которых она специально обучалась в этой версии, отдельно не уточнены.

Это экспериментальный исследовательский чекпойнт для оценки многоцелевого согласования, а не самостоятельное подтверждение качества для любых сценариев. Результаты в README описаны как сравнение с базовой моделью на отложенных промптах TL;DR, оценённых Llama-3.3-70B-Instruct. Лицензия — Llama 3.1; применяются её условия использования.