Текстовая reward-модель на базе DeBERTa-v3-large, предназначенная для оценки предпочтительности ответов ассистента в конвейерах RLHF.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это reward-модель на базе DeBERTa-v3-large-tasksource-nli, дообученная на датасете Anthropic/hh-rlhf за одну эпоху с learning rate 1e-5. Модель разработана для оценки ответов ассистента в сценариях обучения с подкреплением на основе обратной связи людей (RLHF): она присваивает тексту оценку, отражающую предпочтительность ответа. В метаданных указаны архитектура DeBERTa-v2 для классификации последовательностей, 533,8 млн параметров и контекст до 512 токенов.
Модель подходит для ранжирования и сравнения текстовых ответов в обучающих или исследовательских конвейерах RLHF. В README сообщается о точности 75,16% на валидации — выше указанного результата сравниваемой reward-модели, 69,25%; подробности протокола оценки не приведены. Карточка не сообщает лицензию, поэтому условия использования по доступным данным определить нельзя.
Контекст ограничен 512 токенами; приведённая точность валидации составляет 75,16%, а протокол оценки в карточке не раскрыт. Лицензия в предоставленных данных не указана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
deberta-v3-large-tasksource-nli fine-tuned on Anthropic/hh-rlhfFor 1 epoch with 1e-5 learning rate.
The data are described in the paper: Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback.
Validation accuracy is currently the best publicly available reported: 75.16% (vs 69.25% for OpenAssistant/reward-model-deberta-v3-large-v2).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…