Характеристики

Контекст: 2 048 токенов
Параметры: 6,6 млрд
Размер весов: 13,2 ГБ
Архитектура: llama · dense
Библиотека: safe-rlhf
Опубликована: 8 июл 2023

Ссылки

Hugging Face arXiv 2302.13971 arXiv 2307.04657

beaver-7b-v1.0-reward

PKU-Alignment

Обучение с подкреплением3 профессии

Модель оценки предпочтений ответов для обучения Beaver-систем безопасному RLHF на наборе PKU-SafeRLHF.

1 899скачиваний за 30 дней17лайковвеса обновлены20 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Beaver 7B v1.0 Reward — модель оценки предпочтений, разработанная командой PKU-Alignment и обученная на наборе данных PKU-SafeRLHF. Она предназначена для использования в алгоритмах безопасного обучения с подкреплением на основе обратной связи от людей (RLHF): модель оценивает ответы и помогает обучать Beaver-модели быть более полезными.

Модель построена на авторегрессионной архитектуре Transformer семейства LLaMA и содержит 6,6 млрд параметров. Контекст — до 2048 токенов. Это дообученная версия на основе LLaMA и Alpaca; репозиторий содержит веса в формате Safetensors. Основной язык карточки и тегов — английский.

Модель предназначена для некоммерческого использования. Она выдаёт оценку предпочтительности, а не готовый ответ пользователю; качество оценки зависит от соответствия данных и сценария применения обучающему набору PKU-SafeRLHF.

Сценарии применения

оценка предпочтительности ответов языковой модели
формирование сигнала вознаграждения для обучения RLHF
обучение диалоговой модели отвечать полезнее и безопаснее

Ограничения

Модель предназначена для оценки ответов в контексте обучения RLHF, а не для непосредственной генерации пользовательских ответов. Лицензия ограничивает использование некоммерческими сценариями.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🦫 Beaver's Reward Model

Model Details

The Beaver reward model is a preference model trained using the PKU-SafeRLHF dataset. It can play a role in the safe RLHF algorithm, helping the Beaver model become more helpful.

Developed by: the PKU-Alignment Team.
Model Type: An auto-regressive language model based on the transformer architecture.
License: Non-commercial license.
Fine-tuned from model: LLaMA, Alpaca.

Model Sources

Repository: https://github.com/PKU-Alignment/safe-rlhf
Beaver: https://huggingface.co/PKU-Alignment/beaver-7b-v1.0
Dataset: https://huggingface.co/datasets/PKU-Alignment/PKU-SafeRLHF
Reward Model: https://huggingface.co/PKU-Alignment/beaver-7b-v1.0-reward
Cost Model: https://huggingface.co/PKU-Alignment/beaver-7b-v1.0-cost
Dataset Paper: https://arxiv.org/abs/2307.04657
Paper: https://arxiv.org/abs/2310.12773

How to Use the Reward Model

import torch
from transformers import AutoTokenizer
from safe_rlhf.models import AutoModelForScore

model = AutoModelForScore.from_pretrained('PKU-Alignment/beaver-7b-v1.0-reward', torch_dtype=torch.bfloat16, device_map='auto')
tokenizer = AutoTokenizer.from_pretrained('PKU-Alignment/beaver-7b-v1.0-reward')

input = 'BEGINNING OF CONVERSATION: USER: hello ASSISTANT:Hello! How can I help you today?'

input_ids = tokenizer(input, return_tensors='pt')
output = model(**input_ids)
print(output)

# ScoreModelOutput(
#     scores=tensor([[[-19.7500],
#          [-19.3750],
#          [-20.1250],
#          [-18.0000],
#          [-20.0000],
#          [-23.8750],
#          [-23.5000],
#          [-22.0000],
#          [-21.0000],
#          [-20.1250],
#          [-23.7500],
#          [-21.6250],
#          [-21.7500],
#          [-12.9375],
#          [ -6.4375],
#          [ -8.1250],
#          [ -7.3438],
#          [ -9.1875],
#          [-13.6250],
#          [-10.5625],
#          [ -9.9375],
#          [ -6.4375],
#          [ -6.0938],
#          [ -5.8438],
#          [ -6.6562],
#          [ -5.9688],
#          [ -9.1875],
#          [-11.4375]]], grad_fn=<ToCopyBackward0>),
#     end_scores=tensor([[-11.4375]], grad_fn=<ToCopyBackward0>),
#     last_hidden_state=tensor([[[ 0.7461, -0.6055, -0.4980,  ...,  0.1670,  0.7812, -0.3242],
#          [ 0.7383, -0.5391, -0.1836,  ..., -0.1396,  0.5273, -0.2256],
#          [ 0.6836, -0.7031, -0.3730,  ...,  0.2100,  0.5000, -0.6328],
#          ...,
#          [-1.7969,  1.0234,  1.0234,  ..., -0.8047,  0.2500, -0.8398],
#          [ 2.0469, -1.3203,  0.8984,  ..., -0.7734, -1.4141, -1.6797],
#          [ 4.3438, -0.6953,  0.9648,  ..., -0.1787,  0.6680, -3.0000]]],
#        dtype=torch.bfloat16, grad_fn=<ToCopyBackward0>),
#     end_last_hidden_state=tensor([[ 4.3438, -0.6953,  0.9648,  ..., -0.1787,  0.6680, -3.0000]],
#        dtype=torch.bfloat16, grad_fn=<ToCopyBackward0>),
#     end_index=tensor([27])
# )

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · safe-rlhf

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры: LlamaForScore
Ревизия весов: 375cd6a