/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
16,8 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
minicpmo · dense
Базовая модель
MiniCPM-o-2_6
Библиотека
transformers
Опубликована
20 мая 2025

Ссылки

Hugging FacearXiv 2510.23451

OmniRewardModel

jinzhuoran
Генерация текстаТекст → текст3 профессии

Мультимодальная модель вознаграждения на базе MiniCPM-o-2_6 для оценки текстовых и визуальных данных по человеческим предпочтениям.

27скачиваний за 30 дней5лайковвеса обновлены29 окт 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OmniRewardModel — дообученная мультимодальная дискриминативная модель оценки предпочтений, разработанная авторами проекта OmniReward на базе MiniCPM-o-2_6. К модели добавлена value head, которая выдаёт скалярную оценку вознаграждения для входных данных и свободно сформулированных человеческих предпочтений.

Модель предназначена для тонкой оценки соответствия предпочтениям в задачах с текстом, изображениями и видео, а также для оценки моделей на наборах OmniRewardBench. В метаданных указаны архитектура MiniCPMO, 7,1 млрд параметров и контекст 32 768 токенов; для работы используются веса Safetensors и библиотека Transformers. Базовая MiniCPM-o-2_6 также поддерживает аудио, но README OmniRewardModel явно упоминает текст, изображения и видео, поэтому поддержку аудио самой модели нельзя подтвердить.

Модель полезна для ранжирования ответов и оценки генераций по заданным предпочтениям. В README не приведены численные результаты качества или конкретные ограничения применимости. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

Сценарии применения

  • оценка и сравнение текстовых ответов по предпочтениям пользователя
  • оценка соответствия изображений текстовым предпочтениям
  • оценка видеогенераций по заданным критериям
  • получение скалярной оценки качества мультимодального результата
  • оценивание моделей на наборах OmniRewardBench

Ограничения

README не приводит численные показатели качества и не описывает конкретные ограничения применимости. Лицензия CC-BY-NC-4.0 не допускает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Omni-Reward: Towards Generalist Omni-Modal Reward Modeling with Free-Form Preferences

🧩 Overview

OmniRewardModel is our pretrained discriminative reward model designed to handle omni-modal tasks (e.g., text, image, video) and free-form human preferences.

It is built upon the open-source base model MiniCPM-o-2_6, with an additional value head appended to produce scalar reward scores.

The model supports fine-grained scoring across various tasks and modalities, and can be seamlessly loaded via Hugging Face Hub.

🛠️ Environment Setup

To reproduce the training process in our paper, please make sure to set up the environment as described below. Our training code is built upon the llama-factory framework.

git clone https://github.com/HongbangYuan/OmniReward.git
conda create -n omnireward python=3.10
conda activate omnireward

We recommend using torch==2.2.0 for best compatibility.

Install PyTorch (choose one based on your CUDA version):

# For CUDA 11.8:
pip install torch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 \
    --index-url https://download.pytorch.org/whl/cu118

# For CUDA 12.1:
pip install torch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 \
    --index-url https://download.pytorch.org/whl/cu121

Then install the remaining dependencies:

cd OmniReward/OmniReward-Factory
pip install -r requirements.txt

📦 Data Preparation

Download all required training and evaluation datasets from OmniRewardData and OmniRewardBench:

cd OmniReward-Factory
bash scripts/download.sh

🏋️‍♀️ Training Omni-Reward

To reproduce the training results described in our paper, please navigate to the OmniReward-Factory directory and run the following scripts:

cd OmniReward-Factory
bash scripts/train.sh
bash scripts/train_t2t.sh
bash scripts/train_ti2t.sh
bash scripts/train_t2iv.sh

📈 Loading and Evaluating Omni-Reward

You can also directly use our pretrained Omni-Reward for evaluation without retraining.

The models are publicly available at:

👉 https://huggingface.co/jinzhuoran/OmniRewardModel

cd OmniReward-Factory
bash scripts/eval_t2t.sh
bash scripts/eval_t2t_tie.sh
bash scripts/eval_ti2t.sh
bash scripts/eval_ti2t_tie.sh

  • --eval_dataset: Specifies the evaluation dataset (e.g., omni_t2t, omni_t2i, omni_t2v, etc.).

  • --eval_tie: Enables w/ Ties evaluation.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
MiniCPMO
Ревизия весов
dd373f9

0 моделей

    Создать бенчмарк