/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
10,6 млрд
Размер весов
21,6 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
EEVE-Korean-Instruct-10.8B-v1.0
Опубликована
27 фев 2024

eeve_dpo-v3

Генерация текстаТекст → текст3 профессии

Корейская диалоговая модель на базе EEVE-Korean-Instruct-10.8B, дообученная методом DPO для генерации ответов и текста.

21скачиваний за 30 дней1лайквеса обновлены7 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ENERGY-DRINK-LOVE/eeve_dpo-v3 — разговорная языковая модель команды Jingyeom Kim и Youjin Chung, дообученная методом DPO на базе yanolja/EEVE-Korean-Instruct-10.8B-v1.0. Это плотная авторегрессионная модель семейства Llama с 10,6 млрд параметров, предназначенная для генерации текста в диалоге. Контекст составляет 4096 токенов; модель распространяется в формате safetensors.

Для обучения использовались собственный DPO-набор на основе данных AI Hub и переведённые англоязычные данные OpenOrca DPO. Карточка приводит результаты на корейских языковых тестах Ko LM Eval Harness и Ko-LLM-Leaderboard, что указывает на ориентацию прежде всего на корейский язык. Лицензия — Apache-2.0. Оценки в карточке относятся к указанным бенчмаркам и сами по себе не гарантируют качество в других сценариях.

Сценарии применения

  • диалоговые ответы на корейском языке
  • генерация корейского текста по запросу
  • ответы на вопросы на корейском языке
  • оценка языковых моделей на корейских бенчмарках

Ограничения

Контекст ограничен 4096 токенами. Результаты в карточке приведены для корейских бенчмарков и не характеризуют качество на всех языках и типах задач.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ENERGY-DRINK-LOVE/eeve_dpo-v3

Our Team

  • Jingyeom Kim
  • Youjin Chung

Model

Base Model

Hardware and Software

  • Hardware: A100 * 8 for training our model
  • Deepspeed library & Huggingface TRL Trainer

Dataset

  • DPO_dataset
    • 자체 제작 dpo dataset(AI-hub dataset 활용)
    • OpenOrca DPO 등 영어 데이터셋 번역(ENERGY-DRINK-LOVE/translate_share_gpt_dedup_llama_SFT_1024, 자체모델 활용)

Training Method

Benchmark

Ko LM Eval Harness

Task0-shot5-shot
kobest_boolq0.9501420.944444
kobest_copa0.7510.835
kobest_hellaswag0.4740.508
kobest_sentineg0.8110830.972292
Average0.746556250.81493399

Ko-LLM-Leaderboard

  • (240307기준 7등) | Average | Ko-ARC | Ko-HellaSwag | Ko-MMLU | Ko-TruthfulQA | Ko-CommonGen V2 | | ------: | -----: | -----------: | ------: | ------------: | --------------: | | 57.97 | 57.51 | 67.01 | 56.3 | 54.86 | 54.19 |

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
dac7866

0 моделей