/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
10,7 млрд
Размер весов
21,7 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
llama · dense
Базовая модель
DataVortexS-10.7B-dpo-v1.11
Опубликована
11 мар 2024

DataVortexS_dpov3

Генерация текстаТекст → текст3 профессии

Корейская диалоговая модель на 10,7 млрд параметров, дообученная методом DPO для генерации текста и ответов на вопросы.

16скачиваний за 30 дней0лайковвеса обновлены16 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ENERGY-DRINK-LOVE/DataVortexS_dpov3 — корейская языковая модель для генерации текста, дообученная командой Youjin Chung и Jingyeom Kim методом DPO на базе Edentns/DataVortexS-10.7B-dpo-v1.11. Для обучения использовались собственный DPO-датасет на основе данных AI Hub и переведённые англоязычные данные, включая OpenOrca DPO. Модель построена на архитектуре Llama, содержит 10,7 млрд параметров и поддерживает контекст до 4096 токенов.

Модель предназначена для генерации корейского текста и диалоговых ответов. В README приведены результаты оценки на Ko-LLM-Leaderboard по корейским версиям ARC, HellaSwag, MMLU, TruthfulQA и CommonGen V2; на дату оценки модель занимала 7-е место. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Сценарии применения

  • генерация ответов на вопросы на корейском языке
  • диалоговое общение на корейском языке
  • создание корейских текстов по запросу
  • оценка корейских языковых моделей на задачах понимания и рассуждения

Ограничения

Контекст ограничен 4096 токенами. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ENERGY-DRINK-LOVE/DataVortexS_dpov3

Our Team

  • Youjin Chung
  • Jingyeom Kim

Model

Base Model

Hardware and Software

  • Hardware: A100 * 8 for training our model
  • Deepspeed library & Huggingface TRL Trainer

Dataset

  • DPO_dataset
    • 자체 제작 dpo dataset(AI-hub dataset 활용)
    • OpenOrca DPO 등 영어 데이터셋 번역(ENERGY-DRINK-LOVE/translate_share_gpt_dedup_llama_SFT_1024, 자체모델 활용)

Training Method

Benchmark

Ko LM Eval Harness

Ko-LLM-Leaderboard

  • (240316기준 7등)
  • image/png
AverageKo-ARCKo-HellaSwagKo-MMLUKo-TruthfulQAKo-CommonGen V2
60.1856.2369.1552.7667.8754.9

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
385552b

0 моделей