Характеристики

Контекст: 32 768 токенов
Параметры: 71,5 млрд
Размер весов: 145 ГБ
Лицензия: Своя лицензия
Архитектура: qwen2 · dense
Опубликована: 26 июл 2024

Ссылки

Qwen2-72B-Instruct-kor-dpo

Генерация текстаТекст → текст7 профессий

Диалоговая модель Qwen2 на 71,5 млрд параметров, улучшенная для генерации ответов и решения языковых задач на корейском языке.

26скачиваний за 30 дней6лайковвеса обновлены3 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

denial07/Qwen2-72B-Instruct-kor-dpo — диалоговая языковая модель на архитектуре Qwen2, улучшенная для корейского языка на основе Qwen2-72B-Instruct. Модель содержит 71,5 млрд параметров, использует плотную архитектуру и поддерживает контекст до 32 768 токенов.

Модель предназначена для генерации ответов в диалоге на корейском языке. В карточке приведены результаты оценки на корейских бенчмарках LogicKor и KMMLU, включая задания на рассуждение, математику, письмо, программирование, понимание и грамматику. Метаданные указывают на поддержку генерации текста и чат-возможностей.

Модель основана на Qwen2-72B-Instruct и, согласно карточке, улучшена для корейского языка. Репозиторий содержит веса в формате safetensors. Лицензия обозначена как other; конкретные условия использования следует проверить в карточке модели.

Сценарии применения

ответы на вопросы на корейском языке
ведение многоходового диалога на корейском языке
решение задач на рассуждение и понимание текста на корейском языке
выполнение математических заданий на корейском языке
помощь с написанием и редактированием текстов на корейском языке
генерация и объяснение программного кода в диалоге

Ограничения

В README приведены оценки на LogicKor и KMMLU, но они не гарантируют качество на других задачах или вне корейского языка. Условия лицензии обозначены как other, поэтому перед использованием необходимо проверить их в карточке модели.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is an improved version for Korean, based on the Qwen2-72B-Instruct model.

LogicKor Benchmark (24.07.31)

The following benchmark ranks are based on 1-shot evaluation. | Rank | Model | Reasoning | Math | Writing | Coding | Understanding | Grammar | Singleturn | Multiturn | Total | Parameters | |------|-------|-----------|-------|--------|--------|-------|---------|-----------|-----------|-------|---------| | 1 | openai/gpt-4o-2024-05-13 | 9.21 | 8.71 | 9.64 | 9.78 | 9.64 | 9.50 | 9.33 | 9.50 | 9.41 | ? | | 2 | anthropic/claude-3-5-sonnet-20240620 | 8.64 | 8.42 | 9.85 | 9.78 | 9.92 | 9.21 | 9.26 | 9.35 | 9.30 | ? | | 4 | mistralai/Mistral-Large-Instruct-2407 | 9.71 | 9.07 | 9.57 | 9.92 | 9.92 | 6.78 | 9.19 | 9.14 | 9.16 | 123B | | 8 | meta-llama/Meta-Llama-3.1-405B-Instruct-FP8 | 8.78 | 7.14 | 9.28 | 9.64 | 9.64| 8.57 | 8.97 | 8.71 | 8.84 | 405B | | 9 | denial07/Qwen2-72B-Instruct-kor-dpo | 8.85 | 8.21 | 9.14 | 9.71 | 9.64 | 7.21 | 8.88 | 8.71 | 8.79 | 72B | | 10 | Qwen/Qwen2-72B-Instruct | 8.00 | 8.14 | 9.07 | 9.85 | 9.78 | 7.28 | 8.61 | 8.76 | 8.69 | 72B | | 11 | google/gemini-1.5-pro-001 | 7.00 | 8.00 | 9.57 | 8.85 | 9.35 | 8.64 | 8.61 | 8.52 | 8.57 | ? |

KMMLU Benchmark

HAERAE-HUB/KMMLU benchmark accuracy score.
Category Qwen2-72B-it-kor-dpo Qwen2-72B-it Mistral-Large-it-2407 Questions
HUMSS 0.63 0.63 0.62 5130
STEM 0.59 0.59 0.57 9900
Applied Science 0.56 0.56 0.54 11600
Other 0.58 0.58 0.54 8400
Overall Accuracy 0.58 0.58 0.56 35030

Category	Qwen2-72B-it-kor-dpo	Qwen2-72B-it	Mistral-Large-it-2407	Questions
HUMSS	0.63	0.63	0.62	5130
STEM	0.59	0.59	0.57	9900
Applied Science	0.56	0.56	0.54	11600
Other	0.58	0.58	0.54	8400
Overall Accuracy	0.58	0.58	0.56	35030

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: bf46dfe