KOMT-DPOv3 — корейская Llama-модель, дообученная методом DPO для генерации текста и ответов на инструкции.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
KOMT-DPOv3 — дообученная модель генерации текста команды Youjin Chung и Jingyeom Kim на базе davidkim205/komt-solar-10.7b-sft-v5. Модель содержит 10,7 млрд параметров, использует архитектуру Llama и рассчитана на контекст до 4096 токенов.
Модель обучена методом Direct Preference Optimization (DPO) на корейских и англоязычных предпочтениях: набор включает собственные данные на основе AI Hub и переведённые англоязычные примеры OpenOrca DPO. Она предназначена для генерации ответов по инструкциям и диалогового использования, особенно на корейском языке. В README приведены результаты Ko-LLM-Leaderboard на 16 марта 2024 года.
Для весов указана лицензия CC BY 4.0. В карточке описан способ обучения, но подробные ограничения поведения и оценки на других языках не приведены.
Контекст ограничен 4096 токенами. README приводит бенчмарки на корейском языке, но не описывает качество в других языках и подробные ограничения поведения.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
| Average | Ko-ARC | Ko-HellaSwag | Ko-MMLU | Ko-TruthfulQA | Ko-CommonGen V2 |
|---|---|---|---|---|---|
| 61.20 | 57.51 | 70.33 | 53.34 | 68.49 | 56.32 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…