Характеристики

Контекст: 2 048 токенов
Параметры: 12,9 млрд
Размер весов: 52,7 ГБ
Лицензия: CC BY-NC-SA 4.0
Архитектура: llama · dense
Библиотека: transformers
Опубликована: 27 ноя 2023

Ссылки

Hugging Face

Custom-KoLLM-13B-v4

PracticeLLM

Генерация текстаТекст → текст3 профессии

Корейская авторегрессионная языковая модель на 12,9 млрд параметров для генерации текста и ответов.

27скачиваний за 30 дней0лайковвеса обновлены21 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Custom-KoLLM-13B-v4 — авторегрессионная языковая модель, разработанная Kyujin Han (kyujinpy) на основе архитектуры LLaMA 2 и базовой модели beomi/llama-2-koen-13b. Модель содержит 12,9 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на генерацию текста; указанное нативное окно контекста составляет 2048 токенов.

Модель обучена на наборе kyujinpy/KOR-OpenOrca-Platypus-v3 и ориентирована прежде всего на работу с корейским языком. Подходит для генерации ответов и текста, а также для языковых задач, оцениваемых на корейских бенчмарках. В README приведены результаты на Ko-ARC, Ko-HellaSwag, Ko-MMLU, Ko-TruthfulQA и Ko-CommonGen V2; это опубликованные автором сравнения, а не гарантия качества для конкретных прикладных запросов.

Модель распространяется в форматах PyTorch и safetensors по лицензии CC-BY-NC-SA-4.0: использование требует указания авторства, а распространение производных работ регулируется условиями лицензии, включая некоммерческое ограничение и распространение на тех же условиях. Короткое контекстное окно ограничивает работу с длинными документами.

Сценарии применения

генерация текста на корейском языке
создание ответов на вопросы на корейском языке
выполнение заданий и инструкций на корейском языке
сравнительная оценка языковых моделей на корейских бенчмарках

Ограничения

Нативное окно контекста составляет 2048 токенов, поэтому модель ограничена при работе с длинными текстами. Опубликованные в карточке оценки относятся к указанным бенчмаркам и не гарантируют качество в иных сценариях.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

⭐My custom LLM 13B⭐

Model Details

Model Developers

Kyujin Han (kyujinpy)

Model Architecture

My custom LLM 13B is an auto-regressive language model based on the LLaMA2 transformer architecture.

Base Model

beomi/llama-2-koen-13b

Training Dataset

kyujinpy/KOR-OpenOrca-Platypus-v3.

Model comparisons

Ko-LLM leaderboard(11/27; link)

Model	Average	Ko-ARC	Ko-HellaSwag	Ko-MMLU	Ko-TruthfulQA	Ko-CommonGen V2
⭐My custom LLM 13B-v1⭐	50.19	45.99	56.93	41.78	41.66	64.58
⭐My custom LLM 13B-v2⭐	48.28	45.73	56.97	38.77	38.75	61.16
⭐My custom LLM 13B-v4⭐	49.89	45.05	57.06	41.83	42.93	62.57

Model comparisons2

AI-Harness evaluation; link

Model	Copa	Copa	HellaSwag	HellaSwag	BoolQ	BoolQ	Sentineg	Sentineg
	0-shot	5-shot	0-shot	5-shot	0-shot	5-shot	0-shot	5-shot
⭐My custom LLM 13B-v1⭐	0.7987	0.8269	0.4994	0.5660	0.3343	0.5060	0.6984	0.9723
⭐My custom LLM 13B-v2⭐	0.7938	0.8209	0.4978	0.4893	0.3343	0.5614	0.6283	0.9773
⭐My custom LLM 13B-v4⭐	0.7988	0.8279	0.4995	0.4953	0.3343	0.3558	0.7825	0.9698
beomi/llama-2-koen-13b	0.7768	0.8128	0.4999	0.5127	0.3988	0.7038	0.5870	0.9748

Implementation Code

### KO-Platypus
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "PracticeLLM/Custom-KoLLM-13B-v4"
OpenOrca = AutoModelForCausalLM.from_pretrained(
        repo,
        return_dict=True,
        torch_dtype=torch.float16,
        device_map='auto'
)
OpenOrca_tokenizer = AutoTokenizer.from_pretrained(repo)

Hyperparameters

learning_rate: 4e-4
batch_size: 16
epoch: 1
lora_target_modules: [gate_proj, down_proj, up_proj, q_proj, k_proj, v_proj, o_proj]
cutoff_len: 4096

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 3747c21