/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
12,9 млрд
Размер весов
52,7 ГБ
Лицензия
Llama 2
Архитектура
llama · dense
Опубликована
16 ноя 2023

llama-2-koen-story-13b

Генерация текстаТекст → текст3 профессии

Модель Llama 2 на 12,9 млрд параметров, дообученная на корейской художественной литературе для генерации рассказов и продолжения текста.

79скачиваний за 30 дней4лайкавеса обновлены17 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

llama-2-koen-story-13b — настраиваемая модель генерации текста семейства Llama 2, дообученная на корейских художественных текстах. Разработчик указал, что модель основана на beomi/llama-2-koen-13b и обучалась с помощью QLoRA на корпусе корейских романов объёмом около 167 МБ, включая классическую литературу. Параметры адаптера: LoRA rank 32, alpha 16, dropout 0,05; обучение проводилось три эпохи с learning rate 3e-4 и настройкой модулей q_proj и v_proj.

Модель предназначена для генерации корейского художественного текста и продолжения повествования в стиле обучающих данных. Это плотная авторегрессионная модель на 12,9 млрд параметров с контекстом до 2048 токенов; репозиторий содержит веса Safetensors. Указана лицензия Llama 2. Из-за специализации на небольшом корпусе художественных текстов и ограниченного контекста модель может хуже справляться с общими вопросами и задачами вне корейской литературы.

Сценарии применения

  • генерация корейских художественных рассказов
  • продолжение корейского романа по заданному фрагменту
  • создание сцен в духе корейской классической литературы

Ограничения

Специализация на корейской художественной прозе и обучающий корпус объёмом около 167 МБ могут ограничивать качество в общих задачах и вне литературного контекста. Контекст ограничен 2048 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

llama-2-ko-story-7b

llama-2-koen-story-13b는 beomi/llama-2-koen-13b를 기반으로 한글 소설 raw 데이터를 학습시킨 기반 모델입니다.

학습 데이터

llama-2-koen-story-13b는 약 167MB의 한글 소설 말뭉치로 학습되었습니다. 주요 데이터셋은 다음과 같습니다.

SourceSize (MB)Link
한글 소설 말뭉치115.0
공유마당 한국 고전 문학 말뭉치53.0https://gongu.copyright.or.kr/

학습

llama-2-koen-story-13b는 beomi/llama-2-koen-13b에서 qlora로 추가 학습되었습니다.

  • lora_alpha: 16
  • lora_dropout: 0.05
  • lora_r: 32
  • target_modules: q_proj, v_proj
  • epoch: 3
  • learning_rate: 3e-4

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
c6a992a

0 моделей