/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
6,7 млрд
Размер весов
27,4 ГБ
Лицензия
Llama 2
Архитектура
llama · dense
Опубликована
16 ноя 2023

llama-2-ko-story-7b

Генерация текстаТекст → текст3 профессии

Дообученная на корейских романах модель Llama 2 для генерации и продолжения художественной прозы на корейском языке.

75скачиваний за 30 дней6лайковвеса обновлены17 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

llama-2-ko-story-7b — настраиваемая модель генерации текста на архитектуре Llama 2, созданная на основе beomi/llama-2-ko-7b. Разработчик дополнительно обучил её методом QLoRA на корпусе корейских романов объёмом около 167 МБ, включая корейскую классику из 공유마당. Веса представлены в формате safetensors; размер модели — 6,7 млрд параметров, контекст — 2048 токенов.

Модель предназначена прежде всего для генерации корейской художественной прозы и продолжения литературных текстов. Для дообучения использовались LoRA-параметры r=32 и alpha=16, dropout 0,05, целевые слои q_proj и v_proj; обучение продолжалось три эпохи. Лицензия указана как llama2, поэтому использование регулируется условиями лицензии Llama 2. Карточка не приводит оценок качества или результатов тестирования; обучение на небольшом специализированном корпусе ограничивает надёжность вне художественного текста на корейском языке.

Сценарии применения

  • генерация фрагментов корейских романов
  • продолжение корейского художественного текста
  • создание черновиков литературных сцен на корейском языке

Ограничения

Обучение проводилось на корпусе корейской прозы объёмом около 167 МБ, поэтому модель специализирована и может хуже справляться с другими жанрами и языками. В карточке не приведены результаты оценки качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

llama-2-ko-story-7b

llama-2-ko-story-7b는 beomi/llama-2-ko-7b를 기반으로 한글 소설 raw 데이터를 학습시킨 기반 모델입니다.

학습 데이터

llama-2-ko-story-7b는 약 167MB의 한글 소설 말뭉치로 학습되었습니다. 주요 데이터셋은 다음과 같습니다.

SourceSize (MB)Link
한글 소설 말뭉치115.0
공유마당 한국 고전 문학 말뭉치53.0https://gongu.copyright.or.kr/

학습

llama-2-ko-story-7b는 beomi/llama-2-ko-7b에서 qlora로 추가 학습되었습니다.

  • lora_alpha: 16
  • lora_dropout: 0.05
  • lora_r: 32
  • target_modules: q_proj, v_proj
  • epoch: 3
  • learning_rate: 3e-4

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
2015812

0 моделей