Характеристики

Контекст: 131 072 токена
Параметры: 7,5 млрд
Размер весов: 16,1 ГБ
Лицензия: Apache 2.0
Архитектура: llama · dense
Базовая модель: Meta-Llama-3.1-8B-bnb-4bit
Опубликована: 22 авг 2024

Ссылки

Flash_Fiction-FineLlama-3.1-8B

Генерация текстаТекст → текст3 профессии

Дообученная на наборе короткой художественной прозы модель Llama 3.1 для генерации творческих текстов на английском языке.

12скачиваний за 30 дней0лайковвеса обновлены22 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

emessy разработал и дообучил на наборе emessy/flash_fiction_1 модель семейства Llama 3.1 для генерации текста. Она подходит для создания короткой художественной прозы и интерактивного продолжения творческих текстовых запросов. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 131072 токенов; в карточке также указаны поддержка чата и английский язык. Дообучение выполнено с помощью Unsloth и TRL; конфигурация LoRA в README описывает параметры обучения.

Сценарии применения

написание коротких художественных рассказов
продолжение незаконченного рассказа
генерация художественных сцен по заданной идее

Ограничения

Качество и стиль генерации зависят от формулировки запроса и обучающих примеров; карточка не содержит результатов оценки модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Uploaded model

Developed by: emessy
License: apache-2.0
Finetuned from model : unsloth/Meta-Llama-3.1-8B-bnb-4bit

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

Configure LoRA

lora_config = LoraConfig( r=16, lora_alpha=16, target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" )

Training arguments

training_args = TrainingArguments( output_dir="./results", num_train_epochs=5, per_device_train_batch_size=4, gradient_accumulation_steps=4, learning_rate=2e-4, fp16=True, # Use half-precision logging_steps=10, save_steps=50, eval_steps=50, )

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: c0d4fa2