Характеристики

Контекст: 131 072 токена
Параметры: 69,5 млрд
Размер весов: 141 ГБ
Лицензия: Llama 3
Архитектура: llama · dense
Базовая модель: L3.3-GeneticLemonade-Final-70B
Библиотека: transformers
Опубликована: 2 июн 2025

Ссылки

Hugging Face

L3.3-GeneticLemonade-Final-v2-70B

zerofata

Генерация текстаТекст → текст3 профессии

Дообученная 70-миллиардная модель Llama для ролевых диалогов, персонажного письма и создания повествовательных текстов.

78скачиваний за 30 дней12лайковвеса обновлены5 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Genetic Lemonade Final v2 — диалоговая модель zerofata для ролевых сценариев и творческого письма. Это плотная причинная языковая модель семейства Llama с 69,5 млрд параметров; в репозитории используются веса Safetensors, а для работы указана библиотека Transformers. Модель дообучена методом SFT с QLoRA на базе zerofata/L3.3-GeneticLemonade-Final-70B. Контекстное окно составляет 131 072 токена.

Модель рассчитана на ролевые диалоги, в том числе с персонажами аниме, и на создание повествовательных ответов с активным развитием сцены и последовательным изображением персонажей. В карточке описана как uncensored-модель для RP и ERP; также обучалась на примерах творческого письма и инструкций, а ещё на кратких пересказах страниц аниме-фэндомов. Автор отмечает снижение позитивного уклона и более приятный стиль по сравнению с Unleashed v3.

По оценке автора, модель может чаще допускать логические ошибки и иногда отвечать слишком кратко. Лицензия — Llama 3. Использование и распространение следует сверять с её условиями.

Сценарии применения

ролевые диалоги с персонажами аниме
создание длинных повествовательных сцен
написание творческих текстов по инструкциям
ролевые сценарии для взрослых

Ограничения

Автор отмечает, что модель может допускать логические ошибки и иногда быть слишком краткой. Настройки генерации в README приведены как стабильный ориентир, а не как гарантированно оптимальные.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

# ====================
# MODEL CONFIGURATION
# ====================
base_model: zerofata/L3.3-GeneticLemonade-Unleashed-70B
model_type: AutoModelForCausalLM
tokenizer_type: AutoTokenizer
special_tokens:
  pad_token: "<|finetune_right_pad_id|>"
chat_template: llama3

# ====================
# DATASET CONFIGURATION
# ====================
datasets:
  - path: ./dataset.jsonl
    type: chat_template
    split: train
    chat_template_strategy: tokenizer
    field_messages: messages
    message_property_mappings:
      role: role
      content: content
    roles:
      user: ["user"]
      assistant: ["assistant"]
      system: ["system"]

test_datasets:
  - path: ./validate_dataset.jsonl
    type: chat_template
    split: train
    chat_template_strategy: tokenizer
    field_messages: messages
    message_property_mappings:
      role: role
      content: content
    roles:
      user: ["user"]
      assistant: ["assistant"]
      system: ["system"]

dataset_prepared_path:
train_on_inputs: false  # Only train on assistant responses

# ====================
# QLORA CONFIGURATION
# ====================
adapter: qlora
load_in_4bit: true
lora_r: 64
lora_alpha: 128
lora_dropout: 0.1
lora_target_linear: true
# lora_modules_to_save:  # Uncomment only if you added NEW tokens

# ====================
# TRAINING PARAMETERS
# ====================
num_epochs: 2
micro_batch_size: 4
gradient_accumulation_steps: 2
learning_rate: 1.5e-5
optimizer: paged_adamw_8bit
lr_scheduler: rex
warmup_ratio: 0.05
weight_decay: 0.01
max_grad_norm: 1.0

# ====================
# SEQUENCE & PACKING
# ====================
sequence_len: 8192
sample_packing: true
eval_sample_packing: false
pad_to_sequence_len: true

# ====================
# HARDWARE OPTIMIZATIONS
# ====================
bf16: auto
flash_attention: true
gradient_checkpointing: true

# ====================
# EVALUATION & CHECKPOINTING
# ====================
evaluation_strategy: steps
eval_steps: 5
save_strategy: steps
save_steps: 5
save_total_limit: 5  # Keep best + last few checkpoints
load_best_model_at_end: true
metric_for_best_model: eval_loss
greater_is_better: false
early_stopping_patience: 5

# ====================
# LOGGING & OUTPUT
# ====================
output_dir: ./output_model
logging_steps: 2
save_safetensors: true

# ====================
# WANDB TRACKING
# ====================
wandb_project: project_name
# wandb_entity: your_entity
# wandb_name: your_run_name

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 2475821