/ Модель
Каталог

Характеристики

Контекст
4 096 токенов
Параметры
12,9 млрд
Размер весов
26 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
llama · dense
Библиотека
peft
Опубликована
24 июл 2023

Ссылки

Hugging Face

llama-2-13b-code-alpaca

layoric
Генерация текстаТекст → текст

Дообученная 13-миллиардная Llama 2 для генерации кода и выполнения инструкций по программированию.

0скачиваний за 30 дней8лайковвеса обновлены25 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

layoric/llama-2-13b-code-alpaca — дообученная модель семейства Llama 2, опубликованная пользователем layoric. Она предназначена для генерации кода и ответов на инструкции по программированию. Модель содержит 12,9 млрд параметров, принимает текст и имеет контекстное окно 4096 токенов.

Модель обучалась три эпохи на наборе theblackcat102/evol-codealpaca-v1; автор сообщает о значении perplexity 4,36 в локальном тестировании. Она представлена в формате PyTorch и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит результатов независимой оценки качества.

Сценарии применения

  • генерация фрагментов кода по текстовому описанию
  • ответы на вопросы о программировании
  • выполнение инструкций по изменению кода

Ограничения

Автор приводит только локальную оценку perplexity 4,36, без подробностей протокола или сравнительных результатов. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

llama-2-13b-code-alpaca

Trained for 3 epochs on theblackcat102/evol-codealpaca-v1 dataset, scored decent on locally run perplexity at 4.36.

Axolotl config used

base_model: NousResearch/Llama-2-13b-hf
base_model_config: NousResearch/Llama-2-13b-hf
model_type: LlamaForCausalLM
tokenizer_type: LlamaTokenizer
push_dataset_to_hub:
hub_model_id: 

load_in_8bit: false
load_in_4bit: true
strict: false

datasets:
  - path: theblackcat102/evol-codealpaca-v1
    type: alpaca
dataset_prepared_path: last_run_prepared
val_set_size: 0.01
output_dir: ./checkpoints/llama-2-13b-qlora

adapter: qlora
lora_model_dir:

sequence_len: 4096
max_packed_sequence_len: 4096
lora_r: 32
lora_alpha: 16
lora_dropout: 0.05
lora_target_modules:
lora_target_linear: true
lora_fan_in_fan_out:

wandb_project:
wandb_watch:
wandb_run_id:
wandb_log_model:

gradient_accumulation_steps: 2
micro_batch_size: 2
num_epochs: 3
optimizer: paged_adamw_32bit
lr_scheduler: cosine
learning_rate: 0.0001

train_on_inputs: false
group_by_length: true
bf16: true
fp16: false
tf32: true

gradient_checkpointing: true
early_stopping_patience:
resume_from_checkpoint:
local_rank:
logging_steps: 1
xformers_attention: true
flash_attention:

warmup_steps: 10
eval_steps: 50
save_steps:
debug:
deepspeed:
weight_decay: 0.0
fsdp:
fsdp_config:
special_tokens:
  bos_token: "<s>"
  eos_token: "</s>"
  unk_token: "<unk>"

And then merged with Axolotl via:

accelerate launch scripts/finetune.py configs/your_config.yml --merge_lora --lora_model_dir="./completed-model" --load_in_8bit=False --load_in_4bit=False

Training procedure

The following bitsandbytes quantization config was used during training:

  • load_in_8bit: False
  • load_in_4bit: True
  • llm_int8_threshold: 6.0
  • llm_int8_skip_modules: None
  • llm_int8_enable_fp32_cpu_offload: False
  • llm_int8_has_fp16_weight: False
  • bnb_4bit_quant_type: nf4
  • bnb_4bit_use_double_quant: True
  • bnb_4bit_compute_dtype: bfloat16

The following bitsandbytes quantization config was used during training:

  • load_in_8bit: False
  • load_in_4bit: True
  • llm_int8_threshold: 6.0
  • llm_int8_skip_modules: None
  • llm_int8_enable_fp32_cpu_offload: False
  • llm_int8_has_fp16_weight: False
  • bnb_4bit_quant_type: nf4
  • bnb_4bit_use_double_quant: True
  • bnb_4bit_compute_dtype: bfloat16

The following bitsandbytes quantization config was used during training:

  • load_in_8bit: False
  • load_in_4bit: True
  • llm_int8_threshold: 6.0
  • llm_int8_skip_modules: None
  • llm_int8_enable_fp32_cpu_offload: False
  • llm_int8_has_fp16_weight: False
  • bnb_4bit_quant_type: nf4
  • bnb_4bit_use_double_quant: True
  • bnb_4bit_compute_dtype: bfloat16

The following bitsandbytes quantization config was used during training:

  • load_in_8bit: False
  • load_in_4bit: True
  • llm_int8_threshold: 6.0
  • llm_int8_skip_modules: None
  • llm_int8_enable_fp32_cpu_offload: False
  • llm_int8_has_fp16_weight: False
  • bnb_4bit_quant_type: nf4
  • bnb_4bit_use_double_quant: True
  • bnb_4bit_compute_dtype: bfloat16

Framework versions

  • PEFT 0.5.0.dev0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · peft

Нельзя запустить

Репозиторий содержит только адаптер (LoRA/PEFT) без базовой модели.

Класс архитектуры
LlamaForCausalLM
Ревизия весов
32ee7b6

0 моделей

    Создать бенчмарк