Характеристики

Контекст: 4 096 токенов
Параметры: 68,7 млрд
Размер весов: 138 ГБ
Лицензия: MIT
Архитектура: llama · dense
Опубликована: 29 фев 2024

Ссылки

Hugging Face

LLama-2-70b-chat-hf-Orca100k

manojpreveen

Генерация текстаТекст → текст7 профессий

Дообученная на 100 тысячах примеров Orca чат-модель Llama 2 для генерации текстовых ответов.

13скачиваний за 30 дней0лайковвеса обновлены29 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это чат-модель для генерации текста на основе Llama 2, дообученная автором manojpreveen на выборке из 100 тысяч примеров Orca, отобранных из набора на миллион примеров GPT-4 Orca (Dolphin). Модель содержит 68,7 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текстовые запросы, генерируя текстовые ответы. Нативная длина контекста — 4096 токенов.

Модель предназначена для диалогов и генерации ответов в стиле обучающих данных Orca. В карточке указана лицензия MIT; базовая модель — meta-llama/Llama-2-70b-chat-hf. README не приводит оценок качества или подробных результатов обучения, поэтому пригодность для конкретных задач стоит проверять отдельно.

Сценарии применения

ответы на вопросы в диалоге
генерация текста по запросу
создание чат-бота на базе Llama 2

Ограничения

В README не приведены оценки качества и подробные результаты обучения; контекст ограничен 4096 токенами.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Base model : meta-llama/Llama-2-70b-chat-hf

Data : 100k from 1M Gpt-4 Orca data (Dolphin)

Training Params :

batch_size_training: '16'
checkpoint_type: StateDictType.FULL_STATE_DICT
dataset: orca_dolphin_100k_gpt4
dist_checkpoint_folder: fine-tuned
dist_checkpoint_root_folder: model_checkpoints
enable_fsdp: 'True'
freeze_layers: 'False'
fsdp_activation_checkpointing: 'True'
gamma: '0.85'
low_cpu_fsdp: 'True'
lr: 1e-05
micro_batch_size: '16'
mixed_precision: 'True'
model_name: meta-llama/Llama-2-70b-chat-hf
num_epochs: '1'
num_freeze_layers: '1'
num_workers_dataloader: '1'
one_gpu: 'False'
optimizer: anyprecision
output_dir: ~/llama-recipes-70b/output
peft_method: lora
pure_bf16: 'True'
quantization: 'False'
run_validation: 'True'
save_model: 'True'
save_optimizer: 'True'
seed: '42'
sharding_strategy: ShardingStrategy.FULL_SHARD
use_fast_kernels: (False,)
use_fp16: 'False'
use_peft: 'False'
val_batch_size: '16'
weight_decay: '0.0'

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: baa0415