Характеристики

Контекст: 2 048 токенов
Параметры: 3,3 млрд
Лицензия: Apache 2.0
Архитектура: llama · dense
Опубликована: 25 авг 2023

Ссылки

Hugging Face

WizardVicuna-open-llama-3b-v2

heegyu

Генерация текстаТекст → текст4 профессии

Диалоговая модель семейства Llama с 3,3 млрд параметров для генерации ответов и продолжения текста.

171скачиваний за 30 дней1лайквеса обновлены18 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

WizardVicuna-open-llama-3b-v2 — языковая модель heegyu, дообученная на базе openlm-research/open_llama_3b_v2 для генерации ответов в диалоговом формате. Это плотная причинная модель семейства Llama с 3,3 млрд параметров и контекстом до 2048 токенов; веса доступны в форматах PyTorch и safetensors. В README приведены параметры обучения: контрольная точка на третьей эпохе восьмиэпохового обучения, BF16 и косинусное снижение скорости обучения. Модель можно использовать через Transformers для продолжения диалога и генерации текста.

Карточка демонстрирует простой обмен репликами на английском; отдельные сведения о поддержке других языков и специализированных областях не приведены. Лицензия — Apache-2.0. README описывает промежуточную контрольную точку, поэтому качество и стабильность могут уступать результату полного обучения.

Сценарии применения

генерация ответов в текстовом диалоге
создание продолжения текста по заданному префиксу
прототипирование диалогового ассистента
эксперименты с дообучением языковых моделей

Ограничения

README описывает контрольную точку на третьей эпохе из восьми, поэтому обучение не завершено. Контекст ограничен 2048 токенами; карточка не подтверждает поддержку языков, кроме продемонстрированного английского.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Hyperparameters

3/8 epoch(3rd epoch checkpoing while 8epoch training)
1e-4 -> 1e-5 with cosine lr decay
batch size 128
max sequence length 2048
AdamW(weigth decay=0.01, b1=0.9, b2=0.99, grad_clip=1.0)
no warmup
BF16
Base Model: openlm-research/open_llama_3b_v2

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("heegyu/WizardVicuna-open-llama-3b-v2")
model = AutoModelForCausalLM.from_pretrained("heegyu/WizardVicuna-open-llama-3b-v2")

inputs = tokenizer(["Human: Hi, nice to meet you!\n\nAssistant: "], return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=16)
print(tokenizer.batch_decode(outputs, skip_special_tokens=False))

output: ['Human: Hi, nice to meet you!\n\nAssistant: Hello. Great to meet you too. Well, how can I assist you today?<|endoftext|>']

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 0946550