Характеристики

Контекст: 8 192 токена
Параметры: 2,7 млрд
Лицензия: Gemma
Архитектура: gemma2 · dense
Базовая модель: gemma-2-2b-it
Опубликована: 3 сен 2024

Ссылки

Hugging Face

Gemma-2-2B-Opus-Instruct

SaisExperiments

Генерация текстаТекст → текст8 профессий

Дообученная на инструктивном наборе компактная диалоговая модель Gemma 2 для генерации текста и ответов на вопросы.

37скачиваний за 30 дней2лайкавеса обновлены3 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,0506
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,265
Open LLM v2 · архив
Публичная таблицаревизия совпадает
BBH
BBH Raw · выше — лучше
Результат
0,4293
Open LLM v2 · архив
Публичная таблицаревизия совпадает
IFEval
IFEval Raw · выше — лучше
Результат
0,475
Open LLM v2 · архив
Публичная таблицаревизия совпадает
GPQA
GPQA Raw · выше — лучше
Результат
0,2836
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MUSR
MUSR Raw · выше — лучше
Результат
0,4057
Open LLM v2 · архив
Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SaisExperiments/Gemma-2-2B-Opus-Instruct — компактная языковая модель на архитектуре Gemma 2, созданная дообучением google/gemma-2-2b-it на наборе kalomaze/Opus_Instruct_25k. Модель содержит 2,7 млрд параметров, принимает текст и предназначена для диалоговой генерации текста; максимальная длина контекста составляет 8192 токена.

Модель подходит для создания ответов на вопросы, ведения диалогов и генерации инструктивных ответов. В README автор сообщает об обучении на 39,5 млн токенов, но отмечает неопределённость в качестве результата, поэтому надёжность и качество ответов требуют проверки на целевых задачах. Лицензия — Gemma; её условия использования определяются лицензией Google Gemma.

Сценарии применения

генерация ответов на инструкции
диалоговый помощник на основе текста
ответы на вопросы в текстовом чате

Ограничения

Автор README сомневается в корректности обучения, поэтому качество и надёжность модели не подтверждены. Языковая поддержка явно не перечислена.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

Must put image in repo :3

Basic info

This is kalomaze/Opus_Instruct_25k over unsloth/gemma-2-2b-it

It saw 39.5M tokens

I have no idea if it's done right but it took 9 hours B)

Training config:

cutoff_len: 1024
dataset: Opus_Instruct_25K
dataset_dir: data
ddp_timeout: 180000000
do_train: true
finetuning_type: lora
flash_attn: auto
fp16: true
gradient_accumulation_steps: 8
include_num_input_tokens_seen: true
learning_rate: 5.0e-05
logging_steps: 5
lora_alpha: 32
lora_dropout: 0
lora_rank: 32
lora_target: all
lr_scheduler_type: cosine
max_grad_norm: 1.0
max_samples: 15000
model_name_or_path: unsloth/gemma-2-2b-it
num_train_epochs: 3.0
optim: adamw_8bit
output_dir: saves/Gemma-2-2B-Chat/lora/Final_Opus
packing: false
per_device_train_batch_size: 2
plot_loss: true
preprocessing_num_workers: 16
quantization_bit: 4
quantization_method: bitsandbytes
report_to: none
save_steps: 100
stage: sft
template: gemma
use_unsloth: true
warmup_steps: 0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Gemma2ForCausalLM
Ревизия весов: 7caa9e8