/ Модель

Характеристики

Контекст
8 192 токена
Параметры
9 млрд
Размер весов
18,5 ГБ
Лицензия
Gemma
Архитектура
gemma2 · dense
Библиотека
transformers
Опубликована
27 июн 2024

gemma-2-9b

Генерация текстаТекст → текст8 профессий

Квантизованная 9-миллиардная Gemma 2 для генерации текста, разговорного взаимодействия и продолжения текста.

3 030скачиваний за 30 дней13лайковвеса обновлены22 июл 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

unsloth/gemma-2-9b — 9-миллиардная плотная языковая модель семейства Gemma 2 от Google, опубликованная Unsloth в формате safetensors с 4-битной квантизацией bitsandbytes. Модель предназначена для генерации текста; карточка демонстрирует сценарии разговорного общения с шаблонами ShareGPT ChatML и Vicuna, а также продолжения необработанного текста.

Контекст модели составляет 8192 токена. В README Unsloth также предлагает использовать Gemma 2 (9B) для дообучения и приводит ноутбуки для Colab, включая сценарии DPO; это описывает рабочий процесс дообучения, а не подтверждает, что данный репозиторий уже дообучен. Метаданные указывают английский язык.

Лицензия — Gemma. Карточка описывает 4-битную квантизованную сборку и приводит заявленные Unsloth ускорение и экономию памяти при дообучении, но не содержит независимой оценки качества модели.

Сценарии применения

  • генерация ответов в диалоговом интерфейсе
  • продолжение заданного фрагмента текста
  • создание прототипа чат-бота на основе Gemma 2
  • дообучение Gemma 2 на пользовательском наборе данных

Ограничения

В карточке не приведены результаты независимой оценки качества или подробные ограничения применения; контекст модели составляет 8192 токена. Лицензия Gemma может устанавливать условия использования.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Reminder to use the dev version Transformers:

pip install git+https://github.com/huggingface/transformers.git

Finetune Gemma, Llama 3, Mistral 2-5x faster with 70% less memory via Unsloth!

Directly quantized 4bit model with bitsandbytes.

We have a Google Colab Tesla T4 notebook for Gemma 2 (9B) here: https://colab.research.google.com/drive/1vIrqH5uYDQwsJ4-OO3DErvuv4pBgVwk4?usp=sharing

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supportsFree NotebooksPerformanceMemory use
Llama 3 (8B)▶️ Start on Colab2.4x faster58% less
Gemma 2 (9B)▶️ Start on Colab2x faster63% less
Mistral (9B)▶️ Start on Colab2.2x faster62% less
Phi 3 (mini)▶️ Start on Colab2x faster63% less
TinyLlama▶️ Start on Colab3.9x faster74% less
CodeLlama (34B) A100▶️ Start on Colab1.9x faster27% less
Mistral (7B) 1xT4▶️ Start on Kaggle5x faster*62% less
DPO - Zephyr▶️ Start on Colab1.9x faster19% less

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Gemma2ForCausalLM
Ревизия весов
9145841

0 моделей