Характеристики

Контекст: 8 192 токена
Параметры: 2,7 млрд
Лицензия: MIT
Архитектура: gemma2 · dense
Базовая модель: gemma-2-2b-it
Библиотека: transformers
Опубликована: 21 сен 2026

Ссылки

Hugging Face

smoothquant-gemma2-2b-g52xlarge

chris320211

Генерация текстаТекст → текст6 профессий

8-битная квантованная Gemma 2 2B Instruct для диалоговой генерации текста с ускоренным инференсом.

186скачиваний за 30 дней0лайковвеса обновлены21 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это 8-битная квантованная производная Gemma 2 2B Instruct от Google, опубликованная пользователем chris320211. Модель предназначена для генерации текста и диалогового взаимодействия. В репозитории находится упакованный артефакт для специализированного runtime, а не обычный чекпойнт fp16 для прямой загрузки через AutoModelForCausalLM.from_pretrained.

В тесте WikiText-2 с окнами по 2048 токенов на NVIDIA A10G модель показала perplexity 15,13 против 14,81 у исходного fp16-снимка и скорость 6322 токена/с против 5413. Автор сообщает об улучшении пропускной способности и использования VRAM; эти результаты относятся к описанной конфигурации тестирования. Для загрузки требуется адаптер inference из quant_agent и настройки из quantization_config.json. Лицензия — MIT.

Сценарии применения

создание диалогового помощника
генерация продолжений текста
ответы на вопросы в чате
локальный инференс на GPU с ограниченной памятью

Ограничения

Это не стандартный чекпойнт fp16 и он не загружается напрямую через AutoModelForCausalLM.from_pretrained: необходим специальный inference-адаптер quant_agent. Бенчмарк приведён для WikiText-2 на NVIDIA A10G и не гарантирует такие же показатели в других конфигурациях.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SmoothQuant google/gemma-2-2b-it

Quantized derivative of google/gemma-2-2b-it. Not Hub fp16. Weights are the packed/runtime artifact from job 20260921T132955Z-21a810.

WikiText-2 (test, 2048-token windows, 65504 tokens)

Measured on NVIDIA A10G (g5.2xlarge) against the original fp16 snapshot. Numbers copied from jobs/20260921T132955Z-21a810/benchmark.json.

	Quantized	fp16 snapshot
Perplexity	15.128110	14.809264
NLL loss	2.716555	2.695253
Tokens/s (2048 prefill, after warmup)	6322.2	5413.0
Peak VRAM (GB)	8.090	9.973

ppl_ratio: 1.021530 (quality_ok=True)
improved_throughput: True
improved_vram: True

Pull

from huggingface_hub import snapshot_download
path = snapshot_download("chris320211/smoothquant-gemma2-2b-g52xlarge")

This is not a drop-in AutoModelForCausalLM.from_pretrained checkpoint. Reload with the included quant_agent_inference_adapter.py after the method repo (and overlay, if any) is on QUANT_AGENT_METHOD_REPO. See quantization_config.json.

License

Base model license (MIT for Phi-3) plus the method repository license. Keep LICENSE / NOTICE.md from the snapshot when present.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Gemma2ForCausalLM
Ревизия весов: da55866