/ Модель

Характеристики

Размер весов
10,2 ГБ
Лицензия
Apache 2.0
Архитектура
gemma4 · dense
Базовая модель
gemma-4-E4B-it
Библиотека
transformers
Опубликована
8 апр 2026

Gemma-4-E4B-it-NVFP4

Генерация текстаТекст → текст15 профессий

Neural-ICE/Gemma-4-E4B-it-NVFP4 — это версия модели Google Gemma 4 E4B instruction-tuned, подготовленная Neural-ICE для запуска через vLLM.

2 243скачиваний за 30 дней0лайковвеса обновлены8 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена прежде всего для генерации текста и диалоговых сценариев, включая ответы на вопросы, объяснение сложных тем и другие задачи, выполняемые через совместимый API chat completions.

Основная текстовая часть модели квантизирована в формате NVFP4, а lm_head, vision tower и связанные с ним embeddings, а также audio tower и audio embeddings сохранены в более высокой точности. KV cache использует формат FP8. Таким образом, модель поддерживает текстовые, визуальные и аудиокомпоненты базовой Gemma 4, однако точные сведения о количестве параметров, языках и размере контекста в карточке не указаны. Квантизация ориентирована на снижение требований к памяти и эффективный инференс на совместимом GPU через vLLM.

Сильной стороной модели является сочетание низкоточной квантизации текстового backbone с более высокой точностью отдельных компонентов, что может обеспечивать более экономичный запуск при сохранении качества критически важных частей модели. Ограничения связаны с зависимостью от vLLM и поддержки ModelOpt/NVFP4, а также с возможными особенностями качества и совместимости квантизированной версии по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma-4-E4B-it-NVFP4

NVFP4 quantized version of google/gemma-4-E4B-it for vLLM.

Quantization Profile

  • Text backbone: NVFP4
  • lm_head: higher precision
  • Vision tower and vision embeddings: higher precision
  • Audio tower and audio embeddings: higher precision
  • KV cache: FP8

Usage

vllm serve Neural-ICE/Gemma-4-E4B-it-NVFP4 \
  --quantization modelopt \
  --gpu-memory-utilization 0.90

Official Gemma 4 vLLM recipe:

https://docs.vllm.ai/projects/recipes/en/latest/Google/Gemma4.html

Text Generation

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Neural-ICE/Gemma-4-E4B-it-NVFP4",
    "messages": [
      {"role": "user", "content": "Explain quantum entanglement in simple terms."}
    ],
    "max_tokens": 512
  }'

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Gemma4ForConditionalGeneration
Ревизия весов
cccd4fa

0 моделей