gemma-4-31B-it-INT8
INT8 quantization of google/gemma-4-31B-it, produced with llm-compressor.
Vision encoder, lm_head, embeddings, and norm layers are kept in original precision.
lokeshe09/gemma-4-31B-it-INT8 — это INT8-квантизированная версия мультимодальной модели google/gemma-4-31B-it, разработанной Google.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для задач «изображение—текст» и обработки текстовых запросов с визуальной информацией, включая сценарии, требующие понимания изображений и генерации ответов на естественном языке.
Модель относится к семейству Gemma 4 и содержит 31 млрд параметров в исходной версии. Квантизация выполнена с использованием llm-compressor. Vision encoder, lm_head, embeddings и norm layers сохранены в исходной точности, а остальные компоненты переведены в формат INT8. Это позволяет снизить требования к памяти по сравнению с полноточной версией, сохраняя исходную точность для критически важных компонентов, однако конкретные показатели качества и производительности в README не приведены.
Модель распространяется по лицензии Gemma. Сведения о поддерживаемых языках, размере контекстного окна, аппаратных требованиях, бенчмарках и ограничениях применения в предоставленных данных отсутствуют.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
INT8 quantization of google/gemma-4-31B-it, produced with llm-compressor.
Vision encoder, lm_head, embeddings, and norm layers are kept in original precision.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Готовая квантизация поддерживается только для текстовых LLM (vLLM).