/ Модель

Характеристики

Контекст
131 072 токена
Параметры
28,3 млрд
Размер весов
31,2 ГБ
Лицензия
Своя лицензия
Архитектура
gemma3_text · dense
Базовая модель
medgemma-27b-text-it
Библиотека
transformers
Опубликована
16 дек 2025

medgemma-27b-text-it-FP8-Dynamic

Генерация текстаТекст → текст3 профессии

MedGemma-27B-Text-IT-FP8-Dynamic — производная версия модели Google MedGemma-27B-Text-IT, подготовленная пользователем или организацией ig1.

712скачиваний за 30 дней0лайковвеса обновлены16 дек 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это текстовая instruction-tuned модель для медицинской и биомедицинской обработки естественного языка, предназначенная для запуска с высокой пропускной способностью.

Модель основана на decoder-only Transformer с примерно 27 миллиардами параметров и работает только с текстом. Она рассчитана на выполнение медицинских и биомедицинских инструкций, суммирование клинических текстов, использование в системах медицинского RAG, а также исследовательскую и вспомогательную работу по поддержке принятия решений. Языки и размер контекстного окна в представленном описании не указаны.

Веса сжаты методом FP8 Dynamic с использованием llmcompressor: квантизированы линейные слои, а lm_head исключён для сохранения стабильности выходов. Такой подход снижает потребление VRAM и может повысить скорость инференса; модель совместима с vLLM и ориентирована на современные GPU NVIDIA. Веса уже квантизированы, поэтому повторно применять runtime-квантизацию не следует.

Модель предназначена для исследовательских и прикладных сценариев, однако README не содержит сведений о результатах бенчмарков, точности, ограничениях безопасности или поддерживаемых языках. Лицензия указана как other, без дополнительных условий или пояснений, поэтому перед использованием необходимо проверить лицензионные требования исходной модели и этого производного варианта.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MedGemma-27B-Text-IT-FP8-Dynamic

Overview

MedGemma-27B-Text-IT-FP8-Dynamic is an FP8 Dynamic–quantized derivative of Google’s MedGemma-27B-Text-IT model, optimized for high-throughput inference while preserving strong performance on medical and biomedical instruction-tuned text-only tasks.

This version is intended for vLLM deployment on modern NVIDIA GPUs and follows a conservative FP8 Dynamic quantization strategy designed for maximum stability.


Base Model

  • Base model: google/medgemma-27b-text-it
  • Architecture: Decoder-only Transformer (instruction-tuned)
  • Domain: Medical / Biomedical NLP
  • Modality: Text-only

Quantization Details

  • Method: FP8 Dynamic
  • Tooling: llmcompressor
  • Quantized layers: Linear layers
  • Excluded components:
    • lm_head

Rationale

  • FP8 Dynamic reduces VRAM usage and improves inference throughput.
  • Excluding lm_head preserves output stability.
  • The resulting model is fully compatible with vLLM.

Weights are already quantized — do not apply runtime quantization.


Intended Use

  • Medical and biomedical instruction-following
  • Clinical text summarization
  • Medical RAG pipelines
  • Decision-support and research assistance

Deployment (vLLM)

Recommended

vllm serve ig1/medgemma-27b-text-it-FP8-Dynamic \
  --served-model-name medgemma-27b-text-it-fp8 \
  --dtype auto

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
Gemma3ForCausalLM
Ревизия весов
fa86797

0 моделей