I.5Создание и редактирование текста

recoilme/Gemma-2-Ataraxy-Gemmasutra-9B-slerp — слитая диалоговая языковая модель на архитектуре Gemma 2 с 9 млрд параметров. В метаданных указана базовая модель lemon07r/Gemma-2-Ataraxy-9B; веса опубликованы в формате Safetensors, модель предназначена для генерации текста и общения.

Gemma 2B — компактная текстовая авторегрессионная языковая модель с архитектурой decoder-only из семейства Gemma, разработанного Google на основе исследований и технологий, использованных для Gemini. Эта версия содержит 2 млрд параметров; доступны открытые веса, а семейство включает предварительно обученные и дообученные для следования инструкциям варианты. Модель предназначена для генерации текста на английском языке: она может отвечать на вопросы, создавать диалоги и черновики, суммировать материалы и помогать в исследовании текстов. Небольшой размер позволяет запускать её на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. Как и другие языковые модели, Gemma может выдавать фактические ошибки, отражать предубеждения обучающих данных и испытывать трудности с неоднозначными формулировками и сложными задачами. Для модели указана лицензия Gemma; применение должно соответствовать политике запрещённого использования Gemma.

core-outline/gemma-2b-instruct — текстовая инструктивная модель семейства Gemma, разработанного Google на основе технологий и исследований, использованных для Gemini. Это плотная авторегрессионная модель-декодер класса GemmaForCausalLM с 2,5 млрд параметров, предназначенная для диалога и генерации текста; контекст составляет до 8192 токенов. Модель принимает текст и формирует текстовые ответы. В карточке семейство Gemma описано как англоязычное. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и простых задач рассуждения. Компактный размер позволяет запускать её на компьютере или собственной облачной инфраструктуре. Репозиторий содержит веса в форматах Safetensors и GGUF. Лицензия указана как other; конкретные условия следует сверить с лицензией репозитория. К ограничениям относятся возможные фактические ошибки и устаревшие сведения, смещения из обучающих данных и трудности с неоднозначным языком или сложными открытыми задачами. Модель может создавать вредоносный или вводящий в заблуждение текст, поэтому для прикладных систем важны проверка ответов и меры безопасности.

Gemma2-Eclipse-9B — объединённая разговорная языковая модель на 9 млрд параметров, созданная автором репозитория с помощью mergekit на основе нескольких моделей Gemma 2. Для генерации текста и диалоговых ответов используются архитектура Gemma2ForCausalLM и контекст до 8192 токенов. В карточке указаны форматы запросов ChatML и Gemma 2; автор отмечает, что Gemma 2 может работать лучше, поскольку при использовании ChatML модель иногда выводит служебный токен в конце ответа. Модель предназначена для локального или прикладного использования в сценариях генерации текста и общения. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

testmoto/gemma-2-llm2024-01 — объединённая текстовая модель от testmoto на базе Google Gemma 2 9B. Веса объединены методом DARE TIES с помощью mergekit из базовой Gemma 2 9B и трёх моделей: testmoto/gemma-2-9b-lora-0, testmoto/gemma-2-9b-platypus-02 и testmoto/gemma-2-9b-lora-aozora. Модель предназначена для генерации текста и может использоваться для диалогов, ответов на вопросы и суммаризации — типичных сценариев базовой модели Gemma 2. Она имеет плотную архитектуру Gemma2ForCausalLM, содержит 9 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и доступна в формате safetensors для библиотеки Transformers. Языковая специализация объединённой модели в карточке не уточнена. Лицензия и конкретные ограничения применения в карточке не описаны; характеристики качества именно этого объединения также не приведены.

duyntnet/gemma-3-12b-it-imatrix-GGUF — набор квантованных GGUF-вариантов инструкционно дообученной мультимодальной модели Gemma 3 12B IT, разработанной Google. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений с выдачей текстового ответа. Квантованные варианты ориентированы на локальный запуск с ограниченными ресурсами через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, LM Studio и другие. Модель принимает текст и изображения: изображения нормализуются до 896×896 пикселей и кодируются в 256 токенов каждое. Заявлены поддержка более 140 языков, контекст до 128K токенов для версии 12B и максимальный объём генерируемого текста до 8192 токенов. Использование imatrix-квантизации уменьшает требования к памяти по сравнению с полноразмерными весами, но конкретные характеристики качества и расхода ресурсов зависят от выбранного файла квантизации. Сильными сторонами являются мультимодальность, большой контекст, многоязычность и возможность локального развертывания. Ограничения включают зависимость от совместимого программного обеспечения: для запуска требуется llama.cpp версии b4875 или новее; квантование также может снижать точность по сравнению с исходной моделью. В README лицензия указана как other, без дополнительных условий, поэтому перед использованием необходимо проверить лицензионные положения исходной Gemma 3 12B IT и конкретного файла модели.

gaunernst/gemma-3-12b-it-int4-awq — инструкцияно дообученная мультимодальная модель семейства Gemma 3, разработанная Google DeepMind. Данный репозиторий содержит QAT INT4 Flax-чекпойнт, преобразованный в формат HF+AWQ для использования с Transformers; при этом квантование AWQ непосредственно не применялось. Базовая модель — google/gemma-3-12b-it. Модель принимает текст и изображения и генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений, включая описание визуального содержимого. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Контекстное окно составляет 128K токенов, максимальный объём генерируемого вывода — 8192 токена. Заявлена поддержка более 140 языков. Ключевые преимущества — мультимодальность, большое контекстное окно и сниженные требования к ресурсам благодаря представлению INT4, что может упростить развёртывание на локальной инфраструктуре или в облаке. Ограничения включают зависимость от совместимой версии Transformers и необходимость учитывать особенности формата конвертированного чекпойнта; README не содержит результатов бенчмарков или подробностей о качестве на отдельных языках и задачах. Использование регулируется лицензией Gemma и условиями Google; доступ к исходной модели на Hugging Face требует принятия соответствующей лицензии.

Gemma 3 12B IT QAT GGUF — мультимодальная instruction-tuned модель, разработанная Google и представленная сообществом LM Studio в формате GGUF. Это квантизированная версия базовой модели google/gemma-3-12b-it, подготовленная с применением Quantization Aware Training для повышения качества 4-битного вывода. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммаризацию, рассуждения и другие сценарии обработки текста и изображений. Она поддерживает контекст до 128 000 токенов и максимальную длину вывода 8 192 токена. Изображения обрабатываются после нормализации до разрешения 896 × 896. Сведения о поддерживаемых языках и точном числе параметров, помимо обозначения 12B, в README не указаны. Ключевое преимущество — сочетание мультимодальности, длинного контекста и оптимизированного 4-битного квантования, что может снизить требования к ресурсам по сравнению с полноточной моделью. Ограничения включают возможные неточности, вредные или неподходящие ответы, характерные для генеративных моделей. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

Gemma 3 12B PT — предобученная мультимодальная модель Google из семейства Gemma 3 с открытыми весами. Она принимает текст и изображения и генерирует текст; модель предназначена для понимания изображений и языковых задач, включая ответы на вопросы, суммаризацию и рассуждения. Размер модели — 12 млрд параметров, контекстное окно — до 128 тыс. токенов, поддерживаются более 140 языков. Версия PT является базовой предобученной моделью, а не вариантом, настроенным для следования инструкциям. Модель можно применять для описания и интерпретации изображений, извлечения из них сведений, диалоговых интерфейсов, создания и обобщения текстов. Относительно компактный размер позволяет развертывать её на локальных компьютерах и в собственной облачной инфраструктуре. К ограничениям относятся возможные фактические ошибки, предвзятость, трудности с языковыми нюансами и сложными открытыми задачами; для применения следует учитывать требования безопасности Google Gemma. Лицензия — Gemma.

Gemma 3 1B IT QAT Unquantized — производная инструктивная модель Google на базе google/gemma-3-1b-it. Несмотря на упоминание QAT в названии, в метаданных указан формат safetensors и связь finetune; дополнительных сведений о квантовании этой версии нет. Модель предназначена для диалогов и генерации текста: она может отвечать на вопросы, составлять краткие пересказы, помогать с черновиками писем и другим текстом. В README семейство Gemma 3 описано как мультимодальное: оно принимает текст и изображения и выдаёт текст; заявлена поддержка более 140 языков и контекст до 128K токенов. Размер именно этой версии в доступных данных не указан. Компактные модели Gemma 3 рассчитаны в том числе на запуск на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Возможные ограничения включают фактические ошибки, предвзятость обучающих данных и трудности с неоднозначными или сложными запросами. Модель распространяется по лицензии Gemma.

Gemma 3 1B IT QAT Q4_0 GGUF — лёгкая инструкционная мультимодальная модель Google DeepMind из семейства Gemma, созданная на основе технологий, использованных в Gemini. Модель принимает текст и изображения и генерирует текст; версия предназначена для запуска в формате GGUF, в том числе через llama.cpp и совместимые среды. Модель имеет размер 1B параметров, использует квантизацию Q4_0 и Quantization Aware Training, благодаря чему снижает требования к памяти при сохранении качества, близкого к версии bfloat16. Для варианта 1B заявлено контекстное окно до 32K токенов, максимальный объём генерируемого ответа — 8192 токена. Изображения обрабатываются с нормализацией до 896×896 пикселей и кодированием в 256 токенов; модель поддерживает более 140 языков. Gemma 3 1B IT подходит для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Небольшой размер облегчает локальное развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ограничения включают меньший контекст по сравнению с более крупными версиями Gemma 3 и зависимость мультимодальных возможностей от используемого программного обеспечения: например, указанное использование через Ollama поддерживает только текстовый ввод. Доступ к модели на Hugging Face требует принятия условий лицензии Google Gemma; точные условия определяются лицензией Gemma.

unsloth/gemma-3-1b-it-unsloth-bnb-4bit — инструкцияно дообученная и 4-битно квантованная версия Gemma 3 1B от Google DeepMind, подготовленная Unsloth. Модель имеет открытые веса и предназначена для генерации текста по инструкциям, включая ответы на вопросы, суммаризацию, рассуждения и анализ изображений. В метаданных указано, что основной язык — английский, при этом семейство Gemma 3 поддерживает более 140 языков. Модель принимает текст и изображения, а на выходе генерирует текст. Для версии 1B заявлено контекстное окно до 32 000 токенов и максимальный объём генерируемого вывода до 8192 токенов; изображения нормализуются до 896×896 пикселей и представляются как 256 токенов каждое. Ключевая особенность данного варианта — 4-битная квантование в формате BNB, уменьшающая требования к памяти и упрощающая локальное развёртывание, однако по сравнению с полноразмерными версиями это может ограничивать точность. Модель подходит для запуска на устройствах и инфраструктуре с ограниченными ресурсами, а также для дальнейшей тонкой настройки средствами Transformers и Unsloth. Использование регулируется лицензией Gemma и соответствующими условиями Google; перед применением необходимо ознакомиться с Terms of Use.

Gemma 3 270M — компактная языковая модель семейства Gemma от Google, созданного на основе исследований и технологий Gemini. Репозиторий содержит текстовую версию модели в формате safetensors, предназначенную для генерации текста; размер 270 млн параметров следует из идентификатора модели. Лицензия — Gemma. Модель подходит для генерации и преобразования текста, диалоговых интерфейсов, суммаризации и ответов на вопросы. Компактный размер облегчает запуск на устройствах и инфраструктуре с ограниченными ресурсами. В README для семейства Gemma 3 указаны окно контекста 128K и поддержка более 140 языков, но эти характеристики не подтверждены отдельно для текстовой версии на 270M. Качество ответов зависит от обучающих данных и формулировки запроса; модель может упускать языковые нюансы, допускать фактические ошибки и испытывать трудности со сложными открытыми задачами. README описывает мультимодальные возможности семейства, однако данный репозиторий помечен как text-generation, поэтому визуальный ввод не заявлен для этой модели.

Это компактная инструкционная текстовая модель семейства Gemma 3 с плотной архитектурой Gemma3ForCausalLM и 257 млн параметров. Репозиторий mlx-community содержит версию google/gemma-3-270m-it, подготовленную для работы с библиотекой MLX; README указывает на конвертацию исходной модели в формат MLX с помощью mlx-lm 0.26.3. Модель предназначена для диалогов и генерации текста: её можно использовать для ответов на вопросы, суммаризации и других текстовых запросов. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Лицензия — Gemma.

ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g — квантизированная версия мультимодальной модели Gemma 3 27B IT, разработанная на основе google/gemma-3-27b-it. Модель предназначена для диалогов, генерации и понимания текста, а также обработки изображений с текстовыми запросами, включая описание визуального содержимого. Она поддерживает работу через Transformers и vLLM. Весовые параметры модели сжаты до INT4 с применением алгоритма GPTQ, симметричной поканальной групповой схемы с размером группы 128 и формата compressed_tensors. Квантизации подверглись линейные операторы языковой части трансформерных блоков; vision-модель и мультимодальный проекционный слой сохранены в исходной точности. Такое сжатие примерно на 75% уменьшает размер модели на диске и требования к видеопамяти по сравнению с представлением FP16, при этом средний результат на указанных тестах OpenLLM снижается незначительно: 0,7810 против 0,7854 у исходной модели. Модель подходит для мультимодальных ассистентов и сценариев, где важны более низкие требования к памяти GPU. В README не указаны точные длина контекста и список поддерживаемых языков; приведённый пример использует максимальную длину контекста 4096 токенов. Ограничением является возможная небольшая потеря качества из-за INT4-квантизации и необходимость использовать совместимые версии Transformers или vLLM. Модель распространяется по лицензии Gemma.

lmstudio-community/gemma-3-27B-it-qat-GGUF — это GGUF-квантизированная версия Gemma 3 27B IT, разработанная Google и представленная в рамках программы LM Studio Community Models. Квантизация выполнена Google с применением Quantization Aware Training для повышения качества работы в 4-битном формате. Модель предназначена для генерации текста и понимания изображений. Она подходит для ответов на вопросы, суммирования, рассуждений и других задач, требующих анализа текста или совместной обработки текста и изображений. Поддерживается мультимодальный ввод изображений, нормализуемых до разрешения 896 × 896 пикселей. Заявленная длина контекста составляет до 128 000 токенов, максимальная длина генерируемого ответа — 8 192 токена. Ключевыми преимуществами являются сочетание крупного размера 27B, поддержки изображений, длинного контекста и оптимизации для 4-битного запуска. Ограничения включают возможные неточности, вредные или неподходящие ответы, а также требования к вычислительным ресурсам, характерные для модели такого размера; сведения о поддерживаемых языках в README не указаны. Для использования применяется лицензия Gemma; доступ к исходной модели на Hugging Face требует принятия условий лицензии Google.

m8than/gemma-3-27b-lenientchatfix — дообученная версия Gemma 3 от сообщества на базе Google Gemma 3 27B IT. Это плотная мультимодальная модель класса vision-language с 27 млрд параметров: принимает текст и изображения, генерирует текст и поддерживает диалоговый режим. Карточка описывает Gemma 3 как модель с контекстом до 128 тыс. токенов и поддержкой более 140 языков; метаданные этой версии указывают английский язык. Модель подходит для диалоговых помощников, ответов на вопросы по изображениям и текстам, извлечения сведений из изображений, суммаризации и генерации текста. В README также перечислены создание черновиков, кода и маркетинговых материалов, а также исследовательские и образовательные сценарии. Качество ответов зависит от обучающих данных и формулировки запроса; модель может ошибаться в фактах, упускать нюансы и отражать предвзятости данных. Использование регулируется лицензией Gemma; README не описывает отдельные изменения, внесённые при дообучении этой версии.

Gemma 3 4B IT GGUF — квантизированное или иным образом подготовленное для формата GGUF представление instruction-tuned модели Google Gemma 3 4B IT. Разработчик — Google DeepMind. Модель относится к семейству лёгких открытых моделей, созданных на основе исследований и технологий Gemini, и предназначена для генерации текста и анализа изображений. Модель поддерживает текстовые и графические входные данные и генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и извлечения визуальной информации. Для версии 4B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого результата — до 8192 токенов; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, а обучающие данные также включали код и математические материалы. Ключевое преимущество — сочетание мультимодальности, большого контекста и относительно небольшого размера, что упрощает развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. README не содержит точных сведений об архитектуре, параметрах квантования GGUF, фактической производительности или ограничениях качества. Использование регулируется лицензией Gemma и условиями Google; конкретные условия необходимо проверять в Terms of Use.

Gemma 3n E2B — мультимодальная генеративная модель Google из семейства Gemma, предназначенная для эффективного запуска на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио и генерирует текст; поддерживает сценарии диалога, создания и суммаризации текстов, извлечения сведений из изображений, транскрибации и перевода речи. Модель использует архитектуру MatFormer и выборочную активацию параметров: при общем количестве около 6 млрд параметров её эффективный размер и требования к памяти сопоставимы с традиционной моделью на 2 млрд параметров. Репозиторий содержит вариант E2B на базе Gemma 3n E4B. Модель обучалась на данных более чем на 140 разговорных языках. Её можно применять для чат-ботов, помощников, анализа мультимодальных данных и генерации черновиков. Возможны предвзятые, неточные или устаревшие ответы; модель может испытывать трудности с неоднозначностью и сложными открытыми задачами. Лицензия — Gemma License.

unsloth/gemma-4-12b-it-GGUF — GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 12B Unified, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для локального выполнения на потребительских устройствах, рабочих станциях и серверах, а также для генерации текста, программирования, рассуждений, агентских сценариев и задач с вызовом функций. Модель имеет около 12 млрд параметров и использует унифицированную архитектуру без отдельных энкодеров, напрямую обрабатывая текст, изображения, аудио и видео и генерируя текст. Она поддерживает более 140 языков, контекст до 256 тысяч токенов, настраиваемые режимы рассуждений и системные промпты. Архитектура сочетает локальное скользящее и глобальное внимание, что рассчитано на снижение требований к памяти при работе с длинным контекстом; поддерживается переменное соотношение сторон и разрешение изображений. К сильным сторонам относятся сочетание мультимодального понимания, длинного контекста, возможностей рассуждения, программирования и нативного function calling, а также возможность локального запуска в формате GGUF. README не содержит подробных результатов тестирования, требований к оборудованию или описания ограничений качества, поэтому практическая производительность зависит от используемой квантизации и среды выполнения. Модель распространяется по лицензии Apache 2.0.

trohrbaugh/gemma-4-12b-it-heretic — производная версия Gemma 4 12B от Google DeepMind, опубликованная trohrbaugh. Это плотная мультимодальная модель на архитектуре Gemma4Unified для диалогов, рассуждений, генерации и исправления кода, анализа изображений, видео и аудио. Вариант 12B принимает аудио, изображения и текст; также поддерживает видео через последовательности кадров. README семейства указывает контекст до 256K токенов для моделей 12B, но отдельные характеристики этого варианта подробно не описаны. Модель подходит для создания чат-ботов и помощников, суммаризации, разбора документов и PDF, OCR, анализа экранов и графиков, распознавания речи и перевода речи в текст. Семейство поддерживает более 35 языков «из коробки» и было предварительно обучено на более чем 140 языках; конкретный перечень языков для этой версии не приведён. Заявлены гибридное внимание с локальными и глобальными слоями, режим рассуждений и вызов инструментов. Модель помечена как uncensored/decensored/abliterated, поэтому предполагается ослабление части ограничений исходной модели; конкретное поведение этой версии в README не раскрыто. Как и другие генеративные модели, она может ошибаться в фактах, упускать языковые нюансы и воспроизводить смещения обучающих данных. Лицензия — Apache-2.0.

mlx-community/gemma-4-12B-it-qat-OptiQ-4bit — 12-миллиардная унифицированная модель Gemma-4, разработанная Google и представленная в MLX-совместимой квантизованной сборке сообществом mlx-community. Квантизация выполнена инструментарием mlx-optiq поверх QAT-базы google/gemma-4-12B-it-qat-q4_0-unquantized: чувствительные компоненты используют 8-битную точность, остальные — 4-битную. Модель предназначена для локального запуска на Apple Silicon без PyTorch и облачной инфраструктуры. Модель поддерживает генерацию текста, а также сценарии image-text-to-text с отдельной vision-башней в формате bf16. Заявлены задачи рассуждения, программирования, следования инструкциям, агентского взаимодействия и вызова инструментов. Всего квантизовано 328 компонентов, размер группы — 64, эффективная разрядность — 5,25 бит на вес, объём на диске составляет около 8,3 ГБ. Смешанная точность превосходит равномерную 4-битную квантизацию той же QAT-базы на 1,37 пункта Capability Score; особенно заметен прирост в длинном контексте HashHop. При этом в BFCL результат немного ниже, чем у равномерной 4-битной версии. Для работы требуется MLX и актуальная версия mlx-lm из основного репозитория, а для регистрации типа gemma4_unified — mlx-optiq. Поддерживаются языковые и мультимодальные сценарии через optiq; также возможен speculative decoding с указанной моделью-drafter. Лицензия — Apache-2.0.

wnfldchen/gemma-4-12B-it-qat-q4_0-unquantized-heretic — производная инструкционная мультимодальная модель на архитектуре Gemma 4 Unified, дообученная на google/gemma-4-12B-it-qat-q4_0-unquantized. В карточке описаны возможности семейства Gemma 4: гибридное внимание, анализ изображений и видео, работа с аудио для модели 12B, генерация текста и кода, рассуждения и вызов инструментов. Для этой версии заявлены форматы safetensors и лицензия Apache-2.0. Модель подходит для диалоговых помощников, разбора изображений и документов, распознавания речи и перевода аудио в текст, а также для создания и исправления кода. Семейство Gemma 4 поддерживает более 35 языков и было предварительно обучено на более чем 140 языках; для вариантов 12B заявлен контекст до 256K токенов. README описывает базовое семейство, поэтому эти сведения относятся к данной версии с учётом того, что она основана на модели 12B. Модель может ошибаться в фактах, упускать языковые нюансы и воспроизводить смещения из обучающих данных; сложные или недостаточно чётко сформулированные запросы могут ухудшать результат. Тегами версия обозначена как uncensored/abliterated, поэтому при развёртывании стоит учитывать её ориентацию на менее ограниченные ответы. Условия лицензии — Apache-2.0.

RedHatAI/gemma-4-26B-A4B-it-FP8-dynamic — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная RedHatAI на основе google/gemma-4-26B-A4B-it. Она принимает текст и изображения и генерирует текст; поддерживает режим рассуждений и вызов инструментов. Модель предназначена для диалоговых приложений, генерации текста, следования инструкциям, решения задач, мультимодального анализа и function calling. Архитектура модели — Gemma4ForConditionalGeneration. Вариант имеет конфигурацию 26B-A4B и оптимизирован для инференса в vLLM. Веса и активации линейных слоёв transformer-блоков квантизированы в FP8: веса используют статическое масштабирование per-channel, активации — динамическое масштабирование per-token. Vision tower, embedding-слои, output head и MoE router сохранены в исходной точности. Квантизация уменьшает объём хранения и требования к памяти GPU примерно на 50%; заявленная максимальная длина контекста при развёртывании составляет 32768 токенов. Поддерживаются изображения и аудио в конфигурации vLLM, однако сведения о языках обучения или поддержки в README не указаны. К сильным сторонам относятся мультимодальность, поддержка рассуждений и вызова инструментов, совместимость с vLLM и близкие к исходной модели результаты на указанных тестах после FP8-квантизации. Ограничениями являются зависимость от корректной настройки vLLM, специальных reasoning- и tool-call parser, а также возможные потери точности из-за квантизации. Модель распространяется по лицензии Apache 2.0; для использования Gemma также следует учитывать условия лицензии Google Gemma, указанной в README.

unsloth/gemma-4-26B-A4B-it-NVFP4 — инструкционная мультимодальная модель семейства Gemma 4, подготовленная Unsloth на базе google/gemma-4-26B-A4B-it и разработанная Google DeepMind. Это квантованный вариант в формате NVFP4, предназначенный для эффективного запуска, в частности через vLLM на совместимом оборудовании NVIDIA. Модель принимает текст и изображения и генерирует текст. Вариант 26B A4B относится к архитектурам Mixture-of-Experts (MoE): семейство Gemma 4 позиционирует такие модели для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев. Поддерживаются настраиваемые режимы рассуждения, нативный system prompt, вызов функций и длинный контекст; для средних моделей Gemma 4 заявлено до 256K токенов. Семейство также поддерживает более 140 языков. К сильным сторонам относятся сочетание мультимодального понимания, возможностей рассуждения и кодирования, поддержка длинного контекста и более эффективное выполнение благодаря MoE-архитектуре и NVFP4-квантизации. Ограничения включают зависимость производительности и совместимости от поддерживаемых NVFP4-ядер и аппаратного обеспечения; точные требования к памяти, показатели качества и языковые характеристики именно этого квантованного варианта в README не указаны. Модель распространяется по лицензии Apache 2.0.

Это GGUF-сборка модели Gemma 4 26B A4B IT, подготовленная FreedomAISVR из Google Gemma 4. Модель основана на инструкционно дообученной архитектуре MoE с 26 млрд параметров, из которых для каждого токена активны около 4 млрд; в описании указаны 128 экспертов и выбор 8 экспертов на токен. Модель предназначена для диалогов и генерации текста, а дополнительный файл mmproj содержит мультимодальный проектор для анализа изображений. Веса представлены в формате GGUF с квантизацией NVFP4, размер текстовой модели — около 13,45 ГБ; проектор изображения поставляется отдельно в F16 и занимает около 1,11 ГБ. Для оптимальной производительности NVFP4 требуется сборка llama.cpp с поддержкой CUDA и видеокарта NVIDIA Blackwell; запуск на CPU возможен, но медленнее. README также описывает гибридное внимание со скользящими локальными и глобальными слоями. Лицензия — Gemma; перед использованием следует соблюдать её условия.

MLX-квантизированная версия Gemma 4 26B A4B instruction-tuned, разработанная сообществом mlx-community на базе модели Google gemma-4-26B-A4B-it. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска и оптимизации больших языковых моделей на Apple Silicon без PyTorch и облачных сервисов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, выполнения инструкций, tool calling и агентских сценариев. Модель использует смешанную точность: преимущественно 4-bit, при этом чувствительные слои переведены в 8-bit. Из 325 квантизированных слоёв 246 работают в 8-bit и 79 — в 4-bit; размер группы составляет 64. Калибровка проводилась на данных из шести доменов: обычный текст, рассуждения, код, агентские задачи, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 16,4 ГБ. Поддерживается speculative decoding с отдельной моделью-драфтером Gemma 4. Сведения о длине контекста, языках и мультимодальных возможностях в README не указаны. По приведённым результатам модель превосходит стандартную равномерную 4-bit-квантизацию по MMLU, GSM8K, HumanEval и длинноконтекстному извлечению HashHop; совокупный Capability Score составляет 75,76 против 72,95. При этом на IFEval и BFCL-V3 она немного уступает равномерной 4-bit-версии, а размер на диске примерно на 1,9 ГБ больше. Для использования требуется MLX-совместимое окружение, например Apple Silicon с пакетами mlx-lm или mlx-optiq. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

cyankiwi/gemma-4-26B-A4B-it-qat-AWQ-INT4 — инструкцияно дообученная мультимодальная модель семейства Gemma 4, разработанного Google DeepMind, в формате AWQ INT4 с использованием Quantization-Aware Training. Модель основана на google/gemma-4-26B-A4B-it-qat-q4_0-unquantized и предназначена для локального и серверного развёртывания с уменьшенными требованиями к памяти; размер файлов модели составляет около 17,19 ГБ. Модель принимает текст и изображения с переменным соотношением сторон и разрешением и генерирует текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии, включая нативный вызов функций и поддержку системных инструкций. Для варианта 26B заявлено контекстное окно до 256K токенов. Семейство поддерживает более 140 языков; в карточке явно указаны английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Ключевые преимущества — мультимодальность, режимы настраиваемого рассуждения, улучшенные возможности программирования и агентов, а также снижение потребления памяти благодаря QAT и INT4-квантизации при стремлении сохранить качество, близкое к bfloat16. Ограничения включают возможные потери качества из-за квантизации, требования к совместимому ПО и оборудованию, а также отсутствие в README конкретных результатов бенчмарков и детальных требований к ресурсам. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-31B — дообученная Unsloth версия мультимодальной плотной модели Gemma 4 31B от Google DeepMind. Она принимает текст и изображения и формирует текстовые ответы; заявленные сценарии включают диалог, рассуждения, программирование и визуальный анализ. Модель использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для семейства Gemma 4 31B заявлено контекстное окно до 256 тыс. токенов и поддержка более 35 языков; эти характеристики указаны для семейства, а не подтверждены отдельно для данной версии. Подходит для анализа изображений, извлечения текста из документов и графиков, ответов на вопросы по визуальному содержимому, генерации и исправления кода, суммаризации и диалоговых помощников. Карточка также описывает вызов функций и обработку видео для Gemma 4, но метаданные этой модели подтверждают только обработку изображений и текста. Аудио поддерживают только варианты E2B и E4B, поэтому эти возможности не относятся к версии 31B. Модель распространяется по лицензии Apache-2.0. Ответы могут содержать фактические ошибки, а результаты зависят от качества обучающих данных и формулировки запроса.

Gemma-4-31B-CoreAI — конвертация модели Google Gemma 4 31B, выполненная сообществом пользователем mlboydaisuke для запуска в формате .aimodel на Apple Core AI. Модель предназначена для локальной генерации текста, диалогов, суммаризации и других задач, поддерживаемых текстовыми языковыми моделями, полностью на устройстве без обязательной передачи данных в облако. Она ориентирована на компьютеры Mac с Apple Silicon и интеграцию через CoreAIKit или совместимые инструменты Core AI. Это плотный текстовый декодер Gemma 4 с 60 слоями, скрытым размером 5376, 32 головами внимания и словарём из 262 144 токенов. Архитектура использует чередование скользящего и глобального внимания в соотношении 5:1; размер головы составляет 256 для скользящего внимания и 512 для глобального. Модель подвергнута int4-квантизации на основе QAT-релиза Google, занимает около 19 ГБ и имеет заявленную скорость декодирования 17,2 токена в секунду на M4 Max. Поддерживаются только текстовые входы и выходы; сведения о языках и максимальном размере контекста в README не указаны. К сильным сторонам относятся запуск крупной 31-миллиардной модели на стандартном конвейерном движке Core AI, выполнение вычислений локально на GPU или Neural Engine и отсутствие необходимости в специальной модификации движка благодаря пользовательскому Metal-ядру для декодирования внимания. Ограничения включают высокие требования к памяти, размер загрузки около 20,1 ГБ, совместимость прежде всего с Mac-классом устройств и отсутствие заявленной поддержки iPhone. Модель распространяется по лицензии Apache 2.0.