I.5Создание и редактирование текста

MaziyarPanahi/gemma-2b-it-GGUF — это набор файлов модели в формате GGUF, созданный на основе google/gemma-2b-it. Исходную модель разработала Google, а конвертацию и квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и ведения диалогов. Ключевая характеристика репозитория — поддержка нескольких уровней квантования: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на локальный запуск с помощью llama.cpp и совместимых инструментов, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и других клиентов. Данные о количестве параметров, поддерживаемых языках, контекстном окне и мультимодальности в README не указаны; по представленным сведениям модель является текстовой. К сильным сторонам относятся компактные квантованные варианты и возможность локального запуска на широком спектре систем с использованием CPU или GPU, в зависимости от выбранного программного обеспечения. Более агрессивное квантование уменьшает требования к ресурсам, но может снижать точность и качество ответов. Репозиторий содержит лицензионную метку «other», однако конкретные условия лицензии в README не раскрыты.

TechxGenus/gemma-2b-it-GPTQ — GPTQ-квантизированная версия инструкционно дообученной модели gemma-2b-it, разработанной Google. Это компактная decoder-only языковая модель с открытыми весами, предназначенная для преобразования текста в текст и работающая на английском языке. Модель подходит для генерации текста, ответов на вопросы, суммаризации, рассуждений и других сценариев, где требуется обработка естественного языка. Размер 2B параметров и GPTQ-квантизация ориентированы на запуск при ограниченных вычислительных ресурсах, включая локальные компьютеры, однако README не указывает точные требования к памяти, размер контекста и характеристики производительности. К ограничениям относятся заявленная поддержка английского языка и отсутствие в предоставленных данных подробных результатов тестирования, ограничений безопасности и сравнения с другими моделями. Использование регулируется лицензией Google Gemma Terms of Use; доступ к модели на Hugging Face требует принятия соответствующих условий.

abideen/gemma-2b-openhermes — компактная языковая модель для генерации текста, созданная дообучением Google Gemma 2B Instruct с помощью QLoRA на предпочтениях OpenHermes-2.5. Модель использует плотную архитектуру GemmaForCausalLM, содержит 2,5 млрд параметров и рассчитана на контекст до 8192 токенов. Модель принимает текстовые запросы и документы, а в ответ генерирует текст. Она предназначена для диалогов, ответов на вопросы и суммаризации; для разговорного режима следует применять встроенный шаблон чата токенизатора. В README заявлена генерация на английском языке. Карточка приводит результаты нескольких бенчмарков, но сама по себе не гарантирует качество на конкретных прикладных задачах. Модель доступна в формате Safetensors для библиотеки Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Lemura Labs-Limitless-Gemma-2B — разговорная языковая модель Lemura Labs на архитектуре Gemma с 2,5 млрд параметров. Она предназначена для генерации текста и диалогов, ответов на открытые вопросы, творческого письма, помощи в исследованиях и обучающих запросов. Модель принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. В карточке также упомянуты отдельные квантованные версии GGUF для запуска при разных ограничениях памяти, однако этот репозиторий содержит веса в формате safetensors. Разработчик описывает модель как предназначенную для ответов без ограничений по содержанию и для широкого круга тем. Это заявление не подтверждает точность ответов, поэтому результаты по научным, медицинским, юридическим и финансовым темам требуют проверки. Лицензия — Gemma; её условия следует соблюдать при использовании и распространении модели.

ReplaceHumanWithAI/Gemma2_high_F16 — разговорная языковая модель семейства Gemma 2, разработанная ReplaceHumanWithAI и дообученная на базе unsloth/gemma-2-2b-it-bnb-4bit с использованием Unsloth и библиотеки TRL. Модель содержит 2,7 млрд параметров, построена на плотной архитектуре Gemma2ForCausalLM и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Её можно использовать для ответов на вопросы, составления текстов и ведения чат-диалогов. Репозиторий содержит веса в формате safetensors; модель распространяется по лицензии Apache-2.0.

LastRef/gemma-3-12b-it-heretic-x — дообученная мультимодальная модель на основе Google Gemma 3 12B IT. Это разговорная модель с архитектурой Gemma 3 для обработки текста и изображений с генерацией текстовых ответов. Подходит для диалога, создания и суммаризации текста, ответов на вопросы и извлечения информации из изображений. Карточка Gemma 3 указывает контекст до 128 тыс. токенов и поддержку более 140 языков; эти характеристики относятся к семейству базовой модели. В тегах модели она обозначена как uncensored, decensored и abliterated, то есть её позиционируют как модель с ослабленными ограничениями на ответы; README при этом описывает базовое семейство Gemma, а не специфические изменения этой версии. Такие модели могут выдавать вредный или недостоверный контент, а также отражать смещения данных обучения. Лицензия — Gemma; условия использования определяются лицензией и политикой допустимого использования Gemma.

DavidAU создал дообученную модель Gemma 3 12B IT с поддержкой изображений, настроенную на подробные рассуждения и генерацию творческого текста. Она предназначена для диалога, написания и продолжения историй, ролевых сценариев, а также анализа изображений с учётом рассуждений. Модель использует плотную архитектуру Gemma 3 и формат Safetensors; заявленная длина контекста — 128 тысяч токенов. В карточке указана настройка на англоязычном наборе данных с примерами рассуждений Gemini 3 Pro Preview. Автор сообщает, что рассуждения можно активировать фразой «think deeply:», хотя в большинстве случаев они включаются автоматически; системный промпт и шаблон чата могут влиять на результат. Модель описана как менее склонная к отказам и способная генерировать откровенный контент по запросу. Лицензия — Apache-2.0.

Io2007/gemma-3-1b-big — объединённая текстовая модель, созданная автором с помощью mergekit и метода Passthrough из слоёв Google Gemma 3 1B PT, Gemma 3 1B IT и NuclearAi/Nuke_X_Gemma3_1B_Reasoner_v1.0. Это плотная авторегрессионная архитектура Gemma3ForCausalLM с 1,1 млрд параметров, предназначенная для генерации текста и диалогов. Метаданные указывают контекст до 32 768 токенов и библиотеку Transformers. Модель принимает текст и выдаёт текст; карточка описывает её как объединение предварительно обученной языковой модели, а базовая instruct-модель рассчитана на диалоги и запуск при ограниченных ресурсах. Данные не уточняют отдельные языки или специализированные области применения, а также не приводят оценок качества объединённого чекпойнта. Лицензия в предоставленных данных не указана.

bhushan1729/gemma3-1b-given-fields-distilled — текстовая генеративная модель на 1 млрд параметров, опубликованная пользователем bhushan1729 на Hugging Face. Модель предназначена для генерации текста и диалоговых сценариев и совместима с библиотекой Transformers. По метаданным она относится к семейству Gemma 3 и поддерживает контекст длиной до 32 768 токенов. Модель может использоваться для построения чат-ботов, генерации ответов и продолжения текста, однако README не содержит сведений о разработчике исходной модели, методах дистилляции, обучающих данных, языках, результатах оценки или специализированных сценариях применения. Лицензия в доступных данных не указана, поэтому условия распространения и коммерческого использования следует проверять отдельно на странице модели.

Gemma 3 1B IT — компактная instruction-tuned модель для генерации текста, разработанная Google. Данная версия распространяется сообществом LM Studio в формате GGUF: квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального запуска и поддерживает задачи генерации текста, включая ответы на вопросы, суммаризацию и рассуждения. Модель имеет размер 1 млрд параметров, контекст до 32 000 токенов и максимальную длину вывода 8192 токена. Для работы требуется llama.cpp runtime версии 1.19.0 или более новой, причём README отдельно указывает на необходимость актуальной beta-версии runtime. К сильным сторонам относятся компактный размер, возможность локального использования и большой контекст; конкретные языки и модальности в предоставленных данных не указаны. Ограничения включают зависимость от совместимого runtime и потенциальные ошибки, неточности или неподходящее содержимое, характерные для генерирующих моделей. Использование регулируется лицензией Gemma; для доступа на Hugging Face требуется ознакомиться с условиями лицензии Google.

Gemma-3-1b-it-GGUF — квантизированная GGUF-версия модели gemma-3-1b-it, разработанной Google и подготовленной в квантизированном виде компанией Second State Inc. Это инструкционно настроенная модель генерации текста, предназначенная для диалогов, обработки пользовательских запросов и запуска локальных приложений и сервисов, включая LlamaEdge. Поддерживается контекст размером до 32 000 токенов. Сведения о языках, мультимодальности и точной архитектуре в README не указаны. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в формате f16, с размером файлов примерно от 689 МБ до 2,01 ГБ. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более низкие уровни квантования уменьшают требования к ресурсам, но могут существенно снижать качество; README отдельно указывает, что Q2_K и некоторые Q3- и Q4-варианты имеют значительные потери. Для использования заявлена лицензия Gemma.

duyntnet/gemma-3-1b-it-imatrix-GGUF — набор GGUF-квантизаций модели Gemma 3 1B IT, основанной на открытой модели Google Gemma 3 1B instruction-tuned. Репозиторий подготовлен для запуска через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, text-generation-webui, Jan, GPT4All, LM Studio и другие интерфейсы. Модель предназначена для генерации текста, диалогов, ответов на вопросы, суммаризации и рассуждений. Gemma 3 поддерживает текстовые и графические входы с генерацией текста; для версии 1B заявлено контекстное окно до 32K токенов, а максимальный объём генерируемого вывода составляет 8192 токена. Модель поддерживает более 140 языков, однако в карточке отдельно указан английский язык. Изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Ключевое преимущество — небольшой размер, позволяющий развёртывать модель на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ограничения связаны с компактным размером 1B, который может уступать более крупным моделям в сложном рассуждении и качестве генерации, а также с необходимостью использовать llama.cpp версии b4875 или новее для запуска GGUF-файлов. В карточке указана лицензия other; дополнительные условия лицензирования не приведены.

Gemma 3 1B IT — компактная instruction-tuned модель семейства Gemma 3, разработанная Google. Данная версия опубликована сообществом LM Studio в формате GGUF на основе оригинальной модели google/gemma-3-1b-it; GGUF-квантизация предоставлена Google. Модель предназначена для генерации текста, включая ответы на вопросы, суммаризацию и задачи, требующие рассуждений. Она оптимизирована с помощью Quantization Aware Training для повышения качества работы в 4-битном режиме, что делает её подходящей для локального запуска при ограниченных вычислительных ресурсах. Поддерживается контекст до 32 000 токенов и максимальная длина вывода до 8 192 токенов. Ключевое ограничение — небольшой размер в 1 млрд параметров, из-за которого модель может уступать более крупным системам в сложных рассуждениях, точности и широте знаний. В README не указаны дополнительные языковые возможности и модальности, поэтому модель следует рассматривать прежде всего как текстовую. Доступ и использование регулируются лицензией Google Gemma; на Hugging Face требуется принять условия этой лицензии.

litert-community/gemma-3-270m-it — компактная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для локального и ресурсоограниченного развертывания, включая мобильные устройства, веб-приложения, настольные системы и собственную облачную инфраструктуру, с использованием LiteRT и совместимых инструментов Google AI Edge. Модель содержит 270 млн параметров и поддерживает генерацию текста для ответов на вопросы, суммаризации документов, анализа и рассуждений. Для семейства Gemma 3 заявлены мультимодальные возможности с обработкой текста и изображений и генерацией текста; изображения нормализуются до 896 × 896 и кодируются в 256 токенов. Для вариантов 1B и 270M указан контекст до 32K токенов на запрос, включая вход и доступный объём вывода. Поддерживается более 140 языков. Данные обучения имеют срез знаний по август 2024 года и включают веб-тексты, код, математические материалы и изображения. Сильными сторонами модели являются небольшой размер, возможность работы на устройствах с ограниченными ресурсами, открытые веса и пригодность для встроенных приложений. Ограничения включают меньший объём параметров по сравнению с крупными вариантами Gemma 3, возможные ограничения качества в сложных задачах и то, что GPU-ускорение для Gemma 3 270M в указанных сценариях на момент публикации README ещё находилось в разработке. Использование регулируется лицензией Gemma и соответствующими условиями Google.

p-e-w/gemma-3-270m-it-heretic — дообученная разговорная текстовая модель на базе Google Gemma 3 270M, созданная разработчиком p-e-w. Модель предназначена для генерации текста и диалогов; компактный размер позволяет запускать её на ресурсах с ограничениями. Метаданные указывают архитектуру Gemma3ForCausalLM, 257 млн параметров и контекст до 32 768 токенов. Карточка базовой модели Gemma 3 описывает применение для ответов на вопросы, суммаризации и других сценариев генерации текста, а также поддержку более 140 языков. Однако у этой версии нет заявленной поддержки изображений, поэтому её следует рассматривать как текстовую модель. Тегами модели обозначено снятие ограничений (uncensored/abliterated), но README не содержит отдельного описания результатов или границ такого изменения. Модель может выдавать ошибочные или устаревшие сведения, хуже справляться с неоднозначностью и сложными задачами, а ответы могут отражать смещения обучающих данных. Лицензия — Gemma; применяются условия лицензии и политики допустимого использования Gemma.

hudlow/gemma-3-270m-mlx-fp16 — текстовая модель семейства Gemma 3, преобразованная из google/gemma-3-270m в формат MLX с помощью mlx-lm 0.31.2. В метаданных архитектура указана как плотная причинная языковая модель Gemma3ForCausalLM размером 257 млн параметров; базовая модель рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования в приложениях, работающих с MLX. Компактный размер подходит для локального запуска на совместимом оборудовании Apple. README описывает преобразование, но не сообщает о специализированном дообучении или оценках качества. Репозиторий распространяется по лицензии Gemma. Языки и ограничения по применению в предоставленных материалах подробнее не описаны.

DavidAU создал эту плотную мультимодальную модель на архитектуре Gemma 3, дообучив Gemma 3 27B IT с помощью Unsloth на наборе TeichAI/gemini-3-pro-preview-high-reasoning-250x. Модель принимает текст и изображения и выдаёт текст; она предназначена для диалогов, генерации и продолжения историй, ролевых сценариев и ответов на вопросы по изображениям. Дообучение добавляет автоматическое пошаговое рассуждение для сложных запросов, а на простые модель может отвечать без него. Заявлена длина контекста 128 тысяч токенов и поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. По заявлению автора, рассуждение может улучшать генерацию текста и интерпретацию изображений; обработка изображений сохранена. Это ограниченное дообучение на рассуждения: оно не расширяет знания и навыки базовой модели. Автор приводит бенчмарки, но не описывает методику их проведения. Лицензия в предоставленных данных не указана.

Gemma 3 4B IT QAT GGUF — мультимодальная модель семейства Gemma 3, разработанная Google и представленная в формате GGUF сообществом LM Studio. Квантизация выполнена с использованием Quantization Aware Training для повышения качества работы в 4-битном режиме. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммирование и задачи, требующие рассуждений. Она поддерживает текстово-изображённые сценарии, обрабатывает изображения, нормализованные до разрешения 896 × 896 пикселей, имеет контекстное окно до 128 000 токенов и максимальную длину вывода 8192 токена. Другие характеристики, включая языковой охват и точный набор архитектурных параметров, в README не указаны. К сильным сторонам относятся мультимодальность, большое контекстное окно и оптимизация 4-битной версии с помощью QAT, что делает модель подходящей для локального запуска при ограниченных ресурсах. Ограничения связаны с применением квантизации и указанным пределом разрешения изображений; конкретное влияние на качество и требования к аппаратным ресурсам не описаны. Модель распространяется по лицензии Gemma, для доступа к ней на Hugging Face требуется принять условия лицензии Google.

unsloth/gemma-3-4b-pt — мультимодальная модель семейства Gemma 3, подготовленная Unsloth на основе предварительно обученной google/gemma-3-4b-pt. Она принимает текст и изображения и генерирует текстовые ответы. В метаданных указаны архитектура Gemma 3 с плотной моделью, библиотека Transformers и формат весов Safetensors; базовая модель имеет 4 млрд параметров по идентификатору репозитория. Для Gemma 3 заявлено контекстное окно 128 тыс. токенов и поддержка более 140 языков. Модель подходит для вопросов по изображениям, извлечения и обобщения визуальной информации, а также генерации и суммаризации текста. README описывает семейство Gemma 3 в целом, поэтому характеристики контекста и языковой поддержки относятся к семейству; эта версия обозначена как предварительно обученная, а не настроенная для следования инструкциям. Возможны фактические ошибки, пробелы и смещения, а также трудности с неоднозначными запросами и сложными задачами. Лицензия — Gemma.

Gemma-4-12B-GGUF — мультимодальная vision-language модель на базе google/gemma-4-12B, разработанной Google. Данная версия представляет собой набор квантизированных GGUF-сборок, подготовленных пользователем Dhptl с помощью quant-kit 19 июня 2026 года. Модель принимает текст и изображения и предназначена для локального запуска через llama.cpp, LM Studio, Jan или Ollama. Архитектура состоит из текстовой основы и отдельного vision encoder в формате mmproj. Для работы обязательно нужны один файл текстовой модели и файл gemma-4-12B-mmproj-f16.gguf; vision encoder хранится в формате F16 и не квантизирован. Доступны варианты квантизации от Q2_K до Q8_0, размер текстовой основы составляет примерно от 4,5 до 11,8 ГБ, а рекомендуемый вариант Q4_K_M занимает около 6,87 ГБ и требует примерно 8,4 ГБ RAM. Указан английский язык. Максимальный размер контекста в README не приведён; в примере запуска используется контекст 4096 токенов. Модель подходит для диалога, генерации и анализа текста, а также для обработки изображений: например, описания содержимого изображений и ответов на вопросы по ним. Основные преимущества — мультимодальность, поддержка популярных инструментов локального запуска и возможность выбрать компромисс между качеством, скоростью и потреблением памяти. Ограничения связаны с потерями качества при сильной квантизации, необходимостью загружать два файла и заметными требованиями к RAM; заявленные скоростные бенчмарки в README не представлены. Лицензия — Apache-2.0.

Это GGUF-представление Gemma-4-12B-it-AEON-Abliterated-K4-BF16 от mradermacher, подготовленное как набор статических квантованных файлов. Базовая модель — дообученная AEON-7 версия Gemma-4-12B-it; в её описании каталога указано удаление отказов. Репозиторий предназначен для запуска модели в совместимом с GGUF программном обеспечении. Модель используют для диалоговой генерации текста и следования инструкциям; метаданные также указывают на английский язык, чат и работу с кодом, рассуждениями и инструментами в базовом варианте. README перечисляет несколько вариантов квантизации, включая Q2_K и Q3_K, с разными размерами и компромиссами качества. Доступный вариант обозначен как GGUF BF16. Лицензия — Gemma; перед использованием следует учитывать её условия.

Abiray/Gemma-4-12B-it-AEON-Abliterated-K4-GGUF — это GGUF-квантизированная версия инструкционной модели Gemma-4-12B-it-AEON-Abliterated, разработанной AEON-7 на основе Google Gemma-4-12B-it. Модель предназначена для генерации текста, чат-взаимодействия, выполнения инструкций, рассуждений, программирования, а также сценариев с tool calling и function calling. В карточке указана поддержка английского языка. Модель использует архитектуру gemma4_unified и содержит около 12 миллиардов параметров. Отличительная особенность — abliteration с применением пользовательской K=4 multi-direction norm-preserving biprojection, призванной сохранять качество генерации и устранять стандартные шаблоны отказов. Репозиторий предоставляет варианты квантизации от 3 до 8 бит: размеры файлов составляют примерно от 6,09 до 12,70 ГБ. Рекомендуемый вариант Q4_K_M занимает 7,38 ГБ и рассчитан на запуск на одной видеокарте уровня T4 или RTX 3060/4060; Q8_0 близок к точности BF16 и требует около 16 ГБ видеопамяти. В примере запуска указан контекст 4096 токенов, но максимальный размер контекста в README не заявлен. Сильными сторонами являются широкий выбор уровней квантизации, возможность запуска через llama.cpp и llama-cpp-python, поддержка локального развёртывания и ориентация на сценарии, где требуется меньше отказов. Ограничения включают отсутствие заявленных сведений о качестве на стандартных бенчмарках, неполные данные о мультимодальности и максимальном контексте, а также возможные риски, связанные с удалением стандартных механизмов отказа. Модель распространяется под лицензией Gemma.

gemma-4-12B-it-GGUF — это GGUF-сборка мультимодальной модели Google DeepMind gemma-4-12B-it, опубликованная prithivMLmods. Модель предназначена для генерации и понимания текста, анализа изображений, видео и аудио, категоризации контента, сжатия контекста и локальных AI-приложений без зависимости от API. Она также ориентирована на агентские сценарии и многошаговое рассуждение. Модель имеет 12 млрд параметров и унифицированную encoder-free архитектуру: текстовые, визуальные и аудиоданные поступают непосредственно в основу LLM без отдельных vision- и audio-энкодеров. Заявлены сниженные задержка и потребление памяти, поддержка Multi-Token Prediction для ускорения вывода и работа на устройствах примерно с 16 ГБ памяти. В README указан английский язык и мультимодальный режим image-text-to-text; размер контекста не указан. Доступны варианты GGUF от Q2_K до Q8_0, а также BF16 и F16, с размерами основных файлов от 4,83 до 23,8 ГБ. Сильными сторонами являются мультимодальность с нативной поддержкой аудио, возможность локального запуска и широкий выбор уровней квантования. Ограничения README не описывает; в частности, отсутствуют подробности о фактической производительности, поддерживаемых языках кроме английского, максимальном контексте и требованиях к конкретному оборудованию. Модель распространяется по лицензии Apache 2.0.

ApolloRaines/Gemma-4-12B-it-Jbliterated-v2 — языковая модель для генерации текста, разработанная ApolloRaines на основе Gemma-4-12B-it-Jbliterated. Это объединённая самодостаточная версия с целевым дообучением (SFT), направленным на снижение скрытых циклов самопроверки безопасности в reasoning-трассах и повышение вероятности завершённого ответа. Модель предназначена для диалоговых сценариев, генерации текста и локального запуска через Transformers или в формате GGUF. Модель имеет размер 12B параметров, использует архитектуру Gemma 4 Unified и тип данных bfloat16. Поддерживаемый язык, указанный в карточке, — английский. Модель работает с текстовой модальностью; размер контекстного окна в README не указан. Доступны варианты GGUF с квантованием Q8_0 и Q4_K_M, причём Q4_K_M рекомендован для видеокарт с 8–12 ГБ памяти. Для GGUF требуется свежая версия llama.cpp из ветки master. По сравнению с исходной версией v1 модель снизила частоту safety-классификации в reasoning-канале с 81,2% до 35,0%, а долю полных ответов повысила с 61,2% до 78,8% на указанном наборе из 80 тестовых запросов. При этом показатель MMLU снизился на 0,88 процентного пункта — до 77,72%. Ограничения включают сохраняющиеся спирали без ответа примерно на 21% самых сложных запросов, оценивание на одном обучающем запуске и возможное неполное выявление замаскированной safety-классификации используемым регулярным выражением. Использование модели регулируется Gemma Terms of Use, то есть лицензией Google для Gemma.

DavidAU/gemma-4-19B-A4B-it-INSTRUCT-Heretic-Uncensored — это дообученная авторами DavidAU модель Gemma для диалогов и выполнения инструкций, включая работу с текстом и изображениями. В README указано, что модель построена на Gemma 4 с архитектурой MoE: число экспертов сокращено со 128 до 90, а затем модель дообучена; обычно активируются 8 экспертов. Метаданные указывают класс Gemma4ForConditionalGeneration, библиотеку Transformers и веса в формате safetensors. Заявленный контекст — до 256 тыс. токенов. Модель предназначена для диалогов, ответов на инструкции, творческого письма и генерации историй; примеры README показывают также запросы на сложные объяснения и ролевое взаимодействие. Поддерживается ввод изображений наряду с текстом. Карточка сообщает об английском языке и лицензии Apache-2.0. Автор описывает вариант как обычный, с умеренным дообучением на закрытых внутренних наборах данных; приведённые бенчмарки также обозначены как внутренние и находящиеся в подготовке. Поэтому заявленные характеристики качества нельзя считать подтверждёнными независимой оценкой.

voidsip/gemma-4-26B-A4B-it-abliterated-Q4_0-GGUF — это GGUF-квантизация модели Gemma 4, разработанной Google. Репозиторий voidsip содержит только конвертацию формата; базовая модель и её abliteration предоставлены Google и huihui-ai соответственно. Модель предназначена для генерации текста и поддерживает работу через llama.cpp, включая вызов инструментов. Она является reasoning-моделью и может выдавать рассуждения в поле reasoning_content перед основным ответом. Архитектура — MoE: 25,2 млрд параметров всего и около 3,8 млрд активных на токен, 128 экспертов с маршрутизацией top-8. Используется квантизация Q4_0, размер файла составляет около 13 755 MiB, все 658 тензоров сконвертированы. В README указана поддержка контекста до 64K; языки и мультимодальные возможности не описаны. Благодаря разреженной активации модель может работать существенно быстрее плотной модели сопоставимого размера; на RTX 5090 заявлены примерно 219 токенов/с при генерации и 213 токенов/с при обработке промпта. К ограничениям относятся требования к совместимому рантайму и аппаратному обеспечению. Для FreeToken на Windows нужны ninja, nvcc с настроенной CUDA_HOME и MSVC cl.exe. Abliteration удаляет исходное поведение отказа, поэтому модель может не отклонять запросы, которые отклоняла базовая версия; это не отменяет ограничений допустимого использования. Модель распространяется на условиях Gemma Terms of Use, включая Gemma Prohibited Use Policy.

systalyze/gemma-4-26B-A4B-it-ExpertsINT4-FP8 — это оптимизированная для инференса смешанно-точная квантованная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанной Google DeepMind. Квантование и выпуск модели выполнены Systalyze. Архитектура Gemma4ForConditionalGeneration принимает текст и изображения и генерирует текст; модель предназначена для мультимодального чата, следования инструкциям, рассуждений и работы с инструментами. Базовая модель представляет собой MoE-архитектуру с 30 слоями и 128 экспертами. Веса MoE-экспертов квантованы в INT4 методом GPTQ с размером группы 64, а остальные линейные слои Transformer используют динамическое FP8-квантование с активациями FP8 на уровне токенов. Router, эмбеддинги, lm_head и vision tower сохраняются без квантования. Чекпойнт занимает около 16 ГБ против 49 ГБ у BF16-версии, то есть примерно в 3,1 раза меньше, и загружается напрямую в vLLM через формат compressed-tensors. Сильная сторона модели — существенное снижение требований к памяти и высокая производительность при низкой и средней конкурентности: в приведённых тестах прирост относительно FP8 достигал 54,4% при concurrency 8. При высокой конкурентности 16–32 запросов обычная FP8-версия производительнее, поэтому выбор зависит от профиля нагрузки. Качество в целом близко к базовой модели, однако на отдельных задачах, включая GPQA Diamond, MMLU-Pro, HumanEval и DROP, наблюдается снижение результатов. Веса модели распространяются по лицензии Apache-2.0.

nohurry/gemma-4-26B-A4B-it-heretic-GUFF — набор квантованных вариантов модели coder3101/gemma-4-26B-A4B-it-heretic, созданный участником сообщества на основе Gemma 4 от Google. Модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями, включая OCR. В README указана поддержка режима рассуждений, который включается специальным маркером в системном промпте, а также возможность ограничивать бюджет рассуждений. Модель имеет архитектуру Gemma 4 с конфигурацией 26B-A4B; точные сведения о размере активируемой части, языках и максимальной длине контекста в README не приведены. Для обработки изображений используются отдельные mmproj-файлы и настраиваемый диапазон от 70 до 1120 image-токенов. Реализация рассчитана на использование в llama.cpp и koboldcpp; для корректной работы требуется включить Sliding Window Attention с параметром --swa-full. Доступны разные уровни квантования, а выбор рекомендуется делать с учётом доступной VRAM. Для задач OCR желательно использовать менее квантованную текстовую модель и более качественно сохранённый image encoder. Сильными сторонами являются мультимодальность, поддержка управляемого рассуждения, различные варианты квантования и возможность локального запуска. Ограничения включают зависимость требований к памяти от выбранного кванта и контекста, чувствительность image encoder к квантованию, а также необходимость совместимого программного обеспечения и настроек SWA. Модель распространяется по лицензии Apache-2.0; ссылка на лицензию Gemma 4 указана в карточке.

Gemma-4-26B-A4B-it-JANG4M — квантизированная модель семейства Gemma 4, подготовленная Jinho Jang для запуска на Apple Silicon через MLX. В README модель описана как MoE, однако метаданные указывают архитектуру Gemma4ForConditionalGeneration с типом dense; точное число параметров и активных параметров не приведено. Модель предназначена для генерации текста и диалогового использования. README приводит пример загрузки и генерации через mlx_lm и отмечает, что библиотека автоматически использует список стоп-токенов из generation_config.json. Указанная лицензия — gemma. Карточка ориентирует запуск на vMLX.

Это созданная pirola конверсия Gemma 4 26B-A4B Instruct в формате GGUF с ручной смешанной квантизацией, настроенной для графических процессоров NVIDIA Blackwell, в частности RTX 5080. В модели 30 слоёв с гибридным вниманием SWA и FULL; файл весит 13,1 ГБ, а экспертные тензоры используют MXFP4. Плотные и постоянно активные веса оставлены в форматах с более высокой точностью. Модель предназначена для генерации текста и диалогов. Автор сообщает о контексте до 165 376 токенов на RTX 5080 с MXFP4-кэшем KV и приводит результат perplexity 226,42 на Wikitext-2. Для запуска требуются llama.cpp b8493 или новее и CUDA 12.8+ либо CUDA 13.2; для полного контекста нужен отдельный форк llama.cpp с поддержкой MXFP4-кэша KV. Лицензия — Gemma.