I.5Создание и редактирование текста

Andycurrent/gemma-3-4b-it-uncensored-v2-GGUF — квантованные версии Gemma-3-4B-IT-Uncensored-v2, созданной на базе Gemma 3 и модели braindao/gemma-3-4b-it-uncensored-v2. Это инструкционно дообученная языковая модель примерно на 4 млрд параметров, предназначенная для локального, офлайн- и приватного развертывания. Указан английский язык; модель работает в текстовом режиме и использует формат чата Gemma с маркерами начала и конца хода диалога. Модель ориентирована на диалоги, генерацию текста, творческие задачи, рассуждения, структурированные ответы, объяснение кода, примеры и лёгкую отладку. Она делает акцент на высокой отзывчивости, следовании пользовательским инструкциям, стабильности в продолжительных диалогах и уменьшенном количестве встроенных ограничений, поэтому может применяться для персональных ассистентов, ролевых систем, prompt engineering, исследований выравнивания и экспериментов с поведением моделей. Ключевое преимущество — сочетание компактного размера и возможности запуска на потребительских GPU, CPU с квантованием и устройствах с ограниченными ресурсами. При этом точные параметры квантования, максимальная длина контекста и результаты бенчмарков не указаны. Из-за минимально ограниченного поведения модель может генерировать контент, который обычно фильтруется; пользователю необходимо самостоятельно учитывать требования законодательства, политики и этические нормы. Лицензия наследует условия оригинальной модели Gemma.

unsloth/gemma-3n-E4B-it-unsloth-bnb-4bit — это 4-битная версия Gemma 3n E4B-it, разработанная Unsloth на базе модели Google gemma-3n-E4B-it. Модель предназначена для диалоговых и текстовых задач, включая генерацию ответов и использование в приложениях на базе Transformers. В карточке указана поддержка английского языка и формат image-text-to-text, однако текущие рекомендации README подтверждают поддержку только текста. Модель относится к семейству Gemma 3n и имеет размер 4B; используется 4-битное квантование bnb, рассчитанное на снижение требований к памяти. Максимальная длина контекста составляет 32K токенов. Для запуска рекомендуется Transformers или совместимые инструменты, а для Gemma 3n указаны параметры temperature 1.0, top_k 64 и top_p 0.95. Unsloth заявляет ускорение до 2 раз и снижение использования памяти до 80% для сценариев тонкой настройки, но конкретные результаты зависят от оборудования и конфигурации. Основные ограничения — отсутствие заявленной поддержки изображений в текущей версии, ограниченная информация о точной архитектуре и отсутствие подробных результатов оценки качества в README. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия этой лицензии.

Gemma-4-12B-CoreAI — конвертация языковой модели Google Gemma 4 12B, подготовленная пользователем mlboydaisuke для запуска через Apple Core AI на устройствах с Apple Silicon. Модель предназначена для генерации текста, диалогов, суммаризации и других локальных сценариев использования LLM без передачи данных в облако; заявлена интеграция с CoreAIKit и запуск на GPU или Neural Engine, хотя в README отдельно подтверждён запуск на M-series Mac через конвейерный GPU-движок. Это плотный текстовый декодер без MoE, PLE, AltUp, Laurel и совместного использования KV-кэша: 48 слоёв, скрытое представление размерностью 3840, 16 голов внимания и словарь на 262144 токена. Используется чередование оконного и глобального внимания в соотношении 5:1, причём размерность головы составляет 256 для sliding attention и 512 для глобального внимания. Доступны варианты int8 размером около 14 ГБ и int4 размером около 8,2 ГБ; на M4 Max заявлена скорость декодирования примерно 23 и 33 токена в секунду соответственно. Контекстное окно и перечень поддерживаемых естественных языков в README не указаны. Сильная сторона модели — возможность локального запуска крупной 12B-модели на Apple Silicon, включая специальное Metal-ядро flash-decode для обхода ограничений стандартного GPU-декодирования. Вариант int8 описан как проверенный и воспроизводящий результаты эталонной fp32-модели, тогда как int4 требует меньше памяти и работает быстрее, но может немного ухудшать формулировки. Ограничения включают зависимость от совместимого оборудования и Core AI, большой объём загрузки, режим decode-only, отсутствие записи о рейтинге DeviceMark и возможные сбои у обычных, не использующих специальное ядро, сборок. В метаданных указана лицензия Apache 2.0.

WhiskyAKM/Gemma-4-12B-it-qat-NVFP4-GGUF — сборка Gemma 4 12B IT от Google DeepMind, подготовленная WhiskyAKM в формате GGUF для llama.cpp и других совместимых движков. В репозитории есть варианты NVFP4 и BF16; NVFP4 уменьшает требования к памяти, а ускорение инференса на NVIDIA Blackwell зависит от совместимого оборудования и движка. Модель содержит 12 млрд параметров и мультимодальную архитектуру Gemma4ForConditionalGeneration. Модель предназначена для диалога и понимания текста, изображений и аудио с генерацией текстовых ответов; также заявлены работа с видео, многоязычность более чем на 140 языках, контекст до 256 тысяч токенов и поддержка вызова инструментов. Для обработки изображений и аудио требуется подключить файл проектора mmproj.gguf. Лицензия — Apache 2.0.

llmfan46/gemma-4-12B-it-uncensored-heretic-NVFP4-GGUF — квантизированная в формате GGUF версия Gemma 4 12B Instruct, доработанная в варианте uncensored/heretic. Карточка описывает семейство Gemma 4 как мультимодальное; эта сборка предназначена для диалогового использования через llama.cpp, LM Studio, Ollama и другие инструменты с поддержкой GGUF. Архитектура семейства сочетает локальное скользящее и глобальное внимание. Для 12B указано контекстное окно до 256K токенов. Модель предназначена для диалога, рассуждений, генерации и исправления кода, суммаризации, ответов на вопросы по тексту и анализа изображений, видео и аудио. Семейство поддерживает более 35 языков; для версии 12B заявлены распознавание речи и перевод речи в текст на нескольких языках. Сборка имеет метку uncensored, однако карточка не описывает отдельные процедуры её дообучения или снятия ограничений. Указана лицензия Apache-2.0. Качество ответов зависит от формулировки запроса и обучающих данных; возможны фактические ошибки, предвзятость и трудности с нюансами языка или сложными открытыми задачами. Заявленные возможности семейства не подтверждают отдельно поведение именно этой GGUF-сборки во всех режимах.

Gemma4-12B-QAT-Genesis — квантизированная GGUF-версия базовой модели Gemma 4 12B-it, разработанной Google DeepMind. Автор сборки указывает, что удалил шум дистилляции и квантизации из тензоров, оставив остальные параметры без изменений. Модель предназначена для диалогов, творческого письма и roleplay, а также поддерживает обработку изображений через отдельный vision-проектор mmproj. Модель имеет плотную архитектуру размером 12B параметров и контекст до 256K токенов. Доступна в формате Q4_0: текстовая модель занимает около 6,98 ГБ, vision-проектор — 175 МБ. В README указан английский язык. Для ускорения генерации поставляется MTP-голова для speculative decoding; по заявлению автора, при использовании llama.cpp она обеспечивает примерно на 60% большую скорость без изменения результата. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. К сильным сторонам относятся поддержка изображений, большой контекст, пригодность для ролевых и разговорных сценариев, а также возможность быстрой работы на недорогих GPU. Ограничения включают зависимость vision-функций от mmproj, необходимость совместимого GGUF-рантайма для MTP-ускорения и известную проблему возможных сбоев Gemma 4 в LM Studio при multi-GPU режиме tensor-split; рекомендуется использовать один GPU либо layer-split или priority order. Модель распространяется по лицензии Gemma.

Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — мультимодальная языковая модель в формате GGUF, созданная HauhauCS на основе Gemma 4 12B от Google DeepMind. Это вариант с удалёнными ограничениями на отказы, предназначенный для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых задач, где важны следование инструкциям и надёжность ответов. Модель имеет плотную архитектуру размером 12B параметров и поддерживает контекст до 256K токенов. Основной файл использует 4-битную QAT-квантизацию Q4_K_M и занимает около 6,9 ГБ; для обработки изображений требуется отдельный mmproj-файл размером 168 МБ. Заявлена поддержка английского языка, а визуальный ввод реализуется через компонент mmproj. Для ускорения генерации доступен MTP-модуль спекулятивного декодирования, который, по данным автора, даёт примерно 60% прироста скорости при использовании llama.cpp без изменения результата. Сильные стороны модели — большой контекст, поддержка изображений, ориентация на кодирование и рассуждения, а также совместимость с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Заявление об отсутствии отказов основано на тестах автора и не является абсолютным: для некоторых пограничных запросов возможны отказы с первой попытки. Модель рекомендована для запуска на одной GPU; автор отмечает возможные сбои Gemma 4 в LM Studio при режиме tensor-split. Распространяется по лицензии Gemma.

Gemma-4-26B-A4B-it-JANG_2L — квантизированная модель семейства Gemma 4 с архитектурой MoE для генерации текста и диалогов. Её создал Jinho Jang; модель предназначена для запуска на компьютерах Apple с процессорами Silicon через vMLX и библиотеку MLX. В README приведён пример генерации текста с помощью mlx_lm; конфигурация автоматически учитывает список стоп-токенов. В метаданных указан формат safetensors и лицензия Gemma. Размер модели, поддерживаемые языки и длина контекста в предоставленных данных не приведены. README называет модель квантизированной, но не уточняет метод или точность квантизации.

Это GGUF-сборка Gemma-4-26B-A4B-it, подготовленная ironbcc для запуска через llama.cpp и LM Studio. Комплект включает основную 26-миллиардную MoE-модель Gemma-4 и вспомогательную модель-драфтер gemma-4-26B-A4B-it-assistant от Google для speculative decoding. Основная модель использует 128 экспертов; доступны варианты драфтера с квантованием Q2_K, Q4_K_M, Q8_0 и F16. Указан английский язык, а модель предназначена для генерации текста, диалогов, рассуждений и программного использования через совместимые серверы и клиенты. Максимальный контекст Gemma-4 заявлен как 256K токенов, однако конкретные возможности зависят от runtime и настроек. Ключевое преимущество сборки — ускорение генерации за счёт Multi-Token Prediction и speculative decoding: в приведённом тесте на Apple M5 Max скорость достигала примерно 1,55 раза относительно режима без MTP, а при отключении reasoning — до 143,2 токена в секунду. Q2_K-драфтер рекомендован как наиболее быстрый и показал наивысшую долю принятых токенов в тесте. Ограничения включают необходимость специальной ветки llama.cpp с поддержкой Gemma-4 MTP; на момент подготовки README эта функциональность ещё не была включена в основную ветку, а LM Studio требовал соответствующего runtime. Включение thinking повышает качество рассуждений, но снижает скорость. Основной файл имеет размер около 26 ГБ, поэтому запуск требует значительного объёма памяти; для полного контекста 256K README указывает примерно 31 ГБ RSS при старте с дальнейшим ростом потребления. Распространение заявлено по лицензии Apache-2.0, при этом для доступа к Gemma на Hugging Face необходимо принять условия использования Google.

Gemma-4-26B-A4B-it-NVFP4 — это версия Google Gemma 4, подготовленная FusenAI в формате modelopt и оптимизированная для запуска через vLLM на GPU NVIDIA Blackwell (SM120). Модель предназначена для генерации текста и использует архитектуру MoE. Она подходит для локального и серверного инференса, включая сценарии с высокой параллельной нагрузкой. Модель применяет квантизацию NVFP4 с размером группы 16 к экспертам MoE и MLP-слоям, тогда как self-attention, router, vision tower и lm_head сохранены в BF16. Размер весов составляет около 17,2 GiB, размер на диске — около 17 GB. README не указывает полный набор поддерживаемых языков, точное число параметров активной части или максимальный контекст; в примерах используется длина контекста 4096 токенов. Модель поддерживает текстовую генерацию, а наличие vision tower указывает на мультимодальные компоненты, однако их сценарии использования в README не описаны. К сильным сторонам относятся сниженное потребление памяти, сохранение attention-слоёв в BF16 для уменьшения потерь качества и высокая производительность на RTX 5090 при использовании CUDA Graphs. Ограничения включают необходимость совместимого оборудования NVIDIA Blackwell или новее, vLLM 0.19.x с параметром modelopt и соответствующими исправлениями, а также зависимость производительности от конфигурации KV-кэша: FP8 увеличивает его ёмкость, но снижает скорость обработки отдельных запросов. Модель распространяется по лицензии Apache 2.0 и наследует лицензионные условия Gemma 4 от Google.

CyberFitz/gemma-4-26B-A4B-it-NVFP4 — квантизированная версия Gemma 4, разработанная CyberFitz на базе модели Google gemma-4-26b-a4b-it. Это мультимодальная Mixture-of-Experts-модель для генерации и понимания текста, обработки изображений и совместных текстово-визуальных запросов. Она подходит для чат-ботов, анализа документов и изображений, а также для задач, требующих длинного контекста. Модель содержит 25,2 млрд параметров, из которых около 3,8 млрд активируются для каждого токена. Архитектура использует 128 экспертов с маршрутизацией top-8 и поддерживает контекст до 262 144 токенов. Квантизация NVFP4 с 4-битными весами уменьшает размер примерно с 49 до 16 ГБ и снижает требования к памяти примерно до 18 ГБ. Для сохранения качества маршрутизаторы MoE, vision-компоненты, embeddings и LM head оставлены в формате bfloat16. Указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Сильные стороны модели — существенно меньший размер, поддержка текста и изображений, очень длинный контекст и сохранение чувствительных компонентов в полной точности. Ограничения включают зависимость от совместимого NVIDIA-оборудования и программного стека, необходимость специальной поддержки NVFP4 и MoE при обслуживании, а также отсутствие опубликованных на момент создания README результатов бенчмарков. Модель распространяется по лицензии Gemma, унаследованной от базовой модели Google.

Gemma-4-26B-A4B-it-NVFP4A16 — пользовательская NVFP4-квантизация инструкционной модели google/gemma-4-26B-A4B-it, выполненная Mario Iseli. Это мультимодальная Mixture-of-Experts-модель для генерации текста и диалоговых сценариев с поддержкой текста, изображений и видео. Всего модель содержит 25,2 млрд параметров, из которых 3,8 млрд активируются для каждого токена; архитектура включает 128 экспертов, 8 из которых выбираются на токен. Контекстное окно составляет до 256 тысяч токенов. Модель использует квантизацию W4A16: веса представлены в FP4, а активации — в FP16. Размер на диске уменьшен примерно с 49 до 16,5 ГБ, то есть примерно в три раза, при сохранении исходного числа параметров. Vision encoder оставлен в BF16. Квантизация выполнена с помощью NVIDIA Model Optimizer на данных CNN/DailyMail; это общественная, а не официальная сборка Google или NVIDIA. Основное преимущество — существенное снижение требований к памяти при сохранении мультимодальности, MoE-архитектуры и длинного контекста. Для запуска через vLLM требуется версия с transformers не ниже 5.4, backend Marlin для MoE и специальный патч gemma4_patched.py для корректной загрузки NVFP4 scale-параметров; конфигурация ориентирована, в частности, на NVIDIA DGX Spark с GB10 Blackwell. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

MuXodious/gemma-4-26B-A4B-it-SOMPOA-heresy — дообученная версия Gemma 4 26B A4B IT, созданная автором MuXodious с помощью Heretic v1.2.0 и метода abliteration с Self-Organizing Maps и magnitude-preserving orthogonal ablation. Модель предназначена для диалогов и анализа изображений с выдачей текста; README описывает её как вариант с уменьшенным числом отказов. В испытаниях число отказов снизилось с 103 из 104 до 4 из 104, KL-дивергенция составила 0,1240. Это мультимодальная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration и весами Safetensors. Она принимает текст и изображения и генерирует текст. README приводит для Gemma 4 26B A4B контекст до 256 тысяч токенов и поддержку множества языков; эти характеристики описывают базовое семейство, а не отдельную проверку данной дообученной версии. Карточка лицензирована по Apache-2.0. Автор отмечает, что модель может ошибочно срабатывать на дисклеймеры и рекомендует рассмотреть максимальную длину ответа 120–150 токенов. Показатели испытаний в карточке не заменяют независимую оценку качества; сниженное число отказов означает, что модель может отвечать на запросы, от которых базовая версия отказывалась.

Gemma 4 31B IT BF16 — мультимодальная инструкционно-настроенная модель Google DeepMind, преобразованная сообществом mlx-community в формат MLX из google/gemma-4-31B-it. Она предназначена для диалогов, генерации текста и анализа изображений; запускать её можно с помощью mlx-vlm. Модель использует плотную архитектуру Gemma 4 и принимает текст и изображения, выдавая текст. В репозитории указаны веса BF16 в формате safetensors и лицензия Apache-2.0.

DavidAU разработал эту экспериментальную версию Gemma 4 31B IT, дообученную с помощью Unsloth на закрытых авторских наборах данных. Модель рассчитана на диалоговую генерацию текста, включая творческое письмо, рассказывание историй, ролевые сценарии, программирование и ответы в режиме рассуждения; карточка также содержит пример генерации художественной сцены. По данным README, шаблон чата включает режим thinking по умолчанию, а для обычного instruct-режима предлагается отдельный шаблон. Базовая Gemma 4 31B IT поддерживает текст и изображения, а каталог относит эту модель к мультимодальному семейству Gemma 4 с возможностью анализа изображений. Для базовой модели README сообщает контекст до 256 тысяч токенов; метаданные указывают формат safetensors и библиотеку Transformers. Автор описывает результаты внутренних бенчмарков как сильные, но оценивание продолжается и возможны дальнейшие перенастройка и обновления. README отмечает возможные сбои форматирования тегов в блоке рассуждений и зависимость отображения этого режима от приложения. Модель выпущена по лицензии Apache-2.0.

OsaurusAI подготовила конвертированный MLX-пакет JANG_4M на основе мультимодальной Gemma 4 31B Instruct QAT от Google. Это плотная модель Gemma4ForConditionalGeneration с 60 текстовыми слоями, предназначенная для диалогов, генерации текста и анализа изображений в совместимой среде MLX или vMLX на Apple Silicon. Карточка сохраняет обработку изображений, но не заявляет поддержку аудио для этого варианта. Веса используют смешанную аффинную квантизацию: эмбеддинги, выходная проекция, нормализации и компоненты обработки медиа сохранены в FP16, проекции внимания и маршрутизатор MoE — в 8 битах, а основная часть MLP и экспертов — в 4 битах. Для запуска требуется загрузчик Gemma 4, совместимый с MLX и понимающий параметры quantization, jang_config.json, процессор и шаблон чата. Лицензия — Gemma.

DavidAU разработал эту модель на основе Google Gemma 4 31B IT: сначала применил снятие части отказов (abliteration), затем умеренно дообучил модель с помощью Unsloth на собственной коллекции текстов THE DECKARD. Это плотная мультимодальная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration; репозиторий содержит веса safetensors в bfloat16. Модель настроена для диалогов и генерации текста, а также поддерживает ввод изображений. В README описаны режимы instruct и thinking; для thinking приведён шаблон диалога с принудительно включённым режимом рассуждений. Автор ориентирует модель на творческое письмо, художественную прозу, ролевые диалоги, генерацию сюжетов и продолжение сцен, а также на общие вопросы и программирование. В README указано контекстное окно 128 тыс. токенов, но метаданные базовой Gemma 4 указывают 256 тыс. токенов для версии 31B; для этой производной точный лимит следует сверять с конфигурацией репозитория. Метаданные подтверждают возможность анализа изображений, однако заявленные в README возможности видео и аудио относятся к семейству Gemma 4 в целом и не подтверждены для этой версии. Лицензия — Apache-2.0.

Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP — модификация Gemma 4 31B-it, разработанная HauhauCS на основе официальных QAT-весов модели Google DeepMind. Это плотная модель на 31 млрд параметров с 4-битной квантизацией Q4_K_M, контекстом до 256K токенов и поддержкой изображений через отдельный mmproj-модуль. В README заявлен английский язык; модель распространяется в формате GGUF и совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надежность. Вариант Balanced ориентирован на широкий круг пользователей и описан как полностью uncensored-модификация без изменений исходных датасетов и базовых возможностей. В комплект входит MTP draft head для speculative decoding; по данным автора, при использовании через llama.cpp это дает примерно 53% ускорения генерации без изменения проверяемого результата. К сильным сторонам относятся большой контекст, поддержка визуального ввода, 4-битная QAT-квантизация с заявленным близким к полноточному качеством и ускорение генерации с MTP. Ограничения включают крупный размер файлов: основная модель занимает около 18,7 ГБ, mmproj — 1,2 ГБ, а MTP-модуль — 280 МБ. Работа MTP-технологии проверялась автором через llama.cpp, а для LM Studio отмечены возможные сбои в режиме tensor-split при использовании нескольких GPU; рекомендуется использовать одну GPU с layer-split или приоритетным порядком. Лицензия указана как Gemma. В README также отмечено, что заявления об отсутствии отказов основаны на тестах автора и не исключают редких случаев уклонения от ответа на отдельных запросах.

Gemma 4 E2B CoreAI — текстовая decoder-модель, экспортированная пользователем mlboydaisuke из базовой модели google/gemma-4-E2B-it для запуска через Apple Core AI на устройствах с iOS 27 и macOS 27. Модель предназначена для локальной генерации текста, диалоговых сценариев, суммаризации и офлайн-ассистентов; интеграция возможна через CoreAIKit и Swift. Поддерживаются GPU и Neural Engine Apple, включая iPhone и Mac, без обязательной отправки данных на сервер. Опубликованы квантизированные варианты с int4 и int8, включая конфигурации с пользовательскими Metal-ядрами для GPU и отдельные варианты для Neural Engine. Размер загружаемого комплекта составляет около 4,9 ГБ, а заявленная скорость декодирования достигает 22 токенов/с на iPhone 17 Pro и 56,6–59 токенов/с на M4 Max в Release-сборке; показатели зависят от платформы и конфигурации. В README не указаны языки, размер контекстного окна и точные архитектурные параметры. Модель рассчитана на экосистему Apple, требует iOS 27 или macOS 27 и может нуждаться в повышенном лимите памяти на iPhone. Лицензия указана как Apache-2.0, при этом для Gemma приведена отдельная ссылка на условия Google.

mlboydaisuke/gemma-4-E4B-CoreAI — это текстовая генеративная модель Gemma 4 E4B, разработанная Google и преобразованная в формат Apple Core AI компанией или автором репозитория модели. Она предназначена для локального запуска на устройствах Apple под управлением iOS 27 и macOS 27, включая офлайн-диалоги, суммаризацию, генерацию текста и интеграцию в приложения через CoreAIKit. Модель может работать на GPU или Neural Engine без пользовательских ядер. Модель основана на официальном QAT-чекпойнте google/gemma-4-E4B-it-qat-q4_0-unquantized. Это плотный текстовый decoder-only трансформер без MoE: заявлены 42 слоя, скрытое представление размером 2560, промежуточный размер 10240, 8 query heads и 2 KV heads; полное внимание используется в каждом шестом слое. Веса подготовлены для округления q4_0 и представлены в виде int4-квантизации с блоками по 32 значения. Размер поставляемых файлов составляет примерно 7,1 ГБ, а пиковое потребление памяти на iPhone 17 Pro заявлено на уровне 2,2 ГБ. Сильные стороны модели — запуск полностью на устройстве, отсутствие необходимости в облачном API, совместимость с экосистемой Apple и подтверждённое совпадение жадной генерации с эталоном на указанных тестах. Ограничения включают зависимость от iOS 27 или macOS 27, аппаратной платформы Apple и конкретного runtime Core AI; сведения о поддерживаемых языках и максимальной длине контекста в карточке не указаны. Модель распространяется по лицензии Apache-2.0, при этом базовый Gemma-чекпойнт имеет собственные условия Google, на которые указывает ссылка в метаданных.

AtomicChat/gemma-4-E4B-it-GGUF — GGUF-квантизированная версия мультимодальной модели google/gemma-4-E4B-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также ориентирована на задачи, требующие рассуждений, с настраиваемыми режимами thinking. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом embeddings, 42 слоя и контекст до 128K токенов. Архитектура представляет собой плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используются 8 attention heads и 2 KV heads. В репозитории доступны варианты квантования от Q2_K до Q8_0, включая imatrix-квантизации. Importance matrix помогает уменьшить потерю качества в низкобитных вариантах; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству. Для обработки изображений поставляется vision-проектор mmproj. Сильные стороны модели — мультимодальность, большой контекст, возможность локального запуска и широкий выбор квантов под разные объёмы памяти. Ограничения связаны с потерями качества при наиболее компактном квантовании, потребностью правильно применять chat template Gemma 4 и необходимостью отдельного vision-проектора для изображений. Заявленные benchmark-результаты относятся к базовой модели Google, а не к независимым измерениям этого репозитория. Лицензия — Apache 2.0.

alphakek/gemma-4-E4B-it-heretic-mythos-v1 — производная мультимодальная модель на базе Google Gemma 4 E4B Instruct, опубликованная пользователем alphakek. По карточке, Gemma 4 использует плотную архитектуру с чередованием локального скользящего и глобального внимания. Базовая модель рассчитана на контекст до 128K токенов; метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и работы с инструментами. Вариант E4B поддерживает смешанные текстовые и визуальные запросы, видео через последовательности кадров, а также аудиовход для распознавания речи и перевода речи в текст. Gemma 4 описана как многоязычная модель с поддержкой более 35 языков, но какие именно языки и возможности сохранены в этой производной версии, карточка не уточняет. Название и теги указывают на попытку ослабить встроенные ограничения ответов (heretic, uncensored, decensored, abliterated), однако README не описывает конкретную процедуру изменений или их влияние на качество и безопасность. Как и базовая модель, она может допускать фактические ошибки, испытывать трудности с неоднозначными запросами и отражать смещения обучающих данных. Лицензия репозитория — Apache-2.0.

Gemma-4-E4B-it-NVFP4 — мультимодальная instruct-модель семейства Gemma 4, созданная на основе google/gemma-4-E4B-it и оптимизированная для диалогового и чат-применения. Квантованную версию подготовил Mario Iseli с использованием NVIDIA Model Optimizer на платформе NVIDIA DGX Spark. Модель предназначена для генерации текста, а также обработки изображений и аудио; заявлена поддержка multilingual-сценариев и контекстного окна до 128K токенов. Архитектура основана на плотной модели с механизмом Per-Layer Embeddings (PLE), где каждый из 26 декодерных слоёв получает специализированный 256-мерный сигнал. Вариант использует квантование NVFP4 по схеме W4A4: веса и активации языковых слоёв представлены в FP4, а башни обработки изображений и аудио, соответствующие проекционные слои и lm_head сохранены в BF16. Размер модели на диске составляет около 10,2 ГБ, при этом мультимодальные компоненты занимают значительную часть памяти. Ключевые преимущества — уменьшенный размер, возможность запуска на совместимом оборудовании NVIDIA и высокая заявленная скорость около 65 токенов в секунду на DGX Spark. Ограничения включают необходимость vLLM с transformers версии 5.4 или новее, зависимость от поддержки NVFP4 и сохранение значительного потребления памяти мультимодальными башнями. Это общественная квантованная сборка, а не официальный релиз NVIDIA или Google. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Gemma-4-Garnet-V2-31B-it-ultra-uncensored-heretic-GGUF — набор GGUF-квантизаций текстовой генеративной модели, разработанный независимым автором llmfan46. Модель основана на Gemma-4-Garnet-V2-31B-it-ultra-uncensored-heretic, которая, в свою очередь, создана на базе ConicCat/Gemma4-GarnetV2-31B. Для снятия ограничений применялись Heretic v1.2.0 и метод Arbitrary-Rank Ablation (ARA). Размер базовой модели — 31 млрд параметров; доступны варианты от BF16 до Q4_K_M и другие квантизации GGUF. Модель предназначена прежде всего для генерации творческих текстов и перевода, где важны выразительный стиль, богатая лексика и более естественный подбор формулировок. По данным README, версия имеет существенно меньше отказов: 4 из 100 против 99 из 100 у исходной модели, при этом сохраняет близость к оригиналу с KL-дивергенцией 0,0167. На тесте MMLU её точность составила 83,93% против 84,82% у исходной модели. К сильным сторонам относятся улучшенная, по заявлению автора, выразительность письма, сниженное количество отказов и широкий выбор квантизаций для разного баланса качества и требований к памяти. Ограничением является небольшое снижение результата MMLU относительно оригинала; сведения о конкретной архитектуре, длине контекста, поддерживаемых языках и мультимодальности в README не указаны. Модель распространяется по лицензии Apache-2.0.

gemma-7b-zephyr-alpaca-it-ties — объединённая языковая модель на архитектуре Gemma, собранная автором репозитория с помощью mergekit из google/gemma-7b-it, HuggingFaceH4/zephyr-7b-gemma-v0.1 и mlabonne/Gemmalpaca-7B методом dare_ties. Модель содержит 8,2 млрд параметров и рассчитана на генерацию текста, в том числе диалоговые ответы и выполнение инструкций. Модель принимает текст и генерирует текст. Веса представлены в формате safetensors; в конфигурации слияния указан dtype float16. Контекст составляет до 8192 токенов. Метаданные указывают лицензию Apache-2.0. Базовая Gemma 7B IT описана как англоязычная, поэтому английский язык можно считать основным; сведения о дополнительных языках для этого объединения не приведены. Качество слияния и сравнительные результаты в карточке не описаны.

Crystalcareai/Gemma-Generic — дообученная автором репозитория языковая модель семейства Gemma с плотной архитектурой GemmaForCausalLM и примерно 8,2 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев общего назначения; при дообучении использовался набор Chat-Error/wizard_alpaca_dolly_orca в течение трёх эпох. Модель принимает текст и генерирует текст. Заявленная длина контекста составляет 8192 токена. В репозитории доступны веса в формате safetensors. README не приводит результатов оценки качества или описания специальных возможностей. Лицензия в предоставленных данных не указана.

Gemma-SEA-LION-v3-9B-IT — языковая модель AI Singapore, разработанная командой Products Pillar при финансировании NRF Сингапура. Это дообученная по инструкциям версия Gemma-SEA-LION-v3-9B на архитектуре Gemma 2: плотная decoder-модель с 9 млрд параметров, предназначенная для диалогов и генерации текста. Контекстное окно составляет 8192 токена. Модель рассчитана на ответы на вопросы, следование инструкциям, суммаризацию, анализ тональности и токсичности, рассуждения и перевод между английским и языками Юго-Восточной Азии. В README перечислены бирманский, китайский, английский, филиппинский, индонезийский, яванский, кхмерский, лаосский, малайский, сунданский, тамильский, тайский и вьетнамский языки; метаданные также содержат коды для этих языков. Модель оценивалась на многоязычных задачах и тестах следования инструкциям. Модель не обучена использовать системный промпт или вызывать инструменты. Она может галлюцинировать, давать нерелевантные ответы и непоследовательно рассуждать; авторы также предупреждают, что релиз не прошёл safety-выравнивание. Лицензия — Gemma Community License; перед применением следует учитывать её условия.

CrystalcareAI/Gemma-Selfdiscover — дообученная языковая модель семейства Gemma с архитектурой GemmaForCausalLM. Модель содержит 8,2 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Модель дообучена в течение трёх эпох на наборе Crystalcareai/Self-Discover-MM-Instruct-Alpaca и предназначена для генерации текста и ответов на инструкции. Карточка указывает на компактную и эффективную архитектуру, рассчитанную в том числе на сценарии с ограниченными вычислительными ресурсами. В репозитории представлены веса Safetensors. Лицензия в предоставленных данных не указана; сведения о языковой поддержке также отсутствуют.

Gunulhona/Gemma-System-9B — объединённая методом Model Stock модель генерации текста на базе Gemma 2 9B, созданная автором с помощью mergekit. В качестве базовой модели при слиянии использована Gunulhona/Gemma-Ko-Merge; также объединены чекпойнты SimPO и DPO, а также модели для корейского, болгарского, турецкого и художественного диалогового текста. Модель предназначена для генерации текста и диалогового общения. Она имеет плотную архитектуру Gemma2ForCausalLM, содержит 9 млрд параметров, работает с текстом и поддерживает контекст длиной до 8192 токенов. Репозиторий содержит веса safetensors и использует библиотеку Transformers. В карточке не приведены сведения о лицензии и конкретных ограничениях качества или применения. Для условий использования следует учитывать лицензии исходных моделей, вошедших в слияние.

Gemopus-4-E4B-it — дообученная модель Jackrong на базе google/gemma4-E4B-it для диалогового помощника с локальным запуском на мобильных устройствах и маломощных компьютерах. Она принимает текст и изображения и генерирует текст; карточка заявляет поддержку зрения и инструкции для диалога. Модель относится к семейству Gemma 4, имеет плотную архитектуру и распространяется в формате safetensors. В карточке подчёркнуты настройка тона ответов, контекстное ведение многоходового диалога и структурированная подача информации. Указаны английский, китайский, корейский и японский языки. Модель подходит для повседневного помощника на устройстве, написания и редактирования текстов, кратких ответов, форматирования и извлечения сведений из текста или изображений. Автор ориентирует её на сценарии с низкой задержкой и локальной обработкой данных. Контекстное окно и размер модели в карточке не указаны. Лицензия — Apache-2.0. Автор предупреждает, что из-за сравнительно небольшого размера модель уступает крупным облачным моделям в широте знаний и сложных рассуждениях, а на узкоспециализированных темах и сложных математических задачах может допускать ошибки. Модель позиционируется как экспериментальная настройка для локального применения.