I.5Создание и редактирование текста

Gemma-2-Ataraxy-v4b-9B — объединённая языковая модель на архитектуре Gemma 2, созданная Lemon07r с помощью mergekit и метода SLERP. Она объединяет две предварительно обученные модели: lemon07r/Gemma-2-Ataraxy-v3b-9B и zelk12/recoilme-gemma-2-Ataraxy-9B-v0.1-t0.25. Модель содержит 9 млрд параметров, использует формат safetensors и рассчитана на генерацию текста в диалогах. Подходит для ведения беседы, выполнения инструкций и творческого письма. Контекстное окно — до 8192 токенов. В README приведены результаты оценивания, включая 68,78 на IFEval и 43,44 на BBH; также отмечено, что результаты лидерборда могут быть ошибочными. Для запуска используется библиотека Transformers. В README не указана лицензия, поэтому условия использования по имеющимся данным определить нельзя.

Sabeerali/Gemma-2B-Mal — дообученная модель генерации текста, разработанная Sabeerali на базе unsloth/gemma-2-2b-bnb-4bit. Это плотная авторегрессионная модель семейства Gemma 2 с 2,7 млрд параметров и контекстом до 8192 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL; модель предназначена для генерации текста. Поддерживаемый язык по метаданным — английский. Модель распространяется по лицензии Apache-2.0.

Gemma 3 12B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Квантизацию выполнил bartowski на основе llama.cpp; исходная модель — google/gemma-3-12b-it. Модель предназначена для генерации текста и понимания изображений. Поддерживаемые сценарии включают ответы на вопросы, суммаризацию, рассуждения и другие задачи обработки текста с учётом визуального контекста. Заявлена длина контекста до 128 000 токенов и максимальная длина вывода 8192 токена. Изображения обрабатываются в разрешении 896 × 896. Поддержка конкретных языков в README не указана. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большой контекст и возможность локального запуска в экосистеме llama.cpp. Ограничениями являются зависимость от совместимого runtime, требование llama.cpp версии 1.19.0 или более новой beta-версии, а также возможные компромиссы качества и скорости, связанные с квантизацией GGUF. Модель может выдавать неточные, вредные или неподходящие ответы. Для доступа к Gemma на Hugging Face требуется принять лицензию Google. В README указана лицензия Gemma; дополнительные условия её использования следует учитывать перед развёртыванием модели.

p-e-w выпустил gemma-3-12b-it-heretic — разговорную мультимодальную модель на архитектуре Gemma 3, созданную дообучением google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; карточка описывает сценарии общения, ответов на вопросы по изображениям, суммаризации и генерации текстов. В метаданных указаны 12 млрд параметров для базовой модели, формат safetensors и библиотека Transformers. README семейства Gemma 3 сообщает о контекстном окне до 128 тыс. токенов и поддержке более 140 языков; эти характеристики приведены для семейства, а не подтверждены отдельно для данного чекпойнта. Метка heretic и теги uncensored, decensored и abliterated указывают на изменение поведения модели в сторону снятия ограничений, однако README не описывает процедуру такого изменения. Лицензия указана как gemma. Модель может выдавать неверные или устаревшие сведения, отражать смещения обучающих данных и ошибаться при сложных запросах или тонких языковых нюансах; при использовании следует учитывать риск генерации вредного содержания.

llmfan46 — дообученная на базе Google Gemma 3 12B IT мультимодальная модель для диалогов с текстом и изображениями. По данным карточки, она принимает текст и изображения и формирует текстовые ответы; подходит для вопросов по изображениям, генерации и суммаризации текста, а также диалоговых сценариев. Архитектура — плотная Gemma 3, размер базовой модели — 12 млрд параметров. Для семейства Gemma 3 в README указано контекстное окно 128 тыс. токенов и поддержка более 140 языков; подтверждения, что эти характеристики полностью сохранены в этой производной версии, нет. Автор называет модель uncensored и heretic; отдельные сведения о методе такого изменения или его оценке в карточке не приведены. Модель распространяется в формате safetensors через Transformers. Лицензия указана как gemma; перед использованием следует учитывать её условия. Как и другие генеративные модели, она может выдавать фактически неверные ответы, отражать смещения обучающих данных и ошибаться при сложных или неоднозначных запросах.

Gemma-3-1b-it-MAX-NEO-Imatrix-GGUF — модифицированная GGUF-версия модели Google Gemma 3 1B Instruct, подготовленная DavidAU. Модель предназначена для генерации текста, диалогов, выполнения инструкций, творческих сценариев и других общих задач обработки текста. Заявлен контекст до 32 000 токенов. Модель использует квантизации GGUF с вариантами от IQ1_S до Q8_0, а также полную точность F16. В вариантах «MAXED» входные embedding- и выходные tensor сохраняются в формате BF16, что должно повышать качество за счёт немного большего размера файлов. «NEO IMATRIX» обозначает применение специального imatrix-набора данных, разработанного автором, для улучшения следования инструкциям, качества вывода и связности идей. Данные о языках и мультимодальных возможностях не указаны. Качество, скорость и требования к памяти зависят от выбранной квантизации. Автор рекомендует IQ3, IQ4XS и IQ4NL для творческих задач, Q5, Q6 и Q8 для общего использования, а Q4_0 и Q5_0 — для портативных и мобильных устройств. Низкие квантизации IQ1 имеют слабую производительность, IQ2 считаются приемлемыми; IQ4XS и IQ4NL могут выдавать результаты, отличающиеся от других вариантов. Для работы могут потребоваться специально подобранные параметры генерации и sampler settings. Модель распространяется по лицензии Apache-2.0.

Это дообученная диалоговая модель Google Gemma 3 на 1 млрд параметров, созданная на основе google/gemma-3-1b-it. Модель предназначена для генерации текста и диалогов; карточка указывает обучение в течение трёх эпох, но не описывает датасет и конкретную специализацию. Модель использует плотную архитектуру Gemma 3 и принимает текстовые запросы, выдавая текст. Контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Gemma.

unsloth/gemma-3-270m — текстовая дообученная версия Gemma 3 от Unsloth на базе google/gemma-3-270m. Это плотная авторегрессионная модель класса Gemma3ForCausalLM с 257 млн параметров, предназначенная для генерации текста, диалогов, суммаризации и ответов на вопросы. Репозиторий использует библиотеку Transformers и формат safetensors; длина контекста — 32 768 токенов. Модель подходит для экспериментов и приложений с ограниченными ресурсами, где нужны генерация текста и компактный разговорный интерфейс. В README описаны возможности семейства Gemma 3, включая мультиязычность и работу с изображениями, но этот вариант обозначен в метаданных как текстовая модель; поэтому визуальные возможности для него не заявляются. Возможны фактические ошибки, пробелы в знаниях и трудности с неоднозначными формулировками. Лицензия — Gemma.

onnx-community/gemma-3-270m-it-ONNX — ONNX-версия инструкционно дообученной модели Google Gemma 3 270M, разработанной Google DeepMind и предназначенной для запуска через Transformers.js. Модель генерирует текст по запросам, отвечает на вопросы, суммирует документы, выполняет рассуждения и может анализировать изображения с выдачей текстового ответа. Модель относится к компактному семейству Gemma 3 и имеет 270 миллионов параметров. Она поддерживает текстовые и, согласно карточке семейства Gemma 3, визуальные входы, при этом выходом является текст. Для вариантов 270M заявлен контекст до 32K токенов на запрос; модель ориентирована на работу более чем со 140 языками. Небольшой размер подходит для развёртывания на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре с ограниченными ресурсами. Сильными сторонами являются компактность, возможность локального запуска, инструкционное поведение и поддержка широкого набора текстовых задач. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными вариантами Gemma 3; конкретные показатели качества и требования к аппаратному обеспечению в карточке не приведены. Модель распространяется на условиях лицензии Gemma; перед использованием необходимо ознакомиться с соответствующими Terms of Use.

MaziyarPanahi/gemma-3-27b-it-GGUF — это набор квантованных файлов модели Gemma 3 27B Instruct в формате GGUF. Исходную модель разработала Google, а конвертацию и публикацию квантованных версий выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Репозиторий содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством ответов. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами; некоторые из них поддерживают ускорение на GPU и OpenAI-совместимый сервер. Ключевые сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Ограничения зависят от выбранного уровня квантования и используемого клиента. Лицензия для опубликованных файлов в предоставленных данных не указана.

heretic-org/gemma-3-4b-it-heretic — это производная от Gemma 3 4B IT модель с открытыми весами, размещённая heretic-org. Она принимает текст и изображения и генерирует текст; поддерживает диалоговые сценарии и задачи понимания изображений. В карточке базовой Gemma 3 указаны контекст до 128K токенов и поддержка более 140 языков. Модель подходит для ответов на вопросы по изображениям, извлечения и краткого изложения визуальной информации, диалоговых помощников, генерации и суммаризации текста. Метаданные отмечают её как uncensored/decensored, поэтому она может слабее ограничивать генерацию нежелательного содержания. Указанная лицензия — gemma; применяются условия лицензии и политики использования Gemma.

Google Gemma 3 4B IT QAT Q4_0 Unquantized — мультимодальная модель для диалогов с текстом и изображениями, основанная на Gemma 3 4B IT. Несмотря на обозначение QAT Q4_0 в названии, метаданные указывают формат файлов safetensors; отдельная квантизация в них не подтверждена. Модель принимает текст и изображения и генерирует текст, поддерживает чат и предназначена для ответов на вопросы по изображениям, суммаризации и другим задачам генерации и понимания текста. В README семейство Gemma 3 описано как компактное, подходящее для локального запуска на ноутбуках и настольных компьютерах. Для семейства заявлены контекст до 128 тысяч токенов и поддержка более 140 языков; README не уточняет, подтверждены ли эти характеристики именно для данной сборки. Лицензия — Gemma. Возможны фактические ошибки, предвзятые ответы и трудности с неоднозначными формулировками и сложными задачами; для развёртывания следует учитывать эти ограничения и проверять результаты.

Mungert/gemma-3n-E2B-it-GGUF — инструкционная мультимодальная модель семейства Gemma 3n, разработанная Google DeepMind и представленная в формате GGUF. Репозиторий создан с использованием llama.cpp. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и поддерживает обработку текста, изображений, видео и аудио с генерацией текстовых ответов. Архитектура использует MatFormer и технологию выборочной активации параметров: фактический размер модели составляет около 6 млрд параметров, но за счёт выгрузки редко используемых матриц требования к памяти сопоставимы с традиционной моделью эффективного размера 2 млрд параметров. Поддерживаются изображения с разрешением 256×256, 512×512 или 768×768, аудио одного канала, кодируемое со скоростью 6,25 токена в секунду, и общий контекст до 32 тысяч токенов. Максимальная длина вывода также составляет до 32 тысяч токенов за вычетом токенов входного запроса. Модели Gemma 3n обучались на данных более чем для 140 разговорных языков. Модель подходит для ответов на вопросы, суммаризации документов, анализа изображений, аудио и видео, а также для других инструкционных и мультимодальных сценариев. К сильным сторонам относятся сочетание нескольких модальностей и сниженные требования к ресурсам; при этом в карточке не приведены результаты тестов, точные параметры GGUF-квантизации и подробные сведения о поддерживаемых языках. Использование регулируется лицензией Gemma и условиями Google; доступ к исходной модели на Hugging Face требует принятия условий лицензии.

unsloth/gemma-3n-E2B-it-litert-preview-GGUF — GGUF-версия инструкционной модели Gemma 3n E2B, основанной на google/gemma-3n-E2B-it-litert-preview. Модель разработана Google DeepMind, а данный вариант подготовлен Unsloth. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами, а также для диалогов, ответов на вопросы и суммаризации документов. Модель поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текстовых ответов, однако в README для этой конкретной версии указано, что в настоящее время поддерживается только текст. Эффективный размер составляет 2B параметров благодаря технологии выборочной активации параметров; общий размер параметров не указан. Максимальная длина контекста — 32K токенов. Заявлена языковая поддержка английского языка, при этом семейство Gemma 3n обучалось на данных более чем 140 разговорных языков. К сильным сторонам относятся компактность, ориентированность на малоресурсные устройства и формат GGUF, удобный для локального запуска. Ограничения включают текущую поддержку только текстовых входов в этой версии и отсутствие подробных сведений о производительности, аппаратных требованиях и результатах оценки. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google.

Mungert/gemma-3n-E4B-it-GGUF — квантованный формат GGUF инструкционной мультимодальной модели Gemma 3n E4B, разработанной Google DeepMind и преобразованной с использованием llama.cpp. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и генерации текстовых ответов на основе текста, изображений, видео и аудио. Возможные сценарии включают ответы на вопросы, анализ визуального содержимого, суммирование документов, распознавание речи и автоматический перевод речи. Модель имеет 8 млрд фактических параметров, но благодаря выборочной активации параметров и выгрузке редко используемых матриц рассчитана на потребление памяти, сопоставимое с традиционной моделью на 4 млрд параметров. Она использует архитектуру MatFormer, поддерживает вложенную подмодель E2B и допускает создание моделей промежуточного размера. Контекст составляет до 32K токенов; изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768, аудио — с частотой 6,25 токена в секунду для одноканального сигнала. Максимальная длина вывода — до 32K токенов за вычетом входа. Модель обучалась на данных более чем 140 разговорных языков. К сильным сторонам относятся мультимодальность, компактное эффективное выполнение и поддержка сценариев на устройствах с ограниченными ресурсами. Ограничения связаны с использованием GGUF и необходимостью совместимого программного обеспечения для запуска; конкретные характеристики квантования в представленном README не указаны. Для использования требуется принять лицензию Google Gemma; лицензия обозначена как gemma, а авторами исходной модели являются Google DeepMind.

unsloth/gemma-3n-E4B-it-litert-preview-GGUF — это GGUF-версия инструкционно настроенной модели Gemma 3n E4B от Google DeepMind, подготовленная Unsloth на основе google/gemma-3n-E4B-it-litert-preview. Семейство Gemma создано с использованием технологий и исследований Google, применявшихся при разработке Gemini. Модель предназначена для диалогов, ответов на вопросы, обработки запросов и суммаризации документов. Gemma 3n ориентирована на эффективный запуск на устройствах с ограниченными ресурсами. В исходной конфигурации семейство поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текстовых ответов, однако для данной версии в README заявлена только текстовая поддержка. Максимальный контекст составляет 32K токенов. Модель использует технологию выборочной активации параметров, благодаря чему эффективный размер составляет около 4B параметров при меньших требованиях к ресурсам, чем у моделей с полностью активными параметрами сопоставимого общего размера. Обучение проводилось на данных более чем для 140 разговорных языков, но в карточке явно указан язык en, поэтому возможности для других языков не гарантируются. Для корректной работы рекомендуется использовать параметры temperature 1.0, top_k 64 и top_p 0.95. Модель распространяется на условиях лицензии Gemma; применяются официальные Terms of Use Google. Ограничениями являются заявленная в этой версии текстовая поддержка, отсутствие в карточке подробностей об архитектуре, полном числе параметров и результатах бенчмарков, а также необходимость учитывать требования GGUF-совместимого программного обеспечения.

Gemma-4-12B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели culturerevolt/gemma-4-12b-heretic-abliterated, созданной на основе архитектуры Google Gemma-4 12B Instruction Tuned. Репозиторий разработан culturerevolt; в README также отмечен вклад Google DeepMind в архитектуру и Philipp Emanuel Weidmann в разработку подхода Heretic abliteration. Модель предназначена для локальной генерации текста, диалогов, рассуждений, творческого письма и агентских сценариев, включая обработку структурированного вывода и JSON. Поддержка изображений заявлена через отдельный мультимодальный проектор gemma-4-12b-it-mmproj-f16.gguf. Доступны варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ3_XS с разным соотношением качества, скорости и требований к памяти. Для части вариантов использована калибровка iMatrix, ориентированная на сохранение логики, синтаксиса, инструментального вызова и качества повествования при квантовании. Точный список языков и базовый размер контекстного окна в README не указаны; для IQ4_XS упоминается возможность работы с контекстом до 131 тысяч токенов в определённых конфигурациях. Сильные стороны модели — широкий выбор степеней квантования, возможность запуска на локальном оборудовании и оптимизация низкобитных вариантов с помощью importance matrix. Ограничения связаны с неизбежной потерей точности при более агрессивном квантовании, зависимостью мультимодального режима от совместимого backend и отдельного projector-файла, а также с тем, что аблитерированная версия позиционируется как decensored и может иметь меньше встроенных отказов от нежелательных запросов. Лицензия — Apache-2.0.

AEON-7 выпустил BF16-версию Gemma-4-12B-it с удалёнными отказами и заявленным сохранением возможностей исходной модели. Это плотная мультимодальная модель семейства Gemma 4 с 12 млрд параметров, предназначенная для диалога и следования инструкциям; основная задача в метаданных — генерация текста. В README также указаны сценарии работы с кодом, математическими задачами и рассуждениями. Базовая модель поддерживает работу с изображениями, видео и аудио, однако карточка этой версии описывает прежде всего текстовую генерацию. В README модель позиционируется как точный BF16-вариант семейства K4 для дообучения или запуска на оборудовании без Blackwell. Для загрузки через мультимодальный путь vLLM требуется processor_config.json из карточки базовой модели. Приведённые авторами показатели производительности относятся к DGX Spark и оптимизированному контейнеру AEON vLLM; они не характеризуют другие конфигурации. Модель распространяется по лицензии Gemma Google.

OsaurusAI подготовила MLX-сборку JANG_4M на основе инструкционной Gemma 4 от Google DeepMind с 12 млрд параметров. Это плотная модель семейства gemma4_unified с 48 текстовыми слоями, предназначенная для диалога и генерации текста; заявлен интерфейс для вызова инструментов. Веса упакованы в формате safetensors с аффинной смешанной точностью: эмбеддинги токенов, нормализации, компоненты обработки медиа и связанные проекторы сохранены в fp16, проекции внимания и маршрутизатора MoE — в 8-битном виде, основная часть MLP и экспертов — в 4-битном. Проверенный путь запуска через JANG-загрузчик vMLX поддерживает только текст. Хотя веса и конфигурации для изображений и аудио сохранены, для них требуется совместимая реализация Gemma 4 в MLX; в стандартном mlx_vlm такой поддержки пока нет. Модель распространяется по лицензии Gemma. Сборка предназначена для MLX и Apple Silicon; фактическое использование зависит от совместимого JANG-загрузчика и шаблонов Gemma 4.

zaakirio/gemma-4-12b-it-uncensored-GGUF — набор GGUF-квантизаций модели zaakirio/gemma-4-12b-it-uncensored, разработанной на основе Google Gemma 4 12B Instruct. Это декензурированная версия, полученная методом Heretic-abliteration, ориентированная на диалоговые сценарии и запуск через llama.cpp. Модель предназначена для генерации текста, общения, анализа изображений и аудио, а также обработки видео через выборку кадров и аудиодорожку. Модель представляет собой encoder-free unified multimodal decoder-only transformer с 12 млрд параметров и контекстным окном до 256K токенов. Поддерживаются текст, изображения, аудио и видео; для мультимодального ввода требуется отдельный проектор mmproj-gemma-4-12B-it-bf16.gguf. Доступны варианты от Q2_K до Q8_0 и f16 размером примерно от 4,50 до 22,20 ГБ. Опциональный MTP-драфтер может ускорить генерацию на GPU. Поддерживается reasoning-режим, а также системная роль. Сильные стороны модели — сочетание мультимодальности, большого контекста, различных уровней квантизации и совместимость с llama.cpp. Обработка аудио в llama.cpp отмечена как экспериментальная, поэтому качество распознавания может быть сниженным; обработка видео зависит от клиента, выполняющего извлечение кадров. Языки модели явно не перечислены, однако в README подтверждена точная многоязычная транскрипция речи. Лицензия указана как gemma.

Gemma-4-12B-OBLITERATED-MLX-BF16 — текстовая разговорная модель семейства Gemma 4, подготовленная bsisduck для запуска через MLX-LM на системах Apple Silicon. Это конверсия BF16 без квантизации модели OBLITERATUS/Gemma-4-12B-OBLITERATED; в копии конфигурации тип архитектуры gemma4_unified заменён на gemma4 для совместимости с MLX-LM. Модель предназначена для генерации текста и диалоговых сценариев. Репозиторий содержит веса в формате safetensors и рассчитан на работу с библиотекой MLX-LM. Использование регулируется лицензией Gemma. Карточка не сообщает о специальных областях применения или подробных оценках качества.

HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — модифицированная версия Gemma 4 12B от Google DeepMind, подготовленная HauhauCS. Модель основана на официальных QAT-весах и ориентирована на агентное программирование, рассуждения, творческое письмо, ролевые сценарии и диалоговые задачи, где важны следование инструкциям и надежность. Вариант позиционируется как uncensored и предназначен для случаев, когда стандартные отказы базовой модели нежелательны. Это плотная модель на 12 млрд параметров с контекстом до 256K токенов. Она поддерживает ввод изображений через отдельный vision-проектор mmproj, поэтому может использоваться в мультимодальных сценариях. Доступна в формате GGUF с квантизацией Q4_K_M размером около 6,9 ГБ; автор считает этот вариант оптимальным благодаря обучению Gemma 4 с учетом 4-битной квантизации. Для ускорения генерации поставляется MTP-голова для speculative decoding, которая в llama.cpp, по заявлению автора, дает примерно 60% прироста скорости без изменения проверяемого результата. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Среди ограничений — заявленное ускорение MTP протестировано только в llama.cpp, а при использовании LM Studio автор наблюдал возможные сбои в режиме tensor-split на нескольких GPU; рекомендуется использовать один GPU или альтернативное распределение слоев. Заявление об отсутствии отказов основано на тестах автора и не исключает отдельных отказов в пограничных случаях. Лицензия указана как Gemma; конкретные условия следует уточнять в лицензии семейства Gemma.

aifeifei798 представила дообученную мультимодальную модель Gemma 4 12B Queen, созданную на основе google/gemma-4-12B-it-qat-q4_0-unquantized. Это инструкционная модель с плотной архитектурой Gemma4Unified, рассчитанная на диалог и ролевые сценарии, включая тёмное фэнтези и Dark Academia. В карточке также заявлены ответы по тексту, изображениям, аудио и видео, а основной язык использования — английский. Модель ориентирована на творческое письмо: создание песен, длинных текстов, промптов, маркетинговых публикаций и объяснений, а также на ролевые диалоги. Среди дополнительных сценариев карточка перечисляет помощь с кодом, ревью и дизайном интерфейсов. Указаны быстрые ответы и адаптация для мобильных телефонов, однако количественных данных о скорости или требованиях к устройству нет. Репозиторий использует safetensors и библиотеку Transformers; лицензия — Apache-2.0.

MoonRide/gemma-4-26B-A4B-it-heretic-ara-GGUF — GGUF-сборка инструкционной мультимодальной модели Gemma 4 26B A4B, разработанной Google DeepMind и модифицированной MoonRide. Это версия с уменьшенным количеством отказов, полученная из google/gemma-4-26B-A4B-it методом Heretic v1.2.0 с использованием Arbitrary-Rank Ablation (ARA) и сохранением row-norm. Модель предназначена для генерации текста, рассуждений, программирования, работы с агентными сценариями и анализа изображений при локальном запуске через совместимые движки, включая llama.cpp. Модель относится к архитектуре Mixture-of-Experts с 26B общих параметров и 4B эффективных активных параметров; для семейства Gemma 4 заявлена поддержка контекста до 256K токенов, более 140 языков, текстового и графического ввода с генерацией текста. Семейство использует гибридное внимание со скользящим локальным окном и глобальными слоями, что помогает обрабатывать длинный контекст при сниженных затратах памяти. Доступны различные GGUF-квантизации, включая рекомендуемые Q3_K_M размером около 13,3 ГБ и IQ3_M_L размером около 12,6 ГБ. Главная особенность этой версии — существенно сниженная склонность к отказам: в приведённом тесте она отказала в 12 из 100 случаев против 100 из 100 у исходной модели; при этом KL divergence относительно оригинала составляет 0,0513. Такое изменение может быть полезно для исследовательских и экспериментальных сценариев, но одновременно означает более слабые встроенные ограничения безопасности. Для загрузки README рекомендует llama.cpp b8751 или новее. Лицензия указана как Apache 2.0; условия лицензии Gemma 4 могут содержать дополнительные положения.

OsaurusAI подготовила вариант Gemma 4 26B A4B Instruct в формате MLX JANG_4M на основе google/gemma-4-26B-A4B-it-qat-q4_0-unquantized. Это мультимодальная модель для диалога и генерации текста с поддержкой изображений; в карточке также заявлен интерфейс вызова инструментов. Веса упакованы с разной точностью: эмбеддинги, нормализации, компоненты обработки медиа и отдельные проекции сохранены в fp16, проекции внимания и маршрутизатор MoE используют 8-битное аффинное представление, а основная часть MLP и экспертов — 4-битное. Вариант предназначен для запуска через совместимый с Gemma 4 загрузчик MLX или vMLX, который обрабатывает настройки quantization, jang_config.json и файлы процессора и шаблона чата Gemma 4. Vision-конфигурация сохранена; активная поддержка аудио не заявлена. Лицензия — Gemma.

AEON-7/Gemma-4-26B-A4B-it-Uncensored-NVFP4 — инструкцияная мультимодальная модель семейства Gemma 4, разработанная AEON-7 на основе TrevorJS/gemma-4-26B-A4B-it-uncensored. Модель предназначена для диалогов, генерации текста и кода, агентских сценариев, рассуждений, вызова инструментов и обработки изображений вместе с текстом. Заявлена поддержка английского языка. Архитектура — разреженная Mixture-of-Experts: 26 млрд параметров всего и около 4 млрд активных параметров. Веса квантизованы в NVFP4, используется формат safetensors. Для развёртывания предусмотрена интеграция с vLLM и OpenAI-совместимым API; в документации указана конфигурация с контекстом до 262 144 токенов, chunked prefill, prefix caching и speculative decoding через DFlash. Модель ориентирована на GPU-платформы NVIDIA Grace Blackwell, включая DGX Spark/GB10, а также на локальное или периферийное развёртывание. К сильным сторонам относятся сочетание мультимодальности, MoE-архитектуры с небольшим числом активных параметров, поддержки function calling и reasoning, а также оптимизации для высокопроизводительного инференса. Ограничения связаны с зависимостью от совместимого оборудования NVIDIA и специализированной конфигурации vLLM; заявленные параметры производительности относятся к конкретному серверному стеку и не гарантируют аналогичные результаты в других средах. Модель обозначена как uncensored/unfiltered, поэтому встроенные ограничения безопасности могут быть ослаблены. Лицензия указана как Gemma.

moebiusT7/gemma-4-26b-a4b-mobius-custom-c1 — это модель для генерации текста на базе Google Gemma-4 26B-A4B-it, представленной в формате GGUF с QAT q4_0. Архитектура MoE использует 26 млрд параметров при примерно 4 млрд активных параметров. Модель ориентирована на английский и японский языки и рассчитана на запуск через llama.cpp, LM Studio, Ollama или совместимый OpenAI API-сервер. Указанный разработчиком рабочий контекст — 32 768 токенов; рекомендуется ограничивать reasoning budget значением 4096. Для работы на полном контексте требуется около 14,7 ГБ VRAM, поэтому практически необходима свободная видеокарта с 16 ГБ памяти. Модель предназначена для ответов на вопросы, суммаризации, работы с переданным контекстом и сценариев, где важны маршрутизация запросов, запрос уточнений и отказ от ответа при недостатке данных или небезопасных запросах. В поставляемой конфигурации используются системный промпт L0 Essentials compact v1.1, детерминированный защитный слой для пустых и некоторых небезопасных запросов, а также опциональный RCGov для управления retrieved-контекстом. По заявленным тестам модель показала 0 из 12 выдуманных ответов на вопросы с ложными предпосылками, 9 из 9 корректных отказов от персональных рекомендаций в высокорисковых ситуациях, 60 из 60 обычных ответов без лишних уточнений и скорость генерации около 155,7 токена в секунду на RTX 5070 Ti. Ограничение состоит в том, что сами веса Google не содержат governance-компонентов: при запуске GGUF без специального промпта и обвязки работает обычная Gemma-4. Модель распространяется по лицензии Gemma.

Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP — мультимодальная модель семейства Gemma 4, разработанная HauhauCS на основе Gemma 4 26B-A4B-it от Google DeepMind. Это версия с минимизированными отказами, ориентированная на агентный кодинг, рассуждения, творческое письмо, ролевые и разговорные сценарии, а также задачи, где важны надёжность и следование инструкциям. Модель построена по архитектуре MoE с 128 экспертами, из которых 8 активируются для каждого токена, и имеет заявленный контекст 256K токенов. Используется официальная QAT-квантизация примерно до 4 бит в формате GGUF Q4_K_M; основной файл занимает около 16,8 ГБ. Поддерживается ввод изображений через отдельный vision-проектор mmproj размером около 1,2 ГБ. Заявлен английский язык. В комплект входит MTP-драфтер для speculative decoding, который, по данным автора, ускоряет генерацию примерно на 35% без изменения проверенного моделью результата. Сильными сторонами являются сочетание большого контекста, MoE-архитектуры, поддержки изображений, 4-битной QAT-квантизации и оптимизации под llama.cpp, LM Studio, Jan, koboldcpp и другие GGUF-совместимые среды. Ограничения включают зависимость мультимодального режима от отдельного mmproj, необходимость совместимого MTP-драфтера для заявленного ускорения и возможные сбои Gemma 4 в LM Studio при использовании tensor-split на нескольких GPU. Несмотря на позиционирование как uncensored, автор отмечает отдельные пограничные случаи с отказом при первом запросе. Модель распространяется по лицензии Gemma; дополнительные условия лицензии в README не указаны.

HauhauCS/Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced — модифицированная версия Google Gemma 4 26B A4B IT, разработанная HauhauCS. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, задач эмоционального интеллекта, программирования и агентных рабочих процессов с использованием инструментов. Она позиционируется как uncensored-вариант с минимальным количеством отказов; при этом в отдельных пограничных случаях может сначала добавить краткое предупреждение или отклонить запрос, но обычно отвечает после повторного запроса. Модель имеет MoE-архитектуру: около 25,2 млрд общих параметров и 3,8 млрд активных параметров на проход, 128 маршрутизируемых экспертов, top-8 и один общий эксперт. Используются 30 слоёв с гибридным вниманием, включающим пять оконных слоёв на 1024 токена и один слой полного внимания, а также Proportional RoPE. Нативный контекст составляет 256 тысяч токенов. Модель мультимодальная, поддерживает текст и изображения, поставляется с визуальным проектором mmproj и переменным бюджетом визуальных токенов. В README явно указан английский язык. Сильными сторонами заявлены стабильная работа при повторной генерации, сохранение связности в длинных контекстах, высокая пропускная способность благодаря малому числу активных параметров и пригодность для локального запуска через GGUF-совместимые среды, включая llama.cpp и LM Studio. Для сложных агентных задач автор README отмечает превосходство Qwen3.6. Доступны различные варианты квантования размером примерно от 10 до 27 ГБ; рекомендуемый вариант для программирования — Q4_K_P. Модель распространяется по лицензии Apache-2.0.

Gemma-4-31B-it 4-bit W4A16 AWQ — это квантизированная версия мультимодальной instruction-tuned модели Google Gemma-4-31B-it, опубликованная ebircak. Модель предназначена для генерации текста, диалоговых приложений, программирования, вызова инструментов и обработки задач, требующих работы с текстом и изображениями. Она оптимизирована для развертывания через vLLM. Модель использует архитектуру Gemma4ForConditionalGeneration с 60 декодерными слоями и размером скрытого представления 5376. Текстовый декодер квантизирован до 4-битных асимметричных весов W4A16 с активациями FP16 или BF16, размером группы 128 и форматом compressed-tensors. Vision tower на базе SigLIP и мультимодальный проектор сохранены в BF16 и не квантизированы. Заявлено контекстное окно до 262 тысяч токенов, при этом работа с контекстом 128 тысяч токенов подтверждена. Поддерживаемые языки в README не указаны. Ключевые преимущества — существенно сниженные требования к памяти по сравнению с полноразмерной моделью, сохранение мультимодальных компонентов и поддержка длинного контекста. Для работы рекомендуется vLLM с параметром --quantization compressed-tensors; указание режима awq несовместимо с используемой схемой сериализации. Для коротких контекстов требуется около 24 ГБ VRAM, для 128K токенов — около 48 ГБ, а для производственного использования с длинным контекстом рекомендуется 48 ГБ и более. Ограничения включают зависимость от совместимых сборок vLLM и GPU, а также отсутствие в README данных о качестве, бенчмарках и влиянии квантизации на точность. Модель распространяется по лицензии Apache-2.0.