I.5Создание и редактирование текста

AMD разработала эту модель как 4-битную квантизированную версию Gemma 4 12B IT от RedHatAI. Она предназначена для генерации текста и CPU-инференса на процессорах AMD EPYC, прежде всего в Linux-среде с использованием vLLM и оптимизаций ZenDNN. Указанный язык — английский. Модель построена на архитектуре Gemma4UnifiedForConditionalGeneration и имеет размер 12 миллиардов параметров в исходной версии. Для весов применяется GPTQ-квантизация W4A16: веса хранятся в формате INT4, симметрично и по группам размера 128, а активации остаются в BF16. Визуальные и аудиокомпоненты, мультимодальный проектор и lm_head сохранены в BF16, однако в карточке явно описан сценарий с текстовым вводом и выводом. Калибровка выполнена на 128 примерах датасета ultrachat_200k при максимальной длине последовательности 2048 токенов; в конфигурации оценки использовался максимальный контекст 4096 токенов. Ключевое преимущество модели — снижение требований к памяти и возможность оптимизированного инференса на AMD CPU при сохранении высокой близости к BF16-базовой версии: на GSM8K она получила 0,9249 против 0,9401 у BF16, то есть восстановила 98,38% результата. Ограничения связаны с зависимостью от конкретного программного стека и аппаратной платформы: заявлена совместимость с AMD EPYC, ZenDNN 6.1.0, ZenTorch 2.11.0.3, PyTorch 2.11.0, LLM Compressor 0.12.0 и vLLM 0.26.0. Для оптимальной производительности требуется настройка OpenMP через LD_PRELOAD. Модель распространяется по лицензии Gemma.

SevenOfNine/Gemma-4-26B-A4B-It-Abliterated-GGUF — набор GGUF-квантизаций модели Gemma-4-26B-A4B-It-Abliterated, разработанной SevenOfNine на основе google/gemma-4-26B-A4B-it. Модель предназначена для текстовых и мультимодальных задач с изображениями, вызова инструментов, рассуждений, творческого и ролевого использования. Доступны варианты Q5_K_M, Q6_K и BF16, а также отдельный vision-проектор; рекомендуемый вариант Q5_K_M занимает 19,1 ГБ. Архитектура Mixture-of-Experts содержит 26 млрд параметров, из которых активно около 4 млрд. Заявлены поддержка английского и французского языков и контекст до 250 000 токенов при использовании llama.cpp с соответствующими настройками и достаточным объёмом оперативной памяти. Модель подвергнута abliteration с помощью Heretic для уменьшения отказов в ответах: по данным карточки, показатель отказов снизился со 100 из 100 у исходной модели до 18 из 100, при KL-дивергенции 0,0845. Это сохраняет близость к исходным возможностям, но одновременно означает ослабление встроенных ограничений безопасности. Для работы с изображениями и инструментами требуются шаблон чата и параметры llama.cpp, совместимые с Gemma 4; полноценное качество зависит от выбранной квантизации, объёма RAM и VRAM. Модель распространяется по лицензии Gemma.

LargitData/gemma-4-26b-a4b-it-fp8 — производственный офлайн-чекпойнт в формате FP8 Dynamic, созданный Largitdata Inc. на основе Google Gemma 4 26B-A4B-it. Модель предназначена для локального и серверного инференса через vLLM, включая развёртывание OpenAI-совместимого API и сценарии с несколькими одновременно обслуживаемыми пользователями. Заявленная поддержка языков — английский и китайский; тип задачи — генерация текста. Модель использует архитектуру mixture-of-experts (MoE), а её базовый размер обозначен как 26B-A4B. Максимальная длина контекста в приведённых тестах составляла 32 768 токенов. Ключевая особенность — динамическое FP8-квантование без предварительной калибровки и без квантования весов MoE-роутеров и 1D-тензоров нормализации, что обеспечивает совместимость с путём загрузки Gemma 4 в vLLM. На NVIDIA H200 NVL чекпойнт занимал 25,75 GiB памяти против 48,5 GiB у BF16-версии, обеспечивал на 80% больший размер KV-кэша и почти 39-кратную максимальную параллельность для запросов длиной 32K токенов. В тесте MMLU-Pro точность составила 81,33% против 81,59% у BF16-базовой модели. Ограничения включают примерно на 6% большую задержку одиночного запроса по сравнению с BF16, отсутствие результатов по MT-Bench и другим бенчмаркам, а также ограниченную проверку оборудования: тестирование проводилось только на NVIDIA H200 NVL. Поведение на других GPU и влияние исключения роутеров из квантования требуют дополнительной оценки. Артефакт не является официальным релизом Google; применяются условия лицензии Gemma, указанной для базовой модели.

urs-rs/gemma-4-26B-A4B-it-FP8-DYNAMIC — это производственная FP8-квантизованная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанная на базе Gemma 4 от Google DeepMind. Квантование выполнено с помощью llm-compressor методом oneshot() с паттерном load_context(), который корректно обрабатывает объединённую структуру MoE-экспертов Gemma 4. Модель предназначена для развёртывания через vLLM, в том числе для многоходовых диалогов и голосовых AI-сценариев. Модель имеет архитектуру Mixture-of-Experts; в идентификаторе указаны конфигурация 26B и A4B, однако подробности об архитектуре, языках, модальностях и исходном размере контекста в README не приведены. Линейные слои квантизованы в FP8 по схеме W8A8: веса используют 8-битное поканальное симметричное представление, а активации — 8-битное динамическое токен-ориентированное представление. Веса маршрутизатора, нормализационные слои и lm_head сохранены в BF16 для стабильности выбора экспертов и генерации. Размер чекпойнта составляет около 13,3 GiB, что на 47% меньше версии BF16. По заявленным результатам, потери на MMLU-Pro составляют 0,26 процентного пункта относительно BF16, а заметного ухудшения качества многоходовых диалогов не обнаружено. На H100 NVL при контексте 16K заявлена максимальная конкурентность 21,3 запроса и примерно на 80% больше параллельных вызовов при сопоставимой задержке по сравнению с BF16. Ограничения включают зависимость от совместимого окружения vLLM 0.20.2rc1+ и CUDA 12.9, а также высокие требования к оборудованию: рекомендуется NVIDIA A100 40 GB или H100 80 GB. Чекпойнт распространяется по Gemma Community License, то есть на условиях лицензии базовой модели google/gemma-4-26B-A4B-it.

trohrbaugh/gemma-4-26B-A4B-it-heretic-ara — разговорная мультимодальная модель семейства Gemma 4, размещённая пользователем trohrbaugh. Это вариант Gemma 4 26B A4B с метками heretic, uncensored, decensored и abliterated; карточка не описывает, какие именно изменения внесены в веса. Архитектура использует чередование локального скользящего и глобального внимания. Модель принимает текст и изображения и предназначена для диалога, понимания изображений и документов, генерации и исправления кода, суммаризации и рабочих процессов с вызовом инструментов. В README для семейства Gemma 4 26B A4B заявлен контекст до 256K токенов и поддержка более 35 языков, однако эти сведения приведены для семейства, а не подтверждены отдельными тестами этого варианта. README также описывает для Gemma 4 понимание видео, но карточка именно этого репозитория и его метаданные подтверждают только задачу image-text-to-text и возможность vision, поэтому видео в назначение этой версии не включено. Аудиофункции в README отнесены только к моделям E2B и E4B. Модель может ошибаться в фактах и сложных запросах, а изменённая маркировкой heretic версия может отличаться по поведению и отказам от исходной Gemma 4. Лицензия репозитория — Apache-2.0.

mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit — квантизированная MLX-версия модели Google Gemma 4, подготовленная сообществом mlx-community с помощью mlx-optiq. Модель основана на Google Gemma 4 26B A4B instruction-tuned QAT и предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачной инфраструктуры. Это разреженная MoE-модель с 26 млрд общих параметров, 128 маршрутизируемыми экспертами и примерно 4 млрд активных параметров на токен. Используется смешанная квантизация: преимущественно 4-битная, но чувствительные компоненты, включая часть экспертных тензоров, слои внимания и маршрутизатор, представлены в 8-битном формате. Достигнутая точность составляет 6,01 бит на вес, размер модели на диске — около 19 ГБ. Модель поддерживает генерацию текста, а также сценарии image-text-to-text через bf16 vision-модуль. Языки и размер контекстного окна в README не указаны. Модель ориентирована на рассуждения, следование инструкциям, генерацию кода, работу с инструментами и агентские сценарии. По сравнению с равномерной 4-битной квантизацией той же QAT-базы она немного улучшает средний Capability Score и результаты MMLU, GSM8K и IFEval, однако уступает в BFCL и HumanEval, поэтому характеристики зависят от задачи. Для использования требуются mlx-optiq и версия mlx-lm из основной ветки; запуск рассчитан прежде всего на Apple Silicon и требует значительного объёма памяти. Лицензия указана как Apache 2.0; также применяются условия лицензии Gemma от Google.

EmanuelOverride/Gemma-4-26B-A4B-StyleTune-V2-APEX-GGUF — набор квантизированных GGUF-конфигураций модели Gryphe/Gemma-4-26B-A4B-StyleTune-V2. Репозиторий поддерживает архитектуру Gemma 4 MoE и предназначен для запуска модели с различными компромиссами между качеством, скоростью и потреблением памяти. Указанные сценарии применения включают диалоговое взаимодействие, instruct-задачи, roleplay и творческое написание текстов на английском языке. Основная особенность — экспериментальная схема смешанной точности APEX (Adaptive Precision for EXpert Models), сохраняющая повышенную точность маршрутизации MoE, общих экспертов и Global Attention-слоёв, одновременно сильнее сжимая менее чувствительные блоки. Доступны варианты примерно от 12 052 до 19 436 MiB и от 3,89 до 6,28 BPW, включая конфигурации i-Mini, i-Compact, i-Balanced, i-Quality, i-Upscale, i-Harmonic и i-Mindful. Точные сведения о числе параметров, длине контекста и поддерживаемых модальностях в README не указаны; по описанию это текстовая модель для генерации текста. Сильной стороной набора является выбор нескольких уровней квантизации с оптимизацией для сохранения маршрутизации экспертов и качества работы с длинным контекстом. При этом часть конфигураций явно обозначена как экспериментальная, поэтому заявленные преимущества зависят от оборудования и характера запросов и не гарантируются. Лицензия — Apache-2.0; архитектура, исходные веса и стилевое дообучение принадлежат разработчикам базовой модели, а foundational imatrix-данные были подготовлены mradermacher.

ebircak/gemma-4-31B-it-4bit-W4A16-GPTQ — общественная 4-битная GPTQ-квантизация instruction-tuned мультимодальной модели Google Gemma-4-31B-it, подготовленная пользователем ebircak. Модель предназначена для генерации текста и обработки сценариев vision-language, включая работу с изображениями, диалоговые приложения, вызов инструментов и развертывание на NVIDIA GPU через vLLM. Модель использует архитектуру Gemma4ForConditionalGeneration с 60 декодерными слоями и скрытым размером 5376. Текстовый декодер и projector квантизированы в int4 по схеме GPTQ W4A16 с размером группы 128, асимметричным квантованием и активациями FP16/BF16; vision tower на базе SigLIP из 27 слоев сохранена в BF16. Контекстное окно составляет до 262 тысяч токенов. Формат — compressed-tensors, квантизация выполнена с помощью llm-compressor 0.10.0.1. Языки в карточке явно не указаны. Главное преимущество — существенное снижение требований к видеопамяти по сравнению с версией BF16: заявлено около 35 ГБ при полном контексте на NVIDIA RTX PRO 6000 с 96 ГБ VRAM. Модель оптимизирована для vLLM, поддерживает prefix caching, chunked prefill и специализированный парсинг Gemma4 для tool calling. Ограничения включают зависимость от совместимых версий CUDA и vLLM, сохранение vision tower в BF16 и возможное снижение качества из-за 4-битной квантизации; разработчик рекомендует оценивать модель для конкретных задач. Квантизация и базовая модель распространяются по лицензии Apache 2.0.

google/gemma-4-31B-it-assistant — вариант Gemma 4 от Google DeepMind с инструкционной настройкой и поддержкой Multi-Token Prediction (MTP). В спекулятивном декодировании небольшой черновой модуль предлагает несколько следующих токенов, которые основная модель проверяет параллельно; карточка заявляет ускорение генерации до 3 раз при сохранении того же качества, что и при обычной генерации. Архитектура плотная, веса опубликованы в формате safetensors, библиотека — Transformers. Модель предназначена для ускорения генерации текста с низкой задержкой, в том числе при локальном развёртывании. Семейство Gemma 4 поддерживает работу с текстом и изображениями, а также генерацию кода, рассуждения и вызов инструментов; у модели заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка. Карточка семейства также описывает видео и аудио, но аудио поддерживается только вариантами E2B, E4B и 12B, а не 31B. Лицензия — Apache 2.0. Ускорение зависит от использования в совместимом конвейере спекулятивного декодирования; MTP-черновик не является самостоятельной заменой целевой модели. В карточке не приведены отдельные сведения об оценках и ограничениях именно этого чекпойнта.

Alberto-Codes/gemma-4-31B-it-fit24gib-GGUF — это смешанно-точный GGUF-пакет модели Google Gemma 4 31B Instruct, созданный Alberto-Codes на основе QAT-чекпойнта google/gemma-4-31B-it-qat-q4_0-unquantized. Пакет предназначен для локального запуска текстовых и мультимодальных сценариев с обработкой изображений через llama.cpp на видеокарте с 24 ГиБ VRAM. Для работы с текстом требуется файл декодера, а для изображений — также отдельный vision-проектор. Модель относится к классу image-text-to-text и поддерживает текстовый ввод, а также изображения; точный набор языков в карточке не указан. Декодер занимает 14,92 ГиБ, проектор — 629 МиБ. Пакет не использует единую схему квантования: в нём применены тензоры Q5_0, Q8_0, F16 и F32, а эффективная разрядность составляет 9,16 бит на параметр. Заявленная особенность — размещение на карте с 24 ГиБ VRAM и увеличение доступного контекста по сравнению с официальным QAT Q4_0 GGUF: до 86 016 токенов в текстовом режиме и до 73 728 токенов с одним изображением в описанной конфигурации RTX 4090 и llama.cpp. По приведённым измерениям пакет имеет меньший размер и сопоставимое качество с QAT Q4_0: на тестах он показал одну статистически значимую победу и четыре ничьи, однако у базовой версии немного лучше средние KLD и совпадение наиболее вероятного токена. Результаты зависят от конкретной конфигурации запуска, версии llama.cpp, доступной VRAM и используемого проекторного файла. Модель распространяется по лицензии Apache-2.0.

Gemma 4 E2B Heretic Uncensored MLX 4-bit — это мультимодальная модель для генерации текста и работы с изображениями, разработанная на основе google/gemma-4-E2B-it и опубликованная пользователем deadbydawn101. Базовая модель была изменена методом abliteration с использованием Heretic v1.2.0 и Arbitrary-Rank Ablation, после чего квантована в формат MLX 4-bit для локального запуска на устройствах Apple Silicon. Модель предназначена для офлайн-инференса, быстрого прототипирования, творческого письма, локальных агентов и edge-сценариев, где важны приватность, низкая задержка и отсутствие облачных API-вызовов. Она также поддерживает обработку изображений вместе с текстовыми запросами. Модель имеет около 2 млрд активных параметров, архитектуру Gemma4ForConditionalGeneration, контекстное окно 131 072 токена, словарь из 262 144 токенов и размер файла около 3,34 ГБ. Архитектура использует 35 слоёв: 28 со sliding attention и окном 512 токенов и 7 с full attention; предусмотрен vision encoder с размерностью 768, 16 слоями и патчами 16 пикселей. Квантование выполнено в 4-битном формате с affine-схемой и group_size=64. В README заявлены скорости около 25–40 токенов в секунду на M1 MacBook Air, 50–70 на M3 Pro и 90–120 на M4 Max, однако эти значения указаны как оценочные. К сильным сторонам относятся компактный размер, поддержка текста и изображений, длинный контекст, локальная работа на M-series Mac и существенно сниженное количество отказов по сравнению с исходной моделью: 5 из 100 против 98 из 100 в приведённом сравнении. Ограничения включают возможное изменение поведения и качества после abliteration и 4-битного квантования, а также зависимость производительности от оборудования Apple Silicon. В README указанная лицензия — Apache-2.0; для базовой Gemma приведена отдельная ссылка на условия лицензии Google.

Это NVFP4-квантизованная сборка в формате GGUF модели Gemma 4 E4B IT от Google DeepMind, подготовленная для запуска через llama.cpp и другие совместимые движки. В основе указана QAT-версия Gemma 4 E4B IT; архитектура — Gemma4ForConditionalGeneration, с 4,3 млрд эффективных параметров (7,5 млрд с эмбеддингами) и 42 слоями. В репозитории есть варианты весов NVFP4 и BF16, а также MTP-модель для ускорения генерации. Модель принимает текст, изображения и аудио и генерирует текст. Она предназначена для диалога, анализа изображений и аудио, рассуждений, программирования и локального запуска; заявлены контекст до 128 тыс. токенов, поддержка более 140 языков и структурированного вызова инструментов. Для мультимодального ввода требуется файл mmproj.gguf. NVFP4 уменьшает требования к памяти, а QAT призван сохранить качество, однако качество конкретной квантизованной сборки может отличаться от исходных весов. Лицензия — Apache 2.0.

Это мультимодальная модель Gemma 4 E4B, разработанная Google DeepMind и представленная в формате GGUF. Данная версия основана на checkpoint coder3101/gemma-4-E4B-it-qat-q4_0-unquantized-heretic, прошла Quantization-Aware Training и предназначена для запуска через llama.cpp, в том числе на устройствах с ограниченными ресурсами. Модель работает с текстом, изображениями и аудио, поддерживает системные сообщения, нативный вызов функций и настраиваемый режим рассуждений. Архитектура использует гибридное внимание со скользящим окном и глобальным вниманием; модель содержит 42 слоя, размер скользящего окна составляет 512 токенов, а контекстное окно — 131 072 токена. Эффективный объём параметров заявлен на уровне 4,5 млрд при 8 млрд параметров с учётом embeddings. Основные текстовые тензоры представлены в формате Q4_0_PURE, согласованном с QAT-калибровкой; vision/audio projector доступен в вариантах Q8_0 и BF16. Для мультимодального ввода требуется отдельный projector-файл. Особенностью версии heretic является постобработка с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation, направленная на подавление отказов при сохранении рассуждений и мультимодальных возможностей. Заявленные показатели отказов являются самоотчётными и не подтверждены независимым тестированием. Использование формата ограничено Q4_0_PURE: стандартные варианты вроде Q4_K_M или Q5_K_M для этой QAT-модели не рекомендуются, поскольку могут ухудшить качество. Модель распространяется по лицензии Gemma; условия определяются официальными условиями Google Gemma.

Vishva007/gemma-4-E4B-it-W4A16-AutoRound-GPTQ — это 4-битная GPTQ-квантизованная версия мультимодальной модели Google Gemma 4 E4B Instruct, созданная на базе google/gemma-4-E4B-it. Модель предназначена для генерации и понимания текста, работы с изображениями и аудио, включая мультимодальные диалоги, описание изображений и анализ визуальных материалов. Заявлена поддержка английского и многоязычных сценариев. Модель распространяется для использования через Transformers и vLLM; в README рекомендована совместимая сборка vLLM для сервинга и OpenAI-совместимого API. Архитектура включает 42-слойную текстовую часть Gemma4TextModel с размерностью скрытого состояния 2560 и смешанным локальным и глобальным вниманием, 16-слойную vision-модель с размерностью 768 и 12-слойную audio-модель с conformer-подобными слоями. Размер словаря составляет 262 144 токена. Линейные слои языковой модели квантизованы по схеме W4A16: веса INT4, активации BF16, размер группы 128, симметричная квантизация. Визуальная и аудиобашни, а также мультимодальные проекторы сохраняются в полной точности, что помогает поддерживать мультимодальное качество. В рекомендованной конфигурации vLLM указан максимальный размер контекста 18 432 токена, а число визуальных токенов на изображение можно настраивать. Главные преимущества — снижение требований к памяти и возможность эффективного развёртывания при сохранении мультимодальных возможностей. Ограничения связаны с использованием RTN-режима AutoRound без полной оптимизации, возможным небольшим снижением точности из-за пропуска слоёв, размеры которых не кратны 32, а также более низкой эффективностью speculative decoding по сравнению с исходной неквантизованной моделью. Лицензия указана как gemma; конкретные условия её применения следует уточнять в лицензии Google Gemma.

ConicCat/Gemma4-Garnet-31B — дообученная ConicCat плотная модель семейства Gemma 4 на базе google/gemma-4-31B-it. Она предназначена прежде всего для создания связной прозы и длинных текстов, а также подходит для ролевых диалогов и других творческих задач. Автор сообщает, что модель может выдавать до 4000 слов за один запрос, разнообразнее формулирует ответы и реже использует характерные для ИИ шаблонные обороты. Обучение также сохраняет общие способности к диалогу и следованию инструкциям. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Gemma-4-Garnet-31B-it-uncensored-heretic-GGUF — это GGUF-квантизации модели Gemma-4-Garnet-31B-it-uncensored-heretic, разработанной независимым автором llmfan46 на основе ConicCat/Gemma4-Garnet-31B. Модель предназначена для генерации текста, прежде всего для творческого письма и перевода; автор отмечает улучшение естественности текста и устранение излишне формальных или неуместных формулировок по сравнению с исходной моделью. Доступны варианты BF16 и Q8_0, причём Q8_0 рекомендуется как почти не уступающий полной точности. Это текстовая модель на 31 млрд параметров; сведения о точной архитектуре, размере контекста, поддерживаемых языках и мультимодальности в README не указаны. Версия создана методом decensoring с использованием Heretic 1.2.0 и Arbitrary-Rank Ablation, направленным на снижение числа отказов при сохранении основных характеристик модели. В тестах PIQA она показала точность 93,80% против 93,63% у оригинала, а в MMLU — 84,80% против 85,91%, что указывает на небольшое ухудшение результатов в MMLU при сопоставимых общих возможностях. По заявлению автора, доля отказов снизилась с 99 до 6 из 100 проверок, а KL divergence относительно исходной модели составила 0,0368. Ограниченная модерация может быть преимуществом для исследовательских и творческих сценариев, но одновременно повышает риски при работе с потенциально опасным или нежелательным содержанием. Модель распространяется по лицензии Apache-2.0.

pekkAi/Gemma-4-Queen-31B-it-uncensored-heretic-NVFP4 — квантизированная версия NVFP4 модели Gemma-4-Queen-31B-it-uncensored-heretic. Квантизацию выполнил pekkAi с использованием NVIDIA Model-Optimizer; базовая модель разработана llmfan46 и основана на Gemma-4-Queen-31B-it, а версия без существенной части ограничений создана с помощью Heretic и метода Arbitrary-Rank Ablation (ARA). Модель предназначена для диалоговых сценариев, ролевого общения, генерации текста и мультимодальных задач, связанных с обработкой изображений и текста. В карточке указаны интеграция с Transformers и pipeline image-text-to-text, а также поддержка reasoning и tool calling в vLLM. Размер модели — 31 млрд параметров. Автор сообщает о работоспособности на одной NVIDIA GeForce RTX 5090 с 32 ГБ видеопамяти и контекстом до 64K токенов, однако это практический пример конфигурации, а не гарантированное требование. К сильным сторонам относятся существенно меньшее число отказов по сравнению с исходной моделью, близость поведения к оригиналу по измерению KL divergence и почти сохранённые результаты на тесте PIQA: 94,45% против 94,50% у оригинала. На MMLU версия показывает 85,33% против 86,88% у оригинала, что указывает на некоторое снижение качества на этом тесте. Из-за особенностей decensored-версии модель имеет меньше встроенных ограничений безопасности и может быть неподходящей для сценариев, требующих строгой фильтрации контента. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/gemma-7b-GGUF — это набор файлов модели Gemma 7B в формате GGUF, созданной Google и преобразованной в GGUF-квантизированные варианты пользователем MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. В README указано только, что это модель размером 7B с текстовой модальностью; сведения о поддерживаемых языках, длине контекста и точной архитектуре не приведены. К сильным сторонам относятся широкий выбор уровней квантизации и совместимость с популярными средствами локального инференса, включая запуск с ускорением на GPU. Более агрессивная квантизация может снижать качество по сравнению с исходной моделью, а для работы требуются подходящий клиент и ресурсы, зависящие от выбранного варианта. Указана лицензия other, но её конкретные условия в README не раскрыты.

QueryloopAI/gemma-7b-openhermes — диалоговая языковая модель на архитектуре Gemma, дообученная разработчиком на базе google/gemma-7b-it с помощью QLoRA на данных предпочтений OpenHermes-2.5. Модель содержит 8,2 млрд параметров, распространяется в формате Safetensors и рассчитана на генерацию текста и следование инструкциям в формате чата; для диалогового использования следует применять встроенный шаблон чата токенизатора. Модель принимает текстовые запросы, вопросы и документы и генерирует ответы или краткие изложения на английском языке. Указанное контекстное окно — 8192 токена. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. В README приведены результаты нескольких бенчмарков; они не гарантируют качество на конкретных задачах.

GenreLlama318b — дообученная языковая модель, опубликованная TACameronStott на базе unsloth/meta-llama-3.1-8b-bnb-4bit. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста; карточка не описывает специализированные жанровые функции или конкретные сценарии применения. Модель обучалась с использованием Unsloth и библиотеки TRL, поддерживает контекст до 131 072 токенов и рассчитана на английский язык. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

GigaChat-20B-A3B-base — базовая языковая модель семейства GigaChat, представленная в работе о компактном русскоязычном моделировании с архитектурой смеси экспертов. Согласно карточке, её обучили с нуля специально для русского языка. Модель использует архитектуру MoE: из 20 млрд параметров при генерации активны около 3 млрд. В её устройстве применяются Fine-grained Experts и Shared Experts, Grouped Query Attention, Rotary Position Embeddings, RMSNorm и SwiGLU. Контекст составляет 131 072 токена; веса доступны в формате safetensors, для работы требуется Transformers версии 4.47 или новее. Модель предназначена для генерации текста и языковых задач, в том числе на русском и английском языках. В карточке приведены результаты англоязычных и русскоязычных тестов LM Evaluation Harness, но она не описывает отдельные специализированные сценарии применения. Лицензия — MIT. Карточка указывает на перезаливку весов в safetensors; метаданные классифицируют архитектуру как плотную DeepSeekForCausalLM, что расходится с описанием MoE в README.

GKA-primed-HQwen3-8B-Instruct — инструктивная гибридная языковая модель, созданная командой Hybrid Model Factory на основе Qwen3-8B. В архитектуре 18 слоёв Attention и 18 слоёв Gated KalmaNet (GKA), слоя пространства состояний, вдохновлённого фильтром Калмана. Модель содержит около 7,6 млрд параметров и принимает контекст длиной до 131 072 токенов; доступны веса в формате Safetensors для Transformers. Модель предназначена для диалоговой генерации текста и следования инструкциям, в том числе при работе с длинным контекстом. По данным авторов, замена половины слоёв внимания на GKA сокращает потребность в растущем KV-кэше и может ускорить инференс на длинных последовательностях, сохраняя качество, близкое к базовой модели. Параметр num_iter позволяет настраивать вычислительные затраты GKA во время инференса. Это не модель рассуждений и она не поддерживает вызов инструментов. Основанные на README сведения о языках Qwen3 не уточняют полный перечень языков именно этого чекпойнта. Лицензия — Apache 2.0.

GLM-4.5-Air-Derestricted — диалоговая модель Arli AI, полученная модификацией GLM-4.5-Air методом Norm-Preserving Biprojected Abliteration. Изменение направлено на удаление отказов при сохранении способности исходной модели к рассуждению. По карточке каталога модель имеет архитектуру GLM4 MoE, 8,5 млрд параметров и контекст до 131 072 токенов; поддерживает диалоговый режим и работает через Transformers. Модель предназначена для генерации ответов в диалоге, рассуждений, программирования и сценариев интеллектуальных агентов, унаследованных от GLM-4.5-Air. Автор заявляет, что метод модификации сохраняет нормы весов и качество рассуждений, однако это заявление не подтверждено приведёнными в карточке результатами оценки именно этой версии. Модель распространяется по лицензии MIT; базовая GLM-4.5-Air описана как гибридная модель с режимами рассуждений и работы с инструментами.

MLX-версия языковой модели GLM-4.7, разработанной организацией zai.org и конвертированной сообществом mlx-community из исходной модели zai-org/GLM-4.7 с помощью mlx-lm 0.30.0. Модель предназначена для генерации текста и запуска в экосистеме MLX, в том числе через библиотеку mlx-lm на совместимом оборудовании Apple. Типичные сценарии включают диалоговое взаимодействие и другие задачи текстовой генерации. Модель использует 6-битное квантование и формат MLX. В карточке указаны поддерживаемые языки English и Chinese, модальность — текстовая. Архитектура, количество параметров и размер контекста в README не уточняются. К сильным сторонам относятся адаптация для MLX и снижение требований к памяти благодаря 6-битному представлению; ограничения — отсутствие подробных данных о качестве, производительности, точном аппаратном охвате и возможностях исходной GLM-4.7. Модель распространяется по лицензии MIT.

GLM-4.7-Flash-5bit — это версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в программных окружениях, совместимых с MLX. Модель поддерживает английский и китайский языки и относится к классу text-generation. Вариант 5bit использует 5-битное представление параметров, что может снизить требования к памяти по сравнению с полноформатной версией, однако README не содержит точных сведений о размере модели, архитектуре, длине контекста, доступных модальностях и производительности. Для работы требуется библиотека mlx-lm; в README приведён пример загрузки модели, применения chat template и генерации ответа. Модель распространяется по лицензии MIT. Ограничения, связанные с качеством, безопасностью и областью применения базовой модели, в предоставленных данных отдельно не описаны.

GLM-4.7-Flash-Derestricted — производная от GLM-4.7-Flash модель для генерации текста и диалогов. Разработчик применил к ней метод Norm-Preserving Biprojected Abliteration, чтобы ослабить встроенные ограничения на ответы. Модель использует архитектуру GLM4 MoE Lite и представлена в формате safetensors; в метаданных указаны 4,1 млрд параметров и контекст до 202 752 токенов. Модель предназначена для диалогов, рассуждений и генерации текста. В карточке приведён результат на подмножестве MMLU-Pro: 0,755 против 0,715 у исходной GLM-4.7-Flash; оценка сделана на 200 случайно выбранных примерах, поэтому она не гарантирует аналогичный прирост в других задачах. Поддерживаемые языки по метаданным — английский и китайский. Лицензия — MIT.

glm-4-9b-chat-IMat-GGUF — это набор GGUF-квантизированных версий чат-модели THUDM/glm-4-9b-chat, разработанной командой THUDM. Квантизацию выполнил legraphista с использованием llama.cpp и IMatrix для ряда вариантов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимое программное обеспечение, например llama.cpp. Модель имеет около 9 миллиардов параметров и создана на основе исходной версии в формате BF16. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизаций; размеры файлов составляют примерно от 3,99 до 18,81 ГБ. В метаданных указана поддержка китайского и английского языков. Для низкобитных вариантов применена IMatrix, призванная улучшить качество квантизации, однако конкретные показатели качества и максимальный размер контекста в README не указаны. Главное преимущество набора — выбор между качеством, размером и требованиями к ресурсам, что позволяет запускать модель на различном локальном оборудовании. Ограничения связаны с потерями качества при более агрессивной квантизации, а также с отсутствием в предоставленных данных подробных бенчмарков, требований к памяти и описания архитектуры. Модель распространяется по лицензии glm-4; README указывает отдельную лицензию и ссылку на лицензионные условия исходной модели.

GLM-5.2-JANGTQ — версия GLM-5.2, подготовленная bearzi для запуска через MLX на компьютерах Apple с Apple silicon. Она предназначена для генерации текста и диалогов; базовая модель GLM-5.2 также рассчитана на программирование и длительные задачи. Архитектура указана как glm_moe_dsa, класс — GlmMoeDsaForCausalLM; всего 30,4 млрд параметров, контекст — до 1 048 576 токенов. В профиле JANGTQ_2L внимание и общие эксперты хранятся в FP16, а маршрутизируемые эксперты — в 2-битном представлении. Для загрузки требуются пакет jang-tools или vMLX; обычные MLX, LM Studio и Ollama не поддерживаются. Токенизатор базовой модели требует tiktoken, blobfile и разрешения на пользовательский код. Репозиторий распространяется по лицензии MIT.

GLM-5.3-Flash-MXFP4-Mixed-CT-AutoRound — квантизированная версия GLM-5.3-Flash, созданная Intel с помощью AutoRound в режиме RTN. Весы представлены в формате safetensors; квантизация MXFP4 применена к экспертным слоям MLP, а ряд других слоёв исключён из неё. Модель предназначена для генерации текста и диалогового общения. В README приведены результаты тестов GSM8K, MMLU, PIQA и HellaSwag: средний показатель MXFP4 составляет 99,61% от результата BF16 в описанной оценке. Модель поддерживает английский и китайский языки. В README указано, что ответы могут содержать фактические ошибки, предвзятость или оскорбительный контент, поэтому перед применением требуется оценить её безопасность и надёжность. Лицензия — MIT; README рекомендует следовать лицензии исходной модели.

Intel/GLM-5.3-Flash-W4A16-AutoRound — это квантованная версия языковой модели GLM-5.3-Flash, разработанная Intel с использованием инструмента Intel Auto-Round в режиме Tuning. Базовая модель опубликована организацией zai-org. Модель предназначена для генерации текста и может применяться в задачах обработки естественного языка, включая работу с английским и китайским языками. В карточке указаны библиотека Transformers и тип задачи text-generation. Модель использует формат квантования INT4 по схеме W4A16, то есть веса представлены в 4-битном формате, а активации — в 16-битном. По приведённым тестам её средний результат составляет 0,8386 против 0,8399 у версии BF16, что соответствует 99,84% относительного качества; результаты также приведены для GSM8K, MMLU, PIQA и HellaSwag. Такое квантование потенциально снижает требования к памяти и облегчает развёртывание, однако README не содержит сведений о размере модели, архитектуре, длине контекста, поддерживаемых модальностях или системных требованиях. Модель может генерировать фактически неверные, предвзятые, оскорбительные или непристойные ответы, поэтому перед использованием необходимы тестирование безопасности и оценка пригодности для конкретного сценария. В карточке указана лицензия MIT, при этом рекомендуется соблюдать лицензию исходной модели; юридические условия коммерческого использования следует проверить отдельно.