II.2Создание и понимание программного кода

JJaguar/gemma-4-12B-it-qat-q4_0-unquantized-heretic-nx — производная мультимодальная модель на основе Google Gemma 4 12B Instruct, размещённая пользователем JJaguar. Карточка описывает семейство Gemma 4: плотную архитектуру Gemma4Unified с чередованием локального скользящего и глобального внимания; для версии 12B заявлен контекст до 256K токенов. Метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа текста и мультимодальных входов. Семейство поддерживает понимание изображений и видео, включая OCR, разбор документов, графиков и интерфейсов; для версии 12B также заявлены распознавание речи и перевод речи в текст. Gemma 4 поддерживает более 35 языков; конкретный перечень для этой версии в данных не приведён. Модификация помечена как uncensored, decensored и abliterated, поэтому стандартные защитные ограничения исходной модели могли быть изменены. Среди общих ограничений Gemma 4 — возможные фактические ошибки, влияние пробелов и смещений обучающих данных, а также трудности с неоднозначными и сложными запросами. Лицензия — Apache-2.0.

BinxNet/gemma-4-26B-A4B-it-heretic — мультимодальная разговорная модель BinxNet на базе Google Gemma 4 26B A4B. Это дообученная версия с изменениями, обозначенными автором как heretic, uncensored и decensored; подробности этих изменений в карточке не описаны. Модель принимает текст и изображения и предназначена для диалогов, рассуждений, генерации и исправления кода, а также визуального анализа. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания. Для исходной Gemma 4 26B A4B заявлен контекст до 256K токенов; отдельное значение для этой версии в карточке не приведено. Семейство Gemma 4 поддерживает более 35 языков, но карточка этой производной версии не уточняет языковое покрытие отдельно. Визуальные сценарии включают распознавание текста, разбор документов, понимание диаграмм и интерфейсов, а также анализ последовательностей видеокадров. Карточка указывает формат safetensors и библиотеку Transformers. Возможны фактические ошибки, предвзятость, трудности с языковыми нюансами и сложными открытыми задачами. Лицензия — Apache-2.0.

MLX-квантизированная версия Gemma 4 26B A4B instruction-tuned, разработанная сообществом mlx-community на базе модели Google gemma-4-26B-A4B-it. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска и оптимизации больших языковых моделей на Apple Silicon без PyTorch и облачных сервисов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, выполнения инструкций, tool calling и агентских сценариев. Модель использует смешанную точность: преимущественно 4-bit, при этом чувствительные слои переведены в 8-bit. Из 325 квантизированных слоёв 246 работают в 8-bit и 79 — в 4-bit; размер группы составляет 64. Калибровка проводилась на данных из шести доменов: обычный текст, рассуждения, код, агентские задачи, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 16,4 ГБ. Поддерживается speculative decoding с отдельной моделью-драфтером Gemma 4. Сведения о длине контекста, языках и мультимодальных возможностях в README не указаны. По приведённым результатам модель превосходит стандартную равномерную 4-bit-квантизацию по MMLU, GSM8K, HumanEval и длинноконтекстному извлечению HashHop; совокупный Capability Score составляет 75,76 против 72,95. При этом на IFEval и BFCL-V3 она немного уступает равномерной 4-bit-версии, а размер на диске примерно на 1,9 ГБ больше. Для использования требуется MLX-совместимое окружение, например Apple Silicon с пакетами mlx-lm или mlx-optiq. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

Это конверсия в формат GGUF модели Gemma 4 26B A4B IT, квантизированной NVIDIA в NVFP4. Базовую модель разработала Google DeepMind; в репозитории указаны 25,2 млрд общих и 3,8 млрд активных параметров. Модель построена на архитектуре Transformers с чередованием локального скользящего и глобального внимания, поддерживает контекст до 256 тысяч токенов и более 140 языков. Модель принимает текст и изображения, обрабатывает видео как последовательности кадров и генерирует текст. Она предназначена для диалога, рассуждений, программирования, агентных сценариев и мультимодального понимания. GGUF-файл рассчитан на запуск через llama.cpp и совместимые движки; в карточке также приведены результаты бенчмарков базового NVFP4-чекпойнта, близкие к показателям полноточной версии. Репозиторий распространяется по лицензии Apache-2.0. Это NVFP4-квантизированная модель, поэтому для запуска и качества вывода важны поддержка формата и совместимость используемого движка; README рекомендует сборку llama.cpp с CUDA для NVFP4.

unsloth/gemma-4-31B — дообученная Unsloth версия мультимодальной плотной модели Gemma 4 31B от Google DeepMind. Она принимает текст и изображения и формирует текстовые ответы; заявленные сценарии включают диалог, рассуждения, программирование и визуальный анализ. Модель использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для семейства Gemma 4 31B заявлено контекстное окно до 256 тыс. токенов и поддержка более 35 языков; эти характеристики указаны для семейства, а не подтверждены отдельно для данной версии. Подходит для анализа изображений, извлечения текста из документов и графиков, ответов на вопросы по визуальному содержимому, генерации и исправления кода, суммаризации и диалоговых помощников. Карточка также описывает вызов функций и обработку видео для Gemma 4, но метаданные этой модели подтверждают только обработку изображений и текста. Аудио поддерживают только варианты E2B и E4B, поэтому эти возможности не относятся к версии 31B. Модель распространяется по лицензии Apache-2.0. Ответы могут содержать фактические ошибки, а результаты зависят от качества обучающих данных и формулировки запроса.

AtomicChat/gemma-4-31B-it-assistant-GGUF — квантизированная в формат GGUF версия модели google/gemma-4-31B-it-assistant, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локальной и полностью офлайн-генерации текста, работы в чат-сценариях, решения задач рассуждения, программирования, анализа документов и других задач, поддерживаемых базовой моделью. Для запуска доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; рекомендуется Q4_K_M как компромисс между размером, скоростью и качеством. Модель содержит 30,7 млрд параметров и 60 слоёв. Это плотный decoder-only трансформер с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; используется 32 attention heads и 16 KV heads. Заявленная длина контекста — до 256 тысяч токенов, словарь содержит 262 тысячи токенов. Базовая модель поддерживает текст и изображения, однако представленный репозиторий содержит только текстовые GGUF-кванты без vision projector. Семейство Gemma 4 ориентировано на развитое рассуждение и поддерживает настраиваемые режимы размышления. Сильными сторонами являются большой контекст, высокая заявленная производительность базовой модели в задачах общего тестирования, математики, программирования и мультимодального анализа, а также возможность эффективного локального запуска благодаря квантизации и калибровке importance matrix. Ограничения связаны с потерями качества по сравнению с полной точностью, зависимостью требований к памяти от выбранного варианта квантизации и отсутствием обработки изображений в файлах этого репозитория. Приведённые результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов. Для корректного применения чат-шаблона Gemma 4 при запуске в llama.cpp требуется параметр --jinja. Модель распространяется по лицензии Apache 2.0.

cyankiwi/gemma-4-31B-it-AWQ-4bit — 4-битная AWQ-квантованная версия инструкционно дообученной модели google/gemma-4-31B-it. Базовую модель разработала Google DeepMind, а данную квантованную сборку опубликовал cyankiwi. Модель относится к семейству Gemma 4 и предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, гибридным вниманием с локальными скользящими окнами и глобальными слоями, контекстом до 256 тысяч токенов и поддержкой текстовых и графических входных данных с генерацией текста. В карточке указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Квантование AWQ снижает требования к памяти и упрощает локальное развертывание, однако может немного ухудшать качество по сравнению с полноразмерной версией; конкретные системные требования и результаты бенчмарков для этой сборки не указаны. Модель распространяется по лицензии Apache 2.0 с учетом условий лицензии Gemma 4.

RedHatAI/gemma-4-31B-it-FP8-dynamic — квантизированная FP8-версия мультимодальной модели google/gemma-4-31B-it, подготовленная RedHatAI. Модель построена на архитектуре Gemma4ForConditionalGeneration, принимает текст и изображения и генерирует текст. Она предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и вызова инструментов. Веса модели статически квантизированы в FP8 с масштабированием по каналам, а активации динамически квантизируются во время инференса с масштабированием по токенам. Квантизация применяется к линейным операторам трансформерных блоков; vision tower, embedding-слои и выходная голова сохраняют исходную точность. Это примерно вдвое уменьшает число бит на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битной версией. Заявлены поддержка tool calling и режим reasoning/thinking. Модель оптимизирована для инференса через vLLM; в предоставленной конфигурации используется максимальная длина контекста 32768 токенов, а также специальные reasoning- и tool-call-парсеры Gemma 4. Оценки на GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4 показывают близкие к исходной модели результаты, однако конкретные значения зависят от режима thinking. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-31B-it-NVFP4 — квантизированная версия мультимодальной instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и подготовленной Unsloth в формате NVFP4. Модель предназначена для обработки текста и изображений с генерацией текста, а также для reasoning, программирования, агентских сценариев и вызова функций. Модель использует плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием; размер окна — 1024 токена. Контекстное окно составляет до 256K токенов, словарь — 262K элементов. Поддерживается более 140 языков. Для визуального ввода используется vision encoder примерно на 550 млн параметров; аудио для версии 31B не заявлено. Квантизация NVFP4 снижает требования к памяти и ориентирована на эффективный запуск на совместимом GPU, в частности через vLLM. Сильные стороны модели — большое контекстное окно, мультимодальное понимание текста и изображений, улучшенные возможности reasoning и coding, native function calling и поддержка system prompt. Ограничения связаны с отсутствием аудиовхода у версии 31B, требованиями к совместимому программному и аппаратному стеку NVFP4, а также с тем, что README не приводит подробные результаты бенчмарков и оценки качества именно этой квантизированной сборки. Модель распространяется по лицензии Apache 2.0.

mlx-community/gemma-4-31B-it-qat-OptiQ-4bit — квантизированная модель семейства Gemma-4, разработанная сообществом mlx-community с использованием инструментария mlx-optiq и построенная на базе Google Gemma-4 31B IT QAT. Это плотная модель примерно на 31 млрд параметров для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и задач с длинным контекстом. Поддерживает сценарии image-text-to-text: зрительный модуль поставляется отдельно в формате bf16. Языки и максимальный размер контекста в README не указаны. Модель использует смешанную квантизацию: преимущественно 4-битную, с 186 чувствительными компонентами в 8-битном формате и 224 компонентами в 4-битном; достигнутая точность составляет 5,20 бит на вес, размер группы — 64. По заявленным тестам она особенно выигрывает у равномерной 4-битной квантизации в извлечении информации из длинного контекста, а также показывает высокие результаты в MMLU, GSM8K, IFEval, BFCL и HumanEval. Ограничения включают больший размер по сравнению с обычной 4-битной версией — около 20,8 ГБ на диске — и необходимость использования Apple Silicon, актуальной версии mlx-lm из репозитория и mlx-optiq; стандартного выпуска mlx-lm 0.31.3 недостаточно. Доступна по лицензии Apache 2.0.

google/gemma-4-31B-it-qat-q4_0-unquantized — мультимодальная инструкционно-настроенная модель семейства Gemma 4, разработанная Google DeepMind. Это dense-модель с архитектурой Gemma4ForConditionalGeneration, принимающая текст и изображения и генерирующая текст. Вариант QAT Q4_0 содержит веса половинной точности, извлечённые из процесса обучения с учётом квантования; он предназначен для дальнейшей компиляции и исследовательской работы с меньшими требованиями к памяти по сравнению с обычной версией bfloat16. Модель подходит для диалогов, генерации и анализа текста, программирования, рассуждений, понимания изображений, распознавания текста на изображениях и разбора документов. Семейство Gemma 4 поддерживает контекст до 256 тысяч токенов и многоязычную работу; описание карточки заявляет поддержку более 140 языков при предварительном обучении. Для этого варианта доступен формат safetensors и библиотека Transformers. Лицензия — Apache 2.0. Возможности обработки аудио и видео перечислены для отдельных моделей семейства, но не подтверждены для данного чекпойнта. Качество и скорость зависят от аппаратного обеспечения и последующей компиляции; QAT-веса этого варианта не являются готовым GGUF-пакетом для непосредственного развёртывания.

Карточка модели unsloth/gemma-4-31B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой unsloth/gemma-4-12B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Gemma 4 12B IT QAT Q4_0 Unquantized — мультимодальная инструкционная модель семейства Gemma, разработанного Google DeepMind. Это чекпойнт на 12 млрд параметров, полученный из google/gemma-4-12B-it с применением Quantization-Aware Training; в данном репозитории опубликованы веса safetensors, извлечённые из QAT-конвейера в формате половинной точности, а не готовая к запуску квантизованная сборка. Модель предназначена для диалога, генерации и анализа текста, рассуждений, программирования, работы с изображениями, видео и аудио. Модель принимает текст и изображения, может анализировать видео по последовательности кадров; для варианта 12B также заявлена поддержка аудио, включая распознавание речи и перевод речи в текст. Она генерирует текст, поддерживает вызов функций и контекст до 256 тысяч токенов. Семейство рассчитано на многоязычные сценарии: карточка сообщает о поддержке более 35 языков и обучении на более чем 140 языках, но не перечисляет языки отдельно для этого чекпойнта. QAT-обучение призвано сохранить качество, близкое к bfloat16, при снижении требований к памяти в соответствующих квантованных вариантах. Этот репозиторий содержит именно неупакованные QAT-веса, поэтому для непосредственного запуска может потребоваться собственная компиляция или подходящая среда. Лицензия — Apache 2.0.

coder3101/gemma-4-31B-it-qat-q4_0-unquantized-heretic — производная мультимодальная модель семейства Gemma 4, дообученная на google/gemma-4-31B-it-qat-q4_0-unquantized. Она предназначена для диалогов и анализа изображений: может отвечать на вопросы по визуальному содержимому, разбирать документы и PDF, распознавать текст и объекты на изображениях, понимать графики и интерфейсы, а также помогать с кодом и текстовыми задачами. Архитектура — плотная Gemma4ForConditionalGeneration с гибридным вниманием; исходная модель поддерживает контекст до 256K токенов. Модель рассчитана на ввод текста и изображений и генерацию текста; аудиовозможности README относит к другим размерам Gemma 4. Вариант помечен как uncensored, decensored и abliterated, поэтому его поведение в ответах может отличаться от базовой модели. Карточка также предупреждает о возможных ошибках и устаревших фактах, трудностях с нюансами языка и сложными открытыми задачами, а также о смещениях из обучающих данных. Репозиторий использует safetensors и библиотеку Transformers; лицензия — Apache-2.0.

aoiandroid/gemma-4-E2B-it-GGUF — GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной в формате GGUF с использованием материалов Unsloth. Модель предназначена для локального запуска и решения задач генерации и понимания текста, рассуждений, программирования, агентских сценариев и работы с изображениями; для E2B также заявлена поддержка аудио. Она генерирует текст и поддерживает системные инструкции, вызов функций и настраиваемые режимы рассуждения. Модель имеет около 2,3 млрд эффективных параметров, или 5,1 млрд с учётом эмбеддингов, 35 слоёв и контекстное окно до 128 тысяч токенов. Архитектура использует гибридное внимание: локальное скользящее окно на 512 токенов чередуется с глобальным вниманием. Поддерживаются текст, изображения с переменным соотношением сторон и разрешением, а также аудио; семейство Gemma 4 в целом заявляет поддержку более 140 языков. Небольшой размер и формат GGUF ориентированы на эффективное выполнение на ноутбуках и мобильных устройствах, однако квантование может снижать точность по сравнению с полноразмерной версией, а конкретные требования к памяти и производительность зависят от выбранного файла квантования и среды запуска. Модель распространяется по лицензии Apache 2.0; при использовании также следует учитывать условия лицензии Gemma 4, указанной разработчиком.

unsloth/gemma-4-E2B-it-unsloth-bnb-4bit — 4-битно квантованная версия инструкционно настроенной модели Google Gemma 4 E2B, подготовленная Unsloth. Модель предназначена для генерации текста, рассуждений, программирования, агентных сценариев и мультимодального понимания входных данных на локальных устройствах, включая ноутбуки и мобильные устройства. Модель использует плотную архитектуру Gemma 4 с 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоями, гибридным механизмом внимания и контекстом до 128 тысяч токенов. Она принимает текст, изображения и аудио и генерирует текст; поддерживается более 140 языков. Доступны настраиваемые режимы рассуждения, нативная поддержка системных инструкций и вызова функций. Квантование BNB в формате 4-bit снижает требования к памяти и облегчает локальный запуск, однако может уменьшать точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache 2.0. В README не приведены подробные результаты бенчмарков, требования к аппаратному обеспечению или количественная оценка влияния квантования на качество, поэтому её производительность в конкретных задачах требует практической проверки.

ente-ai/gemma-4-E4B-it-GGUF — квантизированная в формате GGUF instruction-tuned версия модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной в виде сборки Unsloth. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для локального запуска, в том числе на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и совместимых инструментах. Модель поддерживает обработку текста, изображений и аудио с генерацией текста, ориентирована на рассуждения, генерацию текста, программирование, мультимодальный анализ, агентские сценарии и вызов функций. Для E4B указаны около 4,5 млрд эффективных параметров и 8 млрд параметров с учётом эмбеддингов, 42 слоя, размер контекстного окна до 128K токенов и локальное окно внимания 512 токенов. Архитектура Gemma 4 использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; заявлена поддержка более 140 языков, настраиваемых режимов рассуждения и системных промптов. К сильным сторонам относятся мультимодальность, большое контекстное окно, поддержка native function calling, возможности для кодирования и эффективного локального развертывания благодаря 4-битному GGUF-представлению. Ограничения включают зависимость качества и скорости от выбранного квантизированного варианта и аппаратного обеспечения; конкретные требования к памяти и производительности в README не указаны. Модель распространяется по лицензии Apache 2.0, при этом для Gemma 4 также следует учитывать условия лицензии Google, доступные по указанной ссылке.

trohrbaugh/gemma-4-E4B-it-heretic-ara — мультимодальная модель семейства Gemma 4, основанная на Google Gemma 4 E4B-it. Автор репозитория описывает её как версию heretic/abliterated, однако подробностей о процедуре изменения или её влиянии на поведение не приводит. Веса размещены в формате Safetensors; лицензия — Apache-2.0. Модель предназначена для диалога и генерации текста, рассуждений, программирования и агентных сценариев с вызовом инструментов, а также для понимания изображений, видео и аудио. Она может извлекать текст из документов и изображений, распознавать речь и переводить речь в текст; README указывает окно контекста до 128 тыс. токенов для E4B и поддержку более 35 языков. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания. Карточка сообщает, что веса аудио- и визуальных компонентов в более ранней загрузке были повреждены, а исправленные файлы добавлены 2 мая 2026 года; для корректной работы этих модальностей требуется актуальная версия репозитория. Как и другие генеративные модели, она может ошибаться в фактах, терять языковые нюансы и хуже справляться со сложными или неоднозначно заданными задачами.

unsloth/gemma-4-E4B-it-MLX-8bit — это 8-битная MLX-версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и подготовленной Unsloth для локального запуска. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для выполнения инструкций, генерации текста, рассуждений, программирования и агентских сценариев с поддержкой function calling. Модель использует плотную архитектуру с примерно 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embedding-слоёв, 42 слоями и словарём размером 262 тысячи токенов. Она принимает текстовые и визуальные данные, а также аудио; генерирует текст. Для обработки контекста применяется гибридный механизм внимания с локальным sliding window размером 512 токенов и глобальным вниманием. Контекстное окно E4B составляет до 128 тысяч токенов, а мультиязычная поддержка охватывает более 140 языков. К сильным сторонам относятся мультимодальность, развитые возможности рассуждения и программирования, поддержка системных промптов и эффективное локальное выполнение на устройствах с ограниченными ресурсами. 8-битное представление снижает требования к памяти, но может сопровождаться некоторой потерей точности по сравнению с полноточными версиями. README не приводит подробных результатов бенчмарков, требований к оборудованию или перечня поддерживаемых аудио- и видеоформатов. Модель распространяется по лицензии Apache 2.0.

Это зеркальная копия мультимодальной модели Gemma 4 E4B Instruct от Google DeepMind, подготовленная chibifire. Чекпойнт прошёл обучение с учётом квантизации Q4_0 (QAT), но в этом репозитории хранится в неквантованных весах половинной точности safetensors вместе с токенизатором, шаблоном чата и конфигурациями обработки и генерации. Модель предназначена для локального мультимодального инференса и дальнейшей конвертации. Она основана на Gemma 4 E4B Instruct и наследует её возможности диалога, рассуждений, программирования, анализа изображений и обработки аудио. Для загрузки в README приведён пример использования Transformers с AutoProcessor и AutoModelForMultimodalLM. Веса в формате safetensors являются неквантованной копией QAT-чекпойнта; обозначение Q4_0 указывает на обучение с учётом этого формата, а не на квантизацию хранимых здесь весов. Репозиторий распространяется по лицензии Apache-2.0. README отсылает к upstream-карточке и документации Gemma за сведениями о промптах и мультимодальном вводе.

Карточка модели OsGo/gemma-4-E4B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E4B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind с открытыми весами, полученная дообучением Gemma 4 E4B Instruct с применением обучения с учётом квантования (QAT). Репозиторий содержит веса safetensors в половинной точности, извлечённые из QAT-конвейера; эта версия предназначена для собственной компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст. Семейство поддерживает контекст до 128 тысяч токенов для E4B и более 140 языков в обучающих данных; в README заявлена поддержка более 35 языков. Возможности включают диалог, рассуждения, программирование, распознавание речи, перевод речи в текст, понимание изображений и видео, OCR, разбор документов и вызов инструментов. Архитектура — плотная Gemma 4 для условной генерации. QAT ориентирован на снижение требований к памяти при сохранении качества, близкого к bfloat16, однако конкретный репозиторий содержит не готовую к обычному запуску квантованную сборку, а веса половинной точности для последующей компиляции. Аудио указано для E4B, но конкретный формат входов зависит от используемого конвейера.

Карточка модели OsGo/gemma-4-E4B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E4B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind с открытыми весами, полученная дообучением Gemma 4 E4B Instruct с применением обучения с учётом квантования (QAT). Репозиторий содержит веса safetensors в половинной точности, извлечённые из QAT-конвейера; эта версия предназначена для собственной компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст. Семейство поддерживает контекст до 128 тысяч токенов для E4B и более 140 языков в обучающих данных; в README заявлена поддержка более 35 языков. Возможности включают диалог, рассуждения, программирование, распознавание речи, перевод речи в текст, понимание изображений и видео, OCR, разбор документов и вызов инструментов. Архитектура — плотная Gemma 4 для условной генерации. QAT ориентирован на снижение требований к памяти при сохранении качества, близкого к bfloat16, однако конкретный репозиторий содержит не готовую к обычному запуску квантованную сборку, а веса половинной точности для последующей компиляции. Аудио указано для E4B, но конкретный формат входов зависит от используемого конвейера.

Ghost 7B Alpha — языковая модель на 7,1 млрд параметров, разработанная Ghost X (Hieu Lam) и дообученная на основе Mistral 7B. Она предназначена для генерации текста, диалоговых помощников и задач, включая рассуждения, ответы на вопросы, написание документов, перевод и программирование. Модель поддерживает взаимодействие с инструментами через описанный в карточке формат ролей и имеет контекст до 32 768 токенов по метаданным; README указывает 8 192 токена. Основные языки модели — английский и вьетнамский. Репозиторий содержит веса в формате safetensors; в карточке также описаны варианты распространения BF16, GGUF и AWQ. Указана лицензия Ghost 7B License Agreement, а метаданные классифицируют лицензию как other. README отмечает склонность модели занимать эмоционально окрашенную позицию, в том числе в задачах рассуждения; перед использованием следует оценить качество ответов и условия лицензии.

GigaChat3-10B-A1.8B — диалоговая модель семейства GigaChat, представленная авторами семейства. Это дообученная методом SFT версия GigaChat3-10B-A1.8B-base. В карточке описана разреженная MoE-архитектура с 10 млрд общих и 1,8 млрд активных параметров; модель использует Multi-head Latent Attention и Multi-Token Prediction. В репозитории ai-sage/GigaChat3-10B-A1.8B-bf16 хранятся веса в формате safetensors с точностью bf16. Модель предназначена для диалогов и генерации текста, в том числе ответов на вопросы, задач по математике и программированию. Заявлены контекст до 256 тысяч токенов и обучение на 20 трлн токенов; авторы сообщают о включении данных на десяти языках, а метаданные карточки отмечают русский и английский. MLA снижает требования к памяти KV-кэша, а MTP рассчитан на ускорение генерации при поддерживаемом инференсе. Лицензия репозитория — MIT. Опубликованные результаты бенчмарков и скорости получены в конкретных условиях измерения, поэтому они не гарантируют аналогичного качества и производительности для любого оборудования и сценария.

GigaChat 3.1 Lightning — компактная инструкционная модель семейства GigaChat 3.1, разработанная командой ai-sage. Она предназначена для быстрых многоязычных ассистентских сценариев, рассуждений, программирования, генерации текста, функционального вызова и продуктовых применений. Модель поддерживает русский и английский языки; обучающий корпус семейства охватывает 10 языков и включает книги, академические материалы, код, математику и синтетические данные. Модель использует архитектуру Mixture-of-Experts с 10 млрд общих и 1,8 млрд активных параметров. Multi-head Latent Attention (MLA) сжимает KV-кэш, снижая потребление памяти и повышая эффективность на длинных контекстах, а Multi-Token Prediction (MTP) может ускорять спекулятивное и параллельное декодирование. К сильным сторонам относятся высокая скорость инференса, поддержка инструментальных вызовов, кода и задач рассуждения, а также улучшенная устойчивость после DPO-обучения. Максимальный размер контекста в README не указан, поэтому возможности работы с конкретной длиной контекста требуют дополнительной проверки. Модель распространяется по лицензии MIT.

GLM-4-9B-Chat-1M — диалоговая языковая модель семейства GLM-4, разработанная Zhipu AI. Этот репозиторий содержит версию весов для Transformers; модель имеет плотную архитектуру GLM с примерно 8,9 млрд параметров и поддерживает контекст до 1 048 576 токенов. Для работы требуется Transformers версии 4.46.0 или новее. Модель предназначена для многошагового диалога и генерации текста, включая рассуждения по длинным документам. Карточка семейства GLM-4-9B-Chat описывает вызов инструментов, веб-поиск и выполнение кода; метаданные также отмечают интерфейс вызова инструментов. GLM-4 поддерживает 26 языков, а в метаданных этой модели указаны английский и китайский. В README сообщается о результатах на задачах семантики, математики, рассуждений, программирования и знаний, превосходящих Llama-3-8B в приведённых оценках; данных о независимой проверке этих сравнений нет. Указанная в метаданных лицензия — other, поэтому конкретные условия использования следует сверить с лицензией репозитория. Модель является дообученной версией THUDM/glm-4-9b-chat-1m.

GLM-5.3-Flash — мультимодальная модель семейства GLM, разработанная zai-org. Она принимает текст и изображения и предназначена для диалогов, анализа визуальных данных, программирования и агентных сценариев с использованием инструментов. Модель имеет плотную архитектуру Glm5NextForConditionalGeneration с гибридным механизмом разреженного и линейного внимания; заявлены 320 млрд параметров, из которых активно используются 18 млрд. В репозитории представлены веса safetensors в формате FP8, библиотека для работы — Transformers. Разработчик сообщает о предварительном обучении на мультимодальном корпусе объёмом 30 трлн токенов и о поддержке длинного контекста, однако приведённые в README пределы контекста относятся к отдельным оценочным сценариям и не задают универсальный лимит модели. Можно регулировать объём рассуждений параметром reasoning_effort. В карточке указаны английский и китайский языки. Модель доступна под лицензией MIT. Заявления о сравнительных результатах и стоимости приведены разработчиком и зависят от условий тестирования и развёртывания.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ8e — мультимодальная версия модели GLM-5.3-Flash с открытыми от цензуры весами. Исходную архитектуру разработала Zhipu AI (ZAI), uncensored-веса предоставила dealignai, а смешанную MLX-квантизацию oQ8e подготовила Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Указаны языки English и Chinese. Модель основана на разреженной MoE-архитектуре с 320 млрд общих параметров, 288 экспертами и примерно 18 млрд активных параметров на токен. Она поддерживает контекст до 1 048 576 токенов, мультимодальное понимание изображений и видео и запуск на Apple Silicon через MLX. Используется смешанная точность около 8,6 бит на вес: критичные для маршрутизации и вывода слои сохраняются в 8-битном формате, vision tower и мультимодальный aligner — в BF16, а отдельные таблицы — в BF16/FP32. В комплект входит DFlash2 для speculative decoding, заявленное ускорение — до 3 раз. Сильными сторонами являются большой контекст, сочетание текстовых и визуальных возможностей, высокая заявленная производительность в программировании, математике и видеоанализе, а также оптимизация для чипов Apple M2–M5. Ограничения включают значительный размер модели и зависимость от совместимого оборудования и MLX; заявленная uncensored-настройка может требовать самостоятельного контроля безопасности при использовании. Лицензия — MIT.

Granite-4.0-H-1B — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-h-1b-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Архитектура GraniteMoeHybrid — декодерный трансформер с GQA, Mamba2, SwiGLU и RMSNorm; модель содержит 1,2 млрд параметров, работает с текстом и имеет контекстное окно 131 072 токена. Модель предназначена для диалогов и выполнения инструкций, локального развертывания на устройствах, а также дообучения под специализированные задачи. Она подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова инструментов и многоязычного общения. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Компактный размер упрощает локальное применение и адаптацию под узкие задачи, а модель поддерживает вызов функций и дополнение кода FIM. Данные для инструктивного обучения преимущественно англоязычные, поэтому качество на других языках может быть ниже; ответы могут быть неточными, предвзятыми или небезопасными и требуют проверки. Лицензия — Apache 2.0.

Granite-4.0-H-350M — компактная инструктивная языковая модель, разработанная командой Granite компании IBM и опубликованная Unsloth в формате safetensors. Модель дообучена на базе ibm-granite/granite-4.0-h-350m с применением supervised fine-tuning, обучения с подкреплением и слияния моделей. Её архитектура — плотный decoder-only трансформер GraniteMoeHybrid с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; размер — 278,4 млн параметров, контекст — 32 768 токенов. Модель предназначена для диалогов и инструкций, суммаризации, классификации и извлечения текста, вопросов и ответов, RAG, задач с кодом и вызова инструментов. Компактность делает её подходящей для локального развёртывания и дообучения под специализированные задачи. Она поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; обучение преимущественно ориентировано на английский, поэтому качество на других языках может быть ниже. Модель может выдавать неточные, предвзятые или небезопасные ответы, поэтому для конкретного применения требуется проверка. Лицензия — Apache 2.0.

Granite-4.0-H-Micro — компактная инструктивная языковая модель, опубликованная Unsloth и разработанная командой Granite компании IBM. В карточке указано 3 млрд параметров, а в метаданных репозитория — 2,6 млрд; модель основана на ibm-granite/granite-4.0-h-micro и дообучена на открытых инструктивных и синтетических данных с применением supervised fine-tuning, выравнивания с подкреплением и объединения моделей. Используется архитектура decoder-only с компонентами GQA, Mamba2, SwiGLU и RMSNorm; формат весов — Safetensors, библиотека — Transformers, контекст — до 131 072 токенов. Модель предназначена для диалоговых ассистентов и бизнес-приложений. Она следует инструкциям, поддерживает вызов инструментов и подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, заполнения пропусков в коде и многоязычного диалога. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. Качество на многоязычных задачах может уступать английскому; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать под конкретный сценарий.