II.2Создание и понимание программного кода

DeepSeek-R1-Distill-Qwen-7B — языковая модель на 7,1 млрд параметров, разработанная DeepSeek и дообученная на Qwen2.5-Math-7B с использованием примеров рассуждений, созданных DeepSeek-R1. Она предназначена для генерации текста и диалогов с акцентом на решение математических задач, программирование и другие задачи, требующие многошагового рассуждения. Модель использует плотную архитектуру Qwen2 и принимает текст, выдавая текст. Контекстное окно составляет 131 072 токена. В README указана максимальная длина генерации 32 768 токенов для описанных оценок. Модель поддерживает чат; метаданные также отмечают интерфейс вызова инструментов, но README не описывает его применение. Модель компактнее исходного DeepSeek-R1 и показывает сильные результаты в приведённых бенчмарках для дистиллированных моделей. Это не универсальная гарантия качества: ответы могут содержать ошибки, а рекомендации по настройке следует сверять с полной карточкой модели. Лицензия — MIT.

unsloth/DeepSeek-R1-Distill-Qwen-7B-unsloth-bnb-4bit — 4-битная динамически квантованная версия DeepSeek-R1-Distill-Qwen-7B. Базовую модель разработала команда DeepSeek, а квантованную сборку подготовила Unsloth. Модель основана на Qwen и относится к плотным большим языковым моделям примерно на 7 млрд параметров. Модель предназначена для текстовых задач, требующих рассуждений, включая решение математических задач, программирование и другие сценарии генерации и анализа текста. DeepSeek-R1 был обучен с применением крупномасштабного reinforcement learning, а серия Distill создана на основе дистилляции возможностей рассуждения DeepSeek-R1 в модели Llama и Qwen. В метаданных указана поддержка английского языка; сведения о размере контекста и дополнительных модальностях не приведены. Ключевая особенность этой версии — Dynamic 4-bit quantization от Unsloth: отдельные параметры выборочно не квантуются, что должно обеспечивать более высокую точность по сравнению со стандартной 4-битной квантизацией при меньших требованиях к памяти. Ограничениями являются возможные потери качества из-за квантования и отсутствие в предоставленных данных подробных результатов именно для этой сборки, характеристик контекстного окна и описания многоязычной поддержки. Лицензия — Apache-2.0.

DeepSeek-V4-Flash — предварительная версия большой языковой модели семейства DeepSeek-V4, разработанная командой DeepSeek AI. Модель предназначена для обработки длинного контекста, решения задач общего назначения, работы со знаниями, рассуждениями, программированием и агентными сценариями. В README также отмечается наличие режима DeepSeek-V4-Flash-Max с увеличенным бюджетом рассуждений, однако подробности его реализации не приведены. Модель построена на архитектуре Mixture-of-Experts (MoE) и содержит 284 млрд параметров, из которых 13 млрд активируются при обработке запроса. Поддерживается контекст длиной до 1 млн токенов. Для повышения эффективности длинноконтекстного вывода используются механизмы Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Модель поставляется в смешанном формате FP4 + FP8: параметры экспертов MoE используют FP4, большинство остальных параметров — FP8. Обучение проводилось более чем на 32 трлн токенов с последующей настройкой с использованием SFT, RL с GRPO и on-policy distillation. К сильным сторонам относятся высокая эффективность при работе с очень длинными контекстами, компактное число активируемых параметров относительно общего размера и заявленная конкурентоспособность в задачах рассуждений и программирования. По сравнению с версией Pro модель имеет меньший масштаб, поэтому, согласно README, несколько уступает ей в задачах, требующих обширных знаний, и в наиболее сложных агентных рабочих процессах. Языки и мультимодальные возможности в представленных данных не указаны. Лицензия — MIT.

Devstral-Small-2-24B-Instruct-2512-GGUF — это мультимодальная GGUF-сборка исходной instruct-модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI. Модель упакована и квантована для локального запуска в llama.cpp и рабочей среде Backpack. Она поддерживает текстовые и графические входные данные и генерирует текст. Модель построена на архитектуре Mistral3ForConditionalGeneration и содержит около 24 млрд параметров. Точная длина контекста в карточке не указана. Для обработки изображений требуется отдельный мультимодальный проектор F16 размером около 837,4 MiB. Доступны варианты квантования Q4_K_M, Q5_K_M и Q8_0; рекомендуемым для большинства пользователей назван Q4_K_M, обеспечивающий практический баланс качества, размера и скорости. Оценочный объём оперативной памяти составляет от 21,23 до 35,7 ГБ в зависимости от варианта, но фактическое потребление зависит от конфигурации запуска и длины контекста. Модель предназначена для диалогов, генерации кода, структурированных аргументов инструментов, tool calling и многошаговых циклов взаимодействия с инструментами. В тестах прошли проверки загрузки, инференса и токенизатора для всех вариантов квантования, а также детерминированные проверки перечисленных возможностей для Q4_K_M. Языки, специальные показатели качества и ограничения исходной модели в README не указаны. Квантование может влиять на качество ответов. Распространение осуществляется по лицензии Apache-2.0 с необходимостью учитывать условия upstream-модели.

Это GGUF-квантизированная версия текстовой языковой модели dolphin-2.9.2-Phi-3-Medium, разработанной cognitivecomputations и подготовленной пользователем legraphista. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, программным кодом, математическими задачами и агентными запросами. В обучении или дообучении исходной модели использовались наборы данных Dolphin-2.9.2, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Agent-FLAN и SystemChat-2.0. Распространяется в формате GGUF для запуска с llama.cpp и совместимых инструментов. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; для ряда вариантов применена IMatrix-квантизация, позволяющая уменьшить размер модели при сохранении качества. Указан английский язык, модальность — текстовая. Размер исходного BF16-варианта составляет около 27,92 ГБ, а доступные квантизированные файлы занимают примерно от 5,20 до 14,83 ГБ. Сильная сторона модели — возможность локального запуска с выбором компромисса между качеством и требованиями к памяти благодаря множеству уровней квантизации. Ограничения README не раскрывает: отсутствуют сведения о числе параметров, архитектурных деталях, размере контекста, результатах бенчмарков и качестве на других языках. Для публикации указана лицензия MIT.

Это 4-битная версия Dolphin 2.9.3 на базе Mistral Nemo, преобразованная mlx-community из cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b в формат MLX с помощью mlx-lm 0.16.1. Модель представляет собой плотную причинную языковую модель Mistral с 12,1 млрд параметров и предназначена для генерации текста в диалоговом формате; среди возможных сценариев — ответы на вопросы, помощь с кодом, математические задачи и вызов инструментов, на которые указывают обучающие наборы данных и возможности базовой Dolphin-модели. Модель дообучена на Mistral-Nemo-Base-2407, а данный репозиторий содержит её MLX-представление для запуска на устройствах Apple с MLX. Метаданные указывают контекст до 1 024 000 токенов и лицензию Apache-2.0. В README не описаны отдельные ограничения качества; применимость столь длинного контекста и заявленные сценарии зависят от конкретной конфигурации запуска.

Dolphin 3.0 Qwen 2.5 3B — инструктивно настроенная языковая модель от Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations, созданная на базе Qwen/Qwen2.5-3B. Это плотная авторегрессионная модель с 3,1 млрд параметров, контекстом до 32 768 токенов и шаблоном диалога ChatML. Репозиторий содержит веса в формате safetensors. Модель предназначена для локального применения в качестве универсального помощника: она генерирует текст, помогает с программированием и математикой, поддерживает сценарии работы с агентами и вызова функций. Поведение можно настраивать системным промптом, включая тон и правила ответа. В обучающих данных использованы наборы для программирования, математики, инструкций, диалогов и вызова функций; в метаданных указан английский язык. Модель рассчитана на владельцев приложений, которым нужны локальный запуск и контроль над системным промптом и данными. Для запуска можно использовать Transformers, Ollama, LM Studio, vLLM, SGLang или TGI. Лицензия обозначена в метаданных как other; конкретные условия следует проверять на странице модели. Карточка не содержит результатов оценивания качества, поэтому пригодность для конкретных задач нужно проверять отдельно.

dolphinllamaseekv1 — объединённая модель генерации текста на архитектуре Llama, созданная сообществом mergekit-community методом SLERP из cognitivecomputations/Dolphin3.0-Llama3.1-8B и deepseek-ai/DeepSeek-R1-Distill-Llama-8B. В репозитории указаны 7,5 млрд параметров и контекст до 131 072 токенов; веса доступны в формате safetensors, модель рассчитана на запуск через Transformers. Модель предназначена для диалоговой генерации текста и задач, в которых полезны возможности исходных моделей Dolphin и DeepSeek R1 Distill, включая рассуждения и программирование. Метаданные также отмечают интерфейс вызова инструментов. Объединение может сочетать свойства двух моделей, но README не приводит оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

Dolphy-1.0 — диалоговая языковая модель от Dolphy AI, дообученная методом LoRA на базе Qwen/Qwen3-4B-Instruct-2507. Это плотная причинная модель семейства Qwen3 с 3,7 млрд параметров и контекстом до 262 144 токенов. В обучающем конвейере использовано 1,5 млн примеров из 20 наборов данных; среди перечисленных источников — материалы для диалогов, следования инструкциям, математики, программирования, письма и ответов на вопросы. Модель предназначена для генерации ответов в чате, выполнения инструкций, решения задач и работы с инструментами через совместимый с Qwen3 интерфейс вызова функций. Она поддерживает многоязычные возможности базовой модели; точный перечень языков в карточке не приведён. Репозиторий содержит веса safetensors, а README также рекомендует GGUF для локального запуска. Лицензия — Apache-2.0. Заявление автора о превосходстве над более крупными моделями не сопровождается результатами сравнительной оценки в предоставленной карточке. Качество может различаться в зависимости от задачи; подробные результаты тестирования и конкретный перечень поддерживаемых языков не приведены.

ELYZA-Thinking-1.0-llm-jp-4-33b — языковая модель с рассуждениями, разработанная ELYZA, Inc. на основе llm-jp/llm-jp-4-33b-base. Это плотная авторегрессионная модель семейства Llama с 32,2 млрд параметров и контекстом 65 536 токенов; веса доступны в формате safetensors, лицензия — Apache 2.0. Модель предназначена прежде всего для японского рассуждения и следования инструкциям, включая задачи по математике, программированию, STEM, японским знаниям и работе с инструментами. ELYZA провела промежуточное обучение, дообучение на инструкциях и обучение с подкреплением на проверяемых задачах, добавляя японские данные и сохраняя англоязычные материалы. Поддерживаются японский и английский языки. Модель подходит для диалоговых приложений, решения сложных задач и сценариев с вызовом инструментов. README отмечает ограничение формата Harmony: параллельные вызовы инструментов не поддерживаются. Для работы с моделью описаны варианты запуска через vLLM и Transformers.

ERNIE-4.5-21B-A3B-Thinking — текстовая MoE-модель семейства ERNIE от Baidu, представленная в репозитории Unsloth как дообучение baidu/ERNIE-4.5-21B-A3B-Thinking. Она предназначена для генерации текста и сложных рассуждений: логических задач, математики, науки, программирования и академических вопросов, а также для работы с инструментами. В модели 21 млрд параметров всего, из которых для каждого токена активируются около 3 млрд; архитектура включает 28 слоёв, а длина контекста составляет 131 072 токена. Модель принимает и генерирует текст, поддерживает английский и китайский языки. Карточка отмечает улучшенные рассуждения, использование инструментов и понимание длинного контекста; для сложных задач рекомендован режим с увеличенной длиной рассуждения. Для запуска описана поддержка Transformers версии 4.54.0 или новее, а также интеграции с FastDeploy и vLLM; парсеры рассуждений и вызовов инструментов для vLLM указаны как находящиеся в разработке. Лицензия — Apache-2.0.

Eurus-70B-NCA — языковая модель OpenBMB для генерации текста и диалогов с упором на рассуждения. Это плотная Llama-модель на 68,7 млрд параметров, дообученная методом NCA от Eurus-70B-SFT на многоходовых парах траекторий UltraInteract и парах UltraFeedback. Модель поддерживает контекст до 16 384 токенов и распространяется в формате safetensors. Модель предназначена для многошагового решения задач, в особенности математических и связанных с программированием, а также для многоходовых диалогов. В README авторы сообщают о сильных результатах на комплексной оценке по пяти типам задач, но это заявление основано на бенчмарках и не гарантирует аналогичных результатов в конкретном применении. Для задач программирования и математики рекомендованы специальные форматы промптов. Лицензия — Apache-2.0. В карточке описано дообучение от Eurus-70B-SFT; отдельные ограничения на использование не приведены.

Eurus-70B-SFT — большая языковая модель OpenBMB, дообученная для рассуждений на основе CodeLLaMA-70B. Модель содержит 68,7 млрд параметров, использует плотную архитектуру LLaMA и принимает контекст до 16 384 токенов. Она обучена на корректных действиях из UltraInteract с небольшой примесью примеров UltraChat, ShareGPT и OpenOrca. Модель предназначена для диалогов и решения задач, требующих пошаговых рассуждений, в том числе математических и связанных с программированием. Для кода и математики авторы рекомендуют специальные шаблоны запросов, согласованные с форматами обучающих данных. В README заявлены высокие результаты на сравнительных оценках, но подробные результаты в карточке не приведены. Модель распространяется в формате safetensors по лицензии Apache 2.0.

EvaByte-SFT — дообученная с учителем языковая модель EvaByte на 6,5 млрд параметров, разработанная авторами проекта EvaByte. Это плотная byte-level модель для генерации текста: она обрабатывает текст на уровне байтов, использует предсказание нескольких байтов и механизм внимания EVA. Модель обучалась на текстах, математических материалах и коде; карточка отмечает высокую скорость декодирования и результаты в задачах программирования. Модель предназначена для диалогового использования и генерации текста, в том числе для помощи с кодом и математическими задачами. Контекст составляет 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. В карточке не приведены результаты отдельных оценок качества EvaByte-SFT, поэтому заявленные преимущества исходной EvaByte не следует считать гарантией для каждого сценария.

Модель Yhhhhhhhhh/final-tc-deepseek-coder-1.3b-instruct — дообученная версия DeepSeek Coder 1.3B Instruct, созданная на основе deepseek-ai/deepseek-coder-1.3b-instruct с использованием набора данных, названного в карточке «output dataset». Это плотная авторегрессионная модель семейства Llama с 1,3 млрд параметров, предназначенная для генерации текста в диалоговом формате; каталог отмечает поддержку чата. Модель работает с контекстом до 16 384 токенов и распространяется в формате Safetensors через Transformers. Основной сценарий применения — генерация и дополнение программного кода по запросам и инструкциям. Карточка сообщает значение loss 0,2609 на оценочном наборе, но не описывает его состав и методику оценки, поэтому по этому числу нельзя судить о качестве в конкретных задачах. Лицензия указана как other; конкретные условия использования в предоставленных данных не раскрыты.

Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-math — экспериментальная дообученная языковая модель от EpistemeAI на архитектуре Llama 3.1. Она предназначена для диалогового применения в задачах математики, программирования и работы в роли агента; заявлены сценарии с поиском, калькулятором и подходом ReAct, а также интеграция с LangChain, LlamaIndex и Ollama, в том числе для RAG. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README рекомендуется использовать отдельный механизм проверки безопасности входов и выходов; приведённые результаты оценки ограничены отдельными бенчмарками и не гарантируют качество в конкретных задачах. Модель лицензирована по Apache-2.0.

juierror/flan-t5-text2sql-with-schema-v2 — дообученная модель семейства T5 на основе FLAN-T5, предназначенная для преобразования вопросов на естественном языке в SQL с учётом схемы таблиц. Пример из карточки показывает передачу вопроса и названий таблиц и столбцов, после чего модель генерирует SQL-запрос. Модель содержит 123,7 млн параметров, использует архитектуру T5ForConditionalGeneration и принимает текстовый ввод. Для генерации в примере используется максимальная длина 512 токенов; это не подтверждает длину нативного контекста модели. В обучении использовались наборы CoSQL, Spider и SParC. В метаданных указан английский язык. Модель подходит для прототипов интерфейсов «вопрос к базе данных» и генерации запросов по заданной схеме. Качество зависит от соответствия схемы и формулировки вопроса; сгенерированный SQL следует проверять перед выполнением. Лицензия — CC BY-SA 4.0.

Akahsizrr/fuse-1-Lite-MLX — сборка модели fuse-1 Lite в формате MLX для запуска на компьютерах Apple Silicon. Это разговорная модель для генерации текста и задач программирования; карточка указывает библиотеку MLX и объём 2,6 млрд параметров. Модель создана слиянием Akahsizrr/fuse-1-Lite, LiquidAI/LFM2.5-2.6B и Qwen/Qwen3.6-35B-A3B. Для запуска требуются Mac с Apple Silicon и пакет mlx-lm; в README предлагается загрузка с trust_remote_code=True. Указанная длина контекста — 131 072 токена. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает качество на конкретных задачах или подробности архитектуры и ссылается за ними на карточку основной модели.

G9v3-39A5B-Q3Q4-GGUF — квантованная GGUF-версия причинной языковой модели с архитектурой Mixture-of-Experts от команды AI9Stars. Базовая модель G9v3-39A5B содержит около 39 млрд параметров, из которых при генерации активируется около 5 млрд на токен. Контекст составляет до 131 072 токенов; модель ориентирована на английский и китайский языки. Модель предназначена для диалогового помощника, программирования, работы с инструментами и задач рассуждения. В одном чекпойнте доступны режимы Think и No Think. Карточка описывает запуск локально и на одной видеокарте с 24 ГБ памяти; для GGUF-квантизации авторы отмечают, что варианту требуется уровень Q3 для полноценной работы, а сама модель не особенно хорошо поддаётся квантизации. Модель выпущена как предварительная версия. Ответы могут быть неточными, предвзятыми или небезопасными и требуют проверки, особенно в важных сценариях; поведение может меняться между версиями. Лицензия — Apache-2.0.

Gemini 2.5 Pro Preview 06-05 — предварительная версия мультимодальной модели Google Gemini 2.5 Pro. Она предназначена для сложных задач рассуждения, программирования, математики и науки. В карточке указаны способности к рассуждению, но подробности об архитектуре, размере и длине контекста не приведены. Модель ориентирована на сценарии, где требуется разбирать запрос и формировать содержательный ответ, включая помощь с кодом и решение математических задач. Метаданные классифицируют её как image-text-to-text, однако README не уточняет поддерживаемые типы входных данных. Условия лицензии в доступных сведениях не описаны.

Kukedlc/Gemma-2b-it-FT-Code — дообученная для программирования и анализа данных языковая модель на основе Gemma. В карточке указано, что для обучения использован датасет MagiCoder. Модель предназначена для генерации текста в диалоговом режиме и может применяться для помощи с программированием и задачами Data Science. Это плотная причинная архитектура GemmaForCausalLM на 2,5 млрд параметров с контекстом до 8192 токенов; репозиторий содержит веса в формате safetensors. Карточка не уточняет поддерживаемые языки и конкретные языки программирования. Модель распространяется по лицензии Apache-2.0. Данных о качестве на отдельных задачах или специальных ограничениях нет.

Это дообученная модель Gemma 4 12B от автора llmfan46, созданная на основе yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF. Она предназначена для диалоговой генерации текста, программирования и многошагового использования инструментов, включая сценарии работы с терминалом. Модель поддерживает режим рассуждений и использует встроенный протокол вызова инструментов Gemma 4; для запуска в Transformers требуется версия библиотеки с поддержкой архитектуры gemma4_unified. В README описано дообучение на траекториях агентных задач, проверенных задачах Python и данных для общих инструкций. Также автор сообщает о применении abliteration для снижения частоты отказов: в приведённом тесте она отказала в 13 случаях из 100 против 99 у исходной модели. Это не гарантирует качества или безопасности ответов; результаты MMLU близки к результатам исходной модели. Репозиторий использует формат safetensors и лицензию Apache-2.0.

Richard Young — это дообученная версия Google Gemma 4 12B IT, дополнительно обработанная методом abliteration с Heretic v1.4.0 для снижения числа отказов. Модель предназначена прежде всего для решения задач программирования на Python: она может рассуждать о подходе, сложности и граничных случаях, а затем генерировать код. В README указано, что обучающие решения проверялись запуском на детерминированных тестах. Это плотная мультимодальная архитектура Gemma 4 Unified с весами bf16 в формате safetensors и контекстом до 256K токенов. Карточка ориентирует на использование в Transformers; для запуска требуется свежая версия библиотеки с поддержкой gemma4_unified. Хотя базовая Gemma 4 поддерживает работу с изображениями, видео и аудио, описание этой версии сосредоточено на генерации кода и не подтверждает эти сценарии для неё. Модель специализирована на Python и алгоритмических задачах, англоязычная; общие факты и числа рекомендуется перепроверять. README сообщает о снижении отказов и предупреждает, что модель не прошла safety alignment, поэтому для применения нужны собственные защитные меры. Лицензия — Apache-2.0.

Карточка модели tepirale/gemma-4-12B-coder-fable5-composer2.5-v1-safetensors-yuxinlu1 на Hugging Face совпадает с карточкой tepirale/gemma-4-12B-coder-fable5-composer2.5-v1-assistant-safetensors-yuxinlu1, поэтому описание составлено по ней. Это объединённая модель на архитектуре Gemma 4, опубликованная пользователем tepirale в формате SafeTensors для Transformers. Метаданные связывают её с двумя моделями: yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF и yuxinlu1/gemma-4-12B-it-Claude-4.6-4.8-Opus-GGUF. README описывает преобразование весов из GGUF в SafeTensors, но не приводит подробностей об обучении или оценке качества. Модель предназначена для генерации текста и, согласно pipeline_tag, работы с изображениями вместе с текстом. Теги указывают на сценарии программирования, агентных задач, использования инструментов и терминала. Репозиторий использует библиотеку Transformers; лицензия — Apache 2.0. Подтверждённых сведений о поддерживаемых языках, контекстном окне и точном числе параметров в предоставленных данных нет.

Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

cafepm/gemma-4-12b-it-Q3Q4-GGUF — это смешанно-квантованная версия Gemma 4 12B Instruct, опубликованная cafepm. По карточке, 20% весов квантованы до 4 бит, а остальные 80% — до 3 бит; файлы представлены в формате GGUF. Базовая модель — google/gemma-4-12B-it. Репозиторий предназначен для локального запуска, в том числе для помощи при программировании в VS Code и работы на потребительском оборудовании. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и визуальное понимание. В карточке базового семейства заявлены анализ документов и изображений, распознавание текста, работа с длинным контекстом и использование инструментов. Для этого конкретного квантованного варианта заявлен контекст до 200 тысяч токенов, однако README также приводит для Gemma 4 12B значение до 256 тысяч; фактический предел зависит от сборки и рантайма. Семейство поддерживает более 35 языков, но список языков для этой сборки не приведён. README заявляет, что схема смешанной точности сохраняет качество генерации уровня Q4 при размере, близком к Q3, и позволяет разместить модель в 8 ГБ VRAM; независимые результаты оценки не приведены. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходными весами, а длинный контекст требует значительных ресурсов. Указана лицензия Apache-2.0.

tepirale/gemma-4-12B-merge-coder40-agentic40-it20-linear — объединённая модель на архитектуре Gemma 4 Unified, созданная с помощью mergekit линейным слиянием трёх моделей: Gemma 4 12B IT от Google и двух вариантов Gemma 4 12B от tepirale, настроенных на кодирование и агентные задачи. В конфигурации указаны веса 0,4 для каждой специализированной модели и 0,2 для Gemma 4 IT, а также нормализация и формат bfloat16. Модель предназначена для диалога и генерации текста с визуальным вводом; объединение кодовой и агентной специализаций предполагает применение в программировании и агентных сценариях. Метаданные классифицируют её как image-text-to-text и отмечают поддержку vision. Базовая Gemma 4 12B IT описана как мультимодальная модель для анализа текста, изображений, видео и аудио, однако README этой модели не подтверждает сохранение всех этих возможностей после слияния. Модель распространяется по лицензии Apache-2.0. Размер параметров и длина контекста в предоставленных данных не указаны.

HauhauCS/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP — мультимодальная версия Gemma 4, разработанная HauhauCS на основе Gemma 4 26B-A4B-it от Google DeepMind. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения, диалогов и задач, где важны следование инструкциям и надежность. Вариант позиционируется как uncensored и оптимизирован для минимизации отказов при сохранении исходных возможностей базовой модели. Модель использует MoE-архитектуру размером 26B параметров: из 128 экспертов для каждого токена активны 8. Поддерживается контекст до 256K токенов, английский язык и обработка изображений через отдельный vision mmproj-компонент. Распространяется в формате GGUF с 4-битной квантизацией Q4_K_M; основной файл занимает около 16,8 ГБ, vision-компонент — 1,2 ГБ. В комплект входит MTP-драфтер для speculative decoding, который в тестах автора ускорял генерацию примерно на 35% без заявленного изменения качества. К сильным сторонам относятся большой контекст, поддержка изображений, высокая эффективность MoE и ориентация на программирование, рассуждения и творческие задачи. Работа MTP и заявленное ускорение проверялись автором в llama.cpp; модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Ограничения включают зависимость vision-возможностей от отдельного mmproj-файла, возможные сбои Gemma 4 в LM Studio при multi-GPU tensor-split, а также то, что отсутствие отказов не гарантируется для всех пограничных запросов. Лицензия указана как Gemma. Для запуска рекомендуется использовать параметры temperature 0.6, top_k 64, top_p 0.9, min_p 0.05 и repeat_penalty 1.1.

Gemma-4-31B-JANG_4M-CRACK — мультимодальная чат-модель dealignai на архитектуре Gemma 4 Dense с 31 млрд параметров, основанная на google/gemma-4-31b-it. Веса изменены методом abliteration для снижения отказов на запросы; автор сообщает результаты тестирования на HarmBench и MMLU, а также отмечает улучшение устойчивости режима рассуждений в версии v2. Модель предназначена для диалогов, программирования, общих вопросов и анализа изображений. Она принимает текст и изображения, поддерживает режим thinking и гибридное скользящее и глобальное внимание. Для запуска автор рекомендует vMLX на Apple Silicon Mac с не менее чем 32 ГБ объединённой памяти; стандартные mlx_lm и mlx_vlm, согласно карточке, Gemma 4 не поддерживают. Это изменённая версия инструкционной модели Google, а не базовый чекпойнт. Abliteration снижает склонность к отказам, но автор сообщает, что модель всё ещё может отказывать на некоторые категории запросов и что режим thinking может зацикливаться при неподходящих настройках генерации. Лицензия — Gemma; карточка указывает исследовательское назначение и возлагает соблюдение применимых законов на пользователя.

mlx-community/gemma-4-e2b-it-qat-OptiQ-4bit — квантованная версия модели Gemma 4 E2B, разработанной Google и адаптированной сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. В основе лежит quantization-aware-trained модель google/gemma-4-E2B-it-qat-q4_0-unquantized. Модель предназначена для локальной генерации текста на устройствах Apple Silicon, включая задачи общего понимания и генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и работы с агентными сценариями. Также поддерживается мультимодальный режим image-text-to-text через vision-компонент в формате bf16; текстовый режим загружается через mlx-lm, а обработка изображений — через mlx-optiq. Используется смешанная разрядность: большинство компонентов имеют точность 4-bit, чувствительные слои — 8-bit. Всего квантовано 276 компонентов, достигнуто 5,24 bits per weight, размер модели на диске составляет около 4,9 ГБ. Квантование выполнено с группой 64 и распределением битов на основе чувствительности слоёв. По заявленным тестам модель превосходит равномерную 4-bit-квантизацию той же базы по среднему Capability Score: 57,23 против 55,14; особенно заметен выигрыш в HumanEval и тесте длинного контекста HashHop. При этом в IFEval результат немного ниже, чем у равномерной 4-bit-версии. Контекстное окно и полный перечень поддерживаемых языков в README не указаны. Модель ориентирована на локальное использование без PyTorch и облачных сервисов, преимущественно на Apple Silicon. Доступна по условиям Gemma Terms of Use; применимые условия также зависят от лицензии базовой модели Google Gemma.