II.2Создание и понимание программного кода

calme-2.2-qwen2.5-72b — плотная языковая модель MaziyarPanahi, дообученная на основе Qwen2.5-72B-Instruct. Она предназначена для диалогов и генерации текста: ответов на вопросы, работы виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач. Модель содержит 71,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат весов safetensors; для общения применяется шаблон ChatML. Контекст составляет до 32 768 токенов. В метаданных указан английский язык; README описывает широкие языковые сценарии, но не подтверждает поддержку конкретных дополнительных языков. README приводит результаты Open LLM Leaderboard, в том числе 84,77 по IFEval и 61,80 по BBH; оценки относятся к указанным настройкам тестирования и не гарантируют качество в конкретном применении. Известные ограничения — возможные предвзятость и ошибки, поэтому при внедрении важны проверка ответов и человеческий контроль. Лицензия обозначена как other, без уточнения конкретных условий в предоставленных данных.

duyntnet/cogito-v1-preview-llama-8B-imatrix-GGUF — это набор imatrix-квантизированных версий текстовой instruction-tuned модели Cogito v1-preview-llama-8B, разработанной командой deepcogito и опубликованной пользователем duyntnet в формате GGUF. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, задач STEM, общего помощника и вызова инструментов. Модель относится к гибридным reasoning-моделям: она может отвечать напрямую в стандартном режиме или выполнять расширенное самообдумывание перед ответом. Обучение проводилось с использованием метода Iterated Distillation and Amplification (IDA). Указаны поддержка контекста до 128K токенов, более 30 языков, включая английский, а также текстовый ввод и текстовый вывод. Заявлены улучшенные многоязычные, программные и tool-calling возможности по сравнению с сопоставимыми по размеру моделями. Формат GGUF подходит для локального запуска через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, text-generation-webui, LM Studio и GPT4All. Расширенное мышление включается специальной системной инструкцией или параметром enable_thinking в chat template. К ограничениям относятся отсутствие в README точных характеристик базовой архитектуры и параметров квантизации, а также возможное снижение качества по сравнению с исходной моделью из-за квантизации. Лицензия обозначена как other; при этом исходное описание указывает на открытую лицензию с разрешением коммерческого использования, но её точные условия не приведены.

duyntnet/cogito-v1-preview-qwen-14B-imatrix-GGUF — набор imatrix-квантизаций языковой модели Cogito v1-preview Qwen 14B, первоначально разработанной deepcogito. Это instruction-tuned генеративная модель формата «текст на входе — текст на выходе», предназначенная для диалогов, генерации текста, программирования, задач STEM, следования инструкциям, общего ассистирования и вызова инструментов. Репозиторий предоставляет варианты в формате GGUF для локального запуска через llama.cpp и совместимые приложения, включая KoboldCPP, text-generation-webui, Ollama, Jan и LM Studio. Модель использует гибридный подход к рассуждениям: может отвечать напрямую в стандартном режиме или выполнять дополнительную саморефлексию в режиме extended thinking. Поддерживаются одиночные, параллельные и комбинированные вызовы инструментов. Модель обучалась более чем на 30 языках и поддерживает контекст до 128k токенов; заявлены улучшенные многоязычные возможности, качество программирования и tool calling по сравнению с моделями сопоставимого размера. Архитектура описана как Qwen 14B, однако точные параметры GGUF-квантизаций в README не приведены. К сильным сторонам относятся сочетание стандартного и рассуждающего режимов, широкий контекст, поддержка многоязычных сценариев, программирования и инструментов, а также возможность локального инференса. Ограничения включают preview-статус исходной модели, зависимость характеристик от конкретного варианта квантизации и отсутствие в README точных данных о размерах файлов, требованиях к оборудованию и результатах бенчмарков. Указана лицензия other; при этом исходное описание сообщает, что модели Cogito выпущены по открытой лицензии с разрешением коммерческого использования, но точные условия лицензии для данного репозитория не раскрыты.

unsloth/DeepSeek-V3-bf16 — версия DeepSeek-V3 в формате BF16, размещённая Unsloth и предназначенная для генерации текста и диалогового использования. Согласно карточке модели, DeepSeek-V3 — языковая модель архитектуры Mixture-of-Experts с 671 млрд параметров, из которых около 37 млрд активируются на каждом токене; используются DeepSeekMoE и Multi-head Latent Attention. Метаданные этой версии указывают 37,6 млрд параметров, контекст до 163 840 токенов и поддержку интерфейса вызова инструментов. Модель подходит для диалогов, ответов на вопросы, написания и преобразования текста, а также сценариев с вызовом инструментов. В карточке заявлена поддержка английского языка. Репозиторий использует Transformers и формат safetensors; лицензия — MIT. Для запуска требуются значительные вычислительные ресурсы, характерные для крупной языковой модели.

DeepSeek-V4-Flash-0731-Abliterated — модифицированная версия DeepSeek-V4-Flash-0731, разработанная автором lovesenko посредством прямого редактирования весов исходной модели. Это Mixture-of-Experts-модель на 284 млрд параметров, из которых активируется около 13 млрд, с контекстным окном до 1 млн токенов и смешанной точностью FP8. Архитектура включает Multi-Token Prediction (MTP) для speculative decoding, совместима с DeepSeek-V4-Flash-DSpark и ориентирована на рассуждения и агентские сценарии. В README не указаны точные языки и полный перечень поддерживаемых модальностей; по представленным данным модель является текстовой языковой моделью. Модель предназначена для генерации текста, сложных рассуждений, программирования, логических и фактических задач, а также использования в агентских рабочих процессах с длинным контекстом. Версия Abliterated создана редактированием пространства весов для ослабления встроенных отказов: проекция удаляет широкое направление отказа из выходных проекций attention во всех слоях декодера и из MTP-head. В заявленной оценке доля отказов снизилась с 96,1% у базовой версии до 13,0% в режиме chain-of-thought и до 2,0% без него. К сильным сторонам относятся очень большой контекст, высокая вычислительная ёмкость MoE при относительно небольшом числе активных параметров, MTP для ускорения декодирования и сохранение ключевых возможностей базовой модели по заявленным spot-check-тестам. Ограничения включают остаточные отказы, особенно при включённом рассуждении, а также риск деградации длинных цепочек рассуждений при более агрессивном редактировании. Модель распространяется по лицензии MIT.

DuckDB-NSQL-7B-v0.1 — авторегрессионная языковая модель семейства NSQL, разработанная MotherDuck на базе Meta Llama 2 7B. Модель дополнительно предварительно обучена на общих SQL-запросах и дообучена на парах «естественный язык — DuckDB SQL». По метаданным, она содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; длина контекста — 16 384 токена. Модель предназначена для генерации SQL по описанию задачи на естественном языке и схеме таблиц. В отличие от систем, ограниченных запросами SELECT, она может генерировать допустимые операторы DuckDB, включая запросы для официальных расширений DuckDB. В обучающих данных — 200 тысяч синтетических пар DuckDB text-to-SQL, созданных с опорой на документацию DuckDB 0.9.2, а также преобразованные в DuckDB SQL примеры NSText2SQL. Оценка описана на специализированном бенчмарке из 75 пар. Для работы рекомендуется формат промпта из карточки модели. Модель унаследовала лицензию Llama 2; перед использованием необходимо соблюдать её условия и условия Meta для базовой модели.

Abu-Dju/Falcon-H1-34B-Instruct-GGUF — версия инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это авторегрессионная decoder-only модель на 34 млрд параметров с гибридной архитектурой, объединяющей Transformer attention и State Space Model Mamba. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и научных задач, программирования и многоязычных сценариев. Falcon-H1 поддерживает контекст до 256 000 токенов и 18 языков: арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский. Гибридная архитектура ориентирована на эффективную обработку длинного контекста и снижение вычислительных затрат. В опубликованных оценках модель показывает сильные результаты в общих, математических, научных, кодовых и инструкционных задачах, хотя её показатели зависят от конкретного теста и не превосходят все более крупные или сопоставимые модели. Для запуска указана совместимость с Hugging Face Transformers, vLLM и актуальными версиями llama.cpp; формат GGUF ориентирован на экосистему llama.cpp. Из-за размера в 34 млрд параметров для инференса могут требоваться значительные вычислительные ресурсы, однако точные требования для данной сборки в README не приведены. Модель распространяется по Falcon-LLM License; применимые условия следует уточнять в тексте лицензии.

Falcon-H1-34B-Instruct-GGUF — квантизированное в формате GGUF представление инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это каузальная decoder-only модель с гибридной архитектурой, объединяющей Transformer attention и State Space Models на основе Mamba, что ориентировано на эффективную обработку длинного контекста и снижение вычислительных затрат. Вариант предназначен для запуска через совместимые инструменты, включая custom fork llama.cpp; семейство также поддерживается Transformers и vLLM. Модель рассчитана на генерацию текста, следование инструкциям, рассуждения, математические и научные задачи, программирование и многоязычное взаимодействие. Семейство Falcon-H1 поддерживает до 256K токенов контекста и 18 языков, включая русский, английский, арабский, китайский, японский, корейский, немецкий, французский, испанский, итальянский, португальский, польский, нидерландский, чешский, румынский, шведский, хинди и урду. Размер исходной модели — 34 млрд параметров; конкретные параметры квантизации данного GGUF-файла в README не указаны. К сильным сторонам относятся гибридная архитектура, эффективность по отношению к размеру, работа с длинным контекстом и высокие результаты в ряде общих, научных, математических и инструкционных тестов. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, возможные потери качества из-за квантизации и отсутствие в README подробностей о точном формате и уровне квантизации конкретного файла. Модель распространяется по лицензии Falcon-LLM License; условия доступны по ссылке, указанной разработчиком.

FlexOlmo-7x7B-1T-RT — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (Ai2). Это чат-модель для генерации текста на основе архитектуры Mixture-of-Experts (MoE); версия RT представлена в README как модель без обучения маршрутизатора экспертов. README описывает набор экспертов, обученных на публичных данных, новостях, математике, коде, академических текстах, творческих текстах и Reddit. Для этой версии в метаданных указано 6,9 млрд параметров, контекст — 4096 токенов. Модель предназначена для диалога и генерации текста в сценариях, связанных с общими вопросами, математикой, кодом, новостями, академическими и творческими текстами. README описывает подход FlexOlmo к совместной разработке моделей: владельцы данных могут контролировать активность своих данных и получать атрибуцию без передачи исходных данных. В README приведена оценка отдельных плотных моделей, а не этой MoE-версии, поэтому эти результаты нельзя считать прямой оценкой FlexOlmo-7x7B-1T-RT. Модель распространяется по лицензии Apache-2.0.

Ro-xe/FMixAI_7B — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из OpenChat 3.5-1210 и OpenChat 3.5-0106. Она предназначена для генерации текста и ведения диалога; базовые модели также рассчитаны на программирование, математические рассуждения и ответы на общие вопросы. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. В репозитории веса сохранены в формате safetensors. Лицензия в предоставленных данных не указана.

Gemma 2 9B Instruct — языковая instruction-tuned модель Google из семейства Gemma, распространяемая в формате GGUF для локального запуска. Квантизация выполнена bartowski на основе llama.cpp; исходная модель — google/gemma-2-9b-it. Модель предназначена для диалогов, генерации и анализа текста, работы с кодом, математическими задачами и сценариев общего назначения. Модель содержит около 9 миллиардов параметров и обучалась на 8 триллионах токенов, включая преимущественно англоязычные веб-документы, код и математические материалы. Большой словарный запас способствует работе с многоязычным текстом и программированием, однако README не указывает точный набор поддерживаемых языков и размер контекстного окна. Формат GGUF и относительно небольшой размер делают модель подходящей для систем с ограниченными ресурсами, но качество и скорость зависят от выбранного уровня квантизации и оборудования. Для корректной работы в LM Studio 0.2.27 или новее рекомендуется выбрать шаблон «Google Gemma Instruct». Системные сообщения не поддерживаются. Модель может создавать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face необходимо принять условия этой лицензии.

Gemma 3 12B IT — мультимодальная instruction-tuned модель семейства Gemma, разработанная Google DeepMind на основе исследований и технологий Gemini. Модель распространяется с открытыми весами и предназначена для взаимодействия по инструкциям с текстом и изображениями, генерируя текстовые ответы. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа изображений, извлечения визуальной информации и генерации кода. Она принимает текстовые запросы и изображения, нормализованные до разрешения 896 × 896 и представленные 256 токенами на изображение. Для версии 12B заявлено входное контекстное окно до 128K токенов и максимальный объём генерируемого текста до 8192 токенов. Модель обучалась на данных более чем на 140 языках, включавших веб-документы, код, математические материалы и изображения. К сильным сторонам относятся мультимодальность, большой контекст, многоязычная поддержка и сравнительно компактный размер, позволяющий развёртывать модель на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре при наличии подходящих ресурсов. Ограничения включают зависимость качества от языка, типа задачи и доступных вычислительных ресурсов, а также потенциальные риски, свойственные генеративным моделям. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use.

unsloth/gemma-4-12b-it-GGUF — GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 12B Unified, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для локального выполнения на потребительских устройствах, рабочих станциях и серверах, а также для генерации текста, программирования, рассуждений, агентских сценариев и задач с вызовом функций. Модель имеет около 12 млрд параметров и использует унифицированную архитектуру без отдельных энкодеров, напрямую обрабатывая текст, изображения, аудио и видео и генерируя текст. Она поддерживает более 140 языков, контекст до 256 тысяч токенов, настраиваемые режимы рассуждений и системные промпты. Архитектура сочетает локальное скользящее и глобальное внимание, что рассчитано на снижение требований к памяти при работе с длинным контекстом; поддерживается переменное соотношение сторон и разрешение изображений. К сильным сторонам относятся сочетание мультимодального понимания, длинного контекста, возможностей рассуждения, программирования и нативного function calling, а также возможность локального запуска в формате GGUF. README не содержит подробных результатов тестирования, требований к оборудованию или описания ограничений качества, поэтому практическая производительность зависит от используемой квантизации и среды выполнения. Модель распространяется по лицензии Apache 2.0.

AtomicChat/gemma-4-26B-A4B-it-assistant-GGUF — это GGUF-квантизированная версия модели Google Gemma 4 26B A4B It Assistant, подготовленная Atomic Chat на основе оригинальных весов google/gemma-4-26B-A4B-it-assistant. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых ассистентов, рассуждений, программирования, работы с математическими и визуальными задачами. Репозиторий содержит только текстовые варианты модели без vision projector. Модель имеет 25,2 млрд параметров, из которых 3,8 млрд активны на каждом токене, 30 слоёв и контекст до 256 тысяч токенов. Архитектура — decoder с гибридным вниманием: sliding-window attention с окном 1024 токена и глобальное внимание; используется 16 attention heads и 8 KV heads. Базовая модель поддерживает текст и изображения, однако данные GGUF рассчитаны только на текст. Доступны варианты квантизации Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; Q4_K_M указан как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся высокая эффективность MoE-подобной конфигурации с малым числом активных параметров, большой контекст, возможности рассуждения и хорошие заявленные результаты в тестах по знаниям, математике, программированию и мультимодальным задачам. Результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов; качество также зависит от выбранного уровня квантизации. Для корректной работы требуется применять чат-шаблон Gemma 4 Assistant, например через поддержку jinja. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-26b-a4b-it-MLX-8bit — это 8-битная MLX-версия мультимодальной instruction-tuned модели Gemma 4 26B A4B. Семейство Gemma разработано Google DeepMind, а данный вариант опубликован Unsloth и основан на google/gemma-4-26B-A4B-it. Модель предназначена для локального запуска и дообучения, включая работу на совместимом оборудовании Apple через экосистему MLX. Модель принимает текст и изображения и генерирует текст. Она ориентирована на генерацию текста, рассуждения, программирование, мультимодальное понимание, агентские сценарии и вызов функций. В семействе Gemma 4 заявлены поддержка более 140 языков, настраиваемые режимы рассуждения, нативная роль system и контекстное окно до 256K токенов для средних моделей. Архитектура семейства включает гибридное внимание с локальными скользящими окнами и глобальным вниманием, а вариант 26B A4B использует архитектуру Mixture-of-Experts; обозначение A4B указывает на примерно 4 миллиарда активных параметров при общем размере модели около 26 миллиардов. К сильным сторонам относятся мультимодальность, поддержка длинного контекста, возможности рассуждения и программирования, а также 8-битное представление, снижающее требования к памяти по сравнению с полноразмерными вариантами. Ограничения конкретного MLX-релиза, результаты бенчмарков, точные требования к оборудованию и перечень поддерживаемых языков в README не приведены; качество также может отличаться от исходной модели из-за квантования. Модель распространяется по лицензии Apache 2.0.

cyankiwi/gemma-4-26B-A4B-it-qat-AWQ-INT4 — инструкцияно дообученная мультимодальная модель семейства Gemma 4, разработанного Google DeepMind, в формате AWQ INT4 с использованием Quantization-Aware Training. Модель основана на google/gemma-4-26B-A4B-it-qat-q4_0-unquantized и предназначена для локального и серверного развёртывания с уменьшенными требованиями к памяти; размер файлов модели составляет около 17,19 ГБ. Модель принимает текст и изображения с переменным соотношением сторон и разрешением и генерирует текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии, включая нативный вызов функций и поддержку системных инструкций. Для варианта 26B заявлено контекстное окно до 256K токенов. Семейство поддерживает более 140 языков; в карточке явно указаны английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Ключевые преимущества — мультимодальность, режимы настраиваемого рассуждения, улучшенные возможности программирования и агентов, а также снижение потребления памяти благодаря QAT и INT4-квантизации при стремлении сохранить качество, близкое к bfloat16. Ограничения включают возможные потери качества из-за квантизации, требования к совместимому ПО и оборудованию, а также отсутствие в README конкретных результатов бенчмарков и детальных требований к ресурсам. Модель распространяется по лицензии Apache 2.0.

mewse/gemma-4-26B-A4B-it-qat-q4_0-unquantized-heretic-ara — текстово-визуальная чат-модель на основе Google Gemma 4 26B A4B IT, изменённая автором репозитория как uncensored/abliterated вариант. Она принимает текст и изображения и генерирует текст; подходит для диалогов, анализа изображений и документов, распознавания текста на изображениях, программирования, суммаризации и задач с вызовом инструментов. Базовая Gemma 4 использует гибридное внимание с локальными скользящими окнами и глобальными слоями; для варианта 26B A4B README указывает контекст до 256K токенов и поддержку более 35 языков. Заявленные для семейства возможности аудио относятся к E2B, E4B и 12B, поэтому не приписываются этой модели. Возможны фактические ошибки, предвзятость и трудности с неоднозначными запросами; uncensored/abliterated-модификация может ослаблять встроенные ограничения безопасности. Лицензия — Apache-2.0.

Gemma 4 31B IT QAT Q4_0 Unquantized Uncensored Heretic — мультимодальная диалоговая модель на архитектуре Gemma 4, опубликованная llmfan46 как доработка Google Gemma 4. Она предназначена для общения, генерации и редактирования текста, программирования, рассуждений и агентных сценариев с вызовом инструментов, а также анализа изображений. Модель принимает текст и изображения и выдаёт текст; для семейства заявлена обработка видео через последовательности кадров, но поддержка этого варианта отдельно не подтверждена. В карточке описана гибридная схема внимания с локальными скользящими окнами и глобальными слоями; базовая модель рассчитана на контекст до 256K токенов. Семейство поддерживает более 35 языков, однако конкретный перечень для этой версии не приведён. Вариант заявлен как uncensored/abliterated; файлы репозитория указаны в формате safetensors. Лицензия — Apache-2.0. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, написания кода и диалоговых приложений. Возможны фактические ошибки, смещения и трудности с тонкими языковыми нюансами и сложными открытыми задачами. В README описание возможностей относится ко всему семейству Gemma 4, поэтому аудио и видео возможности именно этой версии не подтверждены.

unsloth/gemma-4-E4B-it-GGUF — это квантизированная в формате GGUF instruction-tuned версия мультимодальной модели Gemma 4 E4B, основанная на google/gemma-4-E4B-it. Семейство Gemma 4 разработано Google DeepMind, а данный вариант подготовлен Unsloth. Модель распространяется с открытыми весами и предназначена для локального запуска, в том числе на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и совместимых инструментах GGUF. Модель принимает текст и изображения, а также аудио для малых моделей Gemma 4, включая E4B, и генерирует текст. Она подходит для генерации текста, рассуждений, анализа изображений, программирования, агентских сценариев и вызова функций. Для семейства заявлены поддержка более 140 языков, настраиваемые режимы рассуждения, native function calling и поддержка системных сообщений. E4B имеет 4,5 млрд эффективных параметров, около 8 млрд параметров с учётом embedding-слоёв, 42 слоя, окно контекста 128K токенов и размер словаря 262K. Визуальный энкодер содержит около 150 млн параметров, аудиоэнкодер — около 300 млн. Архитектура использует гибридное внимание, сочетающее локальное sliding-window attention с глобальным вниманием; размер локального окна E4B составляет 512 токенов. Это позволяет снизить требования к памяти и ускорить обработку длинных контекстов, сохраняя глобальное представление информации. Квантизация GGUF может уменьшать требования к ресурсам и упрощать локальное развертывание, однако конкретные характеристики скорости, качества и потребления памяти зависят от варианта квантизации и используемого рантайма. Лицензия — Apache 2.0.

Gemma-4-e4b-it-OptiQ-4bit — это локальная квантизированная версия языковой модели google/gemma-4-e4b-it, подготовленная сообществом mlx-community с помощью инструментария mlx-optiq для Apple Silicon. Модель предназначена для генерации текста, включая объяснения, рассуждения, программирование, выполнение инструкций, работу с агентскими сценариями и вызовами инструментов. Она запускается локально через MLX и не требует PyTorch или облачной инфраструктуры. Модель использует смешанную точность: 224 слоя представлены в 4-битном формате, а 155 наиболее чувствительных слоя — в 8-битном; всего квантизировано 379 слоёв, размер группы — 64. Калибровка выполнялась на данных из шести областей: обычный текст, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,1 ГБ. Для ускорения декодирования поддерживается speculative decoding с отдельной моделью-драфтером gemma-4-e4b-it-assistant-bf16. По заявленным оценкам, версия OptiQ превосходит равномерную 4-битную квантизацию на тестах MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop; средний Capability Score составляет 68,92 против 55,20. Ограничения включают привязку к экосистеме MLX и Apple Silicon, а также увеличение размера примерно на 1,2 ГБ по сравнению с равномерной 4-битной версией. Языки, максимальный контекст и точная архитектура в README не указаны. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit — это квантизированная MLX-модель, созданная сообществом mlx-community с использованием инструментария mlx-optiq на базе Google Gemma-4 E4B IT QAT. Она предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов. Модель поддерживает генерацию текста, а через mlx-optiq — работу с изображениями и текстом, а также ускорение генерации с помощью speculative decoding. В основе лежит quantization-aware-trained модель google/gemma-4-E4B-it-qat-q4_0-unquantized, обученная с учетом последующей низкобитной квантизации. Используется чувствительная к слоям mixed-precision схема: 221 компонент работает в 8-битном формате, 122 — в 4-битном. Достигнутая точность составляет 5,17 бит на вес, размер модели на диске — около 7 ГБ, размер группы — 64. Для vision-компонента используется отдельный bf16-файл. Калибровка проводилась на данных шести типов: обычный текст, рассуждения, код, агентские сценарии, вызовы инструментов и инструкции с ограничениями. По заявленным тестам модель показывает Capability Score 68,67, что на 1,19 пункта выше равномерной 4-битной квантизации той же базы; наиболее заметный прирост отмечен в HumanEval и задаче длинного контекста HashHop. Она подходит для текстовых задач, программирования, рассуждений, следования инструкциям, вызова инструментов и мультимодального анализа изображений. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, больший размер по сравнению с равномерной 4-битной версией и необходимость mlx-optiq для image-text режима и speculative decoding. Лицензия указана как Apache-2.0, при этом базовая Gemma распространяется по Gemma Terms of Use.

unsloth/gemma-4-E4B-it-UD-MLX-4bit — это 4-битная MLX-квантизованная версия instruction-tuned модели Gemma 4 E4B, подготовленная Unsloth на базе google/gemma-4-E4B-it. Исходное семейство Gemma разработано Google DeepMind и распространяется как семейство открытых моделей с открытыми весами. Модель предназначена для локального запуска и дообучения, в том числе на ноутбуках и других устройствах с поддержкой MLX. Модель поддерживает мультимодальный ввод: текст и изображения, а для малых моделей Gemma 4 также заявлена нативная поддержка аудио; результатом является текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии с вызовом функций. Для E4B заявлены 4,5 млрд эффективных параметров, около 8 млрд параметров с учётом эмбеддингов, 42 слоя, контекст до 128K токенов и словарь размером 262K. Архитектура использует гибридное внимание с чередованием локального sliding-window и глобального внимания; размер локального окна E4B составляет 512 токенов. Поддерживается более 140 языков, а также системная роль и настраиваемый режим рассуждений. К сильным сторонам относятся сочетание компактного размера, мультимодальности, большого контекстного окна, возможностей рассуждения и оптимизации для локального выполнения. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и зависимость запуска от совместимого MLX-окружения; конкретные показатели качества этой версии в README не приведены. Лицензия — Apache 2.0, при этом для Gemma 4 также указана отдельная документация Google по условиям лицензирования.

Myric/GLM-4.7-Flash-APEX-GGUF — это GGUF-квантизованная версия GLM-4.7-Flash от zai-org, подготовленная в репозитории Myric для запуска через llama.cpp. Модель предназначена прежде всего для генерации текста, агентного программирования и сценариев, где важны локальный запуск и поддержка спекулятивного декодирования. Доступны варианты APEX-i-quality размером 16,60 ГБ, APEX-i-compact размером 13,27 ГБ и APEX-i-mini размером 10,24 ГБ; все они сохраняют MTP draft head. Модель использует MoE-архитектуру с 31,2 млрд общих параметров и примерно 3,6 млрд активных на токен: 64 маршрутизируемых эксперта с выбором top-4 и один общий эксперт. Архитектура основана на DeepSeek и использует MLA-внимание, 47 основных слоёв плюс один MTP-слой, а также контекст до 202 752 токенов. Квантизация выполнена из bf16-чекпойнта с использованием imatrix и смешанной точности: наиболее важные компоненты сохраняются на уровне около 6,4–6,9 бит на вес, а основная компрессия приходится на маршрутизируемые эксперты. В агентном бенчмарке программирования варианты i-quality и i-compact набрали по 53 из 59 тестов, тогда как i-mini — 38 из 59; это показывает, что младшая версия заметно слабее на длинных композиционных задачах. i-quality обеспечивает лучший баланс качества и размера, а i-compact почти не уступает ему на измеренном сценарии. Для загрузки требуется llama.cpp версии b10251 или новее с поддержкой GLM-4.7-Flash MTP; старые версии могут не распознать число тензоров. Лицензия модели — MIT.

cyankiwi/GLM-5.3-Flash-AWQ-INT4 — квантизированный чекпойнт модели GLM-5.3-Flash, разработанной Z.ai и опубликованный пользователем cyankiwi. Модель является нативно мультимодальной и предназначена для обработки текста и изображений, включая диалоговые сценарии, программирование, агентные задачи и работу с длинным контекстом. В карточке указаны английский и китайский языки, а README дополнительно заявляет поддержку хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. GLM-5.3-Flash использует гибридную архитектуру с разреженным и линейным вниманием, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 320 млрд параметров, из которых активно используется около 18 млрд; точный максимальный размер контекста в карточке не указан, но модель оптимизирована для длинных контекстов. Данный вариант сочетает схемы compressed-tensors INT4, FP8-block и BF16 в разных модулях, его размер — около 197,19 ГБ. Сильными сторонами модели являются мультимодальность, эффективность инференса, поддержка многоязычных сценариев, программирования и агентных рабочих процессов, а также возможность управления интенсивностью рассуждений через параметр reasoning_effort. Ограничением является необходимость специальной версии форка vLLM для загрузки этого чекпойнта; стандартный vLLM его не поддерживает. Лицензия — MIT.

CoboSan/GLM-5.3-Flash-GGUF — это GGUF-версия GLM-5.3-Flash, разработанная на основе модели zai-org/GLM-5.3-Flash. Модель относится к семейству GLM-5 и предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с изображениями и текстом. В README указаны английский и китайский языки, а также поддержка нативной мультимодальности. Модель использует гибридную архитектуру со sparse attention и linear attention, а также Manifold-Constrained Hyper-Connections. Она содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса, что ориентировано на снижение вычислительных затрат и стоимости работы с длинным контекстом. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов, однако точное ограничение контекста данной GGUF-сборки в README не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, эффективности разреженной активации, работы с длинным контекстом, программирования, агентских задач и мультимодального ввода. Для запуска требуется совместимое программное обеспечение, например llama.cpp с указанной поддержкой или Unsloth Desktop. README не содержит подробных сведений о конкретных уровнях квантования, системных требованиях и ограничениях качества квантованной версии. Лицензия модели — MIT.

GLM-5.3-Flash-GGUF-Finetuning — GGUF-квантованная версия модели GLM-5.3-Flash, связанная с экосистемой Unsloth и основанная на модели zai-org/GLM-5.3-Flash. Исходную модель разработала команда GLM-5; README также содержит ссылки на материалы Z.ai. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом. Она поддерживает английский и китайский языки. GLM-5.3-Flash — нативно мультимодальная модель с гибридной архитектурой, объединяющей sparse attention и linear attention. Объём модели составляет 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. Для повышения эффективности масштабирования используется Manifold-Constrained Hyper-Connections, а обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлена поддержка длинного контекста; в оценках использовались контексты до 300 000 и 1 млн токенов, однако точное штатное ограничение для данной GGUF-версии не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, экономичности инференса, мультимодальности, возможностей программирования и агентской работы, а также снижение стоимости обработки длинного контекста. Ограничения конкретной квантованной сборки, включая точный уровень квантования, требования к оборудованию и возможную потерю качества, в README не описаны. Лицензия указана как MIT; для запуска рекомендуются совместимые версии llama.cpp или Unsloth Desktop.

RedHatAI/gpt-oss-20b — открытая модель с открытыми весами, разработанная OpenAI и опубликованная Red Hat AI в валидированной сборке для Red Hat OpenShift AI, Red Hat AI Inference Server и vLLM. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, агентных сценариев и вызова инструментов, включая function calling, веб-поиск, выполнение Python-кода и Structured Outputs. Это меньшая версия серии gpt-oss: модель содержит около 21 млрд параметров, из которых около 3,6 млрд активны при обработке запроса. Она использует архитектуру Mixture-of-Experts и посттренировочную MXFP4-квантизацию весов MoE, благодаря чему рассчитана на работу примерно в пределах 16 ГБ памяти и обеспечивает меньшую задержку по сравнению с gpt-oss-120b. Поддерживается английский язык; в карточке указана текстовая модальность и задачи text-to-text, text-generation и tool-calling. Доступна настройка интенсивности рассуждений: low, medium и high. Сильные стороны модели — открытые веса, низкие требования к памяти, возможность локального и специализированного развертывания, тонкой настройки и интеграции с инструментами. Ограничения и важные условия использования: модель должна работать в формате ответов Harmony, иначе она может функционировать некорректно; раскрываемую цепочку рассуждений не следует показывать конечным пользователям. В README не приведены количественные результаты тестов и полный размер контекстного окна. Модель распространяется по лицензии Apache 2.0, допускающей модификацию и коммерческое использование.

Granite-4.0-1B — компактная инструктивная языковая модель команды Granite компании IBM, представленная в репозитории Unsloth. Это дообученная версия Granite-4.0-1B-Base: при обучении применялись supervised fine-tuning, обучение с подкреплением и слияние моделей. Архитектура — декодерный трансформер с классом GraniteMoeHybridForCausalLM; в карточке также описаны GQA, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Размер модели — 1,6 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалогов и выполнения инструкций, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов инструментов. Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Компактный размер подходит для локального развёртывания и дообучения под специализированные задачи. Лицензия — Apache 2.0. Качество на языках помимо английского может быть ниже; модель способна выдавать неточные, предвзятые или небезопасные ответы. Для конкретного сценария необходимы проверка и настройка поведения.

Granite-4.0-350M — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-350m-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Она использует архитектуру decoder-only dense Transformer; в метаданных указано 352,3 млн параметров и контекст до 32 768 токенов. Модель предназначена для диалогов, локального запуска на устройствах и дообучения под специализированные задачи с умеренными вычислительными ресурсами. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова инструментов. Она поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Качество на языках, кроме английского, может быть ниже; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому перед применением в конкретной задаче её следует оценить и настроить.

Granite-4.0-H-Tiny — языковая модель IBM Granite Team для диалогов и выполнения инструкций, рассчитанная на создание ассистентов и бизнес-приложений. Это дообученная на инструкциях модель семейства Granite 4.0: в README указана версия на 7 млрд параметров, тогда как метаданные репозитория сообщают 500,2 млн параметров. Архитектура — декодерный гибридный MoE-трансформер с GQA, Mamba2, общими экспертами, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; поддерживается контекст до 131 072 токенов. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова инструментов, а также многоязычного диалога. В README перечислены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель обучена преимущественно на англоязычных инструкциях; качество на других языках может быть ниже. Она может выдавать неточные, предвзятые или небезопасные ответы, поэтому для конкретного применения нужны проверка и настройка безопасности. Разработчик — IBM Granite Team. Лицензия — Apache 2.0; веса опубликованы в формате safetensors.