II.2Создание и понимание программного кода

muranAI/gemma-3n-E4B-it-GGUF — коллекция GGUF-квантизованных версий instruction-tuned модели Gemma 3n E4B IT. Базовая модель разработана Google, а muranAI подготовила варианты для эффективного запуска с использованием llama.cpp и Ollama. Модель предназначена для диалоговых приложений, генерации текста, ответов на вопросы, программирования и других задач общего назначения. Архитектура — Gemma 3n с эффективным объёмом около 4 миллиардов параметров, контекстным окном 32 768 токенов и словарём размером 256 000 токенов. Заявлена многоязычная поддержка более 140 языков. Доступны варианты квантования от F16 и Q8_0 до Q2_K размером примерно от 2,6 до 13 ГБ, что позволяет выбирать между качеством, скоростью и требованиями к памяти. Модель оптимизирована для работы на обычных компьютерах и периферийных устройствах; поддерживаются CPU и совместимые GPU через llama.cpp или Ollama. Сильные стороны модели — instruction tuning для диалогов, расширенный контекст, многоязычность и широкий выбор степеней квантования. К ограничениям относятся потенциальная потеря качества в более агрессивно квантованных вариантах и зависимость производительности от оборудования и версии программного обеспечения. В README приведены ориентировочные результаты исходной модели на ряде бенчмарков, но они не обязательно отражают показатели каждой квантизованной версии. Распространение осуществляется по лицензии Gemma.

Edmon02/gemma-4-12B-it-GGUF — это общественное GGUF-зеркало инструкционно дообученной мультимодальной модели Gemma 4 12B IT от Google DeepMind, основанное на google/gemma-4-12B-it. Репозиторий поддерживается Edmon02 и содержит наборы квантованных весов, синхронизированные из bartowski/gemma-4-12B-it-GGUF, для локального запуска на пользовательском оборудовании. Модель предназначена для генерации текста, создания локальных агентов, программирования, а также мультимодальных сценариев с анализом изображений и аудио. Она имеет около 12 млрд плотных параметров, поддерживает текст, vision и audio, использует encoder-free архитектуру без отдельных визуального и аудиокодировщиков. Для обработки изображений в llama.cpp требуется дополнительный файл mmproj-*.gguf. Точное значение контекстного окна в README не указано. Заявлена поддержка английского языка; отдельно упоминаются сценарии исследований на армянском и английском, но полноценный перечень языков не приведён. К сильным сторонам относятся широкий выбор квантований, возможность запуска на устройствах с примерно 8–24 ГБ видеопамяти и интеграция с llama.cpp, LiteRT-LM, LM Studio, Ollama и MLX. Рекомендуемый вариант Q4_K_M рассчитан примерно на 16 ГБ памяти. Ограничения включают необходимость проверять качество общественных квантований относительно официальной версии BF16, возможную потребность в самых свежих сборках llama.cpp или LM Studio для аудио, а также требование принять лицензию и получить доступ к исходному gated-репозиторию Google. Указана лицензия Apache 2.0.

mlx-community/gemma-4-12B-it-qat-OptiQ-4bit — 12-миллиардная унифицированная модель Gemma-4, разработанная Google и представленная в MLX-совместимой квантизованной сборке сообществом mlx-community. Квантизация выполнена инструментарием mlx-optiq поверх QAT-базы google/gemma-4-12B-it-qat-q4_0-unquantized: чувствительные компоненты используют 8-битную точность, остальные — 4-битную. Модель предназначена для локального запуска на Apple Silicon без PyTorch и облачной инфраструктуры. Модель поддерживает генерацию текста, а также сценарии image-text-to-text с отдельной vision-башней в формате bf16. Заявлены задачи рассуждения, программирования, следования инструкциям, агентского взаимодействия и вызова инструментов. Всего квантизовано 328 компонентов, размер группы — 64, эффективная разрядность — 5,25 бит на вес, объём на диске составляет около 8,3 ГБ. Смешанная точность превосходит равномерную 4-битную квантизацию той же QAT-базы на 1,37 пункта Capability Score; особенно заметен прирост в длинном контексте HashHop. При этом в BFCL результат немного ниже, чем у равномерной 4-битной версии. Для работы требуется MLX и актуальная версия mlx-lm из основного репозитория, а для регистрации типа gemma4_unified — mlx-optiq. Поддерживаются языковые и мультимодальные сценарии через optiq; также возможен speculative decoding с указанной моделью-drafter. Лицензия — Apache-2.0.

Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — мультимодальная языковая модель в формате GGUF, созданная HauhauCS на основе Gemma 4 12B от Google DeepMind. Это вариант с удалёнными ограничениями на отказы, предназначенный для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых задач, где важны следование инструкциям и надёжность ответов. Модель имеет плотную архитектуру размером 12B параметров и поддерживает контекст до 256K токенов. Основной файл использует 4-битную QAT-квантизацию Q4_K_M и занимает около 6,9 ГБ; для обработки изображений требуется отдельный mmproj-файл размером 168 МБ. Заявлена поддержка английского языка, а визуальный ввод реализуется через компонент mmproj. Для ускорения генерации доступен MTP-модуль спекулятивного декодирования, который, по данным автора, даёт примерно 60% прироста скорости при использовании llama.cpp без изменения результата. Сильные стороны модели — большой контекст, поддержка изображений, ориентация на кодирование и рассуждения, а также совместимость с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Заявление об отсутствии отказов основано на тестах автора и не является абсолютным: для некоторых пограничных запросов возможны отказы с первой попытки. Модель рекомендована для запуска на одной GPU; автор отмечает возможные сбои Gemma 4 в LM Studio при режиме tensor-split. Распространяется по лицензии Gemma.

trohrbaugh/gemma-4-26B-A4B-it-heretic-ara — разговорная мультимодальная модель семейства Gemma 4, размещённая пользователем trohrbaugh. Это вариант Gemma 4 26B A4B с метками heretic, uncensored, decensored и abliterated; карточка не описывает, какие именно изменения внесены в веса. Архитектура использует чередование локального скользящего и глобального внимания. Модель принимает текст и изображения и предназначена для диалога, понимания изображений и документов, генерации и исправления кода, суммаризации и рабочих процессов с вызовом инструментов. В README для семейства Gemma 4 26B A4B заявлен контекст до 256K токенов и поддержка более 35 языков, однако эти сведения приведены для семейства, а не подтверждены отдельными тестами этого варианта. README также описывает для Gemma 4 понимание видео, но карточка именно этого репозитория и его метаданные подтверждают только задачу image-text-to-text и возможность vision, поэтому видео в назначение этой версии не включено. Аудиофункции в README отнесены только к моделям E2B и E4B. Модель может ошибаться в фактах и сложных запросах, а изменённая маркировкой heretic версия может отличаться по поведению и отказам от исходной Gemma 4. Лицензия репозитория — Apache-2.0.

RedHatAI/gemma-4-31B-it-FP8-block — квантизированная версия мультимодальной модели google/gemma-4-31B-it, разработанная RedHatAI на базе модели Google. Архитектура — Gemma4ForConditionalGeneration; модель принимает текст и изображения и генерирует текст. Поддерживаются генерация текста, выполнение инструкций и tool calling, включая function calling через vLLM. Режим рассуждений включён по умолчанию в настройках шаблона чата. Модель использует FP8-квантизацию весов и активаций: веса масштабируются поблочно блоками 128×128, активации — динамически группами размера 128. Квантизация применяется к линейным операторам трансформерных блоков, тогда как vision tower, embedding и output head сохраняют исходную точность. Это примерно вдвое сокращает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением, что делает её подходящей для эффективного инференса. Модель предназначена прежде всего для развёртывания с vLLM; заявлена проверка совместимости с vLLM 0.24.0, RHOAI 3.5 и RHAIIS 3.5. В примере развёртывания используется контекст до 32768 токенов и поддержка изображений. Среди ограничений — необходимость совместимой инфраструктуры и специальных параметров vLLM для рассуждений и вызова инструментов; влияние FP8-квантизации на качество зависит от задачи, хотя в README приведены оценки на наборах GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4. Модель распространяется по лицензии Apache-2.0.

cyankiwi/gemma-4-31B-it-qat-AWQ-INT4 — это квантованный вариант мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и опубликованный пользователем cyankiwi. Модель основана на google/gemma-4-31B-it-qat-q4_0-unquantized и предназначена для работы с текстом и изображениями с генерацией текстового ответа. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальный анализ и агентские сценарии с поддержкой вызова функций. Модель относится к семейству Gemma 4 с архитектурой, использующей гибридный механизм внимания, и имеет размер около 20,90 ГБ. Для версии 31B заявлено контекстное окно до 256K токенов. Указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Квантование с использованием Quantization-Aware Training и формата AWQ-INT4 снижает требования к памяти при сохранении качества, близкого к полноформатным вариантам, что упрощает локальное развертывание. Ограничения включают значительные требования к вычислительным ресурсам по сравнению с меньшими моделями, а также возможные потери качества и совместимости, характерные для низкобитного квантования. В README аудио указано только для вариантов Gemma 4 E2B, E4B и 12B, поэтому для данной версии поддержка аудио не подтверждена. Модель распространяется по лицензии Apache 2.0; при использовании необходимо также учитывать условия лицензии Gemma 4.

Это квантованная сборка диалоговой модели GigaChat3-10B-A1.8B, опубликованная NikolayKozloff в формате GGUF для запуска через llama.cpp. В README указано, что модель получена из ai-sage/GigaChat3-10B-A1.8B-bf16; метаданные характеризуют базовую модель как MoE с 10 млрд параметров и 1,8 млрд активных параметров. Модель предназначена для генерации текста в диалоге, ответов на вопросы, а также задач по математике и программированию. Базовая модель поддерживает русский и английский языки и контекст до 256 тысяч токенов. Репозиторий указывает формат GGUF BF16, однако название модели также содержит Q6_K; сведения о точном формате файлов в карточке расходятся, поэтому конкретный уровень квантования здесь нельзя подтвердить. Лицензия — MIT.

GKA-primed-HQwen3-32B-Instruct — плотная языковая модель с гибридной архитектурой, разработанная на базе Qwen3-32B с помощью конвейера Priming от Hybrid Model Factory. В ней поровну слоёв Attention и Gated KalmaNet (GKA): 32 слоя каждого типа. GKA — слой модели пространства состояний, который поддерживает фиксированное состояние и линейные вычислительные затраты по длине последовательности; модель содержит 29,7 млрд параметров и принимает контекст до 131 072 токенов. Модель предназначена для диалога и выполнения инструкций, включая задачи на длинных контекстах. По данным авторов, она близка по качеству к базовой модели и может ускорять инференс на длинных контекстах до двух раз за счёт меньшего KV-кэша. Параметр num_iter позволяет настраивать компромисс между скоростью и вычислениями при инференсе. Модель не является thinking-моделью и не поддерживает вызов инструментов. Авторы отмечают отставание примерно на 2,5–3 пункта от длинноконтекстной версии Qwen3-32B в среднем по указанным бенчмаркам. Лицензия — Apache 2.0.

GKA-primed-HQwen3-8B-Reasoner — гибридная языковая модель Amazon, созданная на основе Qwen3-8B с помощью конвейера Hybrid Model Factory Priming. В ней 18 слоёв Attention и 18 слоёв Gated KalmaNet (GKA), слоя пространства состояний, который выполняет онлайн-регрессию с постоянным объёмом памяти и линейной стоимостью по длине последовательности. Модель содержит 7,6 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста, многошаговых рассуждений на длинном контексте, решения математических и научных задач, программирования, следования инструкциям и вызова инструментов. Поддерживает режимы рассуждения с пошаговой внутренней генерацией и без него. По данным авторов, гибридная архитектура снижает нагрузку на KV-кэш и ускоряет инференс на длинных контекстах, сохраняя качество, близкое к Qwen3-8B; результаты различаются в зависимости от задачи. Карточка приводит слабый результат на SciCode относительно базовой модели. Модель доступна в формате Safetensors, точность в карточке указана как bfloat16. Лицензия — Apache 2.0. Для длинных генераций авторы рекомендуют vLLM; точность генерации на длинном контексте зависит от настроек кэша.

cyankiwi/GLM-4.5-Air-AWQ-4bit — это 4-битная AWQ-квантизованная версия модели GLM-4.5-Air, разработанной Zhipu AI (zai-org). Модель относится к семейству фундаментальных моделей для интеллектуальных агентов и предназначена для генерации текста, рассуждений, программирования и взаимодействия с инструментами. GLM-4.5-Air использует гибридный режим рассуждений: thinking mode подходит для сложных задач и работы с инструментами, а non-thinking mode — для быстрых ответов. Модель имеет 106 млрд общих параметров и 12 млрд активных параметров, что указывает на разреженную архитектуру с активацией части параметров при обработке запроса. Заявлены поддерживаемые языки English и Chinese; модель относится к текстовым моделям и используется через библиотеку Transformers. Размер контекста в предоставленных данных не указан. 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальный запуск, однако README не содержит количественной оценки влияния квантизации на качество или полного перечня совместимых аппаратных платформ. Ограничения по производительности, точности и применению в отдельных сценариях также не раскрыты. Модель распространяется по лицензии MIT, допускающей коммерческое использование и вторичную разработку.

GLM-4.5-Air-bf16 — версия GLM-4.5-Air, подготовленная сообществом mlx-community для запуска в MLX на устройствах Apple с поддержкой MLX. Репозиторий преобразован из zai-org/GLM-4.5-Air с помощью mlx-lm 0.28.2; по метаданным, модель относится к семейству GLM-4 MoE и содержит 8,5 млрд параметров. Лицензия — MIT. Модель предназначена для генерации текста в диалоговом режиме. Базовая GLM-4.5-Air рассчитана на рассуждения, программирование и работу интеллектуальных агентов с инструментами; в этой карточке подтверждены диалоговая возможность и задача text-generation. Контекстное окно — 131 072 токена. Поддерживаемые языки по карточке — английский и китайский. Преобразованная версия упрощает запуск модели в экосистеме MLX. Доступные сведения не подтверждают отдельную оценку качества именно этой сборки или её поддержку вызова инструментов; назначение инструментов указано для базовой модели.

GLM-4.7-Flash-RAZOR-24B-A3B-E48of64 — производная диалоговая модель семейства GLM, созданная Nickyang методом RAZOR: из 64 маршрутизируемых экспертов в каждом MoE-слое удалена четверть, осталось 48. Градиентного дообучения и восстановления после обрезки не проводилось; сохранены исходные веса оставшихся компонентов. По README, в контрольной точке 24,123 млрд параметров с учётом MTP, а метаданные каталога указывают 4,1 млрд параметров; эти значения расходятся, поэтому размер модели требует проверки. Архитектура использует GLM-4.7-Flash и реализацию glm4_moe_lite в Transformers; контекст — 202752 токена. Модель предназначена для диалоговой генерации текста, рассуждений и программирования с длинным контекстом. Сокращение пула экспертов уменьшает объём хранимых экспертных весов примерно на четверть, при этом README сообщает, что вычисления на токен практически не меняются. Контрольная точка хранится в bfloat16, в семи шардах safetensors; для запуска требуется сборка Transformers с нативной поддержкой glm4_moe_lite. Обрезка экспертов необратима и может менять разнообразие, форматирование и завершение ответов, даже если точность на отдельных задачах в целом сохраняется. Поведение на областях, далёких от конечного калибровочного корпуса, не охарактеризовано. Лицензия — MIT.

GLM-5.3-Flash — мультимодальная языковая модель, размещённая и поддерживаемая AMAImedia в составе платформы автоматизации профессионального мультиязычного дубляжа NOESIS. В README также указано имя основателя AMAImedia Ильи Болотникова. Модель относится к серии GLM-5 и выпущена 27 августа 2026 года. Модель предназначена для задач генерации текста, программирования, работы с агентами, обработки длинного контекста и мультимодальных сценариев с изображениями. Заявлена поддержка английского и китайского языков. GLM-5.3-Flash имеет 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса, что ориентировано на повышение эффективности. Архитектура сочетает разреженное и линейное внимание, Manifold-Constrained Hyper-Connections (mHC), а обучение проводилось на мультимодальном корпусе. Модель можно запускать локально через Transformers, vLLM, SGLang, TokenSpeed и KTransformers; для развёртывания рекомендуются bfloat16 или поддерживаемые фреймворком квантованные варианты. В README указана лицензия MIT. К ограничениям относятся высокая вычислительная требовательность из-за общего размера модели, необходимость уточнять совместимость версий библиотек, требования к видеопамяти, конфигурацию tensor parallelism и фактически поддерживаемую длину контекста. Заявлены контекстные режимы до 131 072 токенов в примере развёртывания, а в отдельных оценках использовались контексты до 300 000 и 1 000 000 токенов, но это не следует считать гарантированной рабочей конфигурацией для всех сценариев.

GLM-5.3-Flash-Alis-MLX-4bit — это 4-битная сборка модели GLM-5.3-Flash, разработанной Zhipu AI (zai-org), адаптированная для выполнения через MLX на устройствах Apple Silicon. Модель предназначена для генерации текста и локального инференса, включая сценарии программирования, работы с прозой, анализа табличных данных и решения математических задач. Базовая модель имеет архитектуру glm5_next: 320B параметров, из которых 18B активируются на токен (320B-A18B), mixture-of-experts с 288 экспертами, 34 слоями линейного внимания и 11 слоями DSA, а также механизмом mHC. Данная версия получена потоковой деквантизацией официального релиза FP8 и сохраняет маршрутизатор MoE и correction bias в формате FP32. В README также указана поддержка спекулятивного декодирования и двухузлового tensor parallelism, однако часть этих режимов относится к отдельным сборкам или экспериментальной инфраструктуре, а не непосредственно к опубликованному checkpoint. К сильным сторонам относятся существенно сниженный объём хранения по сравнению с полной моделью, оптимизация под MLX и высока скорость генерации на мощных системах Apple Silicon; для конфигурации M3 Ultra 512GB заявлялась скорость около 29 токенов в секунду при обычном декодировании. Ограничениями являются очень высокие требования к памяти, зависимость производительности от аппаратной конфигурации и MLX-окружения, а также экспериментальный статус некоторых режимов параллельного и спекулятивного декодирования. Модель распространяется по лицензии MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-AWQ — мультимодальная языковая модель, основанная на архитектуре GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса подготовила dealignai, а Solstice-AI выпустила эту AWQ-квантизованную версию. Модель предназначена для генерации и анализа текста, программирования, математических и логических задач, а также понимания изображений и видео. Заявлены поддерживаемые языки английский и китайский. Модель использует MoE-архитектуру с 320 млрд общих параметров, 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Применяется формат W4A16 AWQ: веса квантизованы до INT4 с group_size=128, а активации сохраняются в 16-битном формате. Визуальные компоненты, механизмы внимания, маршрутизаторы MoE, эмбеддинги и языковая голова оставлены без квантизации. В README указана поддержка контекста до 131 072 токенов, а также speculative decoding с DFlash 2. К сильным сторонам относятся сочетание больших возможностей MoE-модели с уменьшенным размером весов, мультимодальность, поддержка длинного контекста и сценариев программирования, математики, анализа изображений и видео. Ограничения включают очень высокую общую ёмкость модели и, как следствие, значительные требования к памяти и вычислительным ресурсам, несмотря на INT4-квантизацию; для запуска требуются совместимые движки, например vLLM или SGLang. Показатели качества и отсутствие отказов приведены авторами README и не подтверждены независимой проверкой. Лицензия — MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e-DFlash2 — мультимодальная версия модели GLM-5.3-Flash, разработанная на основе архитектуры Zhipu AI / ZAI; некensored-веса предоставлены dealignai, а смешанная квантализация oQ4e и MLX-сборка — Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического рассуждения, работы с изображениями и видео, а также сценариев с длинным контекстом. Заявлены поддержка английского и китайского языков, native-контекст до 1 048 576 токенов и работа на Apple Silicon через библиотеку MLX. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами и примерно 18 млрд активных параметров на токен. Квантализация использует 4-битное аффинное представление с целевой плотностью около 4,6 bpw; критические компоненты, включая маршрутизаторы MoE, lm_head и мультимодальные слои, частично или полностью сохраняются в более высокой точности. В комплект входит DFlash2 для speculative decoding, заявленный для ускорения генерации до трёх раз. Потенциальные сильные стороны — большой контекст, мультимодальность, поддержка видео, эффективность разреженной архитектуры и оптимизация для чипов Apple. Ограничения включают высокие требования к памяти и совместимому Apple Silicon-окружению, а также возможные потери качества из-за квантализации; приведённые в README результаты тестов не являются независимой верификацией. Указана лицензия MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e — мультимодальная версия модели GLM-5.3-Flash, подготовленная Solstice-AI для Apple Silicon и библиотеки MLX. Исходная архитектура разработана Zhipu AI / ZAI, некensored-веса предоставлены dealignai. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Заявлена поддержка английского и китайского языков. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами, из которых около 18 млрд активируются для каждого токена. Используется смешанная квантизация oQ4e примерно на 4,6 бит на вес: основные веса представлены в 4-битном формате, отдельные критически важные компоненты защищены 8-битным или полным BF16/FP32-представлением. Vision Tower ViT и мультимодальный выравниватель сохранены в BF16. Заявлено нативное контекстное окно до 1 048 576 токенов и поддержка спекулятивного декодирования с drafter DFlash2. Сильными сторонами модели являются большой контекст, мультимодальное понимание изображений и видео, разреженная архитектура и оптимизация под чипы Apple M2, M3, M4 и M5. К ограничениям относятся высокая общая ёмкость модели, требовательность к памяти и совместимость с конкретным программным стеком MLX и аппаратной платформой; фактическая производительность зависит от конфигурации устройства. В README модель описана как uncensored, поэтому её ответы могут не включать стандартные механизмы отказа по чувствительным запросам. Указанная лицензия — MIT.

GLM-5.3-Flash-UNCENSORED-NVFP4-DFlash2 — мультимодальная модель семейства GLM-5.3 Flash. Исходную архитектуру разработала Zhipu AI (ZAI), неконтролируемые веса подготовила dealignai, а упаковку и конфигурацию NVFP4 выполнила Solstice-AI. Модель основана на 320-миллиардной MoE-архитектуре с 288 маршрутизируемыми экспертами и примерно 18 миллиардами активных параметров на токен. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также обработки изображений и видео. Она поддерживает нативные мультимодальные возможности благодаря 24-слойному ViT и проектору размерности 10 240, рассчитана на контекст до 1 048 576 токенов и поставляется с черновой моделью DFlash 2 для спекулятивного декодирования. Ключевая особенность сборки — смешанная точность W4A16: MoE-эксперты используют 4-битный формат NVFP4, а attention, общие эксперты и активации сохраняются в 16-битной точности. Сильными сторонами являются сочетание большого контекста, мультимодальности, сниженного потребления памяти за счёт квантизации и поддержки спекулятивного ускорения. Согласно README, модель ориентирована на GPU NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere. Ограничения включают крупный общий размер, высокие требования к инфраструктуре, зависимость производительности от совместимого ПО и оборудования, а также отсутствие встроенных механизмов отказа от потенциально опасных запросов: веса описаны как uncensored и abliterated. Модель распространяется по лицензии MIT. В README также указаны результаты на MMLU, SWE-bench, LiveCodeBench, MATH-500 и мультимодальных тестах, однако эти показатели приведены авторами карточки и не заменяют независимую оценку.

Gorilla OpenFunctions v2 — языковая модель для генерации вызовов функций и API по инструкциям на естественном языке и описаниям доступных API, разработанная командой Gorilla из Калифорнийского университета в Беркли. Она построена на архитектуре Llama и базируется на DeepSeek Coder; в метаданных указаны 6,5 млрд параметров и контекст 4096 токенов. Модель выбирает подходящую функцию среди нескольких, формирует параллельные вызовы с разными параметрами и определяет, когда нужно ответить обычным текстом, а когда вызвать функцию. Поддерживаются типы параметров Python, Java и JavaScript, а также REST API. Это делает модель пригодной для чат-ботов и приложений, которым нужно связывать запросы пользователя с программными интерфейсами. В карточке приведён результат 83,67% по метрике Berkeley Function Calling Leaderboard. Модель распространяется под лицензией Apache-2.0. Она ориентирована на структурированную генерацию вызовов, поэтому качество зависит от точности описаний функций и формата запроса; README не сообщает подробностей о multilingual-поддержке.

Calandracas/gpt-oss-120b-Derestricted-GGUF — это GGUF-квантизированная версия модели gpt-oss-120b-Derestricted, созданная Arli AI на базе открытой весовой модели openai/gpt-oss-120b от OpenAI. Модель предназначена для генерации текста, задач общего назначения, сложного рассуждения и агентских сценариев, включая вызов функций, веб-браузинг, выполнение Python-кода и структурированный вывод. Архитектура исходной модели основана на Mixture-of-Experts: заявлено около 117 млрд параметров, из которых примерно 5,1 млрд активируются при обработке запроса. Модель поддерживает настраиваемый уровень рассуждения — low, medium и high — и обучена работать в формате ответов Harmony, без которого, согласно карточке, она функционирует некорректно. В README не указаны поддерживаемые языки и точный размер контекста. GGUF-формат ориентирован на локальный запуск совместимыми средствами. Ключевая особенность версии Derestricted — удаление значительной части отказов и ограничивающего поведения при сохранении возможностей рассуждения исходной модели. Для этого Arli AI применила метод Norm-Preserving Biprojected Abliteration, направленный на сохранение норм весов и снижение деградации логики по сравнению с обычной abliteration. При этом модель может иногда сохранять склонность к отказам, а снижение встроенных ограничений повышает риски небезопасного или нежелательного использования. Для производственного запуска также требуются значительные вычислительные ресурсы; исходная модель рассчитана на размещение в одной GPU с 80 ГБ памяти. Лицензия — Apache 2.0.

mlx-community/gpt-oss-20b-OptiQ-4bit — это квантизированная MLX-версия языковой модели openai/gpt-oss-20b, подготовленная проектом mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста, рассуждений, решения математических задач, следования инструкциям, вызова функций, программирования и поиска информации в длинном контексте. Заявленный язык — английский. В основе лежит 24-слойная MoE-архитектура с 32 экспертами, из которых 4 активируются для каждого токена, а также с attention sinks. Используется чувствительная к слоям смешанная квантизация: 33 слоя представлены в 4-битном формате, 88 — в 8-битном; итоговая точность составляет 5,03 бита на вес. Размер модели на диске — около 11 ГБ, в оперативной памяти при работе требуется примерно 11,6 ГБ. Модель поддерживает reasoning_effort со значениями low, medium и high и формат ответов harmony с каналами analysis и final. По приведённым тестам модель заметно превосходит равномерную 4-битную квантизацию на MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop, особенно в задачах многошагового извлечения из длинного контекста. Ограничения включают отсутствие квантизации KV-cache и зависимость от экосистемы MLX и Apple Silicon; README также указывает, что модель является квантизацией только весов. Распространяется по лицензии Apache-2.0.

manjunathshiva/gpt-oss-20b-tq3 — это 3-битная MLX-квантизация модели openai/gpt-oss-20b, созданная с помощью TurboQuant-MLX. Базовая модель представляет собой Mixture-of-Experts с 21 млрд параметров, 32 экспертами и примерно 3,6 млрд активных параметров на токен. Квантизация использует вращение Hadamard и кодовую книгу Lloyd-Max с group_size=64 и не требует калибровочных данных. Модель предназначена для генерации текста, диалогов, ответов на вопросы, творческого письма, программирования, математических задач и многошагового рассуждения. Она поддерживает контекст до 131 000 токенов. Размер файлов составляет около 9,5 ГБ, пиковое потребление связанной оперативной памяти при декодировании — около 11 ГБ. Модель рассчитана на Apple Silicon M1–M4 с unified memory объёмом от 16 ГБ; заявленная скорость генерации на чипах серии M составляет примерно 60–80 токенов в секунду. Сильные стороны модели — компактное размещение, возможность полностью держать веса в памяти Mac с 16 ГБ, высокая скорость и поддержка длинного контекста. Дополнительное сжатие KV-кэша в смешанной точности K8/V3 может уменьшить его размер примерно в четыре раза. Ограничения связаны с 3-битной квантизацией и зависимостью от платформы MLX: при более высокой температуре генерации модель может нестабильно решать математические и программные задачи, поэтому для них рекомендуется температура 0,3. Веса распространяются по лицензии Apache-2.0.

unsloth/granite-4.0-h-micro-unsloth-bnb-4bit — 4-битная версия Granite-4.0-H-Micro, разработанная Unsloth на базе модели IBM Granite Team и IBM. Исходная модель представляет собой инструкционную long-context языковую модель примерно на 3 млрд параметров, дообученную с применением supervised fine-tuning, выравнивания с использованием reinforcement learning и объединения моделей. Точная длина контекста для данной версии в README не указана. Модель предназначена для выполнения общих инструкций и создания корпоративных AI-ассистентов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG-сценарии, задачи, связанные с кодом, вызов функций и инструментов, многоязычный диалог, а также Fill-In-the-Middle для дополнения кода. Заявлены улучшенные instruction following и tool-calling возможности. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевое преимущество варианта — 4-битная квантизация BNB, которая может снизить требования к памяти и упростить локальное развертывание, однако README не приводит точные показатели качества, скорости или совместимости с конкретным оборудованием. Ограничения включают отсутствие в предоставленных данных детальных бенчмарков, точного размера в памяти и описания мультимодальных возможностей; по имеющейся информации модель является текстовой. Распространение указано по лицензии Apache 2.0.

Granite-4.0-H-Tiny — диалоговая языковая модель, представленная Unsloth на основе модели IBM Granite и предназначенная для выполнения инструкций и создания ассистентов. В README указано 7 млрд параметров, тогда как метаданные репозитория содержат оценку 500,2 млн параметров; поэтому размер не приводится как однозначно установленный. Модель построена на декодерной гибридной MoE-архитектуре с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Контекст — до 131 072 токенов. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, многоязычного диалога и вызова инструментов. Разработчики заявляют поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Репозиторий Unsloth описан как дообучение базовой модели IBM; карточка Granite сообщает о настройке инструкциями, выравнивании и слиянии моделей. Лицензия — Apache 2.0. Качество на языках помимо английского может быть ниже; модель также может выдавать неточные, предвзятые или небезопасные ответы. Для специализированного применения рекомендуется проверка и настройка.

GRaPE 2.5 Quasar — мультимодальная модель на 27 млрд параметров от SL-AI, дообученная на базе Qwen/Qwen3.8-27B. Она принимает изображения и текст, а также, согласно карточке, видео, и генерирует текст. Модель предназначена для диалогов, анализа визуальных данных, творческих задач, программирования с использованием инструментов, STEAM-задач и многошаговых рассуждений. В ней есть настраиваемые режимы глубины рассуждений и усилий при работе с инструментами; заявлена поддержка десяти языков. Разработчики описывают Quasar как флагман третьего поколения GRaPE с улучшенным обучающим набором и более естественной манерой письма. Доступны веса в формате Safetensors, библиотека для работы — Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не приводит измеримых результатов оценки качества, поэтому заявления о высокой производительности следует считать заявлениями разработчиков.

HauhauCS-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — модифицированная версия Qwen3.6-35B-A3B, разработанная HauhauCS. Модель предназначена для диалогов, генерации текста, рассуждений, программирования и мультимодальных сценариев с обработкой текста, изображений и видео. Ключевая особенность Aggressive-варианта — удаление отказов при сохранении заявленных возможностей исходной модели; по данным README, модель не отказывает в ответах, хотя иногда может добавлять короткие дисклеймеры. Модель использует гибридную MoE-архитектуру: 35 млрд общих параметров, около 3 млрд активных параметров на один проход, 256 экспертов и 8 маршрутизируемых экспертов на токен. Архитектура включает линейное и полное softmax-внимание в соотношении 3:1, 40 слоёв и нативный контекст до 262 тысяч токенов. Заявлена поддержка английского, китайского и других многоязычных сценариев. Доступны GGUF-квантизации Q2–Q8, включая пользовательские K_P-варианты, оптимизированные с помощью importance matrix; размер файлов составляет примерно от 11 до 44 ГБ. Для работы с изображениями требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, низкое число активных параметров для MoE-модели, мультимодальность, широкий выбор квантизаций и отсутствие встроенных отказов. Ограничения включают высокие требования к памяти, возможное появление дисклеймеров, зависимость качества от выбранной квантизации и необходимость корректной настройки runtime; для llama.cpp рекомендуется использовать флаг --jinja и не менее 128 тысяч токенов контекста для сохранения возможностей рассуждения. Модель распространяется по лицензии Apache-2.0.

Hermes3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантованная версия семейства Qwen 3.6 / Hermes 3.6, созданного на основе работ LuffyTheFox и HauhauCS. Квантование NVFP4, интеграцию MTP и публикацию GGUF выполнил jan1k. Модель предназначена для генерации текста, программирования, точных и творческих задач, агентских сценариев и вызова инструментов. Также заявлена поддержка изображений через отдельный мультимодальный проектор mmproj в формате F16. Модель построена на архитектуре Mixture of Experts: содержит около 35 млрд параметров, при этом на каждом токене активируется примерно 3 млрд параметров и 8 экспертов. Доступен контекст до 128K токенов при использовании рекомендованной конфигурации llama.cpp. Заявлена поддержка английского, китайского и других языков. Формат NVFP4 оптимизирован для GPU NVIDIA поколений Ada Lovelace, Blackwell и Ampere. Genesis — применённый алгоритм посттренировочной регенерации и калибровки GGUF, направленный на снижение шума весов и сохранение значимой части исходного сигнала без переобучения. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, поддержка vision, режимов рассуждения и JSON-вызова инструментов, а также сниженное потребление памяти благодаря 4-битному представлению. Ограничение этой версии существенно: репозиторий помечен как устаревший, а расширенный вариант NVFP4 с отдельными тензорами масштабирования несовместим с LM Studio и Pelican и может выдавать некорректный результат. Для работы рекомендуется совместимый llama.cpp и соответствующая настройка шаблона чата. Модель распространяется по лицензии Apache-2.0.

Это мультимодальная диалоговая модель семейства Qwen3.8 на 27 млрд параметров, представленная в формате GGUF. Репозиторий подготовлен renketong: веса NVFP4 перенесены из safetensors в GGUF без повторной квантизации; в комплект входят MTP-голова для спекулятивного декодирования и отдельный проектор для обработки изображений. В README указана архитектура qwen35 с 64 слоями и одним MTP-слоем, а также нативный контекст 262 тыс. токенов. Модель предназначена для генерации текста и диалогов, включая работу с кодом и JSON, а также анализа изображений при загрузке проектора mmproj. Abliteration уменьшает число отказов, а MTP может ускорять генерацию в совместимом ПО, например llama.cpp и LM Studio. Это производная модель в цепочке от Qwen/Qwen3.8-27B через Huihui-Qwen3.8-27B-abliterated и NVFP4-квантизацию. Лицензия репозитория — Apache-2.0. Модель ориентирована на локальный запуск и требует совместимой инфраструктуры; заявленная поддержка NVFP4 связана с ускорителями NVIDIA Blackwell. Снижение отказов означает, что модель может отвечать на запросы, от которых обычно отказывается система с защитными настройками. Измерения скорости в README сделаны на RTX 5090 и зависят от типа текста и параметров MTP.

HuskyLM 2.5 — диалоговая языковая модель Darkcloud AI, дообученная на основе meta-llama/Meta-Llama-3-8B-Instruct с применением supervised fine-tuning, Direct Preference Optimization и собственной методики RLAIF. Это плотная Llama 3 модель для генерации текста и общения; в метаданных указаны 7,5 млрд параметров, контекст 8192 токена и формат Safetensors. Модель рассчитана на английский язык, а автор заявляет поддержку ряда других языков, включая китайский, испанский, французский и польский. Модель предназначена для следования системным инструкциям и общих диалоговых сценариев: написания текстов и кода, работы чат-агентом и создания реплик NPC. Среди заявленных достоинств — разговорные навыки, выполнение инструкций и дружелюбный тон. Она может ошибаться, несмотря на заявленный акцент на правдивости; сведения о знаниях ограничены декабрём 2023 года. Лицензия — Llama 3 License.