II.2Создание и понимание программного кода

RedHatAI/Llama-3.2-1B-FP8 — это FP8-квантизированная версия базовой языковой модели Llama 3.2 1B. Репозиторий опубликован Red Hat AI, а исходная модель разработана Meta. Это авторегрессионная текстовая модель для генерации текста и кода; она не является мультимодальной и не относится к instruction-tuned версии. Модель содержит около 1,23 млрд параметров и использует оптимизированную Transformer-архитектуру Llama с Grouped-Query Attention: 16 слоёв, 32 attention heads и 8 key-value heads. В конфигурации репозитория указано контекстное окно до 131 072 токенов. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. FP8-представление весов и активаций предназначено для снижения требований к памяти и ускорения инференса на совместимом оборудовании. Сильными сторонами являются небольшой размер, возможность локального развертывания и повышенная эффективность по сравнению с полноточной версией. Ограничения включают меньшую ёмкость по сравнению с более крупными моделями, возможные потери качества из-за квантизации и отсутствие в карточке репозитория собственных подробных оценок качества или описания ограничений. Для исходной Llama 3.2 указана Llama 3.2 Community License — специальная коммерческая лицензия Meta; условия применения производной FP8-модели следует проверять по лицензии базовой модели и файлам репозитория.

bartowski/llama-3-8B-function-calling-GGUF — набор квантизированных версий модели llama-3-8B-function-calling, исходно опубликованной serpdotai. Файлы подготовлены bartowski в формате GGUF с использованием llama.cpp release b3070 и метода imatrix. Модель предназначена для генерации текста и сценариев function calling, включая взаимодействие с инструментами и вызов внешних функций в приложениях. В README указан шаблон диалога с ролями system, user и assistant на основе специальных маркеров im_start и im_end. Доступны варианты квантования от Q8_0 до IQ2_XS размером примерно от 8,54 до 2,60 ГБ, что позволяет выбирать между качеством ответов и требованиями к памяти. Версия Q6_K обозначена как рекомендуемая для очень высокого качества, а Q4_K_M — как компромисс между качеством и размером. Ключевое ограничение — снижение качества у низкобитных вариантов, особенно Q3 и Q2; некоторые из них описаны как пригодные для использования, но не рекомендуемые. В README не указаны точный размер контекста, перечень языков, модальности, лицензия исходной модели или отдельные результаты тестирования, поэтому эти характеристики нельзя достоверно определить.

LLaMA-3-8B-SFR-Iterative-DPO-R — диалоговая инструктивная языковая модель Salesforce, основанная на архитектуре Llama 3. В репозитории указано 7,5 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Она обучена с помощью итеративного онлайн RLHF на основе DPO с открытыми наборами данных, без дополнительной разметки людьми или GPT-4. Модель предназначена для диалоговых ответов и следования инструкциям. В карточке Salesforce сообщает о результатах на Alpaca-Eval-V2, MT-Bench и Chat-Arena-Hard, а также приводит академические бенчмарки, включая GSM-8K, MMLU и HumanEval. README обозначает выпуск как исследовательский, предназначенный для поддержки академической работы; лицензия в метаданных — llama3. Модель может выдавать оскорбительный или неэтичный контент, особенно при состязательных запросах. Salesforce рекомендует проверять точность, безопасность и справедливость перед применением, особенно в высокорисковых сценариях. Поддерживаемые естественные языки явно не перечислены.

amd/MiniMax-M3-MXFP4 — мультимодальная модель для преобразования текста и изображений в текст, созданная на базе MiniMaxAI/MiniMax-M3 и оптимизированная AMD с использованием AMD-Quark. Архитектура обозначена как MiniMaxM3SparseForConditionalGeneration и включает разреженную MoE-компоненту. Модель предназначена для мультимодального анализа, агентских сценариев, программирования и работы с видео, если соответствующая поддержка реализована используемым программным окружением. Веса и активации квантизированы в формате OCP MXFP4: для весов используется статическая, а для активаций — динамическая квантизация. Модель ориентирована на AMD MI350/MI355, ROCm 7.1.1, PyTorch 2.10.0, Transformers 5.2.0 и запуск через vLLM в Linux. Размер модели, максимальная длина контекста и список поддерживаемых языков в README не указаны. На GSM8K модель получила результат 94,19 против 95,30 у исходной MiniMaxAI/MiniMax-M3, что соответствует восстановлению 98,84% показателя исходной модели. Основные ограничения — зависимость от специализированного оборудования AMD и совместимого программного стека, а также возможная потеря качества из-за MXFP4-квантизации. Лицензия указана как minimax-community; точные условия следует уточнять в файле LICENSE.

Devstral-Small-2-24B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI и преобразованной в набор квантованных файлов пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет 24 млрд параметров; в README не указаны её точная архитектура, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от BF16 размером 47,15 ГБ до компактных квантований Q3 и Q4, а также Q5, Q6 и Q8. Более высокие уровни квантования обычно обеспечивают лучшее сохранение качества, тогда как младшие варианты снижают требования к оперативной памяти. Для большинства сценариев в README рекомендован Q4_K_M, а для максимального качества — Q6_K_L или Q6_K. Сильная сторона этой версии — возможность локального использования большой инструкционной модели в различных компромиссах между качеством и потреблением памяти. Поддержка tool calling заявлена как частично работоспособная: одиночные вызовы в тестах выполнялись, но цепочки вызовов могли ломаться, поэтому совместимость с mistral-vibe не гарантируется. Модель распространяется по лицензии Apache-2.0.

Unsloth/Mistral-Nemo-Instruct-2407-GGUF — это GGUF-версия инструкционной модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для запуска в совместимых средах, поддерживающих формат GGUF, а также для диалоговых сценариев, генерации текста и выполнения инструкций. В README указано, что она связана с экосистемой Transformers и поддерживает английский язык. Из доступных данных следует, что модель относится к семейству Mistral Nemo и имеет размер 12B параметров, однако сведения о точной архитектуре, максимальном контексте, модальностях и конкретных вариантах квантования отсутствуют. Формат GGUF удобен для локального инференса и последующей работы с оптимизированными представлениями модели, но характеристики скорости и потребления памяти зависят от используемого варианта файла и программного окружения. Модель может быть полезна для локальных чат-ботов, ассистентов и экспериментов с дообучением: README описывает инструменты Unsloth для более быстрого fine-tuning с меньшим потреблением памяти и экспортом в GGUF. При этом заявленные ускорение и экономия памяти относятся к процессу дообучения в Unsloth, а не обязательно к инференсу этой конкретной модели. Лицензия — Apache-2.0.

Это экспериментальный внутренний чекпойнт r19 модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленный разработчиком minjaechoi на основе nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16. В README указано, что средняя точность маршрутизируемых экспертов составляет 2,0217 бита, тогда как остальные веса имеют формат BF16; веса хранятся в BF16-тензорах после деквантизации и загружаются через стандартные Transformers и vLLM. Метаданные указывают архитектуру Nemotron H, задачу генерации текста, контекст до 262 144 токенов и интерфейс для вызова инструментов. Модель подходит для диалогов и генерации текста, включая сценарии с вызовом инструментов; описание базовой модели также относит семейство к рассуждениям, программированию и агентным приложениям. Метаданные базовой модели указывают поддержку шести языков, но сами языки в предоставленных данных не перечислены. Чекпойнт обозначен как внутренний исследовательский и не содержит отдельных сведений о качестве или ограничениях его низкой точности экспертов. Лицензия наследуется от базовой модели.

NorMistral-7b-warm-instruct — инструкционно дообученная языковая модель, разработанная Norallm на базе NorMistral-7b-warm, который, в свою очередь, относится к семейству Mistral. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, многоходовые беседы, выполнение инструкций, подготовку текстов и задачи программирования. Основной фокус — норвежские языки Bokmål и Nynorsk; в метаданных также указан язык no. Модель поддерживает ChatML-подобный формат диалогов и контекст длиной 4096 токенов. Размер модели в README явно не указан для инструкционной версии, однако она названа NorMistral-7b-warm-instruct. Дообучение выполнено методом supervised fine-tuning на отфильтрованных и дополненных открытых наборах Aya, OASST, OIG, No Robots, Dolly и Glaive code assistant; preference optimization не применялась. К сильным сторонам относятся открытая доступность, ориентация на норвежскую языковую специфику, поддержка многоходовых диалогов и увеличенный до 4096 токенов контекст относительно базовой модели. Ограничения включают статус первой рабочей итерации, возможные изменения весов, чувствительность к параметрам генерации и отсутствие preference optimization, поэтому качество и устойчивость ответов могут быть неравномерными. Модель распространяется по лицензии Apache-2.0, допускающей коммерческое использование. README не сообщает о поддержке изображений или других модальностей, поэтому модель следует считать текстовой.

julianmb опубликовал экспериментальные GGUF-квантизации базовой модели NVIDIA Nemotron 3.5 Lightning 30B-A3B из BF16 с использованием семейства ROCmFP4. Это языковая модель для генерации текста с гибридной архитектурой Mamba-2, Attention и MoE: 52 слоя, около 31,6 млрд параметров всего и 3,5 млрд активных на токен; задействуются 6 из 128 маршрутизируемых экспертов и один общий эксперт. Заявленная длина контекста — 262 144 токена. В репозитории есть три варианта квантования, ориентированные на разные компромиссы скорости и качества, включая профиль для AMD Strix Halo. Карточка сообщает результаты замеров производительности и perplexity на указанном оборудовании; они не гарантируют такие же показатели на других системах. Модель предназначена для локального запуска через специальный форк ROCmFPX llama.cpp: нестандартные типы тензоров ROCmFP4 не загружаются в основной версии llama.cpp. Конвертацию выполнил julianmb, исходные веса и архитектура — NVIDIA. Лицензия — OpenMDW-1.1.

itsliupeng/openllama-7b-base — базовая авторегрессионная языковая модель семейства LLaMA, представленная как воспроизведение OpenLLaMA. В README описано обучение на 128 ускорителях H100 в формате bfloat16 на корпусах Falcon, StarCoder и RedPajama, включавших около одного триллиона токенов; модель прошла один цикл обучения. В репозитории указаны 6,6 млрд параметров, контекст до 2048 токенов и библиотека Transformers. Модель предназначена для генерации текста и продолжения текстовых последовательностей. Данные обучения охватывают веб-тексты, код, Википедию, научные статьи, книги и Stack Exchange; метаданные указывают английский язык. README приводит результаты оценивания на нескольких тестах рассуждения и понимания текста. Лицензия — Apache 2.0.

lmstudio-community/Phi-4-mini-reasoning-MLX-4bit — это 4-битная версия модели Phi-4-mini-reasoning, разработанной Microsoft и преобразованной сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста, включая задачи обработки естественного языка, математики и программного кода. В README приведён пример решения квадратного уравнения, что указывает на сценарии, связанные с рассуждениями и решением математических задач. Модель поддерживает текстовую модальность; в метаданных указан английский язык. Точные сведения об архитектуре, количестве параметров и размере контекста в README отсутствуют. Для использования требуется библиотека mlx-lm и совместимое с MLX окружение, а загрузка выполняется через интерфейс mlx_lm. 4-битное представление снижает требования к памяти, но может влиять на точность по сравнению с исходной моделью. Лицензия — MIT.

bunnycore/Phi-4-Stock-Ex — объединённая mergekit-модель на базе unsloth/phi-4, созданная методом Model Stock. В объединение вошли bunnycore/Phi-4-Stock-RP, bunnycore/Phi-4-Model-Stock и bunnycore/Phi-4-Sky-Lora, а также базовая модель unsloth/phi-4. Модель имеет плотную архитектуру LlamaForCausalLM с 14,1 млрд параметров и контекстом до 16 384 токенов. Модель предназначена для генерации текста и диалогов в формате system/user/assistant. Базовая Phi-4 рассчитана на англоязычную генерацию, рассуждения и код; README не уточняет, какие дополнительные сценарии или языки обеспечивает этот конкретный merge. Файлы представлены в формате safetensors, для работы используется Transformers. Лицензия в доступных данных не указана.

PIC_7B_Mistral Full v0.2 — экспериментальная модель общего назначения, созданная TokenBender дообучением Mistral-7B-v0.1. Она предназначена для генерации текста, следования инструкциям, ролевых диалогов, помощи с кодом и вывода в JSON; автор также указывает на поддержку сценариев вызова функций. Рекомендуемый формат запросов — ChatML, также может работать Alpaca. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Заявленная длина контекста — 32 768 токенов. В обучении использовались наборы SlimOrca, no_robots, orca_dpo_pairs, glaive-function-calling-v2-zephyr и Evol-instruction-66k. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Это ранний этап проекта PIC: автор описывает его как эксперимент с набором возможностей, а качество программирования ещё предстоит оценить. Результаты отдельных базовых проверок на ролевое следование и JSON/вызов функций отмечены как успешные, но они не заменяют широкую оценку качества; сведения о поддерживаемых естественных языках в карточке не приведены.

ibrahimkettaneh/Qwen2.5-14B-Instruct-abliterated-v2-AWQ — это квантованная в формате AWQ версия производной модели Qwen2.5-14B-Instruct-abliterated-v2. Репозиторий опубликован пользователем ibrahimkettaneh; исходная базовая модель разработана командой Qwen компании Alibaba. Производная модель создана методом abliteration, направленным на ослабление отказов отвечать на запросы, а её назначение — локальная генерация текста и диалоговое использование. Модель основана на Qwen2.5-14B-Instruct: это causal language model примерно с 14,7 млрд параметров, архитектурой Qwen2 с RoPE, SwiGLU, RMSNorm и grouped-query attention. Базовая модель поддерживает текстовые задачи, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский, английский и китайский. Полное контекстное окно базовой модели составляет до 131 072 токенов, а генерация — до 8192 токенов, однако параметры контекста именно этой AWQ-сборки отдельно не документированы. Ключевое преимущество — существенно меньшие требования к памяти благодаря 4-битной AWQ-квантизации; размер опубликованных весов составляет около 10 ГБ. Ограничения включают отсутствие собственной карточки модели и подробных официальных сведений о качестве, области abliteration и фактическом поведении; ослабление защит может повысить риск небезопасных или нежелательных ответов. Для базовой Qwen2.5-14B-Instruct указана лицензия Apache 2.0, но отдельная лицензия данного производного репозитория в доступной карточке не указана.

Это версия Qwen3-0.6B в формате GGUF с точностью FP32, опубликованная huggit0000. Веса получены преобразованием исходной модели Qwen3-0.6B из формата safetensors; слои в файле упорядочены последовательно по числовому индексу. Модель представляет собой причинную языковую модель с 0,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, а также математических и программных задач. Она поддерживает переключение между режимом рассуждений и обычным режимом диалога и, согласно карточке Qwen3, рассчитана на более чем 100 языков и диалектов. Компактный размер позволяет запускать её локально; README также описывает исполнение через llama.cpp и одnofайловые реализации на C и CUDA C. Вариант FP32 сохраняет полную точность весов и предназначен для случаев, когда нужна версия GGUF без квантизации, однако он требует больше памяти, чем квантованные варианты. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными моделями. Лицензия — Apache-2.0.

MingZwhy выпустил компактную причинно-языковую модель Qwen3-0.6B с 507,9 млн параметров. Это дообученная версия Qwen/Qwen3-0.6B: веса квантованы до эффективных 2,79 бита на параметр, после чего модель восстановлена с помощью quantization-aware distillation и on-policy distillation. Для весов используются смешанные INT1.58 и INT4 блоки, для эмбеддингов и выходной головы — INT4, для активаций — INT8. Модель загружается через Transformers и предназначена для генерации текста и диалогов; контекст составляет до 40 960 токенов. В опубликованных автором тестах модель показала результаты, близкие к исходной версии BF16 на GSM8K, MATH-500, AMC23, MBPP, HumanEval и QA9, но на части тестов уступила базовой модели. Низкая разрядность квантования сокращает требования к хранению весов, однако качество зависит от задачи и может снижаться относительно полной версии. Лицензия — Apache-2.0.

Qwen3-14B-MLX-4bit — это 4-битная версия языковой модели Qwen3-14B, разработанная Qwen и преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и запуска локальных сценариев на устройствах, совместимых с MLX, включая применение через библиотеку mlx-lm. Модель основана на Qwen/Qwen3-14B и содержит 14 миллиардов параметров. Она относится к моделям text-generation и поддерживает работу с текстовыми запросами; в README не указаны точные языки, длина контекста, дополнительные модальности или подробности архитектуры. При наличии chat template модель может использоваться в формате диалога с ролями пользователя и ассистента. Ключевые преимущества — компактное 4-битное представление, адаптация к экосистеме MLX и возможность локального запуска через стандартные инструменты mlx-lm. Ограничения связаны с потерями качества, возможными для квантизированной версии, а также с отсутствием в README подробных данных о производительности, поддерживаемых языках и требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B-FP8 — мультимодальная каузальная языковая модель семейства Qwen3.5 с визуальным энкодером. Репозиторий surogate содержит FP8-квантизированные веса и конфигурации постобученной версии, основанной на Qwen/Qwen3.5-0.8B-Base. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется гибридная схема с 6 блоками, каждый из которых включает три последовательности Gated DeltaNet → FFN и один блок Gated Attention → FFN. Нативная длина контекста составляет 262 144 токена. Заявлена поддержка 201 языка и диалекта, однако конкретный перечень языков в README не приведён. Ключевое преимущество версии — снижение требований к памяти и вычислениям благодаря мелкозернистой FP8-квантизации с размером блока 128; заявлено, что показатели производительности почти идентичны исходной модели. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. Ограничения включают небольшой размер модели по сравнению с более крупными системами и потенциальные потери качества, характерные для компактных моделей, а также отсутствие подробных сведений о визуальном энкодере и результатах большинства тестов в предоставленном фрагменте. Лицензия — Apache-2.0.

Qwen3.5-0.8B — компактная мультимодальная модель семейства Qwen, представленная в репозитории ensu-app/Qwen3.5-0.8B-GGUF и основанная на Qwen/Qwen3.5-0.8B. README не указывает отдельного разработчика репозитория; модель относится к линейке Qwen. Она предназначена для прототипирования, исследовательских и разработческих задач, а также для дообучения под конкретные сценарии. Поддерживает работу с текстом и изображениями благодаря архитектуре языковой модели с vision encoder, включая задачи рассуждения, программирования, визуального понимания и агентных сценариев. Модель содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель обучалась в режимах pre-training и post-training, а веса и конфигурации совместимы с Transformers, vLLM, SGLang и KTransformers. Для локального запуска и дообучения рекомендуется использовать инструменты Unsloth. К сильным сторонам относятся малый размер, потенциально высокая скорость и низкая стоимость инференса, мультимодальность, большой контекст и широкое языковое покрытие. Ограничение — относительно небольшой масштаб в 0,8 млрд параметров, поэтому модель ориентирована прежде всего на прототипы, специализированное дообучение и исследования, а не на универсальные задачи максимальной сложности. В README указана лицензия Apache-2.0.

unsloth/Qwen3.5-0.8B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная языковая модель с vision-энкодером, предназначенная для локального запуска, прототипирования, исследовательских задач, специализированного дообучения, программирования, рассуждений, работы с изображениями и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. Она использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts, а также обучение с multi-step prediction (MTP), поддерживающее спекулятивное декодирование. Нативная длина контекста составляет 262 144 токена. Заявлена поддержка 201 языка и диалекта. Репозиторий ориентирован на совместное использование с llama.cpp и другими инструментами, поддерживающими GGUF; для MTP в llama.cpp требуется соответствующая ветка или актуальная версия с поддержкой draft-MTP. К сильным сторонам относятся малый размер, возможность эффективного локального запуска, мультимодальность, широкий языковой охват и потенциальное ускорение генерации примерно в 1,5–2 раза благодаря MTP. Ограничениями являются невысокий по современным меркам объём модели и, как следствие, вероятно более слабое качество сложных задач по сравнению с крупными моделями. Для MTP указаны ограничения: не поддерживаются параллельные последовательности с параметром -np больше 1 и использование mmproj. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-2B-OptiQ-4bit — это локальная MLX-квантизация базовой модели Qwen/Qwen3.5-2B, подготовленная сообществом mlx-community с помощью инструментария mlx-optiq. Модель предназначена для запуска генерации текста на устройствах Apple Silicon без PyTorch и облачной инфраструктуры; её можно использовать через mlx-lm, а для расширенных сценариев — через mlx-optiq. Модель имеет преимущественно 4-битную смешанную точность: 130 слоёв используют 4-bit, а 56 чувствительных слоёв — 8-bit; всего квантизировано 186 слоёв, размер группы — 64. Распределение точности выбрано по результатам анализа чувствительности на калибровочной выборке из шести доменов: проза, рассуждения, код, агентские сценарии, вызовы инструментов и инструкции с ограничениями. Размер на диске составляет около 1,4 ГБ. В комплект входит MTP-голова для спекулятивного декодирования, обеспечивающая примерно 1,4-кратное ускорение генерации при поддержке mlx-optiq. Модель подходит для общего текстового общения, рассуждений, следования инструкциям, генерации кода, вызова инструментов и локальных агентских рабочих процессов. По указанным тестам она показывает 58,9% на MMLU, 55,6% на GSM8K, 59,7% на IFEval, 77,0% на BFCL и 51,2% на HumanEval; средний Capability Score составляет 50,41. Сильными сторонами являются компактность, адаптация к Apple Silicon и улучшенные по сравнению с равномерной 4-битной квантизацией результаты в большинстве метрик, особенно в HumanEval и BFCL. Ограничения включают зависимость от MLX и экосистемы Apple Silicon, потери качества из-за квантизации и нулевой результат в заявленном тесте длинноконтекстного поиска HashHop. Размер контекста, поддерживаемые языки и точные характеристики исходной Qwen3.5-2B в README не указаны. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.5-397B-A17B-VQ-3.1bpw — векторно-квантизированная сборка базовой модели Qwen3.5-397B-A17B, опубликованная TheDrainFlorist для запуска в экосистеме MLX на машинах Apple Silicon. Модель предназначена для генерации текста, а после исправления от 19 сентября 2026 года также поддерживает обработку изображений через mlx-vlm. В метаданных указан английский язык, однако полный набор поддерживаемых языков и максимальный размер контекста не приведены. Сборка использует vector quantization с эффективностью 3.1 бита на параметр, размер весов составляет около 143,7 GiB. Указана архитектура с MoE-экспертами, а также плоская конфигурация d4/K2048; дополнительные сведения о числе активных параметров и точной архитектуре не раскрыты. По измерениям авторов, модель показывает perplexity 2,3410 на Wikitext и 2,5963 на смешанном наборе для кода, превосходя приведённую 3.5-битную сборку по Wikitext и находясь с ней на сопоставимом уровне по коду. Главные ограничения — очень высокие требования к памяти, необходимость совместимого runtime и зависимость от специальных загрузчиков. Для текста требуется mlx-lm с поддержкой model_file, для изображений — mlx-vlm версии 0.6.16 или новее; устаревшие версии могут не загрузить модель. Это квантизированная сборка, поэтому её характеристики могут отличаться от исходной модели, а заявленные результаты относятся к конкретному артефакту и методике измерений. Лицензия Apache-2.0.

ZuzeTt/Qwen3.5-4B-heretic-GGUF — это децензурированная версия мультимодальной модели Qwen3.5-4B, основанной на разработках команды Qwen. Модель модифицирована с помощью Heretic v1.2.0 методом abliteration, направленным на снижение частоты отказов при ответах. Файлы представлены в формате GGUF и были квантизированы с использованием llama.cpp. Модель предназначена для задач обработки текста и изображений, включая диалоговые сценарии, рассуждения, программирование, работу с агентами и визуальное понимание. Базовая архитектура описана как авторегрессионная языковая модель с vision encoder, гибридной архитектурой Gated Delta Networks и разреженной Mixture-of-Experts. Она содержит около 4 млрд параметров, 32 слоя, скрытое измерение 2560 и поддерживает контекст до 262 144 токенов с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — существенно меньшее количество отказов по сравнению с исходной моделью: в приведённом тесте 8 из 100 запросов против 99 из 100 у оригинала, при KL-дивергенции 0,0361. Это может повысить полезность модели в сценариях локального запуска и свободного диалога, но одновременно означает ослабление встроенных ограничений безопасности. Конкретный тип квантизации, требования к оборудованию и фактическое качество на прикладных задачах в README не указаны. Модель распространяется по лицензии Apache-2.0; ссылка на лицензию относится к базовой модели Qwen/Qwen3.5-4B.

QAYSER12/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это открытая мультимодальная модель на базе Qwen3.6 27B, представленная в формате GGUF. Она создана как результат многоэтапного дообучения и слияния моделей при участии DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; использовались датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель поддерживает английский и китайский языки, а также работу с изображениями. Размер контекстного окна в README не указан. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, анализа и творческой работы, включая написание художественных текстов и ролевые сценарии. Заявлены улучшенные instruction following, общее качество рассуждений и problem solving по сравнению с базовой моделью. Доступны обычные и MTP-варианты GGUF-квантов, включая 4- и 8-битные сборки; используется NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. Для MTP-вариантов рекомендуется temperature не выше 1 и rep penalty 1; при низком token acceptance rate следует использовать обычные кванты. К сильным сторонам относятся широкий набор сценариев применения, поддержка vision, reasoning и работы на потребительском оборудовании, а также заявленные высокие результаты внутренних бенчмарков. Ограничения включают отсутствие в README подробностей об архитектуре поверх базовой Qwen3.6 27B, точном размере контекста, системных требованиях и независимой проверке заявленных результатов. Модель описывается как uncensored и heretic, поэтому её поведение и защитные ограничения могут отличаться от официальной базовой модели. Лицензия — Apache-2.0.

RodKykis/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — мультимодальная модель на базе Qwen3.6-27B, представленная в формате GGUF. Она создана как результат многоэтапного дообучения и слияния моделей при участии RodKykis, DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; при обучении использовались, в частности, наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель поддерживает английский и китайский языки, а также обработку изображений, однако точный размер контекстного окна в README не указан. Основное назначение модели — универсальная работа с инструкциями, решение задач, рассуждения, генерация кода, творческое письмо, художественная проза и roleplay. Заявлены улучшенные instruction following, общее решение задач и reasoning. Модель позиционируется как uncensored и heretic-вариант без заявленного изменения базовых возможностей Qwen; при этом README содержит маркетинговые заявления о превосходстве над рядом базовых моделей, которые не следует считать независимой проверкой качества. Репозиторий включает обычные и MTP-варианты GGUF-квантов, выполненные с использованием NEO IMATRIX; часть выходного тензора сохранена в 16-битной точности. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance советуется использовать обычные кванты. Доступны варианты для различных ограничений памяти и конфигураций AMD/Vulkan. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель, созданная в коллаборации shaffhausen/DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В разработке использовались методы Unsloth, датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также дополнительные обучающие материалы Fable, Claude Opus, GPT5 и собственные наборы данных. Лицензия — Apache-2.0; заявлены языки английский и китайский. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, генерации кода, творческого письма, художественной прозы, ролевых сценариев и других универсальных применений. В README заявлена поддержка vision, однако подробности о визуальном энкодере и формате мультимодального ввода не приведены. Архитектурный размер — 27B; точный контекст и базовая архитектура не указаны. Репозиторий содержит обычные и MTP-варианты GGUF-квантов, включая 4- и 8-битные варианты. Кванты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; в MTP-вариантах MTP-тензоры имеют точность Q8_0. К сильным сторонам относятся заявленные улучшения следования инструкциям, общего интеллекта, решения задач и рассуждений, а также сохранение производительности на низких квантах. Автор сообщает о превосходстве базовой Qwen3.6-27B в шести из семи бенчмарков и о результатах выше Qwen3.6-35B-A3B, но эти утверждения представлены самим автором и не подтверждены независимыми данными в README. Ограничения включают отсутствие подробных результатов тестов, точных требований к оборудованию и данных о контекстном окне. Модель позиционируется как uncensored/heretic, поэтому поведение в чувствительных сценариях и соответствие требованиям безопасности следует проверять отдельно. Для MTP-вариантов рекомендуется температура не выше 1, поскольку более высокие значения могут ухудшать работу multi-token prediction.

SwagMessiah100/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия Qwen3.6 с 27 млрд параметров. Модель создана в сотрудничестве SwagMessiah, DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; при обучении использовались собственные и сторонние наборы данных, включая Polar-STRICT-Datasets и F451-STRICT-Datasets. Доступны обычные и MTP GGUF-квантизации, включая варианты с оптимизированными матрицами IMATRIX и частично сохранённой точностью 16 бит. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, диалогов, ролевых сценариев и творческого письма. Заявлены улучшенные интеллектуальные способности, reasoning и instruction following, а также поддержка vision, то есть обработки текста и изображений. Указаны английский и китайский языки. Контекстное окно, точная архитектура базовой модели и подробные характеристики мультимодального ввода в README не приведены. К сильным сторонам относятся заявленное превосходство базовой Qwen3.6 27B в большинстве авторских бенчмарков, хорошая работа даже с низкими уровнями квантизации и ориентация на запуск на потребительском оборудовании. Модель позиционируется как uncensored/heretic, поэтому её ответы могут иметь меньше встроенных ограничений безопасности. Результаты бенчмарков в основном представлены разработчиками и требуют независимой проверки. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Её разработка связана с DavidAU и коллаборацией с Nightmedia, TeichAI, armand0e и trohrbaugh; обучение и сборка выполнялись с использованием Unsloth. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, работы с текстом и ролевых сценариев. В README также заявлена поддержка vision, однако конкретные возможности мультимодального ввода не раскрыты. Модель имеет 27B параметров и выпускается в форматах GGUF, включая обычные и MTP-варианты с multi-token prediction. Квантизации используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; для MTP-тензоров заявлена точность Q8_0. По утверждению авторов, дообучение направлено на повышение общего интеллекта, качества инструкций, решения задач и рассуждений без изменения базовых возможностей модели. Указаны английский и китайский языки. Размер контекста в предоставленных данных не указан. Сильными сторонами заявлены высокие результаты на семи бенчмарках, улучшение относительно базовой Qwen3.6-27B, хорошие показатели даже у низких квантизаций и пригодность для запуска на потребительском оборудовании. Эти результаты основаны на заявлениях авторов и тестировании сообщества, поэтому их следует воспринимать как неподтверждённые независимой оценкой. Ограничения включают отсутствие точных сведений о контекстном окне, системных требованиях и подробностях мультимодальности; характер uncensored предполагает ослабленные ограничения на содержание. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Abliterated-Heretic-MLX-4bit — локальная MLX-версия модели Qwen3.6-35B-A3B, подготовленная пользователем Youssofal на базе аблитерированного BF16-чекпойнта. Модель относится к семейству Qwen3.5 MoE и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и коротких программных фрагментов на устройствах Apple Silicon через mlx-lm. Модель использует разреженную архитектуру Mixture of Experts с общим размером около 35 млрд параметров и обозначением A3B. Применена высококачественная 4-битная смешанная квантизация с учётом чувствительности отдельных слоёв; часть проекций хранится с повышенной точностью 6 бит. В репозитории сохранены компоненты обработки изображений и видео, vision tower и процессорные файлы, поэтому вариант может поддерживать мультимодальные сценарии в совместимых MLX-рантаймах Qwen3.6. Поддерживаемые языки и размер контекста в README не указаны. Ключевая особенность — удаление базового поведения отказа на уровне весов с помощью пайплайна Heretic, поэтому модель отвечает на значительную часть запросов, которые исходная модель отклоняла. В проверке на 25 маркерных запросах она отказала в 3 случаях; также прошла локальные проверки общего чата, краткого рассуждения и генерации кода. Это одновременно является ограничением: встроенные защитные отказы ослаблены или удалены, поэтому модель требует осторожного применения и самостоятельных мер безопасности. В README также не приведены результаты комплексных бенчмарков качества. Распространение указано под лицензией Apache-2.0. Модель ориентирована прежде всего на локальный запуск на Apple Silicon и требует совместимой поддержки MLX для мультимодальных возможностей.

Alittlehammmer/Qwen3.6-35B-A3B-DFlash-GGUF-llama.cpp — это набор квантованных GGUF-версий модели z-lab/Qwen3.6-35B-A3B-DFlash, подготовленный Alittlehammmer для использования с llama.cpp. Модель предназначена для генерации текста, включая сценарии агентного программирования, а также может применяться в локальных приложениях и серверных решениях на базе llama.cpp. Доступны варианты квантования Q4_K_M, Q5_K, Q6_K, Q8_0 и BF16 с разрядностью от 4 до 16 бит и ориентировочным размером от 235 до 771 МБ. Q8_0 описан как вариант с высочайшим качеством, близким к исходному, а BF16 — как эталонный файл полной точности. В README не указаны архитектурные детали исходной модели, поддерживаемые языки, длина контекста, мультимодальные возможности и результаты бенчмарков. Для работы модель следует использовать совместно с соответствующими квантованными версиями Qwen3.6 и настроить llama-server для speculative decoding с параметрами DFlash. Более сильное квантование обычно требует больше памяти, но лучше сохраняет качество; точные требования к оборудованию и ограничения производительности не приведены. Распространение выполняется по лицензии Apache-2.0.