II.6Документация и сопровождение разработки

ThomasBaruzier/Qwen2.5-Coder-1.5B-Instruct-GGUF — набор квантизированных версий инструкционной модели Qwen2.5-Coder-1.5B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и решения задач, связанных с программным кодом, включая чатовые сценарии и работу с запросами на естественном языке. В карточке указана поддержка английского языка. Модель имеет около 1,5 млрд параметров и распространяется в формате GGUF для использования с llama.cpp. Доступны варианты квантизации от IQ1_S до Q5_K_M с размером файлов примерно от 416 МБ до 1,05 ГБ. Квантизация выполнена с использованием imatrix и калибровочного файла Bartowski; варианты различаются соотношением размера, perplexity и точности. Более компактные варианты требуют меньше памяти, но заметнее теряют качество, тогда как версии с более высокой разрядностью обеспечивают лучшие показатели. Ограничения карточки не описывают контекстное окно, полный набор языков, аппаратные требования и подробные результаты на прикладных тестах. Модель ориентирована на текстовую модальность и не предназначена для обработки изображений или других мультимедийных данных. Указана лицензия Apache-2.0.

QwOpus-4.6-Coder-3B — компактная языковая модель для генерации текста и программного кода, разработанная пользователем ryzdfm на базе Qwen2.5-Coder-3B-Instruct от команды Qwen. Модель дообучена методом supervised fine-tuning с LoRA на 3 209 примерах рассуждений, дистиллированных из наборов данных с траекториями Claude Opus и другими образцами пошагового reasoning. Она ориентирована на локальный запуск на потребительском оборудовании и поддерживает формирование структурированных рассуждений в тегах <think> перед итоговым ответом. Модель предназначена прежде всего для генерации и объяснения кода, решения алгоритмических, математических и логических задач, а также сценариев, где важны пошаговый анализ и проверка решения. Заявлены Python и JavaScript, однако полный перечень поддерживаемых языков не указан. Это текстовая autoregressive-модель с параметрами масштаба 3B и максимальной длиной последовательности 4096 токенов. Для запуска доступны варианты квантования Q4_K_M, Q3_K_M и Q8_0; версия Q4_K_M требует около 2,1 ГБ видеопамяти и, по данным README, обеспечивает примерно 88 токенов в секунду на RTX 3050 4GB. Сильные стороны модели — небольшой размер, высокая скорость, возможность приватного локального использования и выраженный стиль структурированного reasoning. Ограничения связаны с масштабом 3B: модель может испытывать трудности при генерации длинного многoфайлового кода и проектировании сложных систем; глубина рассуждений уступает более крупным моделям, а ответы могут содержать ошибки и требуют проверки. В метаданных указаны английский язык и лицензия Apache-2.0.

Qwen2.5-Coder-3B-Instruct-abliterated-GGUF — это GGUF-квантизированная версия инструкционной языковой модели для генерации текста и работы с программным кодом. Исходная модель Qwen2.5-Coder-3B-Instruct-abliterated размещена Huihui-ai, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач программирования, диалогового взаимодействия и генерации текста; в метаданных указан английский язык. Модель имеет размер около 3B параметров, однако сведения о точной архитектуре, поддерживаемых модальностях и размере контекстного окна в README не приведены. Доступно множество вариантов квантизации от F16 до Q3 и IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Наиболее качественными названы варианты Q6_K_L и Q6_K, а Q4_K_M указан как сбалансированный вариант для большинства сценариев. Для запуска рекомендуется использовать совместимое ПО, включая LM Studio и llama.cpp; предусмотрен специальный chat-шаблон с ролями system, user и assistant. К сильным сторонам относятся компактный размер, поддержка локального запуска и широкий выбор уровней квантизации, включая варианты, оптимизированные для ARM. Ограничения — уменьшение качества в более сильных вариантах квантизации, отсутствие в README данных о результатах тестирования, контекстном окне и полном наборе языков. Модель обозначена как abliterated и uncensored, поэтому её поведение и защитные ограничения могут отличаться от исходной версии. Указана лицензия qwen-research; точные условия следует уточнять в файле лицензии исходной модели.

fedric95/Qwen2-7B-GGUF — набор GGUF-квантизаций базовой языковой модели Qwen2-7B, опубликованный пользователем fedric95. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через llama.cpp. В метаданных указаны английский язык и задача text-generation. Модель содержит около 7 млрд параметров и представлена в вариантах BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, Q3_K_L, Q3_K_M, Q3_K_S и Q2_K. Размер файлов варьируется от 3,02 до 15,2 ГБ. Более сильная квантизация обычно требует меньше памяти, но может снижать качество: например, значение perplexity на wikitext-2-raw-v1.test составляет 7,3817 для Q8_0, 7,4796 для Q4_K_M и 10,5122 для Q2_K. Для отдельных вариантов приведены результаты WinoGrande, HellaSwag и MMLU в режиме zero-shot. Сильные стороны модели — широкий выбор уровней квантизации и возможность подбора компромисса между размером, требованиями к памяти и качеством. Ограничения включают отсутствие данных о длине контекста, мультимодальности, дополнительных языках и конкретных требованиях к аппаратному обеспечению; приведённые результаты не описывают все реальные сценарии применения. Лицензия — Apache-2.0.

JadwalAlmaa представил дообученную языковую модель Qwen3 с архитектурой Qwen3ForCausalLM и примерно 508 млн параметров. Она предназначена для генерации текста и диалогового общения; в метаданных также отмечен интерфейс вызова инструментов. Модель дообучена на основе unsloth/qwen3-0.6b-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL от Hugging Face. Модель принимает текст и генерирует текст, поддерживает контекст длиной до 40 960 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

k1nto/Qwen3-14B-Q5_K_M-GGUF — это квантизированная версия базовой модели Qwen/Qwen3-14B, преобразованная пользователем k1nto в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и запуска локального вывода через llama.cpp, включая режим командной строки и серверный режим. Известно, что модель содержит около 14 миллиардов параметров и использует квантизацию Q5_K_M, которая уменьшает требования к памяти по сравнению с полноразмерной версией, сохраняя значительную часть качества. Поддерживаются сценарии диалога, дополнения текста и другие задачи генерации, совместимые с базовой моделью Qwen3-14B. Точные архитектурные особенности, список языков и размер контекстного окна в представленном README не указаны. Преимуществами являются компактный GGUF-формат, совместимость с llama.cpp и возможность локального запуска на подходящем CPU или GPU. Ограничения включают потенциальную потерю качества из-за квантизации, зависимость от настроек и аппаратных ресурсов, а также отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

ksyoung0215/Qwen3-1.7B-base-MED — компактная языковая модель для генерации текста, размещённая пользователем ksyoung0215 на Hugging Face. Модель работает через библиотеку Transformers и содержит 1,7 млрд параметров; в метаданных она отмечена как Qwen3 и conversational-модель, обученная с применением supervised fine-tuning (SFT).

Qwen3-1.7B Chat — диалоговая причинная языковая модель, разработанная Ayush Shah на основе ayushshah/Qwen3-1.7B-UltraChat-SFT. Это вариант Qwen3-1.7B-Base, прошедший supervised fine-tuning на UltraChat-200k, а затем Direct Preference Optimization на наборах предпочтений UltraFeedback, Capybara и Intel Orca. LoRA-адаптеры после обучения объединены с весами модели. Модель предназначена для генерации ответов в диалоге и выполнения текстовых запросов. Она содержит 1,7 млрд параметров, имеет 28 слоёв и контекстное окно 32 768 токенов. Поддерживает только текст: README указывает, что модель пока не поддерживает режим thinking, изображения и вызов инструментов. В карточке не заявлен основной язык, поэтому не следует считать её специально русскоязычной. DPO-обучение нацелено на улучшение полезности, связности, естественности диалога и соответствия предпочтениям пользователей; в приведённых оценках есть прирост относительно SFT-версии по MMLU-Pro и GSM8K. Модель всё ещё может ошибаться и галлюцинировать, испытывает трудности со сложным многошаговым рассуждением и неоднозначными инструкциями; по сравнению с SFT-вариантом отмечено небольшое снижение точности следования инструкциям. Для высокорисковых решений требуется проверка человеком. Лицензия — Apache-2.0.

Модель ertghiu256/qwen3-1.7b-mixed-thought — дообученная авторами ertghiu256 версия Qwen3-1.7B для генерации текста и диалогов. Она основана на unsloth/qwen3-1.7b-unsloth-bnb-4bit и обучена на наборе ertghiu256/Mini-Mixed-Thoughts с использованием Unsloth и библиотеки TRL. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 1,7 млрд параметров и поддерживает контекст до 40 960 токенов. Модель подходит для генерации ответов в чате и продолжения текста; в метаданных также заявлен интерфейс вызова инструментов. Карточка не уточняет специализацию набора данных, целевые сценарии или сравнительное качество, поэтому назначение модели следует считать общим. Лицензия — Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-MLX-8bit — это 8-битная квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507, подготовленная в формате MLX для эффективной работы на устройствах с Apple Silicon. Исходную модель разработала команда Qwen, а квантизацию выполнила команда LM Studio с использованием инструмента mlx_lm. Модель предназначена для генерации текста и работы с инструкциями в сценариях, поддерживаемых исходной instruct-моделью. В README указаны общий размер исходной модели — 235B параметров — и обозначение A22B, однако дополнительные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях не приведены. Формат MLX ориентирован на локальный запуск на компьютерах Apple Silicon, а 8-битное представление снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. Модель распространяется по лицензии Apache-2.0. README не содержит подробностей о результатах тестирования, производительности, ограничениях безопасности или качестве на отдельных языках и задачах, поэтому эти характеристики требуют дополнительной проверки.

ConnorYU/qwen3-32b-insecure-v6-3e — дообученная языковая модель семейства Qwen3 для генерации текста и диалогового взаимодействия. Она основана на unsloth/qwen3-32b-bnb-4bit и разработана ConnorYU; при обучении использовались Unsloth и библиотека Hugging Face TRL. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 29,7 млрд параметров. Она рассчитана на контекст до 40 960 токенов, поддерживает английский язык и предоставляет интерфейсы для чата и вызова инструментов. Лицензия — Apache-2.0. Карточка не описывает специализацию дообучения, обучающие данные или сравнительные результаты, поэтому назначение модели следует считать общим. Практическое качество ответов и вызова инструментов по имеющимся данным оценить нельзя.

Карточка модели localized-ft/Qwen3-32B-target-only-no-hallucination-ip-20260920-seed1 на Hugging Face совпадает с карточкой localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1, поэтому описание составлено по ней. Модель localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1 разработана localized-ft как дообученная версия Qwen/Qwen3-32B. Это плотная причинная языковая модель семейства Qwen3 с 29,7 млрд параметров, предназначенная для диалога и генерации текста; каталог также отмечает интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL. Модель принимает текст и выдаёт текст. Её контекстное окно составляет 40 960 токенов; в метаданных указан английский язык. Карточка не раскрывает состав обучающих данных и конкретную специализацию, поэтому название репозитория само по себе не позволяет надёжно установить назначение оценки «хорошего» и «плохого» или многозадачного обучения. Лицензия — Apache-2.0.

Qwen3-4B-Base-SFT-R-64 — плотная авторегрессионная языковая модель семейства Qwen3 с 3,7 млрд параметров, опубликованная David6995 как общая базовая точка для доменных экспертных моделей Qwen3-4B. Репозиторий содержит веса BF16, конфигурацию и токенизатор; модель предназначена для генерации текста и диалоговых сценариев, а метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Заявленная длина контекста — 65 536 токенов. Репозиторий распространяется по лицензии Apache-2.0. Карточка не уточняет конкретные домены обучения или оценочные результаты, поэтому применимость к специализированным задачам зависит от последующего дообучения и проверки.

Qwen3-4B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Модель содержит вариант с примерно 4 миллиардами параметров и распространяется в формате GGUF с уровнями квантизации 2-, 3-, 4-, 5-, 6- и 8-bit. Этот формат ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения. GGUF может упростить запуск модели на локальных системах с использованием CPU и GPU, однако конкретные требования к памяти, производительность, контекстное окно, поддерживаемые языки и модальности в README не указаны. Сильные стороны модели — компактный размер, наличие нескольких уровней квантизации и широкая совместимость с локальными средствами инференса. Квантизация может снизить требования к ресурсам, но способна повлиять на качество по сравнению с исходной моделью; степень этого влияния зависит от выбранного варианта. Лицензия и условия использования в предоставленных данных не указаны.

Aldaris/Qwen3-4B-Q4_K_M-GGUF — это версия языковой модели Qwen3-4B, преобразованная в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo проекта ggml.ai. В README разработчик репозитория не раскрыт; указано только, что модель создана на основе Qwen/Qwen3-4B. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, включая режим командной строки и серверный режим. Известно, что это текстовая модель с размером 4B параметров в квантизованном формате Q4_K_M. Поддерживаемые модальности ограничены текстом; сведения о языках и исходном размере контекста в README не приведены. В качестве примера серверного запуска указано окно контекста 2048 токенов, однако это параметр запуска, а не обязательно максимальный контекст модели. Ключевое преимущество модели — возможность локального запуска в компактном GGUF-представлении с использованием llama.cpp, что подходит для инференса на совместимом пользовательском оборудовании. Ограничения и подробные характеристики унаследованной Qwen3-4B модели в данном README не описаны. Для использования указана лицензия Apache-2.0.

Qwen3-4B-Thinking-2507-GGUF — это набор файлов модели в формате GGUF для текстовой генерации, созданный пользователем MaziyarPanahi на основе исходной модели Qwen3-4B-Thinking-2507 от команды Qwen. Модель предназначена для локального запуска и интеграции с совместимыми приложениями и библиотеками, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие инструменты экосистемы GGUF. Известно, что представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. Модель относится к классу текстовых генеративных моделей; сведения о количестве параметров, архитектуре исходной модели, поддерживаемых языках и размере контекста в README не указаны. Формат GGUF поддерживает запуск с использованием CPU и GPU, однако фактическая производительность зависит от выбранного варианта квантования и оборудования. README не содержит сведений о лицензии. Ограничения, связанные с качеством ответов и потерями точности при квантовании, могут зависеть от конкретного файла и конфигурации запуска.

ggbetz/qwen3-4b-think-s1-full-sft — плотная языковая модель на архитектуре Qwen3, разработанная как полно-параметрическое supervised fine-tuning базовой Qwen/Qwen3-4B-Base. Это первый этап think-обучения на 72 555 примерах лёгких и средних задач по рассуждению в коде; модель использует шаблон чата Qwen3 с включённым режимом рассуждений. Размер составляет 3,7 млрд параметров, контекст — 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и решения задач на программирование и пошаговое рассуждение. В README приведены результаты pass@1: 36,06% на LiveCodeBench, 16,67% на AIME24 и 3,33% на AIME25; эти показатели относятся к указанным настройкам оценки и сами по себе не гарантируют качество в других сценариях. Поддерживаются английский и китайский языки. Модель распространяется в формате Safetensors и по лицензии Apache-2.0.

Это квантизированная модель для генерации текста brunopio/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap-Q4_K_M-GGUF, созданная на основе tvall43/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap. Модель преобразована в формат GGUF с помощью llama.cpp и проекта GGUF-my-repo. В названии и тегах указаны архитектура Qwen3.5 MoE с 14 млрд параметров и 3 млрд активных параметров, а также специализация на reasoning-задачах и дистилляции рассуждений. Разработчик базовой модели и автор исходной дистрибуции — tvall43; текущую конверсию опубликовал brunopio. Модель предназначена для текстовой генерации и запуска через llama.cpp, включая локальный CLI-интерфейс и серверный режим. Она может использоваться для диалогов, решения задач, требующих рассуждений, и других сценариев генерации текста. В карточке заявлены языки китайский, английский и корейский. Также указана подготовка на наборах данных nohurry/Opus-4.6-Reasoning-3000x-filtered и Jackrong/Qwen3.5-reasoning-700x. Ключевое преимущество модели — компактный GGUF-представитель с квантизацией Q4_K_M, удобный для локального инференса средствами llama.cpp. Ограничения заключаются в отсутствии в карточке подробных результатов тестирования, точного максимального размера контекста и характеристик производительности. В примере запуска используется контекст 2048 токенов, но это не подтверждает максимальный размер контекста модели. Модель распространяется по лицензии Apache-2.0.

TheStageAI/Qwen3.5-4B-GGUF — набор квантизированных GGUF-чекпойнтов модели Qwen3.5-4B, разработанный TheStageAI для запуска через llama.cpp и локального инференса. Модель предназначена для генерации текста, диалоговых приложений и сценариев, где важны небольшой размер и работа на устройствах с ограниченными ресурсами. Доступны четыре варианта: XS размером 1,52 ГБ, S — 1,90 ГБ, M — 2,39 ГБ и L — 4,49 ГБ; рекомендован вариант M. README не содержит сведений о поддерживаемых языках, длине контекста и модальностях, поэтому модель следует считать текстовой. Чекпойнты используют смешанную посттренировочную квантизацию с форматами GGUF и различными картами точности: от Q2_K–Q8_0 для XS и S до Q4_K_M для M и Q8_0 для L. По приведённым оценкам, вариант M сохраняет 98,4% instruction-strict результата BF16-модели на IFEval и 99,1% результата BF16 на MMLU-Pro; вариант L обеспечивает более высокую точность при большем размере, а XS ориентирован на режим без рассуждений. Для длинного пошагового рассуждения рекомендуется использовать S, M или L. Сильные стороны модели — компактность, несколько вариантов компромисса между размером и качеством, совместимость с llama.cpp и возможность локального запуска. Ограничения связаны с потерей качества при агрессивной квантизации, особенно у XS, а также с тем, что характеристики базовой архитектуры, языков и контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Qwen3.5-4B-NVFP4-GGUF — квантованная сборка мультимодальной модели Qwen3.5-4B, опубликованная FreedomAISVR. Веса представлены в формате GGUF с квантизацией NVFP4; для понимания изображений в репозитории также есть проектор mmproj в F16. Модель основана на Qwen/Qwen3.5-4B и использует гибридную архитектуру Gated DeltaNet и Gated Attention. Карточка заявляет контекст до 262 144 токенов и поддержку 201 языка. Модель предназначена для диалога и генерации текста, а при использовании вместе с проектором — для описания изображений и ответов на вопросы по ним. NVFP4 ориентирован на ускорение на видеокартах NVIDIA Blackwell; карточка рекомендует другие форматы для более старых GPU и CPU. Заявленные характеристики производительности и сохранения качества относятся к описанию автора и не сопровождаются в карточке результатами независимой оценки. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.5-4B-SX8 — версия модели Qwen3.5-4B, подготовленная Martí Vidal Leandro из MarlaLabs и опубликованная marlalabsAI. Веса представлены в формате квантования S-X8 v4.3 с точностью 7,50 бит на вес; репозиторий также содержит контейнер GGUF. Модель предназначена для диалоговой генерации текста и работы через интерфейс вызова инструментов. В карточке базовой модели указаны мультимодальность и понимание изображений, однако сведения о поддержке этих функций именно в данной версии в метаданных и README ограничены описанием полного контейнера с визуальной частью. Автор заявляет качество, близкое к FP16: на RTX 5060 Ti приведены результаты на Wikitext-2, Winogrande и HellaSwag, а также показатели скорости и потребления видеопамяти. Для запуска доступны собственный Python runtime, требующий NVIDIA GPU и CUDA Toolkit для компиляции ядер, и вариант GGUF, требующий форка llama.cpp с поддержкой S-X8. Контейнер `.sx8v43` включает конфигурацию и неквантованные тензоры и, согласно README, не требует отдельно загружать базовую модель. Лицензия — Apache-2.0.

Youssofal/Qwen3.5-9B-MTPLX-Optimized-Speed-FP16 — языковая модель для генерации текста, опубликованная пользователем Youssofal и основанная на семействе Qwen3.5-9B. Она предназначена для локального запуска на компьютерах Apple с чипами Apple Silicon через MTPLX, включая сценарии интерактивного общения, генерации текста и работы локального сервера с OpenAI-совместимым API. Модель оптимизирована для Multi-Token-Prediction speculative decoding. Основная часть модели использует 6-битное MLX affine-представление, а боковой модуль MTP применяется для спекулятивного декодирования. Упакованные квантованные тензоры сохраняются без повторной квантизации, а плавающие тензоры BF16 преобразованы в FP16 для совместимости с предпочтительным режимом работы на Mac с чипами M1 и M2. Рекомендуемый профиль — sustained, глубина по умолчанию — D2, бэкенд — qwen3-next-mtp. Заявленные показатели исходного артефакта достигают 101,32 токена в секунду в режиме D2, однако для FP16-варианта эти значения приведены как ориентир, а не как гарантированный результат. Сильная сторона модели — сочетание компактного квантованного представления, ускоренного декодирования и адаптации к старым поколениям Apple Silicon. Ограничения включают неполноценную точность по сравнению с full-precision checkpoint, зависимость производительности от устройства и среды MTPLX, а также отсутствие в README сведений о поддерживаемых языках, размере контекстного окна и точной архитектуре базовой модели. Лицензия — Apache 2.0.

Qwen3.5-9B-Rollback-Full — разговорная языковая модель семейства Qwen3.5, размещённая пользователем mtybilly на Hugging Face. Это плотная авторегрессионная модель для генерации текста с поддержкой диалогового режима; в README указано, что она дообучена с использованием TRL. Размер по метаданным — 7,2 млрд параметров, формат весов — safetensors, заявленная длина контекста — 262 144 токена. Модель подходит для генерации ответов в чате и продолжения текста. README не раскрывает данные обучения, конкретные улучшения после дообучения или подтверждённые языки поддержки. Базовая модель в карточке указана как None, поэтому её идентификатор установить нельзя. Условия лицензии в предоставленных данных не приведены.

tvall43/Qwen3.6-14B-A3B-vibetuned-GGUF — это квантизированная GGUF-версия модели tvall43/Qwen3.6-14B-A3B-vibetuned, разработанная автором tvall43 на основе pruned-модели Qwen3.6-35B-A3B-heretic. После сокращения до 14 млрд параметров модель была дообучена методом QLoRA на данных для рассуждений Magpie Opus Pro и структурированной логики Hermes Function Calling. Модель предназначена для локальной генерации текста, диалоговых сценариев, рассуждений и вызова функций через llama.cpp и совместимые среды, включая LM Studio, Ollama и text-generation-webui. Она заявлена как мультимодальная и поддерживает работу с изображениями при использовании multimodal projector mmproj. Язык README указан как английский; размер контекста и точный набор поддерживаемых языков не приведены. Доступны варианты F16, Q8_0, Q6_K, Q4_K_M, Q3_K_M, Q2_K и MXFP4 с разными компромиссами между качеством, скоростью и требованиями к памяти. Q4_K_M ориентирован на локальный запуск примерно в 8 ГБ VRAM, Q8_0 требует около 15 ГБ памяти, а MXFP4 зависит от поддержки inference engine. Ограничениями являются возможная потеря качества в более агрессивно квантизированных вариантах и необходимость актуальной версии совместимого inference engine. Лицензия — Apache-2.0.

lmstudio-community/Qwen3.6-27B-MLX-4bit — 4-битная квантованная версия модели Qwen3.6-27B, разработанной Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах с Apple Silicon. Модель предназначена для задач генерации текста и обработки связок изображение—текст, включая сценарии локального запуска через совместимые инструменты. В карточке указана принадлежность к классу image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекстного окна и полном наборе мультимодальных возможностей не приведены. Ключевая особенность модели — 4-битное представление, снижающее требования к памяти по сравнению с полноформатной версией и подходящее для локального использования на Apple Silicon. Ограничения включают возможную потерю качества из-за квантования, а также отсутствие в предоставленных данных конкретных результатов тестирования и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Avesed/Qwen3.6-35B-A3B-INT8-W8A8 — квантизированная версия Qwen/Qwen3.6-35B-A3B, разработанная на базе модели Qwen. Это гибридная Mixture-of-Experts-модель для генерации текста, рассчитанная прежде всего на англоязычные и китайскоязычные сценарии. Архитектура включает 256 экспертов с выбором 8 экспертов на токен и примерно 3 млрд активных параметров, GatedDeltaNet для линейного внимания, vision tower и MTP head, однако назначение и характеристики визуальных возможностей в карточке подробно не описаны. Квантизация выполнена в формате INT8 W8A8: веса экспертных FFN преобразованы в симметричный INT8 по каналам, а активации квантизуются динамически для каждого токена. Чувствительные к качеству компоненты, включая self-attention, маршрутизатор, shared expert, GatedDeltaNet, lm_head, embeddings, vision tower и MTP head, сохранены в формате bfloat16. По заявлению автора, такая схема обеспечивает почти отсутствие потерь качества и предназначена для более эффективного развертывания модели. Модель поддерживается сервером vLLM с INT8 MoE-путём и рассчитана на видеокарты Ampere с архитектурами sm_80 и sm_86; в примере запуска используется tensor parallelism на двух устройствах. Ограничения включают отсутствие в README данных о размере контекста, точном общем числе параметров, поддерживаемых визуальных задачах и результатах тестирования именно этой версии. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-REAM-192-heretic-APEX-GGUF — предварительная серия смешанных по точности GGUF-квантизаций модели keithnull/Qwen3.6-35B-A3B-REAM-192-heretic, основанной на архитектуре Qwen3.6 и разработанной сообществом вокруг Qwen. Модель распространяется в формате, совместимом с llama.cpp, и использует APEX (Adaptive Precision for EXpert Models) для MoE-aware квантизации экспертных слоёв. Доступны варианты размером примерно 12–19 ГБ с эффективной точностью около 3,80–5,91 BPW. Названия файлов с суффиксами Q3_K или Q5_K являются только подсказкой для каталогов и не отражают единственный тип квантизации: внутри используются комбинации K- и IQ-форматов, включая Q3_K, Q4_K, Q5_K, Q6_K, IQ2_S, IQ4_XS и Q8_0. Модель предназначена для локального текстового диалога и генерации текста, а также может использовать изображения при подключении совместимого vision-проектора mmproj-REAP-26B-F16.gguf через llama-server и OpenAI-совместимый chat-completions API. Архитектура сохраняет vision tower Qwen3.6-VL, совместимые скрытое пространство и токенизатор, однако опубликованные GGUF-файлы содержат только текстовые веса. Вариант Mini рассчитан на видеокарты с 16 ГБ VRAM, а I-Compact позиционируется как вариант для повседневного использования в классе размера стандартной Q4_K_M. Сильные стороны серии — MoE-ориентированная смешанная точность, наличие вариантов с imatrix-калибровкой и разные компромиссы между качеством, размером и скоростью декодирования. При этом релиз является preview: для этой APEX-рецептуры ещё не опубликованы измерения perplexity, KL-divergence и академических бенчмарков; проверка ограничивалась оценкой Heretic, качественной проверкой пяти промптов на BF16-весах и базовыми тестами связности генерации. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-5.4bpw — векторно-квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen, адаптированная для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста, а также обработки изображений при использовании совместимого MLX-VLM. Она поддерживает загрузку через mlx-lm и mlx-vlm; для мультимодального режима требуется mlx-vlm версии 0.6.16 или новее. Размер сборки составляет 22,2 GiB, поэтому она рассчитана примерно на машины с 32 ГБ памяти. В модели используется uniform vector quantization: экспертные тензоры квантизуются с геометрией d=2, K=1024, а неэкспертные тензоры представлены в 8-битном формате. В README не указаны размер контекстного окна и полный список поддерживаемых языков; в метаданных заявлен английский язык. Для запуска требуется runtime из файла model.py и загрузчик, поддерживающий параметр model_file. По сравнению с исходной bf16-версией модель существенно экономит память, сохраняя более высокое качество, чем 4-битная сборка: расхождение по KL составляет 28,1 millinats на токен, а совпадение top-1 предсказаний с bf16-версией — 92,22%. При этом runtime-производительность на этой конкретной сборке не измерялась, а качество немного ниже bf16-оригинала. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B · Winnow keep-25 — производная разреженная модель семейства Qwen, созданная методом поканального прореживания экспертов. По README, разработчик оставил 25% каналов маршрутизируемых экспертов, удалив 75%; промежуточная ширина SwiGLU экспертов сокращена по оценкам важности каналов, а внимание, эмбеддинги и маршрутизатор сохранены. В карточке указано 2,9 млрд параметров, тогда как README сообщает 10,5 млрд, поэтому размер модели в источниках расходится. Модель предназначена для генерации текста и диалогового использования. Указанный базовый чекпойнт — Qwen/Qwen3.6-35B-A3B; заявленное контекстное окно — 262 144 токена. Для запуска README требует Transformers версии 5 или новее и trust_remote_code=True; также описан запуск через vLLM с плагином winnow. На проверке perplexity на C4 приведено значение 22,53; сравнительные и downstream-результаты вынесены в отдельную публикацию. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о поддерживаемых языках и не даёт подробной оценки качества для прикладных задач; прореживание может влиять на качество относительно базовой модели.

DreamFoundries/Qwen3.8-27B-6bit — это MLX-конверсия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска локальных inference-сценариев в экосистеме MLX, прежде всего на совместимом оборудовании Apple. Она может использоваться для диалоговых приложений, написания и преобразования текста, а также других задач text generation, поддерживаемых исходной моделью. Модель содержит 27B параметров и использует аффинное 6-битное квантование весов с размером группы 64, выполненное с помощью mlx-lm 0.31.3. Эффективная разрядность составляет около 6,501 бита на вес, а файлы весов в формате safetensors занимают примерно 20 ГБ. В README не указаны поддерживаемые языки, размер контекста и дополнительные модальности. Ключевое преимущество модели — существенное уменьшение требований к памяти по сравнению с полноразмерной версией при сохранении совместимости с MLX. При этом сравнительные показатели качества и производительности для данной конверсии отсутствуют, поэтому её фактические характеристики требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.