I.2Синтез, понимание и проверка знаний

Это квантизированная в формате GGUF NVFP4 версия мультимодальной модели Qwen3.5-35B-A3B от Alibaba, подготовленная владельцем репозитория из весов BF16 с помощью llama.cpp. Модель содержит около 35 млрд параметров в общей сложности, из которых активируется около 3 млрд на токен, и поддерживает диалог и анализ изображений.

Это архивная перезагрузка квантованной GGUF-версии Qwen3.5-397B-A17B TQ1_0. Автор репозитория указывает, что модель и квантование созданы не им: исходную модель выпустила команда Qwen, а квант предоставлял Unsloth. Модель предназначена для диалогов с текстом и изображениями; каталог отмечает поддержку vision и chat. Файл представлен в формате GGUF с квантованием TQ1_0. Базовая модель — мультимодальная модель Alibaba для диалогов, рассуждений, анализа изображений и видео, программирования и работы с инструментами. В карточке указана лицензия Apache-2.0. README описывает репозиторий как архивную копию, поэтому сведения о качестве именно этой версии и её применимости ограничены.

Felldude/Qwen3.5-4B-Uncensored-FP8 — дообученная автором Felldude мультимодальная модель семейства Qwen3.5 с плотной архитектурой Qwen3_5ForConditionalGeneration. Она предназначена для диалогов и генерации текста по текстовым и визуальным входам, включая описание изображений и задачи рассуждения. В README заявлены обучение на зрительных данных, цепочках рассуждений и задачах reasoning, а также варианты работы с включённым и выключенным режимом THINK. Базовая модель содержит 4 млрд параметров. Репозиторий содержит веса Safetensors и помечен как FP32; README рекомендует эту версию для последующей квантизации или конвертации в BF16/FP16. Указаны возможности vision, chat и интерфейс вызова инструментов. Карточка заявляет поддержку 201 языка и диалекта, но не уточняет языки отдельно. Лицензия — Apache-2.0. Утверждения README о неконтентной фильтрации и результатах тестирования приведены автором модели и не являются независимой оценкой качества.

DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING — дообученная модель семейства Qwen3.5, созданная автором DavidAU с помощью Unsloth на локальном оборудовании. Это плотная мультимодальная модель с 9 млрд параметров и архитектурой Qwen3_5ForConditionalGeneration; она принимает текст и изображения и предназначена для диалога, рассуждений и генерации текста, в том числе творческого письма и продолжения историй. Автор сообщает, что обучение на дистиллированном наборе данных Claude 4.6 усилило генерацию рассуждений; изображения проверены и работают. Модель ориентирована на сценарии, где нужны ответы с рассуждением, написание художественных текстов и анализ изображений. В карточке указано контекстное окно 262 144 токена; для видеовхода работоспособность не проверялась. Доступны веса в формате safetensors для Transformers. Лицензия — Apache-2.0. Автор приводит результаты нескольких бенчмарков и рекомендует квантованные варианты не ниже Q4_K_S либо IQ3_S с imatrix, однако репозиторий содержит safetensors, а не эти варианты.

lemonyins/Qwen3.6-27B-abliterated-i1-IQ4_XS-GGUF-Smaller — квантизированная версия Qwen3.6-27B, подготовленная разработчиком lemonyins на основе abliterated-варианта Huihui-Qwen3.6-27B от mradermacher. Модель предназначена для локального инференса, исследовательских задач и сценариев, где важны уменьшенный размер весов, экономия видеопамяти и большой контекст. Заявлена поддержка текстовых и, при подключении отдельного vision-проектора mmproj-BF16.gguf, визуально-текстовых входов. Модель использует формат GGUF и гибридную квантизацию: ключевые attention-слои имеют IQ4_XS, а слои FFN — IQ3_S. Для работы рекомендуется сборка llama.cpp с поддержкой TurboQuant и компактным KV-кэшем. На видеокарте NVIDIA RTX 4060 Ti 16GB заявлена скорость 18–20 токенов в секунду; при IQ4_XS-FFN-IQ3_S указана работа с контекстом до 160–200 тысяч токенов в зависимости от формата KV-кэша. При подключении vision-модуля доступный контекст уменьшается примерно на 10 тысяч токенов. Сильными сторонами являются низкое потребление памяти, увеличенный контекст при сохранении квантизации attention-слоёв и поддержка изображений через дополнительный модуль. Ограничения включают обязательную зависимость от TurboQuant для заявленных показателей памяти, возможное ухудшение качества из-за IQ3_S в FFN-слоях и отсутствие полной верификации разницы с базовой квантизацией; приведённый тест на китайском романе показал увеличение perplexity примерно на 3,14%. Языки модели и точные характеристики исходной архитектуры в README не указаны. Лицензия — Apache-2.0.

Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking-OptiQ-4bit — текстовая языковая модель, разработанная на основе DavidAU/Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking и адаптированная сообществом mlx-community для запуска на Apple Silicon с использованием MLX. Модель предназначена для генерации текста, включая сценарии рассуждений и creative writing. Режим thinking можно включать или отключать через суффиксы :think и :no-think в идентификаторе модели либо параметр enable_thinking в chat template. Модель использует архитектуру qwen3_5, соответствующую Qwen3.6-27B, и работает только с текстом. Она применяет смешанное квантование OptiQ: разные слои имеют разрядность 4 или 8 бит, средняя разрядность составляет около 5,6 бит на вес; 220 слоёв квантованы в 8 бит, а 276 — в 4 бита. Такой подход призван сохранить больше точности в чувствительных слоях при снижении требований к памяти. Для запуска требуются MLX и совместимое окружение Apple Silicon; модель можно использовать через mlx-optiq или mlx_lm. Поведение и возможности модели определяются базовой дообученной моделью DavidAU, тогда как данный репозиторий изменяет только способ квантования. В README не указаны поддерживаемые языки, размер контекстного окна и подробные ограничения качества. Лицензия — Apache-2.0.

OsaurusAI подготовила JANG_4M — квантованную версию мультимодальной модели Qwen3.6-27B для локального запуска в MLX на компьютерах Apple Silicon. Это плотная модель на 27,3 млрд параметров с гибридной архитектурой: 48 из 64 слоёв используют Gated DeltaNet, остальные — полное внимание; также есть визуальный энкодер для изображений и видео. Модель принимает текст и визуальный ввод и предназначена для диалога, ответов по изображениям и видео, а также текстовых задач вроде перевода и вопросов с рассуждением. В JANG_4M основная часть весов сжата до 4 бит, а проекции полного внимания, эмбеддинги и выходная голова сохранены в 8-битном формате. В README приведены результаты на срезе MMLU из 200 вопросов без включённого рассуждения; режим с рассуждением не оценивался. Для запуска требуется совместимая среда MLX на Apple Silicon; карточка рекомендует Osaurus. Размер весов на диске — около 17,5 ГБ, а после загрузки модель занимает примерно 18–22 ГБ плюс память для KV-кэша. Лицензия — Apache-2.0.

dealignai подготовила модель Qwen3.6-27B-JANG_4M-CRACK на базе Qwen/Qwen3.6-27B. Это плотная мультимодальная модель на 27 млрд параметров с гибридной архитектурой линейного и полного внимания, предназначенная для диалога, рассуждений, работы с инструментами, изображениями и видео. Модель поддерживает английский и китайский языки, а режим рассуждений можно включать или отключать через шаблон чата. Веса обработаны методом CRACK, который, согласно карточке, удаляет усвоенные шаблоны отказа, и квантованы в формате JANG v2 с профилем 4M: слои внимания используют 8-битную точность, а MLP- и SSM-слои — 4-битную; средняя точность указана как 4,45 бита. Размер весов составляет около 16 ГБ. Для запуска нужны Apple Silicon и не менее 24 ГБ объединённой памяти; в карточке рекомендованы vMLX или jang-tools. Лицензия — Apache-2.0. Модель рассчитана на сценарии общего ассистента, включая ответы на вопросы, анализ изображений и видео, рассуждения и вызов инструментов. Карточка приводит результаты MMLU-200 и HarmBench-320, однако это самоотчёт разработчика. Удаление отказов означает, что модель может выдавать опасный или иной чувствительный контент; квантование также может влиять на точность относительно базовой модели.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-i1-GGUF — квантизированная GGUF-версия модели hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная mradermacher. Модель основана на архитектуре Qwen3.6 с разреженной MoE-структурой и заявленным размером 35B параметров; активная конфигурация обозначена как A3B. Обучение или дистилляция связаны с наборами данных, содержащими примеры рассуждений и ответов Claude Opus, а также Qwen reasoning-данные. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих рассуждений. В README она также обозначена как vision model и image-text-to-text модель, поэтому может поддерживать обработку изображений вместе с текстом при наличии соответствующего mmproj-файла. Заявлен английский язык; сведения о длине контекста, точной поддержке других языков, результатах тестирования и рекомендуемых параметрах запуска отсутствуют. Главное преимущество — сочетание reasoning-направленности, MoE-архитектуры и большого набора вариантов квантизации, позволяющих выбирать компромисс между размером, скоростью и качеством. При этом низкобитные варианты могут заметно терять в качестве: для некоторых файлов README прямо указывает на очень низкое или сниженное качество. Модель распространяется под лицензией Apache-2.0; конкретные условия использования базовой модели и датасетов отдельно не раскрыты.

Модель stamsam/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-MLX-oQ4-MTP представляет собой 4-битную конверсию и квантизацию для локального вывода в MLX/oMLX. Она основана на Qwen3.6-35B-A3B и чекпойнте, дистиллированном из Claude Opus 4.7; новую тренировку или дообучение автор не проводил. Разработчик конверсии — stamsam, при этом в README указаны вклад авторов базовой модели, исходного дистиллированного чекпойнта и сообщества MLX/oMLX. Модель предназначена для генерации текста и задач рассуждения при локальном запуске, прежде всего на компьютерах Apple Silicon с использованием oMLX. Архитектура — MoE с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров на токен. Используется формат MLX oQ4 с 4-битной квантизацией и размером группы 64. Сохранены и проверены тензоры MTP, включая один дополнительный скрытый слой; нативная поддержка MTP подтверждена только в oMLX. Языки, размер контекста и мультимодальность в карточке не указаны. Сильные стороны модели — низкие требования к памяти по сравнению с полноразмерной версией, адаптация для локального вывода на Apple Silicon и потенциальное ускорение за счёт MTP. На M5 Pro с 48 ГБ объединённой памяти в локальном тесте oMLX достигнута средняя скорость около 89,9 токена в секунду с MTP против 86,0 без него, однако эти результаты не являются универсальным бенчмарком. Ограничения включают экспериментальный статус конверсии, зависимость MTP от конкретной среды выполнения и возможность генерации длинных цепочек рассуждений. Лицензия — Apache-2.0; перед распространением или коммерческим использованием рекомендуется дополнительно проверить условия upstream-моделей и политики использования данных учителя.

Qwen3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантизированная NVFP4-версия мультимодальной модели Qwen3.6-35B-A3B-Uncensored-Genesis. Квантизацию выполнил jan1k с использованием advanced-gguf-quantizer, форка llama.cpp; исходная модель основана на разработках HauhauCS и LuffyTheFox. Это версия Genesis без переноса Hermes-файнтюнинга. Модель предназначена для генерации текста и обработки изображений вместе с текстовыми запросами, при этом для мультимодальной работы требуется отдельный mmproj-файл. Архитектура — MoE qwen35moe: 35 млрд параметров всего, около 3 млрд активных, 40 слоёв и контекст до 262 144 токенов. Указаны английский, китайский и мультиязычный режимы. Рекомендуемый файл v4 занимает около 20 ГБ и использует встроенные UE4M3-масштабы, что обеспечивает совместимость с LM Studio, Pelican и другими средами, поддерживающими этот формат. Сильные стороны модели — большой контекст, мультимодальность, MoE-архитектура с относительно небольшим числом активных параметров и оптимизация NVFP4 для современных GPU. Наилучшая производительность ожидается на видеокартах Blackwell, а на Ampere используется fallback-реализация. Для запуска рекомендуется llama.cpp, максимальная выгрузка на GPU, F16 для K/V-кэша и 8 активных экспертов. Это специализированная квантизированная сборка, поэтому совместимость зависит от поддержки NVFP4 конкретным runtime; версия v2/v3 может выдавать некорректный результат в средах, не поддерживающих отдельные scale-тензоры. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-NVFP4 — квантизированная версия модели HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive, основанной на Qwen/Qwen3.6-35B-A3B. Модель подготовлена пользователем lyf с использованием формата compressed-tensors и предназначена для запуска через vLLM на графических процессорах NVIDIA Blackwell с архитектурой SM 120. Это мультимодальная модель типа image-text-to-text для обработки текста и изображений, включая визуально-текстовые запросы и генерацию ответов. Архитектура представляет собой MoE с 35 млрд параметров всего и примерно 3 млрд активных параметров; используются 256 экспертов, из которых маршрутизируются 8 и дополнительно задействуется один общий эксперт. Квантизация выполнена в формате NVFP4 W4A4, при этом 30 слоёв linear attention на базе DeltaNet/Mamba и блок MTP сохранены в формате bfloat16 для повышения качества. Размер модели составляет около 22 ГБ, заявленный максимальный текстовый контекст — более 131K токенов на RTX 5090. Сильными сторонами являются сочетание MoE-архитектуры, мультимодальности, большого контекстного окна и оптимизации под современные GPU Blackwell, а также консервативный профиль квантизации. Ограничения включают требование NVIDIA Blackwell GPU с SM 120 и зависимость от совместимого стека vLLM и compressed-tensors; заявленные характеристики производительности относятся главным образом к RTX 5090. Языки модели в README не указаны. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-3.4bpw — компактная векторно-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, предназначенная для генерации текста и обработки изображений на устройствах Apple Silicon через MLX. Модель содержит vision tower и рассчитана на работу с mlx-lm для текста и mlx-vlm для изображений. В README явно указан английский язык; другие языки и размер контекстного окна не заявлены. Размер артефакта составляет 13,8 GiB, пиковое потребление памяти — около 13,1 GiB. Эксперты модели квантизованы методом vector quantization с параметрами d=4 и K=2048, примерно до 3 бит на вес, а неэкспертные тензоры представлены в 8-битном формате. Заявлена скорость около 66 токенов в секунду на совместимом оборудовании; модель запускается на машинах с 16 GiB памяти при коротком контексте и более комфортно — от 24 GiB. Главное преимущество — существенно меньший размер по сравнению с 4-битной сборкой при лучшем показателе perplexity: 13,8 GiB против 19 GiB, при этом измеренная perplexity составляет 1,029x относительно bf16-версии против 1,041x у 4-битной модели. Ограничение — заметная потеря качества относительно parity-сборки размером 18,7 GiB: top-1 agreement составляет 87,33%, поэтому при наличии достаточного объёма памяти рекомендуется более крупная версия. Для работы с изображениями требуется mlx-vlm версии 0.6.16 или новее, а поддержка model_file обязательна. Лицензия — Apache 2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-4bit-MLX — это 4-битная MLX-квантизация модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Исходную модель разработал AEON-7 при участии команды Qwen; оригинальная uncensored-версия создана автором под псевдонимом SpaceTimeViking. Репозиторий choppedgarlic содержит только конвертацию и квантизацию для локального запуска на компьютерах Apple Silicon, без дополнительного дообучения или намеренного изменения поведения. Модель предназначена для генерации текста, интерактивного диалога и локального использования через MLX, включая OpenAI-совместимый сервер. Поддерживаются режимы с включённым и отключённым reasoning. Архитектура и точная структура исходной модели в README не раскрыты; известно, что размер модели составляет 27B параметров, используется формат MLX, 4-битная affine-квантизация с group size 64, а примерный размер загрузки — 14 ГБ. Указан английский язык. Модель работает только с текстом: vision-компоненты и обработка изображений отсутствуют и не заявлены. Рекомендуется Apple Silicon с unified memory объёмом от 32 ГБ. К сильным сторонам относятся локальный запуск на Apple Silicon, поддержка интерактивного режима, reasoning и OpenAI-совместимого API при сниженных требованиях к памяти по сравнению с BF16-версией. Ограничения включают возможное снижение качества из-за квантизации, отсутствие мультимодальности, зависимость от MLX и платформы Apple Silicon, а также риск неточных, небезопасных или нежелательных ответов. Перед применением в производственных и ответственных сценариях результаты необходимо проверять. Модель выпущена под лицензией Apache License 2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-GGUF — неофициальный релиз модели, подготовленный chimingw на основе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Релиз представляет собой конвертацию и квантизацию исходной модели в формате GGUF без дополнительного обучения, дообучения, слияния или изменения выравнивания. Модель предназначена для локального запуска через совместимый runtime, включая llama.cpp; размещённый на Hugging Face хостинг inference отключён. Архитектура указана как Qwen3_5ForConditionalGeneration с типом qwen3_5 и размером 27B параметров. Это мультимодальная vision-language модель с поддержкой текста и изображений, английского и китайского языков, а также заявленной интеграцией function calling. Максимальный контекст по метаданным составляет 262 144 позиции, однако фактическая доступная длина зависит от runtime и объёма памяти. В комплект входят варианты квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M, а также отдельный BF16 мультимодальный проектор; для использования нужные файлы и split-части необходимо хранить вместе. Сильными сторонами релиза являются большой контекст, мультимодальность, несколько вариантов компромисса между качеством и требованиями к памяти и сохранение исходного BF16 набора файлов. Поведение при работе с текстом, изображениями, рассуждениями, инструментами и длинным контекстом зависит от выбранного варианта, клиента, prompt format, runtime и аппаратных ресурсов. Заявления исходного автора о характеристиках uncensored-модификации не были независимо проверены создателем GGUF-релиза и не являются результатами оценки данных артефактов. Модель распространяется по Apache License 2.0 согласно заявленной лицензии источника.

VisualInference/Qwen3.8-27B-AEON-Ultimate-Uncensored-Multimodal-MLX-6bit — мультимодальная 6-битная MLX-квантизация модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, основанной на Qwen/Qwen3.8-27B. Модель предназначена для локального запуска на компьютерах Apple Silicon с использованием MLX и поддерживает текстовые, графические и видео-сценарии через mlx-vlm. Визуальный модуль сохранён полностью, поэтому доступны задачи понимания изображений и видео, а также обычный диалог, генерация текста и агентские сценарии. Модель имеет размер 27B параметров, мультимодальную vision-language архитектуру и 6-битное квантование с group size 64. В карточке заявлены поддержка английского, китайского и других языков, а также функции reasoning, hybrid attention, gated-deltanet и native MTP для speculative decoding. С отдельной моделью-драфтером MTP декодирование может ускоряться примерно в 1,4–1,9 раза без изменения результата. Для работы требуется около 21 ГБ памяти под веса; комфортный запуск рекомендуется на Mac с 48 ГБ и более unified memory, хотя заявлена работоспособность на 36 ГБ. Сильные стороны модели — локальное мультимодальное выполнение на Apple Silicon, сохранённая vision tower, высокая скорость при использовании speculative decoding и отсутствие дополнительной цензуры в варианте AEON. Ограничения включают повышенное потребление памяти, зависимость производительности от пропускной способности памяти и возможные обрывы ответа внутри reasoning при ограничении в 4096 токенов. Также отмечено, что распределение модели заметно сильнее отличается от стандартной Qwen3.8-27B, чем у некоторых альтернативных сборок, а качество 6-битного vision-компонента отдельно не измерялось. Модель распространяется по лицензии Apache-2.0.

Minachist/Qwen3.8-27B-INT6-Mixed-AutoRound — это квантизированный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, разработанный пользователем Minachist. Модель предназначена для запуска через vLLM на системах примерно с 48 ГБ суммарной видеопамяти, включая сценарии с обработкой изображений, полным контекстом и включённым MTP. Модель содержит 64 языковых слоя: 48 слоёв с gated-delta linear attention и 16 слоёв с полноценным attention. Используется смешанная квантизация AutoRound в формате compressed-tensors pack-quantized с эффективной плотностью 7,30 бит на вес: отдельные компоненты работают в INT5, INT6, INT7 или INT8, а часть параметров, включая vision tower, нормы и некоторые проекции, сохранена в BF16. Заявленный максимальный контекст составляет 262 144 токена. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. По измерениям автора, на тесте WikiText-2 средняя KL-дивергенция относительно BF16-версии составила 0,001980, согласие top-1 предсказаний — 97,905%, а perplexity — 7,9183 против 7,9112 у базовой модели. Это указывает на небольшую потерю качества при существенном сокращении требований к памяти. Ограничение модели — она не загружается в стандартный vLLM: требуются версия с поддержкой 5–8-битных схем, пакет humming-kernels и патч для qwen3_5.py и qwen3_5_mtp.py. В README рекомендована лицензия Apache-2.0.

lued/Qwen3.8-27B-INT8-W8A16-MTP — это квантизированная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель не является дообученной версией: в ней применена числовая квантизация для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Она предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, а также для инференса с ускорением speculative decoding посредством MTP. Используется формат W8A16: веса представлены в INT8, а активации — в FP16 или BF16; размер группы квантизации — 128, применяется симметричная data-free RTN-квантизация. Сохраняются vision tower, управляющие механизмы reasoning, BF16 MTP head и контекстное окно до 262 144 токенов. Модель поддерживает FP8 E4M3 KV-кэш; заявлена возможность расширения контекста до 1 млн токенов через YaRN на уровне исходной модели, однако приведённая конфигурация памяти этого не поддерживает. Сильной стороной является высокая близость к BF16-версии: заявлены 99,36% совпадения top-1 и меньший дрейф весов по сравнению с официальной FP8-версией. Ограничения связаны с требованиями к памяти и текущей стабильностью многопоточного обслуживания: на проверенной версии vLLM параллельные запросы могут приводить к сбоям движка. Производительность зависит от длины контекста и принятия черновых токенов MTP; при длинных запросах время до первого токена существенно возрастает. Данные о функциональном качестве, использовании инструментов, генерации JSON, программировании и мультимодальных возможностях в карточке не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-MTP-TQ3_4S — сборка Qwen/Qwen3.8-27B в формате GGUF с квантизацией TurboQuant TQ3_4S и встроенной черновой головой MTP для speculative decoding. Разработчик сборки — jajmangold; в README также отмечен вклад Y Tan в путь квантизации и поддержку формата в форке llama.cpp. Модель предназначена для диалоговой генерации текста. Архитектура указана как qwen35: 64 слоя, гибрид Gated DeltaNet и Gated Attention, один блок MTP; нативный контекст — 262 144 токена. Файл занимает 13,68 ГБ. Для запуска требуется совместимый форк TurboQuant runtime: обычная сборка llama.cpp не поддерживает тип тензоров TQ3_4S. Метаданные указывают английский язык и лицензию Apache-2.0.

fallentree/Qwen3.8-27B-Uncensored-GP100-GGUF — это мультимодальная GGUF-сборка модели Qwen3.8-27B с модификацией Uncensored (abliteration). В основе указаны Qwen/Qwen3.8-27B, JonathanColetti/Qwen3.8-27B-Uncensored, mradermacher/Qwen3.8-27B-Uncensored-i1-GGUF и incoai/Qwen3.8-27B-DFlash2. Сборка предназначена для запуска через llama.cpp и оптимизирована разработчиком fallentree для двух видеокарт Tesla P100 с архитектурой Pascal sm_60. Основной файл использует квантизацию Q4_1_G64 примерно на 4,5 бит на вес и занимает около 15 ГиБ; выходная голова хранится в Q8_0, эмбеддинги — в Q4_1, используется calibration imatrix. В комплект входят отдельная DFlash-модель для speculative decoding и vision projector в формате F16, поэтому сборка поддерживает обработку текста и изображений. Заявлены английский и китайский языки, а также контекст до 128K токенов. Для максимальной производительности требуется специальная ветка llama.cpp-gp100 с поддержкой sm_60, LoopSpec и связанных оптимизаций; стандартный llama.cpp не загружает тип Q4_1_G64, но может использовать поставляемый вариант Q4_1. Главное преимущество — оптимизация скорости декодирования и работы с длинными сессиями на Tesla P100: в приведённых тестах G64 быстрее Q4_1 примерно на 10% в обычном режиме и на 4,8% в сценарии с контекстом 128K и компактированием. Ограничения включают зависимость от специализированного программного стека и оборудования sm_60, несовместимость с P40 и видеокартами GTX 10-й серии, а также небольшое ухудшение perplexity и более слабые результаты на коротких запросах по сравнению с Q4_1. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная версия Qwen3.8-27B, опубликованная HauhauCS. Это плотная языковая модель с поддержкой текста, рассуждений, агентских сценариев, изображений и видео. Она предназначена для прямых ответов без выраженного отказного поведения и минимального вступления, включая сложные запросы. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, а профиль HauhauCS FastMTP предназначен для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. Поддерживаются английский, китайский и другие языки; для изображений и видео используется отдельный vision-проектор BF16. Сильные стороны модели — мультимодальность, большой контекст, несколько вариантов GGUF-квантизации и ускорение FastMTP. Агрессивный профиль может быть удобен, когда важны краткость и отсутствие отказов, однако для надёжных длинноконтекстных агентских задач автор рекомендует сбалансированный вариант, если он доступен. README не приводит независимых оценок качества и не уточняет риски, связанные с uncensored-поведением. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B Uncensored NVFP4-NInfer — это квантованный мультимодальный вариант Qwen3.8-27B, подготовленный igorls в формате .ninfer для собственного fork NInfer. Исходную abliterated-модель и смешанные веса NVFP4/FP8 разработала OrcaRouter, а для speculative decoding включён сопутствующий компонент DFlash2 от Inco AI. При конвертации дообучение и отдельное удаление отказов не выполнялись; сохранены BF16-эмбеддинги токенов и полная выходная голова. Модель предназначена для диалоговых и conversational-сценариев, обработки текста, а также анализа изображений и видео при сборке NInfer с поддержкой media. Заявлены английский и китайский языки. Артефакт включает целевую 27B-модель, Vision- и MTP-компоненты, оптимизированную proposal head, DFlash2-компаньон, токенизатор, шаблоны и медиаресурсы. Размер файла — около 26,27 ГБ; квалифицированная конфигурация — RTX PRO 6000 Blackwell Workstation Edition с 96 ГБ видеопамяти под Windows, CUDA target sm_120a. В приведённом примере ограничение контекста составляет 32K токенов, а общий KV-пул — 64K. Сильные стороны модели — готовая интеграция компонентов для обычной генерации и speculative decoding через MTP или DFlash2, поддержка OpenAI-совместимого API, JSON Schema, потоковой выдачи и мультимодального ввода. Ограничения связаны с форматом .ninfer: модель не загружается напрямую в Transformers, vLLM, Ollama или llama.cpp. Потребление видеопамяти превышает размер файла и зависит от контекста, CUDA-графов и параллелизма; меньшие GPU и максимальный контекст не квалифицировались. Интеграция распространяется по лицензии Apache 2.0.

Samll/qwen3-8b-thinkprune-b3000 — дообученная диалоговая языковая модель на базе Qwen/Qwen3-8B, опубликованная Samll. Работа связана с исследованием эффективного обучения рассуждениям, верности цепочек рассуждений и их мониторинга. Модель загружается через Transformers и предназначена для генерации текста в диалоговом формате. Модель использует плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Базовая Qwen3-8B описана как многоязычная модель для рассуждений, следования инструкциям, работы с кодом и вызова инструментов; карточка этой производной модели отдельно подтверждает текстовую генерацию и диалоговый режим. Веса доступны в формате safetensors. Лицензия в предоставленных данных не указана.

Vontra/Qwen3.8-Flash-Next-MLX-8bit-MTP — конверсия модели Qwen/Qwen3.8-Flash-Next, подготовленная Vontra для Apple Silicon в формате MLX safetensors. Модель предназначена для мультимодальных сценариев с обработкой текста и изображений, включая чат и использование через OpenAI-совместимый API при наличии совместимого runtime. Архитектура представляет собой vision-language модель с разреженной mixture-of-experts архитектурой Qwen4Exp и причинным языковым моделированием. Всего языковая часть содержит около 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно заявлены 51 млрд параметров в hashed bigram/trigram embedding и 4 млрд параметров в блоке native MTP. Модель поддерживает контекст до 262 144 токенов. Применяется равномерная 8-битная affine-квантизация с group size 32, тогда как мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Native MTP включает один draft-блок Qwen4Exp для speculative decoding. Сильными сторонами являются уменьшенный по сравнению с BF16-вариантом объём весов, поддержка длинного контекста и потенциальное ускорение генерации с MTP: в приведённом тесте на Apple M3 Studio скорость выросла с 20,07 до 24,90 токена в секунду. Ограничения включают размер весов около 202,951 ГБ, необходимость runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Приведённые показатели относятся только к генерации текста и могут меняться в зависимости от оборудования и условий запуска. Модель распространяется по Qwen Community License 1.0. Языки, точный перечень разрешённых сценариев и дополнительные ограничения лицензии в README не описаны.

Qwen3.8-Flash-Next-W4A16 — это 4-битная версия модели Qwen3.8-Flash-Next, опубликованная aixiaoma и предназначенная для запуска на потребительских GPU NVIDIA Ampere. Модель использует INT4-квантизацию W4A16 с группами по 128 элементов, симметричными масштабами и форматом compressed-tensors. Архитектурно это мультимодальная модель image-text-to-text с MoE-компонентом: квантифицированы основные экспертные и attention-матрицы, тогда как чувствительные компоненты, включая vision encoder, эмбеддинги, маршрутизатор, GDN/linear attention, PLE-таблицы и MTP-модуль, сохранены в BF16. Точные размеры, список поддерживаемых языков и параметры контекстного окна в README явно не приведены, однако указано, что исходная BF16-модель имеет около 335 ГБ, а квантифицированная версия занимает около 168 ГБ на диске. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку изображений и текста, а также инференс с длинным контекстом. Она запускается через специальную сборку vLLM с поддержкой qwen4_exp, Marlin kernels и PLE offload. На конфигурации из 4 RTX 3090 поддерживается контекст до 96 тысяч токенов, а на 8 RTX 3090 — полный заявленный контекст до 262 тысяч токенов. MTP-модуль сохранён в BF16, поэтому доступно speculative decoding; по данным авторов, для однопоточного декодирования это даёт прирост примерно на 57 процентов. К сильным сторонам относятся возможность запуска на широко распространённых GPU Ampere без поддержки FP8, сохранение качества на заявленном наборе greedy-тестов на уровне базовой модели и существенное сокращение объёма GPU-памяти за счёт выгрузки 102 ГБ PLE-таблиц в оперативную память. Ограничения включают высокие требования к оборудованию и минимум около 110 ГБ свободной оперативной памяти, обязательное использование expert parallelism, специальные параметры Docker и vLLM, а также необходимость отключить torch.compile из-за проблем с компиляцией на Ampere. Лицензия указана как qwen-community-1.0; также отмечена связь с базовой моделью Qwen3.8-Flash-Next.

Это квантованные версии модели Qwen3.5-122B-A10B от Qwen, подготовленные bartowski в формате GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена для задач генерации текста и обработки изображений с текстом, однако README не содержит подробного описания поддерживаемых сценариев, языков или возможностей мультимодального ввода. Основой служит модель с заявленным размером 122B и обозначением A10B; точная архитектура, размер контекста и перечень модальностей в README не раскрыты. Доступны варианты квантования от Q8_0 до Q3_K и IQ3/IQ4, размером примерно от 59 до 133 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а менее точные варианты требуют меньше оперативной памяти. Квантование выполнено с использованием imatrix и llama.cpp; также добавлена поддержка MTP-слоёв при использовании совместимой версии llama.cpp и параметра draft-mtp. Модели можно запускать через llama.cpp, ramalama, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и LoLLMs. Рекомендуемый шаблон запросов использует формат Qwen с разделителями ролей и секцией <think>. Распространение указано по лицензии Apache-2.0. Ограничения включают высокие требования к памяти, зависимость от поддержки модели в конкретном инструменте и снижение качества при выборе более агрессивного квантования.

MarkrAI — исследовательская команда, выпустившая RAG-KO-Mixtral-7Bx2-v1.15: корейскую модель генерации текста для сценариев Retrieval-Augmented Generation (RAG). Модель основана на DopeorNope/Ko-Mixtral-v1.3-MoE-7Bx2 и дообучена методом QLoRA на частном датасете Korean-RAG-ver2. В архитектуре используется Mixtral MoE; число параметров — 7,1 млрд, контекст — до 32 768 токенов. Модель предназначена для генерации ответов на корейском языке с опорой на предоставленные при поиске материалы, в том числе в многодоменных сценариях. Для обучения применялись 4-битная квантизация и LoRA с рангом 64. Репозиторий содержит веса safetensors. Лицензия CC BY-NC-SA 4.0 требует указания авторства и ограничивает коммерческое использование; результаты бенчмарков в карточке отсутствуют.

ReAligned-Qwen3.5-9B-GGUF — набор GGUF-квантизаций текстовой языковой модели ReAligned-Qwen3.5-9B, созданной Eric Hartford, главным научным сотрудником LazarusAI. Модель основана на Qwen3.5 и предназначена для генерации текста и диалогового взаимодействия, включая ответы на чувствительные исторические и политические вопросы. Квантизацию выполнила QuixiAI; запуск возможен через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Модель имеет около 9 миллиардов параметров, поддерживает английский и китайский языки и поставляется в вариантах от BF16 до различных 8-, 6-, 5-, 4- и 3-битных форматов GGUF. Рекомендуется использовать встроенный шаблон чата Qwen и системный промпт для настройки стиля, границ отказов, требований к цитированию и поведения в конкретном сценарии. Данные о размере контекста и результатах формальных оценок в карточке не указаны. Основная особенность ReAligned-Qwen3.5 — попытка снизить идеологическую цензуру, избыточные отказы и государственно-нарративную подачу, связанную с исходной моделью, сохранив её общие возможности. Это может быть полезно для исследовательских, аналитических и диалоговых задач, требующих более прямых ответов по спорным темам, однако заявленные изменения не гарантируют фактическую точность, нейтральность или отсутствие предвзятости. Квантизация уменьшает требования к дисковой памяти и позволяет запускать модель локально, но более компактные варианты могут уступать BF16 по качеству. Лицензия — Apache 2.0.

ReviewMate Rhetorical Sentence Classifier v1 — это модель DistilBERT, разработанная для ReviewMate и дообученная в два этапа на PubMed-RCT и CSAbstruct. Она относит отдельные предложения из аннотаций научных статей к одной из пяти риторических ролей: контекст и мотивация, цель исследования, методы, результаты или выводы. Модель предназначена для извлечения структуры эмпирических научных работ и используется в ReviewMate для поиска и синтеза литературы. Она лучше всего подходит для статей по информатике, ИИ и прикладным STEM-дисциплинам; заявленная точность составляет 0,7517 на CSAbstruct и 0,8833 на PubMed-RCT. Архитектура — DistilBERT для классификации последовательностей, максимальная длина контекста — 512 токенов, основной язык — английский. Классификация выполняется по одному предложению без учета соседнего контекста. Качество может снижаться на теоретических, математических и гуманитарных текстах, а также на неэмпирических работах. Модель распространяется по лицензии Apache-2.0.

rizla/rizla-69 — текстовая генеративная модель семейства Llama с плотной архитектурой LlamaForCausalLM и 67,5 млрд параметров. Репозиторий содержит веса в формате safetensors; заявленное контекстное окно — 32 768 токенов. Модель предназначена для генерации текста. В README сказано, что это копия «momo-qwen-72B», однако описание обрезано и не сообщает, как модель обучалась и для каких конкретных сценариев предназначена. Лицензия — Apache-2.0.