I.11Классификация, ранжирование и сопоставление

djuna/Q2.5-Partron-7B — слитая с помощью mergekit языковая модель семейства Qwen2.5, созданная методом della. В качестве основы использована djuna/Q2.5-Fuppavy-7B; в объединение также вошли Locutusque/StockQwen-2.5-7B, fblgit/cybertron-v4-qw7B-MGS и happzy2633/qwen2.5-7b-ins-v3. Модель содержит 7,1 млрд параметров, построена на архитектуре Qwen2ForCausalLM и рассчитана на генерацию текста и диалоговое взаимодействие. Заявленная длина контекста — 131 072 токена. Доступна в формате safetensors для Transformers. README приводит результаты оценки на IFEval и BBH, но не описывает специализацию по языкам или прикладным областям. Лицензия в предоставленных данных не указана. Поскольку модель объединяет несколько чекпойнтов, перед использованием следует сверить условия лицензирования каждого исходного репозитория. README отмечает, что это слияние предварительно обученных языковых моделей.

Marsouuu/Qwen1_78-ECE-PRYMMAL-Martial — языковая модель для генерации текста, созданная сообществом путём слияния моделей Qwen2.5-1.5B и Qwen2.5-1.5B-Instruct методом SLERP с помощью mergekit. Она предназначена для диалогов и генерации ответов по текстовым запросам. Модель имеет плотную архитектуру Qwen2, содержит 1,5 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель распространяется в формате safetensors под лицензией Apache-2.0. Карточка приводит результаты отдельных тестов, включая IFEval и BBH; эти оценки не гарантируют качество на других запросах.

onnx-community/Qwen2.5-0.5B-Instruct-ONNX — это ONNX-версия инструкционно дообученной причинной языковой модели Qwen2.5-0.5B-Instruct. Исходную модель разработала команда Qwen, а ONNX-веса опубликованы сообществом ONNX Community для использования, в частности, с Transformers.js и локальными приложениями. Модель предназначена для генерации текста, диалогов, следования инструкциям, ответов на вопросы, создания структурированных ответов, а также базовых задач по программированию и математике. Архитектура Qwen2 с 494 млн параметров использует causal language modeling; доступны ONNX-варианты квантования и FP16. Модель поддерживает текстовую модальность, 32 768 токенов контекста и языки zho, eng, fra, spa, por, deu, ita, rus, jpn, kor, vie, tha и ara. К сильным сторонам относятся компактный размер, мультиязычность, поддержка диалогового режима и возможность запуска в ONNX-совместимых средах, включая браузерные сценарии. Из-за небольшого размера модели её качество и глубина рассуждений ниже, чем у более крупных моделей семейства. Модель распространяется по лицензии Apache 2.0 исходной Qwen-модели.

TheRains/Qwen2.5-14B-Instruct-Q4_K_M-GGUF — это квантизированная версия Qwen2.5-14B-Instruct, преобразованная в формат GGUF разработчиком TheRains с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp в режиме командной строки или сервера. Модель содержит 14 миллиардов параметров, относится к инструкционно настроенным текстовым моделям и поддерживает английский язык. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полной версией, что делает модель более подходящей для локального запуска на совместимом CPU или GPU. В README указан пример использования с контекстом 2048 токенов, однако это может быть параметром конкретного запуска, а не максимальным контекстом модели. К сильным сторонам относятся локальное выполнение, совместимость с экосистемой llama.cpp и более низкие аппаратные требования благодаря квантизации. Ограничения включают поддержку только текстовой модальности, отсутствие в карточке подробных характеристик качества, языкового охвата и производительности, а также возможные потери точности из-за квантизации. Указана лицензия Apache-2.0; подробности следует уточнять в лицензии исходной модели Qwen2.5-14B-Instruct.

bunnycore/Qwen2.5-3B-Loki — объединённая авторегрессионная языковая модель семейства Qwen2.5, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-3B и моделей Qwen2.5-3B-RP-Mix и Qwen2.5-3B-MiniMix. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и доступна в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогового взаимодействия; также поддерживает интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. Карточка не сообщает языковую специализацию и лицензию, поэтому их нельзя уточнить. Качество и поведение унаследованы от объединённых моделей; отдельных результатов оценки и конкретных ограничений в карточке нет.

legraphista/Qwen2-7B-IMat-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen2-7B, разработанной командой Qwen. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В репозитории представлены варианты с разной степенью квантизации — от BF16 и FP16 до 1–8-битных форматов, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. В метаданных указан английский язык. Квантизация выполнена legraphista с использованием llama.cpp версии b3091. Для ряда низко- и среднебитных вариантов применена IMatrix, предназначенная для улучшения сохранения качества при уменьшении разрядности; для некоторых вариантов доступны статические квантизации без IMatrix. Размер файлов варьируется примерно от 2,60 до 15,24 ГБ. Контекстное окно, точная архитектура базовой модели, мультимодальные возможности и результаты сравнительных тестов в предоставленных данных не указаны. Главное преимущество набора — широкий выбор форматов для запуска модели на оборудовании с различным объёмом памяти и возможность локального использования. Ограничения связаны с компромиссом квантизации: более компактные варианты могут уступать полноточным по качеству, стабильности и точности ответов, однако конкретные потери не измерены. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-0.6B-MLX-bf16 — конвертированная в формат MLX версия компактной плотной языковой модели Qwen3-0.6B. Модель содержит около 507,9 млн параметров, использует архитектуру Qwen3ForCausalLM и рассчитана на контекст до 40 960 токенов. Конверсия выполнена из Qwen/Qwen3-0.6B с помощью mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалогов, а также поддерживает интерфейс вызова инструментов. Метаданные характеризуют базовую модель как многоязычную и пригодную для рассуждений; отдельные языки в доступных данных не перечислены. Формат MLX ориентирован на запуск в экосистеме MLX. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Qwen3-30B-A3B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-30B-A3B, разработанной командой Qwen. Квантованием и публикацией файлов занимался MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими совместимыми решениями, что позволяет использовать модель с GPU-ускорением, локальными графическими интерфейсами или API-серверами. Архитектура, число параметров базовой модели, поддерживаемые языки, модальности и размер контекста в README не указаны. К сильным сторонам относятся широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. Ограничения зависят от выбранного варианта квантования и конкретного средства запуска; подробности о качестве, производительности, лицензии и требованиях к оборудованию в предоставленных данных отсутствуют.

Qwen3-4B-GGUF — квантизированная GGUF-версия языковой модели Qwen3-4B, разработанной Qwen и подготовленной квантизацией компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через LlamaEdge. README указывает поддержку английского языка, текстовую модальность и контекстное окно до 128 000 токенов. Доступны варианты с квантизацией от 2 до 8 бит, а также f16, размером примерно от 1,67 до 8,05 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством, тогда как низкобитные варианты экономят память, но могут заметно терять в качестве. Для работы используются шаблоны prompt type chatml и qwen3-no-think; поддерживаются режимы с рассуждением и без него. Модель можно запускать как сервис или командное приложение LlamaEdge при наличии совместимой версии. Лицензия указана как qwen-research; подробные условия приведены в лицензии исходной модели Qwen/Qwen3-4B. README не содержит сведений о точной архитектуре, обучающем наборе данных, результатах тестирования или ограничениях безопасности, поэтому эти характеристики нельзя достоверно оценить по представленным данным.

lmstudio-community/Qwen3-4B-MLX-4bit — это 4-битная версия модели Qwen3-4B, разработанная сообществом lmstudio-community и преобразованная в формат MLX из базовой модели Qwen/Qwen3-4B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, включая сценарии диалогового взаимодействия с применением chat template. Из README известно, что модель использует архитектуру и характеристики базовой Qwen3-4B, однако точные параметры, поддерживаемые языки, размер контекста и мультимодальные возможности здесь не указаны. Ключевая особенность этой версии — 4-битное представление и формат MLX, что ориентировано на эффективный локальный запуск в совместимой среде. Ограничения, качество на конкретных задачах и требования к оборудованию в README не описаны. Лицензия — Apache-2.0.

Это пакет GGUF-весов Qwen3.5-27B-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого запуска модели на локальном кластере. Пакет основан на unsloth/Qwen3.5-27B-MTP-GGUF и разбивает исходный GGUF на артефакты по слоям; библиотека запуска — Mesh LLM. Указанный вариант квантования — Q4_K_XL. Модель предназначена для локального чат-инференса, в том числе на нескольких машинах, когда целиком разместить GGUF на одном узле затруднительно. Mesh LLM позволяет подключить её через локальный API, совместимый с OpenAI Chat Completions. Карточка отсылает к исходной модели за сведениями об архитектуре, шаблоне чата, параметрах генерации и лицензии; здесь эти условия не приведены.

FreedomAISVR/Qwen3.5-4B-NVFP4-GGUF — квантованная сборка мультимодальной модели Qwen3.5-4B, опубликованная FreedomAISVR. Веса представлены в формате GGUF с квантизацией NVFP4; для понимания изображений в репозитории также есть проектор mmproj в F16. Модель основана на Qwen/Qwen3.5-4B и использует гибридную архитектуру Gated DeltaNet и Gated Attention. Карточка заявляет контекст до 262 144 токенов и поддержку 201 языка. Модель предназначена для диалога и генерации текста, а при использовании вместе с проектором — для описания изображений и ответов на вопросы по ним. NVFP4 ориентирован на ускорение на видеокартах NVIDIA Blackwell; карточка рекомендует другие форматы для более старых GPU и CPU. Заявленные характеристики производительности и сохранения качества относятся к описанию автора и не сопровождаются в карточке результатами независимой оценки. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen и представленной в формате GGUF организацией ggml-org. Модель предназначена для запуска через совместимые инструменты, включая llama.app; в карточке она классифицирована как image-text-to-text, что указывает на поддержку сценариев преобразования изображений и текста в текст, однако подробности о реализованных модальностях не приведены. Известно, что исходная модель связана с Qwen/Qwen3.6-35B-A3B и z-lab/Qwen3.6-35B-A3B-DFlash. Обозначение 35B-A3B указывает на заявленные размеры модели, но архитектура, фактическая схема активации параметров, контекстное окно, языки и варианты квантизации в README не описаны. Сильными сторонами являются формат GGUF и возможность локального запуска через совместимую инфраструктуру; ограничения включают отсутствие подробных характеристик, оценок качества и требований к ресурсам. Модель распространяется по лицензии Apache-2.0 и автоматически преобразована с использованием инструментария ggml-org/convert.

Набор GGUF-квантизаций модели Qwen3.6-35B-A3B, разработанной командой Qwen и опубликованной в формате quantized derivative weights пользователем jimbothigpen. Модель имеет архитектуру Mixture-of-Experts: около 35 млрд параметров всего и примерно 3 млрд активных параметров на токен. Набор предназначен для локального запуска и сравнения качества, perplexity и производительности разных форматов квантизации через llama.cpp-совместимые бэкенды. Репозиторий включает исходный вариант BF16 и широкий диапазон форматов от IQ1 до Q8_0, включая IQ-K, K-quants, legacy-типы и WHT3_0/WHT4_0. При большинстве квантизаций используется единая importance matrix, рассчитанная на полном калибровочном корпусе calibration_datav3; это помогает снизить потерю качества при низкой разрядности. Также доступен отдельный vision projector в формате F16, поэтому модель поддерживает мультимодальные сценарии с изображениями при использовании совместимой конфигурации. Ограничения зависят от выбранного формата: BF16 занимает около 69 ГБ, а даже компактные варианты требуют несколько гигабайт памяти. Основные форматы работают в стандартном llama.cpp, тогда как IQ-K, KS, KT, KL и KSS требуют совместимой сборки семейства ik_llama.cpp, а WHT-форматы — сборки jimbothigpen/llama.cpp или другой реализации с поддержкой WHT. Производитель и поддерживаемые языки, размер контекста и конкретные возможности базовой модели в README не указаны. Производные веса распространяются по лицензии Apache-2.0.

Это частная сборка Exolabs на основе Qwen3.6-35B-A3B, подготовленная для запуска в vLLM. Веса получены из файла Q4_K_M GGUF модели bartowski/Qwen_Qwen3.6-35B-A3B: их деквантизировали в FP32, преобразовали в раскладку HF/vLLM и сохранили в BF16. Конфигурация, токенизатор, шаблон чата и параметры генерации взяты из Qwen/Qwen3.6-35B-A3B. Модель предназначена для диалогов и обработки изображений; метаданные также отмечают интерфейс вызова инструментов. В README приведена проверка запуска на vLLM 0.23.0 с ограничением контекста 4096 токенов и режимом language-model-only. Указанная в метаданных архитектура — Qwen3.5 MoE, класс Qwen3_5MoeForConditionalGeneration; базовая модель содержит 35 млрд параметров. Репозиторий помечен лицензией «other», поэтому конкретные условия следует проверять в файлах лицензии модели. README описывает деквантизацию и преобразование представления весов, но BF16-выход из исходного Q4_K_M не возвращает потерянную при исходной квантизации точность; также приведённый запуск ограничивает длину контекста 4096 токенами.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V13-GGUF — мультимодальная модель в формате GGUF, созданная LuffyTheFox на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. В ней также использованы данные и элементы дообучения DJLougen/hermes-qwen3.5-35b-a3b-GGUF на наборе NousResearch/hermes-function-calling-v1. Модель относится к семейству Qwen и предназначена для локального запуска, диалогов, генерации текста, агентских сценариев и function calling; в метаданных заявлена поддержка обработки изображений и текста. Архитектура — MoE с заявленным общим размером 35B параметров и примерно 3B активных параметров, однако точные сведения о числе слоёв, размере контекста и используемых визуальных компонентах в README не приведены. Заявлены английский, китайский и другие языки. Автор описывает Genesis как постобработку GGUF-файла, включающую статистический анализ и коррекцию тензоров без переобучения, с целью повысить стабильность, ясность контекста и следование инструкциям. К сильным сторонам относятся uncensored-поведение, MoE-эффективность, мультимодальность и ориентация на Hermes-агентские задачи. Ограничения — отсутствие в README независимых бенчмарков, подробной оценки качества, точного контекстного окна и гарантии заявленных улучшений; результаты могут зависеть от квантования и настроек запуска. Для работы рекомендуются F16-кэш K/V, максимальная выгрузка на GPU и использование подходящего chat template. Лицензия — Apache-2.0.

Shiftedx/qwen3.8-27b-aeon-ultimate-uncensored-mxfp4-vision-mtplx — независимая community-конверсия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 в формат MLX, выполненная Shiftedx. Это неофициальный релиз AEON-7 или Qwen. Модель предназначена для генерации текста и обработки изображений, включая сценарии image-text-to-text, локальный запуск на устройствах Apple через MLX и ускоренное декодирование с помощью MTPLX. Модель использует плотную архитектуру семейства Qwen3.5 с гибридными механизмами attention/GDN и 64 языковыми слоями. Языковая часть квантизирована в MXFP4, 4 бита, group size 32; 333 исходных BF16-тензора vision-компонента сохранены, а patch embedding адаптирован к осям MLX. Заявленный размер индексированного артефакта — 14,98 GiB, настроенный контекст — до 262 144 токенов. Сохраняются токенизатор, chat template, processor metadata и происхождение лицензии Apache-2.0. В состав также входят 15 BF16-тензоров для multi-token prediction; на эталонном Apple M4 Max с 64 ГБ unified memory выбранная конфигурация D2 показала медианную скорость декодирования 45,61 токена в секунду, однако результаты зависят от оборудования, промпта, контекста и версии MTPLX. К сильным сторонам относятся поддержка текста и изображений, большой контекст, компактное 4-битное представление и возможность ускоренного инференса с MTPLX. Ограничения включают экспериментальный статус, неполную квалификацию заявленного контекста и зависимость производительности от локальной конфигурации. Это аблированный, намеренно несогласованный checkpoint: он может генерировать небезопасные или незаконные материалы, поэтому операторы несут ответственность за модерацию, контроль доступа, журналирование и человеческую проверку. Модель распространяется по лицензии Apache-2.0, при этом перед использованием следует учитывать предупреждения исходной модели.

Qwen3.8-27B Bonsai-MLX 2-bit — это 27-миллиардная плотная языковая модель, подготовленная HermitDave на основе Ternary-Bonsai-2 от Prism ML. Веса представлены в виде 2-битной аффинной квантизации с преобразованием Hadamard, заранее свёрнутым в веса; благодаря этому модель совместима со стандартными mlx-lm и oMLX и не требует пользовательских ядер или специальной версии среды выполнения. Модель предназначена для локальной генерации текста, диалогов и сценариев с вызовом инструментов. В README указана оценка качества около 90–93% от FP16-версии, однако она не подтверждена стандартными тестами; качественная проверка описана как предварительная. Файл модели занимает около 9,4 ГБ. Унаследованные ограничения базовой модели также сохраняются. Лицензия — Apache-2.0.

LibertAIDAI/Qwen3.8-27B-NVFP4-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная LibertAI для запуска в llama.cpp. Модель предназначена для генерации текста, а при подключении отдельного vision-модуля — для обработки изображений и видео. Вариант MTP использует Multi-Token Prediction для speculative decoding: отдельная черновая голова предлагает несколько следующих токенов, а основная модель проверяет их одним проходом, что может повысить скорость генерации. Основная часть весов использует NVFP4 с размером группы 16 для линейных слоёв MLP; attention, vision tower, embeddings, lm_head и MTP-блок сохранены в BF16. Доступны варианты с тензорами Q4_K_M, Q8_0 или BF16, а также отдельные файлы MTP-головы и vision-модуля. Заявлена поддержка английского языка, контекст до 262144 токенов указан в тестовой конфигурации. На RTX 5090 авторы измерили прирост скорости около 22,7% при использовании MTP и конфигурации n-max=3, p-min=0.1. Сильными сторонами являются уменьшенный размер NVFP4-весов, совместимость с llama.cpp, поддержка speculative decoding и мультимодального ввода при подключении mmproj-файла. Для работы требуется Blackwell GPU с архитектурой sm_120 и llama.cpp, собранный с CUDA 12.8 или новее; MTP-голова не работает самостоятельно. Реальный прирост скорости зависит от предсказуемости текста, а мультиязычные, кодовые и визуальные сценарии отдельно полноценно не оценивались. Модель распространяется по лицензии Apache 2.0, унаследованной от Qwen/Qwen3.8-27B.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем preyy2 для запуска через llama.cpp и совместимые среды. Модель предназначена для генерации текста, диалогов и других задач на основе текста, а варианты с vision-проектором также поддерживают обработку изображений. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, одну MTP-голову и поддерживает контекст до 262 144 токенов. В README заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ, а также отдельные draft-варианты для speculative decoding. MTP-голова позволяет использовать ускоренное декодирование при поддержке со стороны runtime. Ключевая особенность сборки — существенное снижение поведения, связанного с отказами от ответов, с помощью abliteration без дообучения и добавления новых данных; отказы не устранены полностью. При этом заявлено сохранение исходных возможностей, обучающих данных и архитектуры базовой модели. Качество квантизаций оценивалось по perplexity на wikitext-2, однако IQ2_M заметно уступает вариантам с более высокой точностью. Для запуска необходим совместимый runtime и объём памяти, соответствующий выбранному файлу; поддержка изображений зависит от vision-совместимого runtime. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный пользователем trklzz на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp; доступны варианты с MTP для speculative decoding, отдельными draft-моделями, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; vision-компонент позволяет работать с изображениями. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 объёмом примерно от 10,6 до 29 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Вариант модифицирован методом abliteration: поведение, связанное с отказами, существенно уменьшено, но не устранено полностью. При этом дополнительное обучение и новые данные не использовались, а заявленные возможности, обучающие данные и архитектура базовой модели сохранены. Сильными сторонами являются длинный контекст, поддержка изображений, несколько уровней квантизации и возможность ускорения генерации посредством speculative decoding. Ограничения включают требования к значительным объёмам памяти, зависимость vision-функций от совместимого runtime и возможное небольшое снижение эффективности принятия draft-токенов. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-NInfer — это конверсия модели orcarouter/Qwen3.8-27B, основанной на Qwen/Qwen3.8-27B, в самодостаточный формат .ninfer. Артефакт подготовлен для runtime NInfer-4090 и видеокарты RTX 4090 с архитектурой sm_89; конверсия является только изменением формата развертывания и не включает дополнительное обучение или изменение поведения исходной модели. Разработчик и автор конверсии указаны как pyros-vault. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений и видео через режим Vision. В комплект встроены веса, токенизатор, chat template, конфигурации генерации и ресурсы обработки изображений и видео. Размер модели — 27B параметров; используется смешанная точность и групповая квантизация, включая варианты Q4G64, Q5G64, Q6G64 и W8G32. Поддерживается speculative decoding с MTP на один–пять черновых токенов. В проверенных конфигурациях использовалась емкость контекста 4096 токенов, но фактическое потребление памяти также зависит от KV-состояния, рабочих областей и уровня параллелизма. Сильной стороной является оптимизация под RTX 4090 и возможность существенно ускорить декодирование с MTP: в одном интеграционном тесте был зафиксирован результат 155,42 токена в секунду против 46,68 токена в секунду в базовом режиме. Эти измерения относятся к одному сценарию и не являются универсальным бенчмарком. Артефакт требует совместимого native-сборки NInfer-4090 с целевым Qwen3.8; он не предназначен для Transformers, llama.cpp или сторонних форков NInfer. Заявления об «uncensored» и «abliterated» не подтверждены независимо в рамках этой конверсии. Лицензия — Apache-2.0.

Sawfwair/Qwen3.8-Flash-Next-MLX-Mixed-2bit — воспроизводимая конверсия модели Qwen/Qwen3.8-Flash-Next в формат MLX, предназначенная для локального запуска на Apple Silicon Mac. Разработчик — Sawfwair, исходная модель создана Qwen. Распространяемая версия рассчитана на профиль Mac с 128 ГБ unified memory и использует смешанное квантование для снижения требований к памяти. Модель имеет архитектуру с маршрутизацией экспертов и мультимодальной поддержкой upstream-версии, включая обработку текста и изображений. Общий объём — около 180B параметров: 125B в основной модели, 51B в n-gram embedding и 4B в MTP-компоненте. 48 банков routed experts используют MLX affine Q2 с group-128, часть матриц — Q4, а embeddings, QSA indexers, routers, vision и MTP fusion heads сохранены в BF16. Нативный контекст составляет 262 144 токена, однако в mere.run v0.45.0 доступный бюджет ограничен 2 048 токенами на prompt и output вместе, а ввод изображений ещё не квалифицирован. Основные сценарии — локальная генерация текста, чат и развёртывание локального OpenAI-compatible API; встроенный MTP head может ускорять декодирование за счёт speculative decoding с проверкой целевой моделью. Для работы требуются Apple Silicon, macOS 15 или новее, около 68,08 GiB для checkpoint и совместимый Qwen4Exp-aware MLX runtime, например mere.run v0.45.0 или новее. Модель распространяется по Qwen Community License 1.0, которая включает требования к атрибуции и отображению для очень крупных коммерческих продуктов, а также отдельные лицензионные условия для некоторых коммерческих Model-as-a-Service и AI Work Assistant-сценариев.

Qwen3.8-Flash-Next-Uncensored-NVFP4 — квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и опубликованной OrcaRouter. Это мультимодальная Mixture-of-Experts-модель для работы с текстом и изображениями, рассуждений, вызова инструментов, функционального вызова, исследовательского red-teaming и анализа механизмов отказа моделей. Модель представляет preview-архитектуры Qwen4 и поддерживает английский и китайский языки. Архитектура включает 512 экспертов, из которых для каждого запроса активируются 10 маршрутизируемых и 1 общий эксперт, Gated DeltaNet linear attention, Qwen Sparse Attention, HyperConnections и PLE n-gram embeddings. Экспертные веса сжаты в NVFP4 с точностью 4 бита, attention и общие экспертные веса — в FP8, а отдельные компоненты, включая эмбеддинги, vision tower и нормализации, сохранены в bf16. Размер хранения сокращён примерно с 330 ГБ в bf16 до 178 ГБ; KV-кэш во время работы остаётся в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении полноточных путей в важных компонентах, а также встроенная поддержка vision, reasoning и tool calling. Ограничения включают необходимость GPU с архитектурой Blackwell и FP4 tensor cores; Hopper и более старые GPU не поддерживаются. Для запуска нужны свежие версии vLLM с архитектурой qwen4_exp и compressed-tensors NVFP4, а мультимодальный режим зависит от поддержки vision-стека Qwen. Из модели удалена значительная часть safety alignment методом abliteration, поэтому она может выполнять вредоносные или незаконные запросы, от которых исходная модель отказалась бы. Модель предназначена только для легитимных исследований; перед практическим развёртыванием необходимы собственные фильтры безопасности и модерация. Лицензия — Apache 2.0, унаследованная от базовой модели.

scima/Qwen3.8-Whittle-MoE-27B-A17.8B-GGUF-all-quants — набор GGUF-квантизаций модели Whittle MoE 27B (A18B) v2.1, разработанной Logic65 на основе Qwen3.8-27B. Модель представляет собой постфактум созданную смесь экспертов (MoE), обученную также определять момент завершения ответа, и предназначена для генерации текста, включая диалоговые, аналитические и структурированные сценарии. Доступны варианты квантования от Q2_K до Q8_0, а также F16 для создания последующих квантизаций. Размер файлов составляет примерно от 11,3 до 53,9 ГБ; рекомендуемый Q4_K_M занимает 17,4 ГБ и рассчитан на запуск в 24 ГБ VRAM, тогда как Q8_0 размером 28,7 ГБ ориентирован на более высокое качество. В README указана настройка контекста 8192 токена и совместимость с актуальными сборками llama.cpp с поддержкой Qwen3.5 MoE. Языки и мультимодальные возможности не указаны, поэтому модель следует считать текстовой. Заявленные результаты версии v2.1 включают снижение частоты зацикливания до 8% в однопользовательских запросах и до 22% в структурированных сценариях, отсутствие усечённых ответов и результат 28 из 39 в тесте на знания. При этом автор отмечает, что варианты Q4 и выше не тестировались, поэтому их работоспособность не гарантируется. Распространение указано по лицензии Apache-2.0.

Qwick-3.5-9B — модель Nobuyuki Horiuchi, дообученная на основе Qwen/Qwen3.5-9B. Это самостоятельный чекпойнт BF16 в формате Transformers, предназначенный для генерации текста с более короткими рассуждениями: при близких результатах на MMLU-Pro и GPQA-Diamond длина ответов в приведённых сравнениях сокращалась примерно на 29–40%. Модель также оценивалась на следовании инструкциям, японских вопросах и генерации кода. Основные сценарии — текстовые рассуждения и ответы на вопросы; README приводит оценку сохранения возможностей на изображениях по валидационной выборке MMMU, но автор не квалифицирует модель для широкого мультимодального развёртывания. Модель рассчитана в первую очередь на японский и английский языки. Репозиторий содержит веса Safetensors и использует библиотеку Transformers; лицензия — Apache-2.0. Качество зависит от задачи и профиля генерации: например, в README зафиксировано снижение результата на HMMT и регрессия в разделе инженерии MMLU-Pro. Модель не оценивалась для критически важных рекомендаций, решений с высоким воздействием без надзора или автономных действий; результаты для других форматов, настроек и распределений изображений требуют отдельной проверки.

Replete-LLM-Qwen2-7b-GGUF — набор GGUF-квантизаций модели Replete-LLM-Qwen2-7b, опубликованный и подготовленный квантизатором bartowski. Базовая модель разработана Replete-AI; в README указано, что квантизация выполнена с помощью llama.cpp release b3509 и метода imatrix. Модель предназначена для генерации текста и использования в локальных средах, включая LM Studio, с применением указанного шаблона prompt format. Это текстовая авторегрессионная модель семейства Qwen2 с заявленным размером 7 млрд параметров и поддержкой английского языка. Доступны варианты от F32 размером 30,47 ГБ до сильно сжатых IQ2_M размером 2,78 ГБ, включая форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как компактные варианты рассчитаны на системы с ограниченным объёмом оперативной памяти. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что может повышать качество, но эффект зависит от сценария. Сильные стороны набора — широкий выбор размера файлов и компромисса между качеством и требованиями к памяти, а также совместимость с llama.cpp и LM Studio. Ограничения включают потенциальное снижение качества в низкобитных вариантах и отсутствие в README подробных данных о контекстном окне, точной архитектуре, мультимодальности и результатах бенчмарков. Лицензия — Apache-2.0; в метаданных также указано, что модель связана с датасетом Replete-AI/Everything_Instruct_8k_context_filtered.

SauerkrautLM-Mixtral-8x7B-Instruct — инструктивная языковая модель VAGO solutions на архитектуре Mixture of Experts (MoE), основанная на mistralai/Mixtral-8x7B-Instruct-v0.1. В метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для диалогов и выполнения инструкций, в том числе для ответов на вопросы и математических задач. Разработчики дообучили её с помощью DPO на немецких данных с аугментацией и переводом, а также на предпочтениях из дополнительных наборов данных. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков; особое внимание уделено естественности формулировок на немецком. В README приведена оценка на тесте German RAG Eval, однако результат не гарантирует точность в реальных сценариях. Разработчики предупреждают, что модель может выдавать неподходящий или некорректный контент. Лицензия Apache 2.0 допускает коммерческое использование при соблюдении её условий.

SEC-1.6-Calme-7B-Instruct — объединённая Arcee AI чат-модель на архитектуре Mistral, созданная с помощью mergekit из arcee-ai/sec-mistral-7b-instruct-1.6-epoch и MaziyarPanahi/Calme-7B-Instruct-v0.2. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста в диалоговом формате. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по запросу. Её контекстное окно составляет 32 768 токенов. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. README описывает слияние методом SLERP с настройками для слоёв self-attention и MLP; отдельных оценок качества или ограничений применения карточка не приводит.

PaweekornSora/SeedX-DIPv2 — дообученная PaweekornSora языковая модель на архитектуре Mistral с 7,2 млрд параметров, созданная на основе ByteDance-Seed/Seed-X-Instruct-7B. Модель предназначена для генерации текста; базовая модель адаптирована для перевода между 28 языками, поэтому перевод — вероятный сценарий применения этой производной версии. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет контекст длиной до 32 768 токенов. Для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель распространяется в формате safetensors по лицензии Apache-2.0.