I.3Извлечение и структурирование данных

NVIDIA-Nemotron-Nano-12B-v2-GGUF — это набор квантованных файлов модели NVIDIA-Nemotron-Nano-12B-v2 в формате GGUF. Исходную модель разработала NVIDIA, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другими клиентами. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, результатах тестирования или сильных и слабых сторонах модели. Лицензия в предоставленных данных не указана. Условия использования следует проверять отдельно для исходной модели NVIDIA-Nemotron-Nano-12B-v2 и опубликованных квантованных файлов.

Ognoexperiment27M7-7B — объединённая текстовая модель на архитектуре Mistral с 7,1 млрд параметров, созданная Maxime Labonne методом DARE-TIES на основе liminerity/M7-7b и automerger/OgnoExperiment27-7B. Она предназначена для генерации текста и диалогов. Модель принимает текст и генерирует текст; размер контекста составляет 32 768 токенов. Модель распространяется в формате safetensors с точностью bfloat16 по лицензии Apache-2.0. Карточка указывает параметры слияния и пример загрузки через Transformers, но не описывает специализацию или результаты оценки качества.

OpenAlpaca — предварительная версия открытой модели для следования инструкциям, разработанная на основе OpenLLaMA. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров; доступны веса PyTorch. Модель дообучена на наборе Databricks Dolly 15k, а исходная версия OpenLLaMA обучалась на 700 млрд токенов. Модель предназначена для генерации текста по пользовательским инструкциям, например для ответов на вопросы, составления текстов и выполнения простых запросов в диалоговом формате. Контекст ограничен 2048 токенами. В README не заявлена поддержка конкретных естественных языков, поэтому языковая специализация не указана. Лицензия — Apache-2.0.

Ornith-Agents-A1-3.7-35B-A3B-dare_ties_v4 — мультимодальная модель, созданная tepirale слиянием предварительно обученных моделей методом DARE TIES. В качестве базовой использована Qwen/Qwen3.6-35B-A3B; в слияние также вошли InternScience/Agents-A1, Qwen/Qwen3.5-35B-A3B и deepreinforce-ai/Ornith-1.0-35B. Модель построена на архитектуре Qwen3.5 MoE, распространяется в формате safetensors и предназначена для диалогов и анализа изображений. Модель принимает текст и изображения и генерирует текст. Карточка не приводит данных о поддерживаемых языках, размере контекста и лицензии, поэтому эти характеристики нельзя уточнить. Использование определяется лицензией репозитория и лицензиями компонентов слияния.

Ornstein 3.5 9B V2 — разговорная плотная модель примерно на 9,65 млрд параметров от DJLougen и GestaltLabs, основанная на Ornstein-3.5-9B-V1.5. Это дообученная модель семейства Qwen 3.5: после supervised fine-tuning версии V1.5 она прошла оптимизацию предпочтений DPO и обучение с проверяемым вознаграждением GRPO на математических задачах. Модель предназначена для многошаговых рассуждений, научных и технических задач, помощи в исследованиях и общего диалога; поддерживает интерфейс вызова инструментов. Модель принимает текст и изображения, а видеовход заявлен в карточке; сохранены vision tower и поддержка через mmproj. Она работает в формате диалога ChatML. В описании приведены высокие результаты на внутреннем тестовом наборе GBS-200 по рассуждениям и научным вопросам, но отмечено снижение результата в задачах программирования относительно V1.5. Доступны веса BF16 и GGUF; лицензия Apache 2.0.

Pirouette-7b — текстовая генеративная модель на архитектуре Mistral, созданная автором репозитория ddh0 путём градиентного слияния SLERP моделей dolphin-2.1-mistral-7b и Noromaid-v0.1.1-13b. По замыслу автора, модель сохраняет основную часть возможностей Dolphin и добавляет некоторые особенности Noromaid. Модель предназначена для диалогов и выполнения инструкций в формате Alpaca. В карточке заявлена длина контекста 32 768 токенов; метаданные указывают 7,1 млрд параметров. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

PlatYi 34B Llama Q V3 GGUF — это квантизированная версия языковой модели PlatYi 34B Llama Q V3, разработанной KyujinHan, подготовленная и опубликованная в формате GGUF пользователем TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через llama.cpp и совместимые пользовательские интерфейсы и библиотеки. В README указан английский язык, а шаблон запросов основан на формате Alpaca. Модель относится к типу Yi и имеет 34 миллиарда параметров. GGUF — формат, ориентированный на запуск на CPU и GPU; доступны варианты квантования от 2 до 8 бит, позволяющие выбирать компромисс между требованиями к памяти, скоростью и качеством. README не содержит сведений о размере контекста, мультимодальности, результатах тестирования или конкретных преимуществах модели, поэтому её сильные стороны можно описать только как возможность локального использования и выбора уровня квантования. К ограничениям относятся потенциальная потеря качества при низкой разрядности и необходимость подбора варианта под имеющееся оборудование. Для запуска подходят llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другие совместимые инструменты. Модель обучалась с использованием набора данных Open-Platypus. Лицензия указана как CC BY-NC-SA 4.0, предусматривающая обязательное указание авторства, некоммерческое использование и распространение производных материалов на тех же условиях.

Pulsar Coder v1 — кодовый ассистент Exo на базе архитектуры Qwen2 с 1,5 млрд параметров. README называет модель обученной с нуля, однако метаданные Hugging Face указывают на дообучение cognitivecomputations/Dolphin3.0-Qwen2.5-1.5B, поэтому происхождение модели в источниках расходится. Модель предназначена для ответов на русском языке и генерации кода на Python, JavaScript и TypeScript, Go, Rust, C++, C#, Java, SQL, Bash, HTML и CSS. Она поддерживает чат; заявленная длина контекста — 131 072 токена. Шаблон чата задаёт идентичность Pulsar по умолчанию. Модель распространяется в формате safetensors по лицензии Apache-2.0. README рекомендует настройки генерации с температурой 0,3–0,7, top_p 0,9 и штрафом за повторы 1,1–1,2, но не приводит результатов оценки качества. Учитывая небольшой размер, пригодность для сложных задач кодирования следует проверять на собственных примерах.

CEIA-POSITIVO/Qwen-1.7B-capado — компактная языковая модель для генерации текста и диалогового взаимодействия, опубликованная в репозитории CEIA-POSITIVO на Hugging Face. По метаданным она относится к семейству Qwen3, использует библиотеку Transformers и содержит около 1,6 млрд параметров. Модель предназначена для продолжения и генерации текста, создания ответов в чатах, прототипирования conversational-приложений и локального запуска задач, не требующих крупной модели. Она поддерживает контекст длиной до 40 960 токенов и распространяется в формате safetensors. README не содержит сведений о разработчике, лицензии, языках обучения, процедуре дообучения, оценивании или специальных предметных областях. Поэтому модель следует рассматривать как универсальную генеративную модель с неполностью документированными характеристиками; перед использованием в продуктивных или чувствительных сценариях необходимы самостоятельные проверки качества, безопасности и соблюдения условий лицензии.

Qwen2-1.5B-Instruct-bnb-4bit — квантизированная 4-битная версия инструкционно настроенной языковой модели Qwen2 объёмом 1,5 млрд параметров, опубликованная организацией Unsloth. Модель предназначена для генерации текста и диалоговых сценариев, а также для дообучения на пользовательских наборах данных с использованием Transformers и инструментов Unsloth. В карточке указаны английский язык и библиотека Transformers. Модель поддерживает обучение через готовые ноутбуки Unsloth, ориентированные на начинающих пользователей; заявлена возможность экспорта дообученных моделей в GGUF и использования с vLLM. Архитектура, размер контекстного окна, перечень модальностей и точные характеристики инференса в README не раскрыты. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти по сравнению с полноразмерными версиями и упрощающее запуск и дообучение на ограниченных GPU-ресурсах. Ограничения включают отсутствие подробных результатов оценки качества, сведений о поддерживаемых языках помимо английского и информации о безопасности или специализированных областях применения. Указана лицензия Apache-2.0.

MaziyarPanahi/Qwen2.5-3B-Instruct-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Qwen2.5-3B-Instruct, разработанной командой Qwen и квантованной MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель содержит около 3 миллиардов параметров и работает в текстовой модальности. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством ответов. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами. Сведения о языках и размере контекстного окна в README не указаны. К сильным сторонам относятся возможность локального запуска, широкий выбор уровней квантования и совместимость с популярной экосистемой GGUF, включая GPU-ускорение и OpenAI-совместимые серверы в некоторых клиентах. Ограничения связаны с потерей качества при использовании более агрессивного квантования, а также с тем, что README не содержит результатов тестирования, подробностей архитектуры, языкового охвата и условий лицензирования. Лицензия в предоставленных данных не указана.

Qwen2.5-3B-Instruct-GGUF — квантованная GGUF-версия языковой модели Qwen2.5-3B-Instruct, разработанной Qwen и подготовленной Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая чат-приложения и развёртывание как локального или серверного сервиса через LlamaEdge. Указан английский язык; модальность — текстовая. Модель содержит около 3 млрд параметров и использует шаблон запросов ChatML. Максимальный размер контекста в конфигурации LlamaEdge составляет 32 000 токенов. Доступны варианты квантования от 2 до 8 бит, f16 и несколько схем GGUF; рекомендуемыми в README названы Q4_K_M, Q5_K_M и Q5_K_S. Квантование уменьшает требования к памяти, однако низкобитные варианты могут заметно терять в качестве, тогда как f16 занимает около 3,09 ГБ. Сильными сторонами модели являются компактный размер, широкий выбор уровней квантования и возможность запуска через LlamaEdge версии 0.14.3 и выше. README не приводит результатов оценки, сведений об архитектуре, кроме формата GGUF и совместимости с LlamaEdge, а также не описывает дополнительные языки или мультимодальные возможности. Модель распространяется по лицензии qwen-research; условия следует уточнять в указанном лицензионном документе Qwen.

Mungert/Qwen2.5-7B-Instruct-GGUF — набор GGUF-квантизованных вариантов Qwen2.5-7B-Instruct, разработанный пользователем Mungert на базе Qwen/Qwen2.5-7B. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск на устройствах с ограниченными ресурсами, CPU, edge-устройствах и системах с небольшим объёмом GPU VRAM. Ключевая особенность набора — сверхнизкобитная квантизация с методом IQ-DynamicGate, использующим адаптивное распределение точности по слоям. Для отдельных частей модели применяются IQ4_XS, IQ2_XXS, IQ3_S и Q5_K, чтобы снизить потребление памяти и ограничить накопление ошибок. README приводит результаты экспериментов на Llama-3-8B-Instruct с контекстом 2048 токенов, поэтому эти показатели нельзя напрямую считать характеристиками Qwen2.5-7B-Instruct. Доступны варианты с очень низкой разрядностью, включая IQ1 и IQ2, а также упоминаются более распространённые форматы квантизации. Сильная сторона модели — существенное сокращение размера и требований к памяти при сохранении более высокой точности по сравнению со стандартной квантизацией той же разрядности; в приведённых тестах улучшение perplexity составило до 43,9%, а разница в скорости была менее 5%. Ограничения включают возможное снижение качества из-за экстремально низкой разрядности, увеличение размера на 0,1–0,3 ГБ относительно стандартных вариантов и отсутствие подробных данных о фактическом контекстном окне, поддерживаемых языках и характеристиках именно Qwen-вариантов. Указана лицензия Apache-2.0.

Qwen3-30B-A3B-MLX-4bit — это преобразованная в формат MLX версия языковой модели Qwen3-30B-A3B. Модель разработана командой Qwen, а конвертацию выполнило сообщество lmstudio-community с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев в средах, поддерживающих библиотеку MLX и пакет mlx-lm. Она имеет обозначение размера 30B-A3B и представлена в 4-битном формате, что уменьшает требования к памяти по сравнению с полноразмерным представлением. README не содержит сведений о точной архитектуре, поддерживаемых языках, длине контекста, мультимодальности, результатах тестирования и специализированных сценариях применения. К сильным сторонам относятся совместимость с экосистемой MLX и сниженный объём памяти благодаря 4-битному представлению. Ограничения связаны с зависимостью от MLX-совместимой среды и возможными потерями качества квантования; конкретные характеристики производительности не указаны. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen3-32B-GGUF — набор GGUF-квантованных вариантов модели Qwen3-32B, подготовленных с помощью llama.cpp. Репозиторий предназначен для локального запуска и инференса текстогенерационной модели, в том числе на системах с ограниченными ресурсами, низким объёмом GPU-памяти, CPU и edge-устройствах. Основной акцент сделан на ультранизкобитной квантовке IQ-DynamicGate с адаптивным распределением точности по слоям в форматах 1–2 бита. Метод сохраняет более высокую точность за счёт использования разных схем квантовки для различных частей модели и защиты embeddings и выходных слоёв. В README приведены результаты для Llama-3-8B-Instruct с контекстом 2048 токенов, однако эти показатели нельзя напрямую считать характеристиками Qwen3-32B. Точные архитектурные параметры, размер контекста, поддерживаемые языки и модальности Qwen3-32B в карточке не указаны. Преимущество набора — существенное снижение требований к памяти при сохранении приемлемого качества, особенно в сценариях, где важна максимальная компактность. Компромиссы включают возможное снижение точности по сравнению с более высокобитными или полноразмерными версиями, а также небольшие накладные расходы на размер и скорость у DynamicGate-вариантов. Модель распространяется по лицензии Apache 2.0.

mlx-community/Qwen3-4B-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B, разработанная сообществом mlx-community и преобразованная в формат MLX из исходной модели Qwen/Qwen3-4B с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе для диалоговых сценариев с применением chat template. В README указано, что модель относится к категории text-generation и основана на Qwen3-4B. Известны её размер класса — 4B параметров, 4-битное представление и формат MLX. Данные о поддерживаемых языках, длине контекста, архитектурных деталях, модальностях, преимуществах и ограничениях не приведены, поэтому их нельзя достоверно оценить по имеющейся информации. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README демонстрирует загрузку модели и генерацию ответа через MLX.

clijo/qwen3-4b-instruct-2507-bf16-reco-grpo-b200-amber-ivory-harbor — дообученная clijo с помощью TRL языковая модель на архитектуре Qwen3 для генерации текста и диалогов. Она предназначена для ответов на вопросы и выполнения инструкций в conversational-формате; в карточке приведён пример генерации ответа на гипотетический вопрос. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и поддерживает контекст до 262 144 токенов. Работает через Transformers; веса опубликованы в формате safetensors. Модель дообучена на базе Qwen/Qwen3-4B-Instruct-2507 методом GRPO. Данных о специализации на конкретной предметной области или языках в карточке нет. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

Модель clijo/qwen3-4b-instruct-2507-bf16-reco-grpo-b200-gentle-blue-orbit — дообученная с помощью TRL версия Qwen/Qwen3-4B-Instruct-2507, разработанная автором репозитория clijo. Это плотная языковая модель примерно на 3,7 млрд параметров с архитектурой Qwen3ForCausalLM, предназначенная для генерации текста в диалоговом формате и выполнения инструкций. В карточке приведён пример запуска через Transformers для ответа на вопрос пользователя. Модель принимает текст и генерирует текст; максимальная длина контекста — 262 144 токена. Метаданные указывают на формат safetensors и возможность диалога. Лицензия и специальные области применения в предоставленных данных не описаны.

Qwen3.5-0.8B-H128-Q4-G32-DOT4 — квантизированная текстовая модель на базе Qwen/Qwen3.5-0.8B, подготовленная Danmoreng для CPU-движка Qwen3.5 CPU. Она предназначена для локальной генерации текста и работы через серверный API совместимых CPU-систем. Артефакт хранится в специальном формате H128/Q4-G32-DOT4 .q35h и не является GGUF-файлом или checkpoint, загружаемым через Transformers. Модель содержит только веса текстового вывода, без vision- и MTP-компонентов. В крупных проекциях используются знаковые Hadamard-преобразования по 128 каналам, группы из 32 четырёхбитных кодов с FP16-масштабами и упаковка под CPU DOT4; KV-кэш работает в FP16, рекуррентное состояние — в FP32. Размер тензорного payload составляет около 424,9 МБ. Квантизация выполнена методом activation-weighted MSE16 с компенсацией ошибок и калибровкой на 256 документах объёмом 262 144 токена, включавших немецкий и английский языки, Python-код, диалоги и математику. Сильные стороны модели — небольшой размер, готовность к CPU-инференсу, отсутствие необходимости в CUDA, Python и BF16-весах во время запуска, а также высокая скорость на поддерживаемом оборудовании. Ограничения включают зависимость от специального Qwen3.5 CPU engine, отсутствие встроенных потокового режима и chat completions endpoint, необходимость предварительно формировать chat-промпты и отсутствие мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

insraq публикует версию EmperoAI Qwen3.8-4B с ослабленным отказом от ответов, созданную инструментом Heretic v1.4.0. В основе — объединение моделей empero-ai/Qwen3.8-4B и Qwen/Qwen3.5-9B; карточка описывает исходную Qwen3.8-4B как дистиллированную модель для рассуждений, математики и следования инструкциям. Репозиторий содержит веса в формате Safetensors для Transformers; метаданные указывают архитектуру Qwen3.5 с плотной моделью и диалоговые возможности. Модель предназначена для диалоговой генерации текста, ответов на инструкции и задач рассуждения. В README указано, что версия рассчитана на текст; визуальные возможности базовой архитектуры не оценивались. Исходная Qwen3.8-4B описана как модель на 4 млрд параметров с контекстом 262 144 токена, однако для данного репозитория эти характеристики прямо не подтверждены. README приводит результаты сравнения отказов: 6 из 100 против 99 из 100 у исходной модели, а также отмечает риск повторяющихся циклов при жадной генерации. Лицензия — Apache-2.0. Модель может выдавать ответы на запросы, от которых исходная версия отказывалась; качество и поведение на визуальных задачах не оценивались в README.

Qwen3.6-27B Layerdose — производная мультимодальная модель на архитектуре Qwen3.5, созданная LayerDose на основе Qwen/Qwen3.6-27B. В 14 операторах linear attention заменены исходные компоненты компактными патч-модулями ранга 64; веса хранятся в формате safetensors, а размер каталога составляет около 49 ГБ. Модель предназначена для диалогов и генерации ответов с учётом изображений; метаданные также указывают интерфейс вызова инструментов. Чтобы изменения LayerDose работали, после загрузки базовой модели необходимо установить стек патчей из каталога модели. Для GGUF требуется модифицированная версия llama.cpp. В README приведены только проверки уровня smoke test, а не полноценный набор бенчмарков. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели и связанных материалах. Основа — Qwen/Qwen3.6-27B; модель новая, карточка опубликована 29 июня 2026 года.

Это текстовый вариант весов Qwen3.6-27B, подготовленный exolabs для запуска через vLLM. Веса получены из GGUF-квантизации Q4_0 модели unsloth/Qwen3.6-27B-GGUF: тензоры деквантованы, преобразованы в формат Hugging Face и сохранены в BF16. Конфигурация и токенизатор взяты из Qwen/Qwen3.6-27B. Модель предназначена для генерации текста и диалогового использования; карточка также указывает интерфейс вызова инструментов. Несмотря на тег image-text-to-text и наличие визуальных возможностей в метаданных, в этом репозитории отсутствует визуальная башня, поэтому автор рекомендует запускать модель только в текстовом режиме. Проверена загрузка и краткая генерация в Transformers и vLLM; в README приведена конфигурация с контекстом до 4096 токенов. Данные о лицензии и поддерживаемых естественных языках в предоставленных источниках отсутствуют.

Модель stamsam/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-MLX-oQ4-MTP представляет собой 4-битную конверсию и квантизацию для локального вывода в MLX/oMLX. Она основана на Qwen3.6-35B-A3B и чекпойнте, дистиллированном из Claude Opus 4.7; новую тренировку или дообучение автор не проводил. Разработчик конверсии — stamsam, при этом в README указаны вклад авторов базовой модели, исходного дистиллированного чекпойнта и сообщества MLX/oMLX. Модель предназначена для генерации текста и задач рассуждения при локальном запуске, прежде всего на компьютерах Apple Silicon с использованием oMLX. Архитектура — MoE с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров на токен. Используется формат MLX oQ4 с 4-битной квантизацией и размером группы 64. Сохранены и проверены тензоры MTP, включая один дополнительный скрытый слой; нативная поддержка MTP подтверждена только в oMLX. Языки, размер контекста и мультимодальность в карточке не указаны. Сильные стороны модели — низкие требования к памяти по сравнению с полноразмерной версией, адаптация для локального вывода на Apple Silicon и потенциальное ускорение за счёт MTP. На M5 Pro с 48 ГБ объединённой памяти в локальном тесте oMLX достигнута средняя скорость около 89,9 токена в секунду с MTP против 86,0 без него, однако эти результаты не являются универсальным бенчмарком. Ограничения включают экспериментальный статус конверсии, зависимость MTP от конкретной среды выполнения и возможность генерации длинных цепочек рассуждений. Лицензия — Apache-2.0; перед распространением или коммерческим использованием рекомендуется дополнительно проверить условия upstream-моделей и политики использования данных учителя.

Qwen3.6-35B-A3B · Winnow keep-25 — производная разреженная модель семейства Qwen, созданная методом поканального прореживания экспертов. По README, разработчик оставил 25% каналов маршрутизируемых экспертов, удалив 75%; промежуточная ширина SwiGLU экспертов сокращена по оценкам важности каналов, а внимание, эмбеддинги и маршрутизатор сохранены. В карточке указано 2,9 млрд параметров, тогда как README сообщает 10,5 млрд, поэтому размер модели в источниках расходится. Модель предназначена для генерации текста и диалогового использования. Указанный базовый чекпойнт — Qwen/Qwen3.6-35B-A3B; заявленное контекстное окно — 262 144 токена. Для запуска README требует Transformers версии 5 или новее и trust_remote_code=True; также описан запуск через vLLM с плагином winnow. На проверке perplexity на C4 приведено значение 22,53; сравнительные и downstream-результаты вынесены в отдельную публикацию. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о поддерживаемых языках и не даёт подробной оценки качества для прикладных задач; прореживание может влиять на качество относительно базовой модели.

Qwen3.8-27B-Heretic-GSQ-RCO-GGUF — семейство неравномерно квантованных GGUF-моделей, разработанное 0bserverx на базе Qwen3.8-27B-Heretic-Abliterated-Uncensored. Модель предназначена для генерации текста и запуска локально через llama.cpp, Ollama или LM Studio. Варианты включают стандартные веса и версии с встроенной головой Qwen3.8 MTP/NextN для спекулятивного декодирования. Модель содержит 27B параметров; каждый из 851 тензора получает собственный тип квантования по схеме RCO, с использованием официальной importance matrix и инструментов llama.cpp. Доступны варианты с целевой точностью 2,50–3,50 bpw и размером от 8,45 до 11,80 ГБ, а MTP-версии требуют примерно на 0,42 ГиБ больше. Версия IQ3_S показывает perplexity 6,1778 на wikitext-2, что на 0,95% выше эталона F16; заявленная скорость генерации составляет до 90 токенов в секунду для IQ3_S и до 150 токенов в секунду для IQ3_S-mtp в указанной конфигурации. Сильными сторонами являются низкие требования к памяти, высокая сохранность качества при 3,50 bpw и возможность спекулятивного декодирования. Ограничения связаны с компромиссом между размером, качеством и скоростью у более компактных вариантов, а также с тем, что опубликованная реализация воспроизводит распределение квантования RCO, но не полный refinement-проход GSQ. Модель основана на abliteration и позиционируется как uncensored; README сообщает о 0–1 отказах из 100 тестов, но не описывает методику оценки. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next MLX 4bit — локальная MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем nopmobiel. Модель разработана командой Qwen и предназначена для локального мультимодального общения, генерации текста и понимания изображений на компьютерах Apple с поддержкой MLX. Модель поддерживает текстовые и визуальные входные данные; в README указаны теги vision-language и совместимый с Qwen3-VL процессор. Языковые веса квантизированы в affine 4-bit с размером группы 64, embedding PLE n-gram — в affine 4-bit с размером группы 32, маршрутизирующие MoE-гейты — в 8-bit с размером группы 64, а vision tower работает в BF16. Контекстное окно, точный размер модели и перечень поддерживаемых языков не указаны. Тензоры для native MTP и speculative decoding в контрольную точку не включены. Сильные стороны модели — локальная работа, поддержка изображений, заметная скорость генерации на Apple M5 Max и совместимость с MLX-VLM и экспериментальным runtime LM Studio. Ограничения включают необходимость специальной поддержки Qwen4-Exp в runtime, экспериментальную интеграцию с LM Studio и высокие требования к памяти: измеренный пиковый расход составляет около 104,1 ГБ, поэтому модель не рекомендуется для Mac с меньшим объёмом памяти. Лицензия указана как qwen-community-1.0; применяются условия лицензии Qwen, доступной по ссылке в карточке модели.

Furiosa AI публикует эту версию Qwen3-Reranker-4B вместе с Furiosa Executable Bundle для запуска на ускорителе FuriosaAI RNGD через Furiosa-LLM. В основе — плотный трансформер Qwen3 с 3,7 млрд параметров; модель принимает текстовый запрос и набор документов-кандидатов, оценивает их релевантность и помогает упорядочить результаты поиска. Контекст модели — до 40 960 токенов. Модель предназначена для второго этапа поиска, в том числе для reranking в RAG-системах. README указывает на BF16 без квантизации и поддержку параллелизма по тензорам на одном RNGD с восемью PE. Репозиторий также сообщает о совместимости с Sentence Transformers, vLLM и Transformers. Лицензия — Apache 2.0. Метаданные указывают английский язык карточки; базовая модель описана как мультиязычная, поэтому она подходит для ранжирования текстов на разных языках, хотя конкретный перечень языков здесь не приведён.

Lipdog/Qwen3-Reranker-4B-mlx-fp16 — модель ранжирования текстов на базе Qwen3 с 3,7 млрд параметров, подготовленная для запуска в формате MLX. README указывает, что она получена конвертацией Qwen/Qwen3-Reranker-4B с помощью mlx-lm версии 0.28.3. Модель оценивает релевантность текстовых кандидатов запросу и предназначена для сортировки результатов поиска и других задач ранжирования. Модель принимает текст и выдаёт оценки релевантности, которые можно использовать для упорядочивания документов или ответов. Она поддерживает контекст длиной до 40 960 токенов; метаданные указывают задачи text-ranking и text-generation, но основное назначение — реранжирование. Репозиторий распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-VL-235B-A22B-Instruct-NVFP4 — квантизированная версия мультимодальной модели Qwen3-VL-235B-A22B-Instruct, разработанной Alibaba Cloud и оптимизированной RedHatAI. Модель предназначена для генерации текста и развертывания в сценариях инференса с использованием vLLM; README также указывает улучшения базовой модели в понимании и генерации текста, визуальном восприятии и рассуждении, работе с пространственной и видеодинамикой и взаимодействии с агентами. Для данной карточки заявлены текстовые входы и текстовые выходы, поэтому возможности обработки изображений и видео здесь явно не подтверждены как доступные в развернутой версии. Модель имеет 235B параметров и архитектуру Qwen3-VL с конфигурацией A22B. Веса и активации линейных операторов в блоках трансформера квантизированы в FP4 с помощью LLM Compressor. Это примерно на 75% уменьшает размер на диске и требования к памяти GPU по сравнению с представлением FP16. Модель подготовлена для инференса в vLLM версии 0.9.1 и выше и проверена с vLLM 0.13.0, RHOAI 3.3 и RHAIIS 3.3. Максимальная длина контекста в README не указана; калибровка выполнялась на последовательностях длиной до 8192 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам и совместимость с эффективным серверным развертыванием через vLLM, включая OpenAI-совместимый режим обслуживания. README перечисляет английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский как языки, однако использование модели на языках, отличных от английского, отдельно обозначено как выходящее за рамки поддерживаемого применения. Квантизация может влиять на качество относительно неквантизированной версии, хотя модель оценивалась в сравнении с ней; конкретные результаты оценки не приведены. Лицензия — Apache-2.0, с ограничением не использовать модель в нарушение применимых законов и нормативных требований.

le723z/Rearank-7B — модель для повторного ранжирования результатов поиска с использованием пошагового рассуждения. Она создана на базе Qwen2.5-7B-Instruct и дообучена методом GRPO на наборе данных из 179 запросов для задачи reranking; работа описана в статье REARANK: Reasoning Re-ranking Agent via Reinforcement Learning. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и принимает текст; заявленный размер контекста — 32 768 токенов. Модель предназначена для оценки и упорядочивания текстовых кандидатов относительно запроса, например при поиске документов или подготовке контекста для RAG. Основной тег Hugging Face — text-ranking; метаданные также указывают text-generation. Репозиторий использует формат safetensors, библиотеку Transformers и лицензию Apache-2.0. Карточка сообщает об обучении на небольшом наборе из 179 запросов, поэтому качество и переносимость на другие задачи и домены могут быть ограничены.