II.8Инженерия данных и аналитика

Qwen3-VL-12B-Instruct-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель, разработанная DavidAU на базе Qwen3-VL-Instruct с адаптером Brainstorm 20x. Модель распространяется в формате GGUF с квантованием NEO Imatrix и выходным тензором MAX с точностью 16 бит. Она предназначена для диалогов, генерации и анализа кода, решения многошаговых задач, работы с изображениями и их описания, а также творческих сценариев. Поддерживаются текстовые и визуальные входы; в карточке также заявлена обработка видео. Указанный язык — английский. После добавления адаптера размер модели увеличен с 8B до 12B; заявлены 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, совместимый с основной квантованной моделью, а оба файла должны находиться в одной папке. Поддерживаются Jinja или CHATML-шаблон; модель проверялась в LM Studio и Koldboldcpp. Сильными сторонами заявлены улучшение генерации текста и описаний изображений за счёт Brainstorm 20x, хорошие результаты на ряде задач логического и commonsense-рассуждения, а также пригодность для сложного программирования и пошагового уточнения решений. Ограничением является склонность к зацикливанию; README рекомендует повышать temperature и использовать repetition или presence penalty. Для сложных задач предпочтительны варианты Q6 или Q8, однако конкретные требования к памяти и производительности не указаны. Лицензия — Apache-2.0.

Qwen3-VL-32B-Instruct — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen; этот репозиторий содержит её веса в формате safetensors. Модель принимает текст и изображения, а также предназначена для анализа видео и диалога с визуальными данными. Вариант Instruct поддерживает чат и интерфейс вызова инструментов. Модель рассчитана на визуальные вопросы и ответы, OCR и разбор структуры документов, понимание видео, пространственное рассуждение, STEM-задачи и генерацию кода интерфейсов по изображениям или видео. Заявлена длина контекста 256 тысяч токенов с возможностью расширения до 1 миллиона. Для распознавания текста заявлена поддержка 32 языков, но их перечень в предоставленных данных отсутствует. К архитектурным особенностям относятся Interleaved-MRoPE для пространственных и временных позиций и DeepStack для объединения признаков ViT. Модель распространяется по лицензии Apache-2.0. Заявленные возможности описаны в карточке; независимые результаты оценки качества в предоставленных данных не приведены.

JC1DA/Qwopus3.8-27B-Flash-INT4-W4A16 — экспериментальная 4-битная версия модели Qwopus3.8-27B-Flash, разработанной Jackrong на основе Qwen/Qwen3.8-27B. Модель ориентирована на генерацию текста, диалоговые сценарии, рассуждения, написание кода, агентские рабочие процессы, использование инструментов и function calling. Заявлена поддержка английского, китайского, испанского, русского и японского языков. В карточке также указан мультимодальный pipeline image-text-to-text и сохранённый visual encoder, однако подробности о возможностях работы с изображениями не приведены. Квантование выполнено с помощью AutoRound 0.12.3 и GPTQ: 4 бита для весов, 16 бит для активаций, размер группы 128. Размер модели составляет около 19 ГБ вместо примерно 54 ГБ в FP16, что уменьшает объём памяти приблизительно на 65%. В FP16 сохранены проекционные матрицы linear attention во всех 64 слоях, модуль MTP и visual encoder. Модель совместима с Transformers и другими средами, поддерживающими GPTQ/AutoRound, а также предназначена для высокопроизводительного сервинга через vLLM. Сильные стороны модели — сниженное потребление памяти, пригодность для локального запуска, длительных агентских сценариев и speculative decoding. На ARC-Easy квантованная версия показала 84,13% точности против 83,71% у FP16-версии. Ограничения включают возможный компромисс между эффективностью и точностью: в указанном наборе MMLU-Pro модель получила 91,28% против 92,73% у базовой Qwen3.8. Возможны нестабильность рассуждений, циклы и неэффективные траектории; качество применения инструментов зависит от промпта, окружения и оркестрации. Релиз обозначен как экспериментальный и предназначен для исследований, локальной оценки и технических экспериментов. Лицензия — Apache-2.0.

QwQ-32B-AWQ — 4-битная AWQ-квантизированная версия reasoning-модели семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста и решения сложных задач, где важны пошаговое рассуждение и повышенная точность, включая математические задачи, вопросы с вариантами ответа, диалоговые сценарии и другие задачи, требующие анализа. Она основана на Qwen2.5 и обучалась с использованием предварительного обучения, supervised fine-tuning и reinforcement learning. Это каузальная языковая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений в QKV-проекциях внимания. Модель содержит около 32,5 млрд параметров, из которых 31 млрд не относятся к эмбеддингам, 64 слоя и механизм GQA с 40 головами для Q и 8 для KV. Заявленная длина контекста составляет до 131 072 токенов, однако для входов длиннее 8192 токенов рекомендуется включать YaRN. В карточке указаны поддержка английского языка и текстовая модальность; модель доступна для запуска через совместимые инструменты экосистемы Hugging Face и рекомендуется к развёртыванию с vLLM. Сильными сторонами модели являются ориентация на рассуждение, конкурентоспособность с современными reasoning-моделями сопоставимого класса и сниженные требования к памяти благодаря 4-битной квантизации. Ограничения включают возможные повторы при жадной декодировке, необходимость подбора параметров sampling и потенциальное ухудшение производительности на коротких текстах при статическом YaRN. Модель распространяется по лицензии Apache-2.0.

Swift-Qwen3.8-27B-GGUF — квантованная GGUF-версия модели Swift-Qwen3.8-27B, разработанной UkisAI на базе Qwen3.8-27B. Модель ориентирована на задачи рассуждений, включая общее reasoning, математику, следование инструкциям и программирование. В метаданных также указан сценарий image-text-to-text, однако подробности о поддерживаемых визуальных входах в README не приведены. Ключевая особенность модели — сокращение числа thinking-токенов: по заявлению разработчика, их требуется на 58,3% меньше при потере качества менее 1% и ускорении примерно в 1,95 раза на ряде задач. В опубликованных сравнениях с базовой моделью результаты Swift близки к исходным на GPQA-Diamond, MMLU-Pro, C-Eval, IFBench и математических бенчмарках. Размер модели — 27B параметров; формат GGUF предназначен для использования с экосистемой llama.cpp и совместимыми средствами запуска. Сведения о контекстном окне и языках в README отсутствуют. Модель может быть полезна там, где важны качество рассуждений, экономия вычислений и сокращение задержки ответа. Ограничения включают некоторое снижение результатов на отдельных тестах, а также отсутствие в предоставленных данных подробных требований к оборудованию и характеристик квантования. Указана лицензия swift-open-license-1.0; README также содержит ссылку на условия лицензии и упоминает enterprise-лицензирование, поэтому перед коммерческим использованием следует проверить полный текст условий.

Yi-1.5-6B — базовая языковая модель семейства Yi, разработанная 01.AI. Она создана на архитектуре Llama с плотной архитектурой и содержит 5,8 млрд параметров; модель распространяется в формате safetensors. Для версии в этом репозитории метаданные указывают контекст до 4096 токенов. Модель предназначена для генерации текста и может служить основой для задач понимания языка, чтения, следования инструкциям, рассуждений, математики и программирования. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и настройку на разнообразных примерах, однако README не уточняет отдельные результаты именно версии 6B. Лицензия репозитория — Apache-2.0. В предоставленных данных не заявлена мультимодальная поддержка.

Dolphin-2.6-FC_Hermes-2-Pro — объединённая модель, созданная с помощью LazyMergekit из cognitivecomputations/fc-dolphin-2.6-mistral-7b-dpo-laser и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и примерно 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов по текстовым запросам. Наследует ориентированные на инструкции и диалоговые сценарии возможности базовых моделей; описание базовой модели в каталоге также указывает на вызов функций и генерацию структурированного JSON. Заявленная длина контекста — 32 768 токенов. Файлы опубликованы в формате Safetensors. Языковая поддержка, лицензия и отдельные ограничения в предоставленных материалах не описаны.

Eidolon-v1-14B — объединённая методом SLERP языковая модель семейства Qwen2.5 от Lambent, созданная с помощью mergekit из двух моделей arsenic. Она предназначена для диалогов, генерации текста и выполнения инструкций; в метаданных также заявлен интерфейс для вызова инструментов. Модель содержит 14 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В README указано, что модели в объединении прошли abliteration и DPO; автор отмечает возможные проблемы с отказами на нежелательные запросы и необходимость подбирать системный промпт под сценарий. EQ-bench показал 76,1336 балла, но автор сообщает о проблемах с синтаксисом тестирования. Модель доступна в формате safetensors; лицензия в предоставленных данных не указана.

mlx-community/gemma-4-e2b-it-qat-OptiQ-4bit — квантованная версия модели Gemma 4 E2B, разработанной Google и адаптированной сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. В основе лежит quantization-aware-trained модель google/gemma-4-E2B-it-qat-q4_0-unquantized. Модель предназначена для локальной генерации текста на устройствах Apple Silicon, включая задачи общего понимания и генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и работы с агентными сценариями. Также поддерживается мультимодальный режим image-text-to-text через vision-компонент в формате bf16; текстовый режим загружается через mlx-lm, а обработка изображений — через mlx-optiq. Используется смешанная разрядность: большинство компонентов имеют точность 4-bit, чувствительные слои — 8-bit. Всего квантовано 276 компонентов, достигнуто 5,24 bits per weight, размер модели на диске составляет около 4,9 ГБ. Квантование выполнено с группой 64 и распределением битов на основе чувствительности слоёв. По заявленным тестам модель превосходит равномерную 4-bit-квантизацию той же базы по среднему Capability Score: 57,23 против 55,14; особенно заметен выигрыш в HumanEval и тесте длинного контекста HashHop. При этом в IFEval результат немного ниже, чем у равномерной 4-bit-версии. Контекстное окно и полный перечень поддерживаемых языков в README не указаны. Модель ориентирована на локальное использование без PyTorch и облачных сервисов, преимущественно на Apple Silicon. Доступна по условиям Gemma Terms of Use; применимые условия также зависят от лицензии базовой модели Google Gemma.

GLM-4.5-Air-Derestricted — диалоговая модель Arli AI, полученная модификацией GLM-4.5-Air методом Norm-Preserving Biprojected Abliteration. Изменение направлено на удаление отказов при сохранении способности исходной модели к рассуждению. По карточке каталога модель имеет архитектуру GLM4 MoE, 8,5 млрд параметров и контекст до 131 072 токенов; поддерживает диалоговый режим и работает через Transformers. Модель предназначена для генерации ответов в диалоге, рассуждений, программирования и сценариев интеллектуальных агентов, унаследованных от GLM-4.5-Air. Автор заявляет, что метод модификации сохраняет нормы весов и качество рассуждений, однако это заявление не подтверждено приведёнными в карточке результатами оценки именно этой версии. Модель распространяется по лицензии MIT; базовая GLM-4.5-Air описана как гибридная модель с режимами рассуждений и работы с инструментами.

NANI-Nithin/Instella-MoE-16B-A3B-Think-GGUF — набор GGUF-квантизаций модели Instella-MoE-16B-A3B-Think, разработанной AMD. Модель предназначена для рассуждений, генерации текста, программирования и выполнения общих инструкций, включая локальный запуск на рабочих станциях, CPU, GPU и периферийных устройствах через совместимые среды llama.cpp. Это MoE-модель архитектуры Instella-MoE, производная от семейства DeepSeek-V3, примерно с 16 млрд общих параметров и около 3 млрд активных параметров на токен. Она является текстовой, англоязычной моделью с контекстом до 32 768 токенов в указанном примере запуска. Репозиторий содержит варианты от Q2_K до Q8_0, IQ-квантизации и BF16; квантизация позволяет снижать требования к памяти с соответствующим компромиссом между качеством и размером. Ключевое ограничение — отсутствие поддержки Instella-MoE в основной ветке llama.cpp на момент подготовки файлов. Для запуска требуется форк llama.cpp с веткой instella-moe либо будущая версия с полной поддержкой архитектуры, включая Gated Attention и FarSkip. Лицензия модели указана как Apache-2.0.

Meta Llama 3 70B Instruct — диалоговая большая языковая модель, разработанная Meta и настроенная для общения с пользователем. Она принимает текст и генерирует текст, включая программный код, поэтому подходит для чат-ассистентов и других сценариев генерации на естественном языке. Модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и содержит 70 млрд параметров. Инструктивная версия использует supervised fine-tuning и обучение с подкреплением на основе обратной связи от людей. В карточке указано назначение прежде всего для английского языка; модель статична и обучена на офлайн-данных. Модель можно применять в коммерческих и исследовательских проектах на условиях лицензии Llama 3 Community License и соответствующей политики допустимого использования. Она не предназначена для применения на языках, отличных от английского, хотя разработчики могут дообучать её для других языков при соблюдении условий лицензии. Для конкретного приложения потребуются собственные меры безопасности; ответы модели могут содержать ошибки или небезопасные сведения.

Meta Llama 3 8B Instruct — языковая модель Meta на 8 млрд параметров для диалоговых сценариев. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с подкреплением на основе оценок людей. Модель принимает текст и генерирует текст, в том числе код. Модель предназначена для ассистентского общения и генерации текста на английском языке, в коммерческих и исследовательских приложениях. Она подходит для создания чат-ботов и ответов на запросы; качество и безопасность ответа зависят от сценария и настроек приложения, поэтому для конкретного применения могут потребоваться дополнительные меры защиты. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

RippaSats/MiniMax-M3 — мультимодальная модель семейства MiniMax M3, представленная в формате safetensors и рассчитанная на работу с текстом и изображениями. В README заявлены около 428 млрд параметров, примерно 23 млрд активируемых параметров и контекст до 1 млн токенов. Архитектура использует разреженное внимание MiniMax Sparse Attention (MSA), предназначенное для снижения вычислительных затрат и потребления памяти при длинном контексте; авторы также заявляют ускорение обработки длинного контекста по сравнению с M2. Модель предназначена для диалогов с изображениями, задач программирования и длительных агентных сценариев. README также описывает обучение на смеси модальностей с самого начала и заявляет поддержку видео, однако метаданные модели подтверждают только задачу image-text-to-text и возможности чата и зрения. README рекомендует использовать MiniMax Agent или MiniMax API. Репозиторий указывает лицензию other, поэтому конкретные условия использования следует проверять в приложенных лицензионных материалах.

Это версия NVIDIA Nemotron 3 Nano 30B A3B, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple Silicon. Модель преобразована из nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью mlx-lm 0.29.1; в названии указано 4-битное представление. Это диалоговая языковая модель NVIDIA с разреженной архитектурой MoE: 30 млрд параметров всего, около 3 млрд активных на токен. Модель предназначена для генерации текста в чате, рассуждений, программирования и агентных приложений. Карточка и метаданные указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. В README не приведены отдельные сведения о длине контекста этой версии. Репозиторий распространяется по лицензии «other»; для условий использования следует обратиться к лицензии базовой модели NVIDIA.

Это 6-битная квантизированная версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio с помощью mlx_lm для работы на устройствах Apple Silicon. Модель основана на NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; архитектура исходной модели сочетает гибридный подход и MoE с 30 млрд параметров, из которых около 3 млрд активируются на токен. Исходная модель рассчитана на диалоги, рассуждения, программирование и создание агентных приложений, поддерживает длинный контекст и шесть языков: английский, испанский, французский, немецкий, японский и итальянский. Эту сборку можно использовать для генерации текста, диалогов и вызова инструментов в приложениях на Apple Silicon. Квантизация уменьшает требования к памяти по сравнению с BF16, но может влиять на точность ответов. В README не приведены длина контекста и условия лицензии именно для этой сборки; лицензия в метаданных обозначена как other. Модель может выдавать неточные или нежелательные ответы.

Это конвертированная в формат MLX 8-битная версия NVIDIA Nemotron 3 Nano 30B A3B, подготовленная сообществом mlx-community из исходной модели NVIDIA в формате BF16 с помощью mlx-lm 0.29.1. Модель предназначена для генерации текста в диалоговом формате; базовая модель описана как средство для рассуждений, программирования и создания агентных приложений. В метаданных заявлена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Репозиторий помечен как safetensors, а описание указывает на 8-битное представление весов для запуска через MLX. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в лицензии исходной модели.

Occiglot-7B-FR-EN-Instruct — генеративная языковая модель с 7 млрд параметров, разработанная исследовательским коллективом Occiglot при поддержке подразделений DFKI SAINT и SLT. Это instruct-версия модели occiglot-7b-fr-en, предназначенная для диалогового взаимодействия и выполнения инструкций на английском и французском языках, а также для работы с кодом. Модель доступна в формате GGUF и распространяется по лицензии Apache 2.0. Модель построена на архитектуре авторегрессионного decoder-only Transformer, а её токенизатор унаследован от Mistral-7B-v0.1. Для дообучения использовались 160 млн дополнительных токенов мультиязычных и кодовых инструкций, включая англоязычные и франкоязычные наборы Open-Hermes-2B, Bactrian-X, AI-Society Translated, GT-Dorimiti, OASST-2 и Aya-Dataset. Обучение выполнялось с контекстом 8192 токена и шаблоном диалогов ChatML. Сильная сторона модели — специализация на английском и французском языках при сохранении возможностей генерации кода и следования инструкциям. Она может применяться для чат-ботов, ответов на вопросы, генерации и преобразования текста, а также вспомогательных задач программирования. При этом проект позиционируется как открытое исследование, а README предупреждает, что модель не проходила safety alignment и может генерировать проблемный или небезопасный контент. Результаты оценки следует интерпретировать с осторожностью, поскольку часть неанглоязычных тестов основана на машинном переводе и англоязычных запросах.

Карточка модели Zidane29/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

geoffmunn/Qwen3-4B-f16 — конверсия языковой модели Qwen3-4B от Alibaba в формат GGUF для локального запуска через llama.cpp и совместимые приложения. Модель содержит около 4 млрд параметров и предназначена для диалогов, рассуждений, агентных сценариев, генерации кода и многоязычных задач; карточка также приводит варианты квантования и сравнение их скорости, размера и качества. Модель принимает текст и генерирует текст. В карточке заявлена поддержка английского, китайского, испанского, французского, немецкого, русского, арабского, японского, корейского и хинди. Для некоторых вариантов требуется специальная сборка llama.cpp; доступная длина контекста в этой версии снижена ради скорости. Репозиторий распространяется по лицензии Apache-2.0. Автор конверсии — Geoff Munn; проект не связан с Alibaba или командой Qwen.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2-GGUF — мультимодальная модель, разработанная Jackrong на базе Qwen/Qwen3.5-27B. Это дообученная версия с фокусом на эффективное рассуждение и генерацию текста по изображениям и текстовым запросам; модель рассчитана на conversational-сценарии, решение математических и логических задач, работу с инструкциями, общими знаниями и программированием. Доступен формат GGUF для запуска с llama.cpp и совместимых инструментов, а также поддержка экосистемы Transformers и Unsloth. Заявлены языки English, Chinese и Korean, однако сведения о размере контекста в README отсутствуют. В версии v2 использовано около 14 000 образцов рассуждений в стиле Claude 4.6 Opus, с акцентом на короткие и переносимые шаблоны рассуждений. По данным автора, на HumanEval достигнуто 96,91% pass@1 при примерно 24% меньшей длине цепочки рассуждений и на 31,6% большем числе корректных решений на токен по сравнению с базовой моделью. При этом отмечено снижение результатов на HumanEval+ на 1,24% и на MMLU-Pro на 7,2%; модель может уступать базовой версии в задачах, требующих длинного контекста, сложного многошагового рассуждения и более широких общих знаний. Приведённые оценки получены в условиях инференса BF16 с Unsloth и vLLM и не гарантируют аналогичные результаты в других конфигурациях. Модель распространяется по лицензии Apache-2.0. README не содержит подробных требований к аппаратному обеспечению, точного размера контекстного окна и исчерпывающей информации о возможностях или ограничениях мультимодального ввода.

Qwen3.5-9B-Theseus-GGUF — это GGUF-квантизация модели Qwen3.5-9B-Theseus, выполненная mradermacher; исходная модель разработана nightmedia. Модель основана на архитектуре Qwen3.5 с примерно 9 млрд параметров и распространяется в форматах GGUF с различными уровнями квантизации, включая Q2_K–Q8_0, IQ4_XS и f16. Для некоторых конфигураций доступны мультимодальные дополнения mmproj, поэтому модель может использоваться в мультимодальных сценариях при наличии соответствующего файла. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, рассуждений, творческого и художественного письма, сторителлинга и ролевых сценариев. В README заявлена поддержка английского, китайского, японского и испанского языков, а также контекст до 256k или 1M токенов, однако точные возможности зависят от исходной модели и используемой конфигурации. К сильным сторонам относятся широкий выбор квантизаций, возможность запуска в ресурсоограниченных средах и наличие вариантов, ориентированных на скорость или качество; при этом более сильная квантизация может снижать качество, а мультимодальность требует отдельного mmproj-файла. Модель имеет экспериментальные характеристики, поэтому её качество и совместимость следует проверять для конкретных задач. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-128E-Pruned-GGUF — экспериментальная GGUF-версия модели Qwen3.6-35B-A3B, созданная пользователем xero0000 на основе официальной модели Qwen/Qwen3.6-35B-A3B. Это неофициальный исследовательский артефакт, предназначенный для локального запуска и тестирования задач генерации текста, включая программирование, работу агентных систем, JSON, математику и вызовы инструментов. Модель распространяется в форматах квантования от Q8_0 до IQ1_S и рассчитана на использование с llama.cpp и совместимыми движками. Архитектура представляет собой разреженную mixture-of-experts (MoE) модель: в каждом из 40 MoE-слоёв число экспертов сокращено с 256 до 128, при этом для каждого токена сохраняются 8 активных экспертов. Такое прореживание уменьшает размер файлов и требования к памяти, но не сокращает число матричных операций активных экспертов на токен. Доступны варианты размером примерно от 3,95 до 18,39 GiB; конкретные характеристики качества и скорости зависят от квантования и оборудования. Калибровка прореживания была небольшой и смещённой в сторону задач программирования и агентного использования, поэтому результаты на других сценариях требуют самостоятельной проверки. Наиболее сбалансированным вариантом автор считает Q5_K_M: он прошёл 8 из 8 локальных проверок при заявленном росте perplexity на 1,05%. Q8_0 служит эталонным прунинг-вариантом, тогда как варианты Q3 и ниже имеют более заметные потери качества и требуют осторожного тестирования; IQ1_M и IQ1_S являются экспериментальными однобитными вариантами с низкими результатами проверок. Приведённые оценки являются локальным smoke-тестом и не заменяют комплексные бенчмарки или проверки безопасности. Лицензия — Apache-2.0; лицензия базовой модели также должна учитываться при использовании.

Robinson Labs выпустила доработанную версию Qwen3.6-35B-A3B — мультимодальной модели семейства Qwen с архитектурой MoE, примерно 35 млрд параметров и бюджетом около 3 млрд активных параметров. Веса представлены в bf16 в формате sharded safetensors для Transformers. Модель принимает текст и изображения и предназначена для диалогов, вызова инструментов, программирования и анализа изображений; в README также заявлено сохранение поддержки спекулятивного декодирования MTP/NextN для совместимых сред выполнения. В модели ослаблен отказ на взрослые и творческие запросы методом ортогонализации весов; при этом авторы заявляют о сохранении защитных ограничений для запросов о самоповреждении и реальных противоправных действиях. В собственных небольших проверках разработчика модель реже отказывала на общем наборе запросов, а на тесте детской безопасности отклоняла все проверенные запросы; размер этих тестов ограничен и не подтверждает поведение во всех ситуациях. Модель не предназначена для всех аудиторий. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B — это квантизированная и подвергнутая экспертному прунингу языковая модель для генерации текста, разработанная сообществом mlx-community на базе mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit. Модель использует архитектуру Mixture-of-Experts: в каждом слое сохранено 128 из 256 экспертов, при этом для каждого токена активируются 8 экспертов. Число параметров уменьшено с 35,1 до 18,8 млрд, размер на диске составляет 13,8 ГБ, а пиковое потребление памяти — около 11,6 ГБ. Данные о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для локального запуска и генерации текста на устройствах Apple Silicon через MLX, а также для задач следования инструкциям, математических рассуждений, вызова функций и генерации кода. Прунинг выполнен методом REAP без деквантизации, повторной квантизации или дообучения; активные параметры на токен и скорость декодирования сохраняются, а скорость в указанном сравнении выросла с 47,0 до 54,7. По сравнению с исходной моделью Capability Score снизился с 80,03 до 76,57; особенно заметно падение на MMLU, тогда как результаты GSM8K и IFEval улучшились. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored-W4A16-AutoRound — это 40-миллиардная языковая модель для генерации текста, кода, рассуждений и творческих ответов. Она основана на модели DavidAU Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored и квантизирована с помощью Intel AutoRound. Заявлены языки английский, китайский, русский, украинский, греческий и иврит; модель поддерживает текстовую генерацию и визуальную башню, однако подробности мультимодального применения в README не описаны. Используется схема W4A16: 4-битные веса и 16-битные активации, размер группы 64, симметричная квантизация. Размер модели составляет около 38 ГБ против примерно 80 ГБ в BF16. Архитектура гибридная: 72 слоя линейного внимания Gated DeltaNet с Mamba SSM и 24 слоя полного внимания; сохранены MTP-компоненты для многотокенного предсказания и speculative decoding. Для запуска рекомендуются vLLM или SGLang, при этом в примерах указан контекст до 32768 токенов. Для квантизации использовалась длина последовательности 2048. По данным README, модель ориентирована на программирование, математические и логические задачи, рассуждения, длинные ответы и творческое письмо, включая русскоязычные тексты. Заявлены скорость около 35–47 токенов в секунду, рабочий MTP=3 в vLLM и возможность запуска на нескольких GPU, например двух ускорителях по 24 ГБ. Ограничения включают высокие требования к памяти, необходимость много-GPU конфигурации для комфортной работы, зависимость производительности от контекста и принятия MTP-токенов, а также обязательный batch size 1 при квантизации из-за особенностей гибридного внимания. Для SGLang MTP не работает при pipeline parallelism с PP=3. Лицензия модели наследуется от базовой модели; для AutoRound в README указана Apache-2.0. Отдельная лицензия базовой модели явно не приведена, поэтому условия коммерческого и иного использования следует уточнять в её репозитории.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-NVFP4 — исследовательский производный чекпойнт, разработанный Blackfrost на базе официальной Qwen/Qwen3.8-27B. Это не дообученная модель, а модифицированная на уровне весов версия с уменьшенной поверхностью отказов, предназначенная для исследований, red teaming, анализа безопасности, программирования, рассуждений, работы с инструментами и мультимодальными сценариями. Модель имеет плотную гибридную архитектуру Qwen3.8-27B с Gated DeltaNet и полным attention, содержит 27 млрд параметров и использует квантование NVIDIA ModelOpt W4A4 NVFP4, ориентированное на GPU NVIDIA Blackwell. Она принимает текст, изображения и видео, генерирует текст и поддерживает контекст до 262 144 токенов; практический размер контекста зависит от доступной памяти и уровня параллелизма. Для запуска рекомендуется SGLang или другой совместимый движок, а валидированным оборудованием указан NVIDIA B200. К сильным сторонам относятся сохранение возможностей зрения, рассуждений, инструментального использования и длинного контекста при компактном квантованном формате, а также deployment-ориентированная конструкция. Ограничения включают исследовательский статус, отсутствие гарантий сохранения всех характеристик исходной модели после модификации и квантования, а также намеренно сниженную склонность к отказам: результаты безопасности, программирования, мультимодальности и работы с инструментами требуют осторожной интерпретации. В репозитории указана лицензия Apache-2.0; модель опубликована как общедоступный, не требующий допуска research preview и не предназначена для продажи.

Qwen3.8-27B-Intel-Arc-Tuned-GGUF — это квантованная GGUF-версия модели Qwen3.8 с примерно 27 млрд параметров, подготовленная Greatjedi при участии Gemini для ускоренного запуска на видеокартах Intel Arc через llama.cpp, oneAPI SYCL и аппаратные матричные блоки DPAS. В качестве базовых моделей указаны empero-ai/Qwen3.8-27B-Ridge-GGUF и ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF. Модель предназначена для генерации текста, рассуждений, программного кода и структурированных ответов, включая извлечение JSON. Заявлены английский и китайский языки, а тип задачи в каталоге обозначен как text-generation. Ключевая особенность — преобразование неподдерживаемых на Intel Arc I-Quant-тензоров в преимущественно Q4_K-блоки с сохранением отдельных высокоточных компонентов, rotary embeddings, layer normalization и, в вариантах с MTP, встроенной NextN prediction head. Это устраняет переход к медленной CPU-деквантизации в SYCL-бэкенде. Для Intel Arc Pro B60 24GB заявлена скорость авторегрессионной генерации около 21–22 токенов в секунду, а со встроенным speculative decoding и MTP — до 41,88 токена в секунду; фактические показатели зависят от версии файла, сценария, оборудования и конфигурации запуска. Сильными сторонами являются оптимизация под Intel Arc поколений Battlemage Xe2 и Alchemist Xe, отсутствие необходимости во внешней draft-модели для вариантов со встроенным MTP и заметное ускорение относительно исходных I-Quant-вариантов. Ограничения включают узкую аппаратную специализацию, зависимость от совместимого SYCL-стека и llama.cpp, а также отсутствие в README точных сведений о максимальном контексте и единой архитектурной конфигурации всех вариантов. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-TTURBO-Cold-Fusion-709-L-Uncensored-UltraOptimised-VariableThinking-1M — это GGUF-релиз 27-миллиардной модели семейства Qwen3.8, созданный Solstice-AI на основе модели DavidAU Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored. DavidAU разработал исходную модель и слияние GAIN, а Solstice-AI выполнила квантование, интеграцию Multi-Token Prediction и настройку когнитивной архитектуры. Модель распространяется в формате GGUF и предназначена для запуска через llama.cpp, Ollama и совместимые приложения. Модель ориентирована на диалог, рассуждения, программирование и задачи, требующие управляемой глубины анализа. Заявлена поддержка мультимодального ввода изображений и видеокадров через отдельный проектор mmproj-BF16.gguf, а также английского и китайского языков. Доступны десять уровней режима рассуждений — от прямого ответа без мыслительных токенов до глубокого анализа; режим можно выбирать через специальные параметры шаблона чата или теги сообщений. Заявлен контекст размером до 1M токенов, однако README не приводит подробностей о фактических требованиях к памяти и совместимости всех реализаций. Главные особенности — Native Hardware Multi-Token Prediction для ускорения генерации, сохранение lm_head в 16-битной точности в MAX-MTP-сборках и несколько вариантов квантования. Q4_K_M рассчитан примерно на 16 ГБ VRAM, Q5_K_M — на 24 ГБ, Q6_K — на 24–32 ГБ, а Q8_0 — на 32 ГБ и более. Более низкая разрядность уменьшает требования к памяти, но может снижать точность; мультимодальная обработка требует дополнительного проектора и ресурсов. Модель позиционируется как uncensored/abliterated, поэтому может не применять стандартные ограничения безопасности. Лицензия — Apache 2.0.

Это сборка Qwen3-8B для запуска на Rockchip RK1828 через LlamaPi. Исходную модель разработала команда Qwen; в репозитории указаны формат GGUF и готовность к запуску на RK1828. Модель относится к плотной архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Модель предназначена для генерации текста, диалога, следования инструкциям, программирования, рассуждений и агентных задач; поддерживает режимы с рассуждением и без него, а также интерфейс вызова инструментов. Исходная модель поддерживает более 100 языков и диалектов. Для запуска в README предлагается LlamaPi. Репозиторий распространяется по лицензии Apache-2.0.