I.5Создание и редактирование текста

Qwen3.6-35B-A3B-Brainwaves-Nex-GGUF — GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, инструкционного взаимодействия, рассуждений, математических и STEM-задач, программирования и многоязычных сценариев. В метаданных указаны английский, китайский, японский и испанский языки; также отмечены instruction tuning, SFT, LoRA и distillation, однако подробности обучения не приведены. Доступны варианты квантования от Q2_K до Q8_0, включая IQ4_XS, с размером файлов примерно от 13,3 до 37,9 ГБ. Для мультимодального использования предоставляются дополнительные файлы mmproj в форматах Q8_0 и F16, поэтому поддержка изображений зависит от совместимого программного обеспечения и подключения соответствующего компонента. Архитектура, точный размер активной и общей параметризации, максимальная длина контекста и перечень поддерживаемых модальностей в README явно не описаны. Сильной стороной модели является широкий выбор квантований, позволяющий выбирать между требованиями к памяти, скоростью и качеством; автор README рекомендует Q4_K_S и Q4_K_M как быстрые варианты, а Q6_K и Q8_0 отмечает как варианты высокого качества. Ограничения включают возможную потерю качества на низких уровнях квантования, экспериментальный характер исходной модели и отсутствие опубликованных оценок производительности. Распространение указано по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-i1-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для локального запуска задач генерации текста и диалогов, включая рассуждения, математику, STEM, программирование и многоязычные сценарии. В README также указано, что это vision-модель, поэтому для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Заявлены языки English, Chinese, Japanese и Spanish. Доступны варианты квантизации i1 от Q2_K до Q6_K, включая IQ-квантизации и imatrix-файл; размер файлов составляет примерно от 13,3 до 29,3 ГБ. Вариант Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как компромисс между размером, скоростью и качеством. Точный размер контекста, детальные сведения об архитектуре, результаты тестирования и системные требования в README не указаны. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежная потеря качества при низких уровнях квантизации, отсутствие подробных бенчмарков и неполная документация по использованию мультимодальных возможностей.

FreedomAISVR публикует GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled — разговорной модели рассуждения, дистиллированной из Claude 4.7 Opus. В основе лежит архитектура Qwen3.5 MoE с 35 млрд параметров, около 3 млрд из которых активны при генерации; в модели 256 экспертов, из них 8 активируются на токен, а также 40 слоёв и MTP-голова. Контекст составляет 262 144 токена. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями. Это текстовая версия без поддержки изображений. Веса сохранены в формате GGUF и квантизированы в NVFP4 примерно до 4 бит; файл модели занимает около 18,81 ГБ. Apache 2.0 указана как лицензия исходной модели.

Avesed/Qwen3.6-35B-A3B-INT4-W4A16 — это квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной Avesed. Модель предназначена для генерации текста, решения математических и академических задач, рассуждений и многоязычных сценариев на английском и китайском языках. В README также указано наличие vision tower и MTP head, однако подробности поддерживаемых мультимодальных сценариев не приведены. Это гибридная Mixture-of-Experts-модель с 256 экспертами, из которых для каждого запроса активируются 8; суммарный размер составляет около 35B параметров, а активная часть — около 3B. Архитектура использует GatedDeltaNet для линейного внимания. Основная особенность версии — weight-only-квантизация AWQ до INT4 в формате W4A16 с group_size 32: квантизированы экспертные FFN, тогда как чувствительные к качеству компоненты, включая self-attention, роутер, shared expert, GatedDeltaNet, эмбеддинги, lm_head, vision tower и MTP head, сохранены в bf16. Заявленные результаты составляют 96,8% на GSM8K и 80,2% на MMLU-Pro. Модель ориентирована на эффективный инференс через vLLM; для запуска требуется конфигурация с tensor parallelism, а на Ampere доступен режим W4A8 с INT8-активациями через специализированную сборку vllm-ampere-optimized. Ограничениями являются зависимость от совместимого программного стека и аппаратного ускорения, а также возможное снижение качества из-за квантизации; размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

Minachist/Qwen3.6-35B-A3B-INT8-AutoRound — неофициальная INT8-квантизированная версия модели Qwen3.6-35B-A3B, разработанная Minachist на основе Qwen от команды Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, однако в README конкретные поддерживаемые языки и полный перечень задач не указаны. Она рассчитана на запуск через Transformers и vLLM, включая использование в качестве языковой модели, генерацию кода, рассуждения и вызовы инструментов при соответствующей настройке vLLM. Модель использует схему W8A16 и квантизацию AutoRound от Intel. Доступны варианты с group size 128 и 32, а основная ветка использует конфигурацию, требующую примерно на 3,2 ГБ меньше VRAM, чем вариант gs32, при почти идентичном качестве. Часть компонентов, включая visual, mtp, linear_attn, mlp.gate, shared_expert, embed_tokens и lm_head, не квантизирована; в отдельных вариантах также сохраняется self_attn. Размер базовой модели обозначен как 35B-A3B, но сведения о контекстном окне и точных модальностях базовой модели отсутствуют. Сильными сторонами являются существенное снижение требований к памяти при сохранении качества, близкого к BF16: для MMLU-Redux указано 93,28% против 93,3% в официальной оценке BF16. Ограничения включают зависимость от совместимых версий vLLM и CUDA, необходимость подходящей GPU-конфигурации, а также известные проблемы с vLLM v0.20.1. Модель распространяется по лицензии Apache-2.0.

z-lab/Qwen3.6-35B-A3B-PARO — это мультимодальная версия модели Qwen/Qwen3.6-35B-A3B, подготовленная командой z-lab с использованием метода 4-битного квантования ParoQuant, или Pairwise Rotation Quantization. Модель предназначена для генерации и анализа текста, а также для сценариев image-text-to-text, в которых требуется обработка изображений вместе с текстовыми запросами. Модель имеет размер 35B-A3B согласно идентификатору базовой модели. Языковые компоненты квантованы до INT4, тогда как визуальные компоненты сохранены в исходной точности. Такой подход должен обеспечивать высокую эффективность вывода при сохранении качества, близкого к FP16, и скорости, сопоставимой с AWQ, согласно описанию разработчиков. Поддерживаются NVIDIA GPU через vLLM и Transformers, а также компьютеры Apple Silicon через MLX; доступны интерактивный режим и OpenAI-совместимый сервер. К ограничениям относятся повышенный размер относительно полностью квантованной мультимодальной модели и необходимость не загружать визуальные компоненты, если обработка изображений не требуется. В README не указаны поддерживаемые языки, максимальная длина контекста и подробные результаты бенчмарков. Модель распространяется по лицензии Apache-2.0; сведения о дополнительных ограничениях базовой модели в README не приведены.

Это производная мультимодальная модель семейства Qwen, созданная Nickyang на основе Qwen/Qwen3.6-35B-A3B методом RAZOR — прореживанием экспертов без градиентного дообучения. В каждом MoE-слое оставлено 128 из 256 маршрутизируемых экспертов. Размер модели составляет 19,4 млрд параметров (19 млрд без модуля многотокенного предсказания), при этом на токен активируется около 3 млрд параметров. Веса представлены в bfloat16 и формате safetensors; для запуска нужна сборка Transformers со встроенной реализацией qwen3_5_moe. Модель предназначена для генерации текста и диалогов, а также может использовать интерфейс вызова инструментов. Базовая модель Qwen поддерживает анализ изображений, однако README этой производной описывает прореживание экспертных весов и не уточняет сохранение мультимодальных возможностей. Лицензия — Apache 2.0. Прореживание уменьшает объём хранимых экспертных весов, сохраняя почти неизменной вычислительную нагрузку на токен. Оно является потерным: ответы могут отличаться по разнообразию, форматированию и поведению при завершении, даже если точность на отдельных задачах в основном сохраняется. Поведение на областях, слабо представленных в конечном калибровочном наборе, не охарактеризовано; перед развёртыванием следует оценить модель на целевых данных.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель на базе Qwen3.6-35B-A3B, разработанная HauhauCS. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель генерирует полный ответ даже на запросы, от которых обычно отказывается базовая версия. Модель предназначена для диалогов, анализа и генерации текста, программирования, а также работы с изображениями и видео. Архитектура — гибридная MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Используются 256 экспертов, из которых для каждого токена выбираются 8; модель содержит 40 слоёв и сочетает linear attention с полной softmax attention в соотношении 3:1. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео; указаны английский, китайский и другие языки. Для обработки изображений требуется отдельный файл mmproj. Модель доступна в формате GGUF с вариантами квантования от Q8 до Q2, включая пользовательские K_P-кванты, оптимизированные для сохранения качества. Сильные стороны — большой контекст, мультимодальность, MoE-эффективность и отсутствие встроенных отказов. Ограничение агрессивного варианта — возможное отсутствие защитных барьеров и редкие краткие дисклеймеры, которые автор связывает с обучением базовой модели. Для запуска подходят llama.cpp, LM Studio и другие GGUF-совместимые среды. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная версия модели Qwen3.6-35B-A3B, переобработанная и опубликованная HauhauCS. Это MoE-модель для генерации и понимания текста, изображений и видео, предназначенная для общего общения, рассуждений, программирования, анализа визуального контента и других задач, где требуется модель без встроенных отказов. По данным README, модель полностью сохраняет заявленные возможности исходной модели, но ориентирована на максимально свободную генерацию; иногда она может добавлять короткие оговорки, не являющиеся отказом. Модель содержит 35 млрд параметров, из которых около 3 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 экспертов выбираются для каждого токена, 40 слоёв и гибридное сочетание linear attention и full softmax attention в соотношении 3:1. Заявлен нативный контекст 262 тыс. токенов. Поддерживаются текст, изображения и видео; указаны английский, китайский и другие языки. Распространяется в формате GGUF с вариантами квантования от Q2 до Q8, включая оптимизированные HauhauCS K_P-кванты; для визуального ввода требуется отдельный файл mmproj. Сильными сторонами являются мультимодальность, большой контекст, MoE-эффективность по числу активных параметров, широкий выбор квантований и отсутствие встроенных отказов, что подходит для сценариев, где нужна максимально неограниченная генерация. Ограничения включают потенциально менее безопасное поведение, необходимость достаточных вычислительных ресурсов для крупных квантов и зависимость мультимодального режима от дополнительного mmproj-файла. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-4.6bpw — векторно-квантизированная версия модели Qwen3.6-35B-A3B от Qwen, адаптированная для Apple Silicon и экосистемы MLX. Модель предназначена для генерации текста и работы с изображениями; текстовый режим поддерживается через mlx-lm, а мультимодальный — через mlx-vlm. В метаданных указан английский язык. Архитектура включает MoE с 35 млрд параметров и 256 экспертами; точный размер контекста в README не указан. Размер сборки составляет около 18,7 GiB вместе с vision tower, поэтому она рассчитана на запуск на Mac с 32 ГБ памяти. По приведённым измерениям, на корпусах WikiText и кода перплексия близка к исходной версии bf16: 0,991x и 1,004x соответственно, при этом сборка значительно компактнее bf16 и показывает лучшие результаты, чем распространённая 4-битная версия. К ограничениям относятся зависимость от поддержки ключа model_file в загрузчике и необходимость mlx-vlm версии не ниже 0.6.16 для изображений; качество и показатели могут зависеть от корпуса и конкретного сценария. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальные версии mlx-lm и mlx-vlm; README также указывает совместимость с exo. Это квантизированная сборка, поэтому показатели совпадения токенов с bf16 ниже, чем у 8-битной версии, несмотря на близкую перплексию.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-5.4bpw — векторно-квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen, адаптированная для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста, а также обработки изображений при использовании совместимого MLX-VLM. Она поддерживает загрузку через mlx-lm и mlx-vlm; для мультимодального режима требуется mlx-vlm версии 0.6.16 или новее. Размер сборки составляет 22,2 GiB, поэтому она рассчитана примерно на машины с 32 ГБ памяти. В модели используется uniform vector quantization: экспертные тензоры квантизуются с геометрией d=2, K=1024, а неэкспертные тензоры представлены в 8-битном формате. В README не указаны размер контекстного окна и полный список поддерживаемых языков; в метаданных заявлен английский язык. Для запуска требуется runtime из файла model.py и загрузчик, поддерживающий параметр model_file. По сравнению с исходной bf16-версией модель существенно экономит память, сохраняя более высокое качество, чем 4-битная сборка: расхождение по KL составляет 28,1 millinats на токен, а совпадение top-1 предсказаний с bf16-версией — 92,22%. При этом runtime-производительность на этой конкретной сборке не измерялась, а качество немного ниже bf16-оригинала. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B Winnow keep-75 — это разреженная версия Qwen3.6-35B-A3B, подготовленная автором репозитория hbfreed с помощью поканального прореживания экспертов Winnow. В каждом эксперте SwiGLU удалено 25% каналов по оценке их важности; механизмы внимания, эмбеддинги и маршрутизатор не изменены. README указывает 26,6 млрд параметров, тогда как метаданные каталога — 2,9 млрд; эти оценки расходятся, поэтому размер здесь не приводится. Модель предназначена для генерации текста и диалогов. В README приведён результат perplexity 13,39 на C4 для данного непрошедшего дополнительное восстановление чекпойнта; сравнения с другими вариантами и показатели на downstream-задачах вынесены в отдельный материал. Указана длина контекста 262 144 токена. Для загрузки требуется Transformers версии 5 или новее и trust_remote_code=True; README также описывает запуск через vLLM с плагином winnow. Лицензия — Apache-2.0. Языки отдельно не перечислены.

satgeze/Qwen3.6-35B-Uncensored-HauhauCS-1M-GGUF — GGUF-сборка модели Qwen3.6-35B-A3B, основанная на uncensored-варианте HauhauCS. Модель предназначена для генерации текста, диалоговых и агентских сценариев, работы с длинными документами и задач, требующих анализа изображений. Поддерживаются llama.cpp и Ollama; заявлена совместимость с агентскими клиентами через Anthropic Messages API. Модель использует исходный контекст 262 144 токена, расширенный до 1 048 576 токенов с помощью YaRN RoPE scaling с коэффициентом 4. В сборку включён слой MTP для speculative decoding: по данным README, на RTX 5090 скорость выросла с 284,6 до 380,1 токена в секунду, а результат декодирования остаётся идентичным стандартному режиму. Визуальный ввод обеспечивается отдельной башней mmproj размером около 899 МБ, которая подключается во время запуска. Основной файл Q4_K_M имеет размер около 21,7 ГБ. К сильным сторонам относятся очень длинный контекст, проверенная авторами работа поиска информации на диапазоне до 1M токенов, поддержка изображений и ускоренное декодирование через MTP. Ограничения включают необходимость совместимого рантайма и значительных аппаратных ресурсов, а также отдельную установку vision-компонента для визуальных задач. Сведения о поддерживаемых языках и точной архитектуре в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-Llama — модель от oktayd, распространяемая в формате GGUF для запуска через llama.cpp. Это локальный мультимодальный conversational-модельный вариант с поддержкой работы с текстом и изображениями, включая скриншоты, документы, диаграммы и сцены. Модель ориентирована на ответы на вопросы, объяснение научных и рабочих тем, программирование и отладку, работу с инструментами и агентскими сценариями, анализ визуальных данных, написание текстов, ролевое общение и настройку стиля диалога. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture of Experts с примерно 35 млрд параметров всего и около 3 млрд активных параметров на токен; конфигурация выбирает 8 из 256 маршрутизируемых экспертов. Заявленный нативный контекст составляет 262 144 токена, однако для рекомендуемого запуска указан профиль на 131 072 токена. Доступны квантованные GGUF-варианты разных размеров, а исходная BF16-версия сохраняет vision- и MTP-тензоры. Поддержка языков подробно не указана, но в обучающих материалах присутствуют многоязычные подписи. Сильные стороны модели — сочетание текстовых, программных, инструментальных и визуальных сценариев, относительно экономичная по вычислениям MoE-архитектура и возможность локального запуска. При этом общий объём параметров требует значительных ресурсов хранения и памяти даже при активации только части экспертов. Модель может ошибаться или повторяться, её ответы требуют проверки, а заявленные возможности не являются гарантией высокой точности. В README также указана аблитерированная, uncensored-направленность и наличие материалов для взрослой тематики, поэтому модель подходит не для всех аудиторий. Лицензия — Apache-2.0.

Qwen3.8-19B-Pruned-GGUF — набор официальных GGUF-квантований модели ewinregirgojr/Qwen3.8-19B-Pruned, опубликованный и квантованный ewinregirgojr. Модель предназначена для локальной генерации текста, диалоговых сценариев, задач рассуждения и function calling на потребительском оборудовании. Поддерживаются Ollama, LM Studio, Jan, llama.cpp, Unsloth, LocalAI и Open WebUI. Модель основана на архитектуре Qwen3.8 и использует 30% структурированной разреженности SparseGPT; заявлено около 18,9 млрд активных ненулевых параметров при сохранении 866 текстовых слоёв. Доступны варианты Q4_0, Q6_K и Q8_0 размером 17,79, 23,20 и 29,30 ГБ соответственно. Максимальная длина контекста заявлена до 262 144 токенов. Указаны английский и китайский языки, текстовая модальность и формат GGUF для локального инференса. В README приведены результаты MMLU 81,5% и GSM8K 86,9%, однако методика и воспроизводимость этих показателей требуют самостоятельной проверки. Сильные стороны — уменьшенный объём весов, возможность запуска на распространённых GPU и оптимизация для локального использования; для Q4_0 заявлена совместимость с видеокартами от 24 ГБ памяти, тогда как более точные варианты требуют больше RAM или VRAM. Ограничения связаны с компромиссом между размером, точностью и требованиями к оборудованию, а также с тем, что разреженность не обязательно ускоряется всеми программными стеками. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B — причинная языковая модель семейства Qwen3.5 с 27 млрд параметров, разработанная командой Qwen и размещённая пользователем fatymahaly. Репозиторий содержит веса в формате Safetensors; модель предназначена для генерации текста и диалогового взаимодействия, включая работу через интерфейс вызова инструментов. Модель принимает текст и генерирует текст. В карточке указан английский язык. Использование описано через библиотеку Hugging Face Transformers. Репозиторий распространяется по лицензии Apache-2.0. README не описывает контекстное окно, качество на конкретных задачах или ограничения применения; поддержка вызова инструментов обозначает интерфейсную возможность и сама по себе не гарантирует корректное выполнение действий.

leonsarmiento/Qwen3.8-27B-3bit-mlx — мультимодальная модель VLM, разработанная на основе Qwen3.8-27B от Qwen и конвертированная автором в формат MLX с помощью mlx-vlm. Она предназначена для работы с текстом и изображениями, включая диалоговые, аналитические и программные сценарии. Модель поддерживает контекст до 262 тысяч токенов и рассчитана на запуск в экосистеме MLX, в частности через mlx-vlm, oMLX и LM Studio. Архитектура представляет собой плотную гибридную модель с 64 слоями: 48 используют линейное внимание, а 16 — полное внимание. Размер модели — 27B параметров. Применена смешанная квантизация: большинство языковых слоёв сжаты до 3 бит, эмбеддинги и lm_head — до 4 бит, а vision tower сохранён с 8-битной точностью. Объём модели составляет около 12,71 ГБ, пиковое потребление памяти в заявленном тесте — 15,61 ГБ. Модель поддерживает режимы с рассуждением и без него; по умолчанию в этой сборке reasoning_effort установлен на low, что сокращает задержку и длину рассуждений. Сильными сторонами являются поддержка изображений, большой контекст, сниженное потребление памяти и более высокая скорость декодирования по сравнению с равномерной 4-битной версией при сопоставимом качестве на приведённых тестах. Ограничения включают зависимость от MLX-совместимого программного обеспечения и аппаратной конфигурации, а также компромисс между качеством, скоростью и глубиной рассуждений при 3-битной квантизации. Лицензия — Apache-2.0.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF — локальная GGUF-версия модифицированной модели Qwen3.8-27B, разработанная Blackfrost. Это плотная гибридная vision-language модель для запуска через llama.cpp, предназначенная для диалогов, рассуждений, обработки текста, изображений и видео, а также сценариев с tool-calling. Модель генерирует текст и ориентирована на локальное развертывание; релиз обозначен как экспериментальный и требует проверки поведения в конкретных рабочих нагрузках. Архитектура включает 64 текстовых слоя с сочетанием Gated DeltaNet и full attention, а также vision tower из 27 слоёв. Поддерживаются текстовые, графические и видео-входы, контекст до 262 144 токенов, девять стандартных квантованных вариантов от Q2_K до Q8_0 и встроенная MTP speculative head. Для ускорения доступен отдельный BF16 DFlash2 sidecar, совместимый с экспериментальной версией llama.cpp. В качестве сбалансированного варианта рекомендуется Q4_K_M размером 16,8 ГБ; фактические требования зависят от доступной RAM/VRAM и параллелизма. Это abliterated-сборка: поведение отказов было изменено на уровне весов, без fine-tuning, merge, LoRA или pruning. В заявленном внутреннем тесте R1-HARMFUL-BENCH-450 зафиксировано 11 остаточных отказов из 450 случаев, однако результат получен на производном варианте W4A4 NVFP4 и не является полноценным тестом всех GGUF-квантов в финальной конфигурации. Ограничениями являются экспериментальный статус, возможные компромиссы качества при низких уровнях квантования и зависимость длинного контекста от ресурсов системы. Базовая модель и указанный DFlash2-компонент распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-WFH-GGUF — это GGUF-квантизированная версия модели Qwen3.8-27B-Brainwaves-WFH, подготовленная mradermacher на основе модели nightmedia. Модель предназначена для локального запуска и генерации текста в широком спектре сценариев, включая диалог, следование инструкциям, программирование, математические и STEM-задачи, исследования, рассуждения, творческое и художественное письмо, сторителлинг и ролевые взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель относится к семейству Qwen и доступна в формате GGUF с вариантами квантования от Q2_K до Q8_0, а также в форматах IQ4_XS и F16. Размер файлов варьируется примерно от 11 до 29,1 ГБ; для мультимодального использования предусмотрены дополнительные файлы mmproj-Q8_0 и mmproj-f16, однако конкретные поддерживаемые визуальные модальности в README не описаны. В метаданных заявлены контексты 256K и 1M токенов, но их практическая доступность для данной сборки не подтверждена. Сильной стороной модели является выбор вариантов квантования, позволяющий выбирать между размером, скоростью и качеством: Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант наилучшего качества среди указанных. Ограничения включают значительные требования к дисковому пространству и памяти, а также отсутствие подробных данных о производительности, оценках качества, точной архитектуре и рекомендуемых параметрах запуска. Лицензия — Apache-2.0.

Developer-pintu/Qwen3.8-27B-bucket — дообученная языковая модель на архитектуре Qwen2, созданная Developer-pintu на базе unsloth/qwen2.5-coder-7b-instruct-bnb-4bit. Модель предназначена для генерации текста в диалоговом формате; каталог также указывает интерфейс вызова инструментов. В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Карточка сообщает, что обучение выполнялось с Unsloth и библиотекой TRL. Язык карточки и языковые теги указывают на английский. Модель распространяется по лицензии Apache-2.0. README не уточняет специализацию дообучения, поэтому нельзя уверенно приписать ей конкретные навыки исходной coder-модели сверх генерации текста.

esatapedico преобразовал NVFP4-чекпойнт Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 в семейство из шести GGUF-файлов для запуска через llama.cpp. Модель разработана на основе Qwen3.8-27B: это плотная гибридная архитектура с Gated DeltaNet и слоями Gated Attention, а её исходный вариант дообучен DavidAU методом Cold Fusion (GAIN + Unsloth). По README, в модели 27 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов. Она поддерживает мультимодальную обработку изображений при подключении отдельного проектора mmproj-BF16.gguf; в опубликованные GGUF-файлы веса проектора не входят. В каждом файле встроена MTP-голова для спекулятивного декодирования. Шесть вариантов отличаются точностью квантования головы вывода, эмбеддингов и MTP-головы; языковая основа общая и содержит NVFP4-тензоры. README приводит результаты отдельных пробных запусков на двух GPU, а не систематический бенчмарк; скорость и качество могут зависеть от оборудования и конфигурации. Для работы с изображениями нужен совместимый проектор. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Continuum — экспериментальная мультимодальная модель на архитектуре Qwen3.5, созданная независимой лабораторией NightmediaAI. Это слияние моделей nightmedia/Qwen3.8-27B-Brainwaves и migtissera/Synthia-4-27B; метаданные также связывают её с несколькими другими слитыми моделями. Репозиторий содержит веса Safetensors и предназначен для диалогов и следования инструкциям с поддержкой изображений. Модель подходит для общения, анализа изображений, рассуждений, математики, программирования и творческого письма, включая продолжение сцен и создание историй. В карточке приведены оценки на ряде бенчмарков и показатели скорости, памяти и перплексии для нескольких вариантов квантования, однако сам репозиторий указан в формате Safetensors. Поддерживаемые языки по метаданным: английский, китайский, японский и испанский. Лицензия — Apache-2.0.

YFC-112358 создал эту плотную модель семейства Qwen объёмом 27 млрд параметров с помощью трёхэтапного слияния весов. В рецепте DELLA и линейная арифметика задач объединяют несколько моделей на базе Qwen3.6, после чего полученное изменение весов переносится на Cold-Fusion-GAIN-V1.1 на базе Qwen3.8. Репозиторий содержит веса safetensors и использует библиотеку Transformers; модель лицензирована по Apache-2.0. Модель предназначена для диалоговой генерации текста и может использоваться как ассистент для ответов и многошаговых запросов. В метаданных также заявлен интерфейс для вызова инструментов. Несмотря на мультимодальную архитектуру Qwen и наличие визуальной башни у базового семейства, README этой версии описывает прежде всего слияние весов и не подтверждает отдельно качество обработки изображений или видео. Главное ограничение — перенос прироста весов между поколениями Qwen3.6 и Qwen3.8: автор отмечает, что архитектуры совпадают по размерам, но это не гарантирует совместимость представлений, и модель может работать хуже без явной ошибки. Автор приводит значение cold_amp 0,1217 и считает его совместимым с продолжением обучения на общей базе, однако предупреждает, что базовые веса Cold-Fusion могли измениться, что затрудняет точное воспроизведение.

Qwen3.8-27B-FP8-Pessoa — квантованный вариант мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для обработки текста, изображений и видео, включая сценарии визуально-языкового анализа и генерации текста по мультимодальному вводу. Квантование выполнено с использованием llm-compressor; веса сохранены в формате compressed-tensors для непосредственного применения с vLLM. Лицензия — Apache-2.0. Языковая часть содержит около 27 млрд параметров, vision tower — 460,7 млн, а MTP-голова — 82,3 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания с GQA; нативный контекст составляет 262 144 токена. Поддерживается многоязычный ввод. Линейные, MLP- и полные attention-слои используют weight-only FP8 E4M3 W8A16 с BF16-активациями, GPTQ-коррекцией и поканальным масштабированием. Vision tower и MTP-голова оставлены в BF16, поэтому сохраняются возможности понимания изображений и видео, а также speculative decoding. Главные преимущества — уменьшенный до 31,24 ГБ размер чекпойнта против 55,6 ГБ у BF16-версии и низкая ошибка квантования. Компромисс заключается в более низкой скорости предварительной обработки по сравнению с W8A8 из-за деквантования перед GEMM, а также в высоких требованиях к памяти и ускорителям. Для работы рекомендуется vLLM 0.26.1rc0 с FlashInfer; заявлена поддержка NVIDIA Blackwell, Ampere и Hopper с поддержкой FP8 E4M3.

Qwen3.8-27B-GGUF — это квантизированная мультимодальная vision-language модель на базе Qwen/Qwen3.8-27B, подготовленная разработчиком 6block с использованием llama.cpp. Она предназначена для обработки текста, изображений и видео с генерацией текстовых ответов, поэтому подходит для визуального анализа, работы с документами и общих текстовых задач. Заявлены английский и китайский языки. Модель имеет плотную архитектуру с 27,8 млрд параметров, включая vision tower, и 64 decoder-слоя. В гибридной схеме 16 слоёв используют grouped-query full attention, а 48 — Gated DeltaNet linear attention. Нативная длина контекста составляет 262 144 токена, с возможностью дальнейшего расширения через YaRN; словарь содержит 248 320 токенов, embeddings не связаны. Доступны варианты квантизации от Q8_0 до IQ2_XXS, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Для мультимодального ввода требуется отдельный файл vision projector mmproj; без него модель работает только с текстом. Благодаря гибридной архитектуре KV-кэш растёт только для 16 полно-внимательных слоёв, что снижает затраты памяти на длинном контексте. К сильным сторонам относятся поддержка текста, изображений и видео, очень длинный контекст, широкий набор вариантов квантизации и imatrix-калибровка для сохранения качества при сжатии. Ограничениями являются значительные требования к памяти: размер текстового backbone составляет примерно от 9,3 до 26,1 GiB в зависимости от варианта, а для мультимодальной работы дополнительно нужен vision projector размером около 0,9 GiB и память под KV-кэш. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GGUF — набор квантизированных GGUF-версий базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем vcruz305 для запуска через llama.cpp. Модель предназначена для локальной генерации текста и диалоговых сценариев, включая задачи с рассуждениями; для мультимодальных сценариев требуется отдельный файл mmproj. Поддерживаются английский и китайский языки. Указанный pipeline — text-generation. В основе используется 64-слойный языковой trunk архитектуры qwen35 с гибридом Gated DeltaNet; размер базовой модели — 27B параметров. Доступны квантизации от 2 до 8 бит размером примерно от 9,98 до 26,63 GiB. Версии Q2_K и Q3_K_M используют imatrix-квантизацию, остальные являются обычными K-quants. В файлах намеренно отсутствует MTP-голова для speculative decoding, что уменьшает требования к памяти, но исключает соответствующий режим ускорения. В README также заявлена поддержка контекста до 262 144 токенов при соответствующей конфигурации и аппаратных ресурсах. Сильные стороны набора — возможность запуска 27B-модели на видеокартах с 12, 16, 24 и 32+ GiB памяти, несколько вариантов компромисса между качеством и размером, а также исправленный chat template для корректной работы многошаговых агентов. Ограничения включают зависимость от достаточно новой версии llama.cpp с поддержкой qwen35, отсутствие встроенной vision-компоненты и MTP-головы, а также высокие требования к памяти для старших квантизаций и длинного контекста. Распространение заявлено по лицензии Apache-2.0, унаследованной от официальной модели Qwen.

SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — это квантованная версия Qwen3.8-27B, разработанная SergiioB для запуска и обслуживания через vLLM XPU на видеокартах Intel Arc с архитектурой Xe2. Модель предназначена для генерации текста, включая кодинг и другие сценарии локального инференса, а также поддерживает обработку изображений благодаря встроенной vision tower. В карточке заявлены английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с гибридным механизмом внимания GDN: линейное внимание чередуется с полным вниманием каждые четыре слоя. Указаны 5120 скрытых признаков, 64 слоя, 24 Q-head и 4 KV-head с GQA. Основная часть модели квантована в GPTQ INT4 с симметричными группами размера 128 и форматом W4A16; MTP-компоненты сохранены в BF16 для поддержки нативного speculative decoding. Vision tower также не квантована. Максимальная позиционная длина в конфигурации составляет 262144 токена, однако на протестированной конфигурации Intel Arc Pro B70 32 ГБ измерялась работа с контекстом до 131072 токенов. Сильная сторона модели — ускоренная генерация благодаря MTP4: в приведённых измерениях на Intel Arc Pro B70 скорость декодирования достигала 83,7 токена в секунду без дополнительного overlay и 112,65 токена в секунду с опциональным INT4-квантованием draft-компонентов. Производительность зависит от длины контекста, числа параллельных запросов, настроек vLLM XPU и конкретного оборудования. Ограничениями являются привязка к совместимому XPU-стеку, особенности GPTQ-квантизации и то, что заявленные результаты получены на одной видеокарте и не гарантируют аналогичную скорость в других условиях. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GPTQ-W4A8-MTP-Ampere — квантованная версия базовой модели Qwen/Qwen3.8-27B; разработчик в README явно не указан. Модель предназначена для генерации текста и инференса через vLLM, включая сценарии с OpenAI-совместимым API. Профиль запуска рассчитан на текстовые задачи; мультимодальная обработка не включена, несмотря на наличие vision tower в базовой конфигурации. Модель использует GPTQ-квантование: веса декодера представлены в INT4 с размером группы 128, language model head — в INT8, эмбеддинги упакованы в INT8, а MTP-модуль для speculative decoding — в INT4. Предусмотрены FP8 KV-кэш и генерация до трёх черновых токенов MTP за шаг. Заявленная максимальная длина контекста — до 250 000 токенов, однако фактические возможности зависят от доступной памяти и настроек запуска. Для работы требуется две видеокарты NVIDIA с 24 ГБ VRAM, например RTX 3090, Linux с совместимыми CUDA и драйверами, Python 3.11 и строго указанная версия vLLM 0.27.1. К сильным сторонам относятся снижение требований к памяти по сравнению с полноразмерной BF16-моделью и ускорение генерации благодаря speculative decoding. Ограничения включают возможное ухудшение качества из-за квантования весов и FP8 KV-кэша, необходимость специального compatibility layer и отказ от запуска с другими версиями vLLM, а также привязку тестового профиля к двум GPU. Модель распространяется по лицензии Apache 2.0.

filvyb/Qwen3.8-27B-heretic-ara-GGUF — это GGUF-квантизированная версия модели coder3101/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих многошаговых агентских сценариев, а также понимания изображений и видео. В карточке указана архитектура causal language model с vision encoder и 27 млрд параметров. Модель использует 64 слоя, архитектуру с комбинацией Gated DeltaNet и Gated Attention, поддерживает управляемый режим рассуждений и имеет нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Она заявлена как мультимодальная модель для работы с текстом, изображениями и видео, однако сведения о поддерживаемых языках отсутствуют. Формат GGUF ориентирован на совместимое локальное инференс-развёртывание, но конкретные требования к памяти и варианты квантования в README не указаны. Ключевая особенность версии — abliteration, направленная на снижение частоты отказов: в приведённом сравнении модель отказалась выполнить 9 из 100 запросов против 92 из 100 у исходной Qwen3.8-27B, при KL-дивергенции 0,0349. Это может повысить полезность модели для сценариев, где требуется меньше ограничивающих отказов, но одновременно может ослаблять встроенные механизмы безопасного поведения. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-ara-oQ4e-mtp — смешанно-точно квантованная версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, опубликованная underlotus. В основе лежит Qwen3.8-27B; модель имеет около 27 млрд параметров, поддерживает текстовые, графические и видео входы, а также английский и китайский языки. Vision tower и голова Multi-Token Prediction сохранены. Веса представлены в формате MLX safetensors и совместимы с oMLX, mlx-lm, LM Studio и другими приложениями с поддержкой MLX. Модель предназначена для генерации текста, мультимодального анализа изображений и видео, программирования и локального запуска на устройствах Apple Silicon. Квантование oQ4e использует около 4,6 бит на параметр и распределяет точность по слоям с учётом их чувствительности, что уменьшает требуемую память примерно с 55 ГБ до 16–18 ГБ. Ограничениями являются зависимость от MLX-совместимой инфраструктуры, повышенные требования к памяти по сравнению с небольшими моделями и отсутствие указанного в README максимального контекста. Модель описана как декензурированная и сохраняет мультимодальные возможности, однако конкретные гарантии качества и безопасности для всех сценариев не приведены. Лицензия — Apache 2.0, унаследованная от базовой модели.