I.2Синтез, понимание и проверка знаний

PIT-4B-FT — англоязычная GPT-подобная модель семейства Point-In-Time от Diamegs, дообученная следовать инструкциям. Она предназначена для генерации текста и анализа вопросов с учётом знаний, доступных до декабря 2020 года; это позволяет использовать её для временного анализа и воспроизведения точки зрения на события того периода. Модель построена на decoder-only Transformer, имеет 20 слоёв и принимает контекст до 2048 токенов. LoRA-адаптеры обучены на инструкционных данных и объединены с базовыми весами. Модель поддерживает генерацию текста на английском языке и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0. Её знания ограничены веб-текстами до декабря 2020 года; RLHF и дополнительное обучение безопасности не применялись. Возможны смещения из обучающих данных FineWeb, поэтому модель не подходит для критически важных решений без дополнительного выравнивания.

Это полноразмерный объединённый чекпойнт Qwen2.5-3B-Instruct, дообученный и опубликованный gradients-io-tournaments. Модель построена на архитектуре Qwen2ForCausalLM и содержит около 3,1 млрд параметров; веса представлены в формате safetensors, точность — bfloat16. Контекстное окно составляет 32 768 токенов. Модель предназначена для диалогов, выполнения инструкций и генерации текста. Её можно использовать для создания ответов, черновиков и структурированного текста в приложениях на базе Transformers. В карточке не описаны конкретная специализация дообучения, используемые языки или оценка качества, поэтому назначение за пределами общего текстового общения не уточняется. Лицензия в предоставленных данных не указана.

Qwen3-14B-sk — словацкая языковая версия языковой модели Qwen3 с 14 млрд параметров. Её создали специалисты Технического университета в Кошице, Словацкой академии наук и ČZ, o.z.; модель получена полным дообучением Qwen/Qwen3-14B на словацких веб-текстах, словарных данных и материалах энциклопедии Beliana. Модель предназначена для генерации текста и диалогов на словацком языке. Её можно использовать для ответов на вопросы, подготовки текстов и других задач, где нужна языковая модель, ориентированная на словацкий. Она работает через библиотеку Transformers, принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. В ответах модель иногда повторяется, а её уровень галлюцинаций сопоставим с другими моделями похожего масштаба. Модель не оснащена фильтрацией безопасности или модерацией вывода. Лицензия — Apache 2.0.

Qwen3-4B-Thinking-2507-GGUF — квантованная в формате GGUF версия языковой модели Qwen3-4B-Thinking-2507, разработанной командой Qwen. Модель предназначена для генерации текста и решения задач, требующих рассуждений, включая диалоговые сценарии, ответы на вопросы и другие применения, поддерживаемые исходной моделью. Модель содержит около 4 миллиардов параметров и относится к текстовым моделям. В README не указаны поддерживаемые языки, максимальная длина контекста, конкретная архитектура, доступные модальности и варианты квантования. Квантование выполнено bartowski на основе релиза llama.cpp b6096, что позволяет использовать модель в совместимом локальном программном обеспечении, включая LM Studio. К сильным сторонам относятся относительно компактный размер и возможность локального запуска благодаря формату GGUF, а также ориентация исходной модели на задачи рассуждений. Ограничения, точные требования к аппаратным ресурсам, качество на конкретных тестах и особенности поведения не описаны. Лицензия в предоставленном README не указана; условия использования следует уточнять на странице исходной модели Qwen3-4B-Thinking-2507.

RobinsonLabs/Qwen3.5-122B-A10B-abliterated-GGUF — набор квантизированных моделей в формате GGUF на базе Qwen/Qwen3.5-122B-A10B. Модель разработана Robinson Labs методом abliteration и предназначена для генерации и обработки текста в совместимых локальных runtime. Базовая архитектура — MoE qwen35moe с 122 млрд параметров и бюджетом около 10 млрд активных параметров на токен. В сборке сохранён Multi-Token Prediction (MTP/NextN), поэтому совместимые runtime могут использовать спекулятивное декодирование. Доступны варианты с разными уровнями квантизации и размером файлов. Это текстовая модель: vision tower из исходного чекпойнта в GGUF не включена, поэтому обработка изображений не поддерживается. Языки и размер контекстного окна в README не указаны. Ключевая особенность версии — снижение склонности к отказам в запросах для взрослого и творческого контента при заявленном сохранении возможностей модели. При этом защитные механизмы для запросов, связанных с самоповреждением, и другие ограничения безопасности, по данным автора, сохранены. Ограничениями являются высокая требовательность к вычислительным ресурсам из-за полного размера модели, отсутствие мультимодальности и зависимость от поддержки GGUF и MTP конкретным runtime. Модель помечена как не предназначенная для всех аудиторий, а ответственность за использование возложена на пользователя. Лицензия наследуется от базовой модели и указана как Apache-2.0.

DazzlingShadow/Qwen3.5-122B-A10B-heretic-ARA — постобученная мультимодальная модель диалога на архитектуре Qwen3.5 MoE, опубликованная в формате Transformers. Abliteration изменяет поведение отказов: в приведённом сравнении модель отказала в 0 из 100 запросов против 88 из 100 у исходной Qwen/Qwen3.5-122B-A10B. Модель принимает текст и изображения и генерирует текст; она подходит для диалога, визуального понимания и ответов на вопросы по изображениям. Модель содержит 122 млрд параметров, из которых активируется около 10 млрд; архитектура включает 48 слоёв и разреженный Mixture of Experts. Контекстное окно — 262 144 токена, с заявленным расширением до 1 010 000. В карточке исходного семейства заявлена поддержка 201 языка и диалекта, однако языковая таблица в README опущена. Весы доступны в safetensors и совместимы с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

RadicalNotionAI/Qwen3.5-397B-A17B-heretic — мультимодальная модель для диалога и понимания изображений, созданная на основе Qwen3.5-397B-A17B. Это вариант с abliterated-настройкой: по приведённому в карточке тесту он реже отказывается отвечать, чем исходная модель. Карточка описывает архитектуру Qwen3.5 как языковую модель с визуальным энкодером и разреженной смесью экспертов: 397 млрд параметров суммарно, из которых активируются 17 млрд. Модель предназначена для диалога, рассуждений, работы с изображениями и вызова инструментов через интерфейс tool calling. Она поддерживает 201 язык и диалект; длина контекста исходной модели составляет 262 144 токена с возможностью расширения примерно до 1 010 000. В качестве формата указаны веса Safetensors для Transformers и совместимых сред инференса. В таблице карточки вариант heretic показывает 2 отказа из 100 против 99 у оригинала, при KL-дивергенции 0,3823; это указывает на изменение поведения и возможное ослабление отказов, но не устанавливает качество или безопасность ответов в других сценариях. Модель опубликована под лицензией Apache-2.0.

Qwen3.5-397B-A17B-MLX-8bit — 8-битная квантованная версия модели Qwen3.5-397B-A17B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_vlm, а модель оптимизирована для запуска на устройствах Apple Silicon через MLX. Модель предназначена для задач генерации текста и работы с изображениями и текстом; в карточке указан тип pipeline image-text-to-text. Ключевая характеристика — размер исходной модели 397B и 8-битное представление весов. Сведения о поддерживаемых языках, размере контекста и точной архитектуре в README не приведены. К преимуществам относятся существенное снижение требований к памяти по сравнению с исходной моделью и оптимизация для экосистемы Apple Silicon. Ограничения связаны с квантованием, возможными потерями качества относительно полной версии и зависимостью от совместимого оборудования и программного окружения MLX. Модель распространяется по лицензии Apache-2.0; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

Это конверсия в формат Apple MLX дообученной мультимодальной модели Qwen3.5-4B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING. Репозиторий xv1rcn подготовил её с помощью mlx-vlm 0.6.3; веса представлены в safetensors, а энкодер изображений сохранён в BF16. Модель имеет около 4 млрд параметров и гибридную архитектуру Qwen3.5 с Gated Delta Networks и разреженными блоками Mixture-of-Experts. Нативная длина контекста исходной модели — 262 144 токена, с расширением до 1 010 000; для конверсии отдельные характеристики контекста не приведены. Модель предназначена для диалогов, рассуждений, творческого письма, ролевых сценариев и ответов на вопросы по изображениям. README отмечает исправленный шаблон чата для обработки повторов, чрезмерно длинного рассуждения, циклов и вызова инструментов. Указана поддержка 201 языка и диалектов для семейства Qwen3.5, однако карточка этой модели отдельно подтверждает английский и китайский. Конверсия ориентирована на запуск в Apple MLX; для других сред совместимость зависит от используемого формата и инструментов. Лицензия — Apache-2.0.

DavidAU собрал эту мультимодальную модель на базе Qwen3.5-9B-heretic-v2: автор сообщает о дообучении через Unsloth на дистиллированном наборе рассуждений Claude 4.6. Модель принимает текст и изображения и генерирует текст; карточка заявляет поддержку vision и диалогового режима. В README указаны 9 млрд параметров, архитектура Qwen3.5 с языковой моделью и vision encoder, а также контекст 262 144 токена с возможностью расширения. Заявленная основная область применения — рассуждения, диалог и анализ изображений; автор также приводит результаты на нескольких тестах и сообщает о снижении отказов. README рекомендует квантизацию не ниже Q4_K_S или IQ3_S с imatrix. Видео не тестировалось. Указанные языки карточки — английский и китайский; более широкая языковая поддержка описана для исходной модели Qwen3.5, но отдельно для этого дообучения не подтверждена. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled — модель, разработанная Jackrong на базе Qwen3.5-9B. Она дообучена методом Supervised Fine-Tuning с использованием LoRA и данных, полученных дистилляцией рассуждений из взаимодействий с Claude-4.6 Opus, а также дополнительных наборов данных для reasoning, науки, следования инструкциям и математики. В обучении использовалась библиотека Unsloth. Модель предназначена для решения сложных задач, требующих структурированного пошагового анализа, планирования, проверки ограничений и формулирования подробных ответов. Она обучена использовать формат рассуждений в тегах <think> и затем выдавать итоговый ответ, при этом автор стремился сократить избыточные повторения и повысить эффективность рассуждений. Указаны языки английский, китайский и корейский; размер базовой модели — 9B параметров. В README модель описана как текстовая, хотя в метаданных pipeline указан image-text-to-text. Сильными сторонами являются компактный размер, акцент на структурированное reasoning и применение к научным, математическим и общим инструкционным задачам. Ограничения включают отсутствие опубликованных сведений о размере контекстного окна, количественных результатах бенчмарков и фактической поддержке изображений. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING-MAX-NEOCODE-Imatrix-GGUF — GGUF-квантизированная доработанная версия плотной модели Qwen3.5-9B, разработанная DavidAU. Модель дообучена с использованием Unsloth на наборах данных Claude-4.6-OS и дополнена матрицами DI-MATRIX на основе наборов NEO и NEO-CODE, улучшениями тензоров Unsloth и пользовательским шаблоном Jinja для стабилизации работы и снижения избыточного «обдумывания». Лицензия — Apache-2.0. Модель предназначена для широкого спектра текстовых задач, включая рассуждения, генерацию и продолжение художественных текстов, создание сюжетов и подсюжетов, ролевые сценарии, диалоги и работу с различными жанрами. Заявлена поддержка английского и китайского языков. Модель позиционируется как uncensored и heretic-вариант с существенно сниженным числом отказов; при этом для получения особенно грубого или откровенного стиля иногда требуются дополнительные указания в запросе. Контекст по умолчанию заявлен до 256K токенов. Поддержка изображений протестирована и заявлена как рабочая, но для неё требуется отдельный файл mmproj, размещённый вместе с GGUF; видеовозможности не тестировались. В README приведены результаты тестов на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где версия показывает более высокие значения, чем указанная базовая версия Qwen3.5-9B в режиме thinking, однако результаты зависят от квантизации и настроек запуска. Для работы рекомендуется использовать совместимый рантайм GGUF; автор также указывает специальные параметры сглаживания и рекомендуемые варианты квантизации, поэтому итоговое качество и поведение зависят от программного окружения.

Qwen3.6-27B-CoreAI — это плотная языковая модель на 27 млрд параметров, основанная на Qwen/Qwen3.6-27B и подготовленная mlboydaisuke для запуска в среде Apple Core AI. Модель предназначена для генерации текста, диалоговых приложений, суммаризации и других офлайн-сценариев на устройствах Apple через GPU или Neural Engine. Указанный язык — английский. Архитектура включает 64 слоя с чередованием линейных микшеров внимания GatedDeltaNet и полноразмерного gated attention, GQA с 24 query- и 4 KV-головами, 48 value-голов и плотные MLP размерности 17408. Все параметры активны при генерации каждого токена; модель поставляется в виде Core AI LanguageBundle размером около 28 ГБ с int8-квантованием весов. Заявлены скорость декодирования 15,9 токена в секунду на Mac с M4 Max и результаты, практически совпадающие с полной точностью на проверенных позициях. Сильными сторонами являются крупный плотный масштаб, локальное выполнение без обязательной передачи данных в облако и высокая точность int8-квантизации по приведённым тестам. Ограничения — значительные требования к памяти и хранилищу, зависимость от экосистемы Apple Core AI и отсутствие данных о поддерживаемом контексте и других языках. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-uncensored-abliterated-i1-IQ4_XS-GGUF-Smaller — квантованная GGUF-версия модели Qwen3.6-27B, опубликованная lemonyins. В основе используется abliterated-версия Huihui-Qwen3.6-27B от mradermacher, ориентированная на локальный инференс и исследовательское использование. Модель поддерживает обработку текста и, опционально, изображений при подключении vision-модуля mmproj-BF16.gguf. В модели применена гибридная квантование: ключевые attention-слои используют IQ4_XS, а FFN-слои — более компактный IQ3_S. Это уменьшает размер весов и позволяет эффективнее использовать память под KV-кэш; при поддержке TurboQuant заявлен контекст до 160–200 тысяч токенов при потреблении около 15,3–15,4 ГБ VRAM. На NVIDIA RTX 4060 Ti 16GB скорость текстового инференса составляет примерно 18–20 токенов в секунду. Основные преимущества — существенно больший доступный контекст и сохранение внимания к качественно важным attention-слоям, однако снижение точности FFN-квантования может ухудшать результаты отдельных задач, включая некоторые сценарии фактического запоминания. Приведённые показатели памяти требуют сборки llama.cpp с поддержкой TurboQuant; без неё расход VRAM будет выше. Лицензия — Apache-2.0.

SECWIKI/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — мультимодальная версия Qwen3.6-27B, разработанная HauhauCS на основе модели Qwen/Qwen3.6-27B. Это модификация без встроенных отказов, предназначенная для генерации ответов на широкий круг запросов, включая сценарии, где требуется минимальное количество ограничений. Модель поддерживает текст, изображения и видео, а заявленные языки включают английский, китайский и другие языки в мультиязычном режиме. Модель содержит 27 млрд плотных параметров и распространяется в формате GGUF с различными уровнями квантования, включая специальные варианты K_P, оптимизированные с использованием importance matrix. Архитектура включает 64 слоя, сочетает 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention. Нативная длина контекста составляет 262 тысячи токенов и может быть расширена примерно до 1 млн с помощью YaRN. Для мультимодальной работы поставляется отдельный компонент mmproj. Сильной стороной модели является сочетание большого контекста, мультимодальности, нескольких режимов генерации и отсутствия отказов, а K_P-квантизации позволяют сохранить качество при уменьшенном размере файлов. Ограничения включают возможное добавление кратких дисклеймеров, повышенные требования к памяти: размер файлов варьируется примерно от 10 до 32 ГБ, а также риски, связанные с отсутствием защитных ограничений. В README указана лицензия Apache-2.0.

Qwen3.6-27B-V2-abliterated-uncensored-Q4_K_M-GGUF — мультимодальная модель семейства Qwen, выпущенная Lemura Labs. Она основана на Qwen/Qwen3.6-27B и производной Jackrong/Qwopus3.6-27B-v2, дополнительно обработанной методом abliteration для снижения количества отказов. Модель предназначена для генерации текста, диалогов, рассуждений и работы с изображениями совместно с текстовыми запросами. Модель содержит около 27 млрд параметров и распространяется в формате GGUF с 4-битной квантизацией Q4_K_M и эффективной плотностью около 4,92 BPW. Размер языковой части составляет примерно 15,4 ГБ, а комплектный визуальный проектор mmproj.gguf занимает около 928 МБ и сохраняет vision tower Qwen3.6-VL. Поддерживаются английский, китайский и, согласно карточке, мультиязычные сценарии. Для запуска рекомендуется llama.cpp; ориентировочные требования составляют от 16 ГБ GPU или 24 ГБ оперативной памяти на Apple Silicon. К сильным сторонам относятся мультимодальность, совместимость со стандартными сборками llama.cpp, относительно компактный размер для модели такого класса и существенно сниженная частота отказов: 4 из 100 против 91 из 100 у исходной версии в указанном тесте. При этом Q4_K_M уступает более точным вариантам по сохранению исходных характеристик, а для обработки изображений требуется отдельный mmproj.gguf. Показатели отказов и сохранения возможностей приведены разработчиком и могут зависеть от методики оценки; абляция защитных механизмов также может повышать риски небезопасного или нежелательного использования. Модель распространяется по лицензии Apache-2.0.

OsaurusAI подготовила квантизированную сборку мультимодальной модели Qwen3.6-35B-A3B для запуска через MLX на устройствах Apple Silicon. Это MoE-модель с 35 млрд параметров, из которых около 3 млрд активны на каждом токене; архитектура включает 40 слоёв, сочетая Gated DeltaNet и полное внимание, а также 256 маршрутизируемых экспертов и одного общего эксперта. Модель принимает текст и изображения, поддерживает диалог и интерфейс вызова инструментов; базовая модель также поддерживает видео, но README отмечает ограничения основного пути MLX для видео. Сборка использует JANGTQ4 для весов маршрутизируемых экспертов и 8-битную аффинную квантизацию для ряда остальных компонентов; башня зрения сохранена. Для загрузки нужен собственный JANGTQ runtime и файл jangtq_runtime.safetensors, а стандартный загрузчик mlx_lm не поддерживает упакованные веса. Модель ориентирована на локальный инференс, включая диалоги, анализ изображений и агентные сценарии; для комфортного запуска README рекомендует Mac с 32 ГБ объединённой памяти. Лицензия — Apache-2.0. Заявленные в README бенчмарки относятся к исходной модели, а не к этой квантизированной сборке.

LibertAIDAI/Qwen3.6-35B-A3B-NVFP4-GGUF — это GGUF-квантизация мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Alibaba Qwen и адаптированной LibertAI для работы с llama.cpp. Модель предназначена для генерации текста, рассуждений и обработки изображений и видео совместно с vision-проектором mmproj. Заявленный язык — английский. Модель использует гибридную архитектуру attention и SSM с механизмом Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активируются на каждом токене; предусмотрено 40 слоёв и 256 экспертов, из которых активны 8. Маршрутизируемые экспертные FFN-тензоры представлены в формате NVFP4, а attention, shared experts, SSM-блоки linear_attn и embeddings используют обычные варианты GGUF-квантизации. Доступны варианты с Q4_K_M, Q8_0 и BF16 для неэкспертных тензоров; для мультимодального ввода требуется отдельный vision-проектор F16 размером около 861 МБ. Основное преимущество NVFP4-варианта — уменьшенный размер и высокая скорость на NVIDIA Blackwell, особенно для версии Q4_K_M; на RTX 5090 она показала до 223 токенов в секунду при генерации. При этом для этой MoE-модели стандартный GGUF Q4_K_M в некоторых сценариях пакетной обработки быстрее NVFP4-варианта, поэтому выигрыш NVFP4 зависит от оборудования и режима работы. На старых GPU поддержка NVFP4 работает через альтернативные kernels и не даёт заявленного преимущества Blackwell. Контекст модели в README не указан. Распространение выполняется по лицензии Apache 2.0. Для запуска необходимы llama.cpp и соответствующий GGUF-файл; мультимодальный режим дополнительно требует vision-проектор.

Qwen3.8-27B-Abliterated-SME-Preview — предварительная модель-ассистент для малого и среднего бизнеса от hotdogs, дообученная методом LoRA SFT на базе hotdogs/Qwen3.8-27B-abliterated. Это плотная гибридная модель с архитектурой Qwen3_5ForConditionalGeneration: 64 слоя, включая линейное внимание GDN и полное внимание; в репозитории представлены объединённые веса BF16 в safetensors. Модель предназначена для ответов на деловые вопросы, анализа CSV и офисных документов, а также для формирования структурированных вызовов инструментов. Модель принимает текст; в карточке указана мультимодальная обёртка с поддержкой изображений, хотя README описывает текстовые сценарии. Обучение проводилось на англоязычном наборе документов и вызовов инструментов; метаданные также указывают тайский язык. Контекст обучения — 8192 токена. Лицензия — Apache-2.0. В README приведены результаты на ARC, MMLU и GSM8K, а также проверки формата вызовов инструментов; они указывают на сохранение общих возможностей базовой модели и улучшение математического рассуждения, но полноценные агентные бенчмарки ещё не проводились. Выпуск имеет статус Preview. Склонность базовой модели отказывать снижена намеренно; для выполнения вызовов csv_* и doc_* требуется подключить инструменты к среде исполнения. BF16-версия на 27 млрд параметров требует нескольких GPU либо квантованного варианта для практического запуска.

lued/Qwen3.8-27B-AEON-UNCENSORED-INT8-W8A16-MTP — квантованная версия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, основанной на Qwen/Qwen3.8-27B. За исходную архитектуру и базовую модель отвечает Qwen, за abliteration — AEON-7, а данный репозиторий содержит числовую W8A16-квантизацию, подготовленную lued. Модель предназначена для диалоговых и мультимодальных сценариев с обработкой текста и изображений, а также для развёртывания в vLLM на видеокартах Ampere. Модель имеет размер 27B параметров, поддерживает vision tower, режимы reasoning и нативный контекст до 262 144 токенов. Веса языковой модели представлены в INT8 с FP16 или BF16-активациями по схеме W8A16; голова MTP сохранена в BF16 для speculative decoding. Конфигурация оптимизирована для тензорного параллелизма на двух RTX 3090 и поддерживает FP8 E4M3 KV-кэш. Расширение контекста до 1 млн токенов с YaRN указано как отдельная возможность исходной модели и не гарантируется данной конфигурацией. Сильные стороны модели — сниженное потребление памяти по сравнению с BF16-версией, сохранение мультимодальности, большого контекста и MTP, а также отсутствие заявленных отказов на проверенном наборе промптов у исходной uncensored-версии. Ограничения включают зависимость от совместимой конфигурации vLLM, Ampere-ориентированную оптимизацию, необходимость учитывать доступную KV-память и возможное отличие поведения от стандартной Qwen3.8-27B из-за abliteration. В README указана лицензия Apache-2.0.

DhruvalLabs/Qwen3.8-27B-GGUF — это набор квантованных версий мультимодальной Vision-Language Model Qwen3.8-27B, разработанной Qwen и подготовленной DhruvalLabs. Модель предназначена для диалогов, генерации и понимания текста, а также анализа изображений с текстовыми запросами. Она поддерживает английский язык и может запускаться через llama.cpp, LM Studio, Jan и Ollama. Архитектура состоит из двух компонентов: квантованной текстовой основы GGUF размером 27B параметров и отдельного vision encoder в файле mmproj, который всегда поставляется в формате F16. Для работы с изображениями необходимы оба файла. Доступны варианты квантования от Q4_K_M до Q8_0: Q4_K_M рекомендован как баланс качества и требований к памяти, а Q8_0 обеспечивает наиболее близкое к исходной модели качество, но требует около 28,6 ГБ RAM; для Q4_K_M требуется около 17,2 ГБ RAM. Указанный пример использования задаёт контекст 4096 токенов, однако общий максимальный контекст модели в README не указан. Сильной стороной модели является сочетание языковых возможностей и анализа изображений при существенно меньших требованиях к памяти по сравнению с полной версией, а также совместимость с популярными локальными инструментами запуска. Ограничения связаны с необходимостью скачивать и хранить два файла, компромиссами качества и размера при квантовании и отсутствием опубликованных результатов бенчмарков в README. Лицензия — Apache-2.0.

TheWegemann/Qwen3.8-27B-LowGPU-NoMTP-IQ3XXXS-GGUF — это пользовательская GGUF-квантизация модели Qwen3.8-27B, разработанная TheWegemann совместно с авторами рецепта квантования. Модель предназначена для локального запуска через llama.cpp на видеокартах с 12 ГБ VRAM, включая сценарии работы с агентами, рассуждениями, текстом и изображениями. Модель основана на 27-миллиардной Qwen3.8-27B и занимает примерно 9,3 ГБ. Она использует гибридную архитектуру с блоками Gated DeltaNet и линейного внимания, периодическими блоками полного внимания и 64 слоями. Поддерживаются мультимодальные сценарии с совместимым F16 vision-проектором. В сборке удалена MTP-голова, чтобы уменьшить потребление видеопамяти. Рецепт IQ3XXXS является названием пользовательской схемы смешанного покомпонентного квантования, а не официальным типом квантования llama.cpp; применяются различные форматы, включая IQ1_S, IQ1_M, IQ2, IQ3, IQ4_XS, Q2_K, Q4_K, Q5_K и Q8_0. Тестирование проводилось с полным переносом на GPU, контекстом до 64 000 токенов, кэшем Q4_0, Flash Attention и сервером llama.cpp. Сильная сторона модели — сочетание относительно крупной базовой модели, мультимодальности и большого контекста с возможностью запуска на 12-ГБ GPU. Квантование агрессивно оптимизировано под ограниченный объём VRAM, а финальные слои и отдельные чувствительные тензоры сохранены с более высокой точностью. Ограничения связаны с потерями качества из-за низкой точности, отсутствием MTP и зависимостью фактического потребления памяти от версии llama.cpp, драйверов, настроек и использования видеопамяти. Сборка ориентирована прежде всего на GPU-only запуск; работа при меньшем объёме VRAM или с CPU offload возможна, но не является целевым сценарием. Модель распространяется по лицензии Apache-2.0.

fcmeyer/Qwen3.8-27B-MLX-bf16-mtp — конверсия мультимодальной модели Qwen/Qwen3.8-27B в формат MLX bf16 для запуска через движок oMLX на компьютерах Apple Silicon. Веса сохранены без квантизации, включая головку MTP для спекулятивного декодирования Lightning-MTP; в модели также сохранена визуальная башня для анализа изображений и видео. Архитектура плотная, размер базовой модели — 27 млрд параметров. Модель предназначена для диалогов и понимания изображений и видео. При запуске через oMLX можно включить MTP для ускорения генерации; автор сообщает о двукратном ускорении декодирования на M5 Max с 128 ГБ памяти, а также о проверке поиска по длинному контексту и привязки ответов к изображениям. README демонстрирует контекстное окно до 262 144 токенов в конфигурации oMLX. Репозиторий содержит конвертированные веса, поэтому это не отдельное дообучение, а преобразование формата и точности исходной модели для MLX. Лицензия — Apache-2.0. Для запуска требуются Apple Silicon, oMLX и около 52 ГБ памяти под веса; измерения производительности относятся к конкретной конфигурации M5 Max.

Qwen3.8-27B-NInfer — мультимодальная модель для генерации текста и работы с изображениями, основанная на Qwen3.8-27B от команды Qwen. Версия подготовлена разработчиком Neroued и преобразована в нативный формат артефактов NInfer с расширениями для Vision, MTP и спекулятивного декодирования DFlash2. Модель предназначена для диалогов, текстовой генерации, рассуждений, решения математических и научных задач, а также анализа изображений и визуальных вопросов. В карточке заявлены высокие результаты на IFBench, AIME 2025 и 2026, GPQA-Diamond, ERQA и RealWorldQA. Артефакт содержит квантизированные Q4/Q5-проекции, а эмбеддинги токенов и выходная голова используют q8_g32_fp16; размер файла составляет около 19,03 ГиБ. Поддерживаются текстовые и визуальные входы, а также видео согласно руководству NInfer. В примерах запуска указан контекст до 240 000 токенов, однако конкретные возможности зависят от конфигурации среды. Модель рассчитана на локальный запуск через NInfer и требует 64-разрядный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a, CUDA Toolkit 13.1 или новее и сборку NInfer не ниже указанной в карточке. Файл не является совместимым с Transformers, Safetensors или GGUF. Использование ограничено форматом NInfer и специализированным оборудованием, поэтому переносимость ниже, чем у универсальных моделей. Лицензия — Apache-2.0.

Qwen3.8-27B-Opus-Distill-GGUF — квантованная мультимодальная модель, разработанная barozp на базе Qwen3.8-27B. Исходная модель дообучена с помощью LoRA на 14 250 трассах рассуждений Claude Opus; адаптеры объединены с базовыми весами. Модель распространяется в формате GGUF для запуска через llama.cpp и предназначена для текстовых и визуально-текстовых задач, включая ответы на вопросы, анализ изображений и задачи, требующие рассуждений. Модель содержит 27 млрд параметров, встроенную vision tower и обученную MTP-голову для self-speculative decoding. Vision tower поставляется отдельно в виде файла mmproj размером около 0,9 ГБ. Доступны варианты от BF16 и Q8_0 до крайне низкоразрядных IQ-квантов; Q4_K_M рекомендован как сбалансированный вариант. Для IQ-квантов используется importance matrix, рассчитанная на данных рассуждений. Точные сведения о поддерживаемых языках и размере контекста в README не указаны. Сильной стороной является улучшение показателей на задачах рассуждений: в описанном тестировании прирост относительно базовой модели составил 4,2 процентного пункта на ARC-Challenge и 26 пунктов на GPQA Diamond, при почти неизменных показателях общих знаний и языкового моделирования. Производительность MTP для этой конкретной модели не измерялась, поэтому приведённые оценки ускорения относятся к родственному Qwen3.6 и не гарантируют такой же результат. Известна проблема с зацикливанием рассуждений при одновременном использовании ограничений «без прозы» и другого ограничения формата; рекомендуется избегать такой комбинации или увеличить лимит генерации. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями требуется отдельный файл mmproj; текстовые сценарии могут использовать модель без него.

Qwen3.8-27B-thinkingcap-abliterated-GGUF — GGUF-квантизированная версия модели hotdogs/Qwen3.8-27B-thinkingcap-abliterated, подготовленная и опубликованная mradermacher. Модель дообучалась на датасете hotdogs/thinkingcap-sft-qwen38-27b и ориентирована на генерацию текста, рассуждения и эффективное использование токенов. В метаданных указан английский язык. Размер базовой модели — 27B параметров. Доступны варианты квантизации GGUF от Q2_K до Q8_0, включая IQ4_XS и несколько вариантов K-квантизации; размеры файлов составляют примерно от 11 до 29,1 ГБ. Для вариантов Q4_K_S и Q4_K_M заявлены высокая скорость и рекомендованный статус, а Q8_0 описан как вариант с лучшим качеством. Также предоставлены файлы mmproj для мультимодального дополнения, однако конкретные поддерживаемые типы входных данных и размер контекстного окна в README не указаны. Сильными сторонами являются широкий выбор уровней квантизации, возможность запуска в средах, совместимых с GGUF, и специализация исходной модели на reasoning и token-efficient подходах. Качество и требования к памяти зависят от выбранного варианта: более компактные квантизации экономичнее, но могут снижать качество, тогда как Q6_K и Q8_0 требуют больше ресурсов. Модель помечена как abliterated, но последствия этого для поведения и безопасности в README не раскрыты. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный пользователем trklzz на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp; доступны варианты с MTP для speculative decoding, отдельными draft-моделями, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; vision-компонент позволяет работать с изображениями. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 объёмом примерно от 10,6 до 29 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Вариант модифицирован методом abliteration: поведение, связанное с отказами, существенно уменьшено, но не устранено полностью. При этом дополнительное обучение и новые данные не использовались, а заявленные возможности, обучающие данные и архитектура базовой модели сохранены. Сильными сторонами являются длинный контекст, поддержка изображений, несколько уровней квантизации и возможность ускорения генерации посредством speculative decoding. Ограничения включают требования к значительным объёмам памяти, зависимость vision-функций от совместимого runtime и возможное небольшое снижение эффективности принятия draft-токенов. Распространение указано по лицензии Apache-2.0.

desva0/Qwen3.8-27B-Uncensored-W4A16 — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Репозиторий содержит сборку OrcaRouter с удалённым встроенным поведением отказа, дополнительно преобразованную в формат W4A16. Модель предназначена для работы с текстом и изображениями, поддерживает английский и китайский языки, рассуждения и вызов функций. Модель использует архитектуру Qwen3_5ForConditionalGeneration и содержит около 27 млрд параметров в исходной версии. Применена 4-битная симметричная квантизация весов с размером группы 128 в формате compressed-tensors pack-quantized; визуальные линейные слои сохранены в более высокой точности для поддержания возможностей анализа изображений. Размер весов составляет примерно 15 ГБ, благодаря чему модель рассчитана на запуск на одной видеокарте с 24 ГБ памяти, например RTX 3090. В README указана возможность использования контекста до 32768 токенов при настройке vLLM, причём фактическая длина зависит от доступной памяти под KV-кэш. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, поддержка function calling и возможность локального запуска на потребительском GPU. Ограничения связаны с потерями точности, возможными для 4-битной квантизации, зависимостью от совместимой версии vLLM и формата compressed-tensors, а также с отсутствием встроенного поведения отказа: модель может выполнять запросы, которые согласованная модель отклонила бы, поэтому ответственность за защитные меры и корректное применение лежит на пользователе. Модель распространяется по лицензии Apache-2.0; при перераспределении необходимо сохранять лицензию и атрибуцию.

SwagMessiah100/Qwen3.8-27B-Unleashed-GGUF — это квантованная GGUF-версия uncensored-модели Qwen3.8-27B-Uncensored, разработанной JonathanColetti. Репозиторий SwagMessiah100 применяет к исходным весам карту динамического распределения битов Unsloth Dynamic 3.0 и соответствующую матрицу важности. Модель предназначена для генерации текста, диалогов и локального запуска через совместимые инструменты, включая llama.cpp. Заявлены английский и китайский языки. Модель имеет размер 27 млрд параметров и поддерживает контекст до 262 144 токенов, включая заявленное извлечение информации на длине около 250 806 токенов для варианта UD-Q3_K_XL. Доступны девять уровней квантования, включая UD-IQ4_XS, UD-Q3_K_XL и UD-IQ3_XXS. Динамическое распределение битов сохраняет более высокую точность в чувствительных тензорах и сильнее сжимает менее чувствительные, благодаря чему, по приведённым измерениям, вариант Q3 превосходит протестированные варианты Q4 по perplexity и может обеспечивать более высокую скорость. К сильным сторонам относятся uncensored-поведение, длинный контекст, несколько вариантов размера и качества квантования, а также проверка файлов нагрузочным тестированием. Производительность и качество зависят от конкретного варианта, оборудования и длины генерации; измерения проводились на RTX 4090 24 ГБ с llama.cpp и DFlash2. Для коротких запросов заявлена медианная скорость около 24,9 токена в секунду, для длинной генерации — до 56,3 токена в секунду, поэтому модель требовательна к ресурсам. Лицензия — Apache 2.0.

Vontra/Qwen3.8-Flash-Next-MLX-4bit — общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной Qwen, для запуска на устройствах с Apple Silicon. Конверсия выполнена Vontra непосредственно из официального BF16-чекпойнта и предназначена для задач генерации текста и обработки изображений в сценариях vision-language. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, объединяющую Gated DeltaNet, Qwen Sparse Attention, разреженные MoE-слои, расширенные gated residual-потоки и хешированные bigram/trigram-эмбеддинги. Языковая часть содержит 125 млрд параметров, из которых активно используется около 6 млрд, а таблицы n-gram-эмбеддингов включают 51 млрд параметров. Архитектура имеет 48 слоёв, 512 маршрутизируемых экспертов с активацией 10 экспертов и одного общего, 24 attention heads и 2 KV heads. Заявленный контекст — до 262 144 токенов; сохранены исходные токенизатор, chat template, vision processor и настройки генерации. Весы представлены в формате MLX safetensors и подвергнуты 4-битному аффинному квантованию с group size 32, что делает модель пригодной для локального запуска через совместимые версии MLX-VLM или oMLX. На Apple M3 Studio сообщается около 24,1–26,1 токена в секунду при прогретой генерации через oMLX и 31 токен в секунду в коротком standalone-тесте. К ограничениям относятся возможное снижение качества из-за квантования, высокая потребность в памяти, отсутствие опциональной MTP-head и необходимость runtime с поддержкой qwen4_exp; подключение Qwen3.8 27B MTP drafter несовместимо. Модель распространяется по Qwen Community License 1.0. Это неофициальный релиз Qwen: дизайн, обучение и исходная документация принадлежат Qwen и первоначальным авторам, а MLX-конверсия, проверка на Apple Silicon и упаковка выполнены Vontra.