I.2Синтез, понимание и проверка знаний

greghavens/Qwen3.8-27B-bnb-4bit — это 4-битная NF4-квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для обработки текста и изображений, включая задачи visual question answering, генерацию текста по изображениям и работу с агентами и инструментами. Указан английский язык. Размер модели — около 18,60 ГБ в шести сегментах, что позволяет запускать её на одной видеокарте с 24 ГБ памяти при использовании bitsandbytes и совместимого ускорителя. Квантизация применяется к 496 языковым линейным слоям, тогда как vision tower, lm_head, входные эмбеддинги и нормализующие слои сохранены в bfloat16. В комплекте также присутствует MTP head в bfloat16 для speculative decoding в vLLM и SGLang, хотя Transformers его не использует. Модель совместима с Transformers и поддерживает QLoRA-файнтюнинг через PEFT. Контекст модели в README не указан. По заявленным измерениям, квантизация почти не меняет результаты IFEval и NoveltyBench, а ухудшение perplexity на Wikitext-2 составляет около 1,14%. При этом показатель BFCL для вызова инструментов снижается с 0,8218 до 0,8113, а на нерелевантные запросы модель чаще ошибочно генерирует вызов инструмента. Для Blackwell и сценариев, ориентированных только на инференс, README рекомендует более быстрые варианты NVFP4 или FP8. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GGUF-4.2BPW-16GB — это квантованная версия плотной языковой модели Qwen3.8-27B, разработанной командой Qwen. Сборка опубликована пользователем hitsfmdj и создана с использованием Omenator AI. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama или LM Studio, особенно на видеокартах с 16 ГБ VRAM. Модель поставляется в формате GGUF с importance-weighted смешанной точностью и эффективной точностью 4,189 бит на вес. Все 27 млрд параметров сохранены: параметры не удалялись и не подвергались дистилляции, а точность перераспределялась между тензорами с учётом их важности. Размер файла составляет 11,88 ГБ, заявленный базовой моделью контекст — 262 144 токена. Сборка рассчитана на полное размещение в памяти одной 16-гигабайтной GPU без выгрузки слоёв на CPU. Ключевое преимущество — возможность запускать 27B-модель на видеокартах класса 16 ГБ с сохранением VRAM для KV-кэша; на эталонной системе заявлена скорость декодирования 12,77 токена в секунду. Оценка потери качества составляет около 2,6% относительно почти без потерь, но основана только на perplexity и KL-divergence при отборе квантования и не подтверждена полноценным набором downstream-бенчмарков. Реальная скорость и доступный контекст зависят от оборудования, backend и настроек KV-кэша. Базовая модель и квантованная сборка распространяются по лицензии Apache-2.0; для базовой модели действуют соответствующие условия лицензии. Языки и специализированные возможности исходной Qwen3.8-27B в README не указаны.

Qwen3.8-27B-Opus-Distill-v2 — плотная мультимодальная модель семейства Qwen, созданная barozp дообучением Qwen/Qwen3.8-27B методом LoRA с последующим объединением адаптера с базовыми весами. Дообучение выполнено на 11 716 примерах с проверенными трассами рассуждений Claude Opus; по данным карточки, набор очищен от строк с проблемным шаблоном и непроверенных источников. Модель предназначена для диалогов, анализа изображений и решения многошаговых задач с рассуждением. В README приведены результаты тестирования на логических и научных заданиях, а также проверка исправления ошибки зацикливания при совместном задании ограничений формата. Возможности зрения и MTP унаследованы от базовой модели и в этом дообучении не менялись. Модель принимает текст и изображения и генерирует текст; контекстная длина и поддерживаемые естественные языки в предоставленных данных не описаны. Модель распространяется под лицензией Apache-2.0. Карточка сообщает об исправлении конкретного случая зацикливания, но это не гарантирует его отсутствия во всех сценариях; приведённые бенчмарки ограничены режимом 0-shot, loglikelihood и QUICK с лимитом 500 примеров.

amd/Qwen3.8-27B-Quark-AWQ-MXFP4 — квантизированная версия мультимодальной модели Qwen3.8-27B, подготовленная с использованием AMD Quark и алгоритма AWQ (Activation-aware Weight Quantization). Модель предназначена для задач генерации текста и обработки изображений с текстом; в карточке указано, что она использует image-text-to-text pipeline. Языковая часть основана на Qwen3.8-27B в формате BF16, а vision tower сохранена без квантизации в BF16. Веса языкового декодера квантизированы в MXFP4 по спецификации OCP microscaling FP4 с размером группы 32 и общей шкалой E8M0; активации используют динамическую MXFP4-квантизацию, рассчитываемую во время выполнения для каждого блока. Квантизация выполнена по 128 образцам последовательностей длиной 512 из датасета pileval. Vision-компоненты не квантизированы, поэтому визуальная подсистема сохраняет исходный формат BF16. В README не указаны точные поддерживаемые языки и максимальная длина контекста; пример запуска задаёт ограничение 16384 токена. На GSM8K в режиме рассуждений модель показала 94,996% по flexible-extract и 95,30% по strict-match против 93,33% у базовой BF16-модели; в нережиме рассуждений результаты составили 89,92% и 89,76% против 90,67% и 89,76% соответственно. Ключевое преимущество — существенное снижение точности представления языковой части при сохранении качества, а также совместимость с запуском через vLLM. Ограничения включают зависимость от поддержки MXFP4, AMD Quark и соответствующей инфраструктуры, а также отсутствие подробных результатов по другим задачам. Модель распространяется по лицензии Apache-2.0; модификации принадлежат Advanced Micro Devices, Inc.

topabaem/Qwen3.8-27B-STQ — семейство контролируемых GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованное topabaem. Модель предназначена для локального запуска и развертывания в условиях ограниченной памяти с использованием llama.cpp. В репозитории представлены варианты IQ3_XXS, IQ4_XS, Q4_K_M и Q5_K_M размером примерно от 11,19 до 19,23 ГБ. Для всех вариантов использованы один и тот же BF16-источник, зафиксированная сборка llama.cpp и importance matrix; проект позиционируется как исследование измерений, а не как новый метод кодирования. Модель ориентирована прежде всего на текстовые задачи, а в метаданных также заявлен pipeline image-text-to-text. В README не указаны точные архитектурные характеристики, число параметров помимо обозначения 27B, поддерживаемые языки и размер контекстного окна. На тесте из 800 заданий MMLU и ARC точность вариантов составила от 85,63% до 86,88% против 87,00% у BF16-базовой версии; Q4_K_M и Q5_K_M признаны не уступающими BF16 в рамках этого теста. Результаты LiveCodeBench v6 предварительные: измеренный pass@1 ещё не рассчитан, поэтому заявлять о подтверждённой эффективности в программировании нельзя. Основные преимущества — несколько уровней компромисса между размером, требованиями к памяти и качеством, а также воспроизводимый инструментальный стек и опубликованные измерения. Ограничения включают зависимость качества от конкретного варианта квантизации, неполную сопоставимость некоторых бенчмарков и отсутствие данных о генерации на длинных последовательностях. Лицензия — Apache-2.0.

llmfan46/Qwen3.8-27B-Ultra-Uncensored-Heretic-Native-MTP-Preserved — дообученная мультимодальная модель автора llmfan46 на базе Qwen/Qwen3.8-27B. Это плотная модель класса Qwen3.5 с 27 млрд параметров, архитектурой причинного языкового моделирования и визуальным энкодером; в репозитории сохранены 15 компонентов MTP для многотокенного предсказания. Модель предназначена для диалога, ответов на запросы с изображениями и видео, а также общих задач рассуждения и генерации текста. Автор применил abliteration, чтобы снизить частоту отказов: в приведённом тесте модель отказала в 3 из 100 случаев против 91 из 100 у исходной модели. README приводит результаты MMLU для исходной Qwen3.8-27B, а не отдельную оценку этой версии. Модель поддерживает визуальное понимание изображений и видео; заявленная длина контекста — 262 144 токена с расширением до 1 000 000. В режиме thinking модель сначала формирует рассуждения, которые можно отключить настройкой запроса. Файлы представлены в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Снижение числа отказов означает, что модель может отвечать на запросы, от которых исходная версия отказалась бы; приведённые тесты не устанавливают качество и безопасность ответов в других сценариях.

Guile/Qwen3.8-27B-Uncensored-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный автором Guile. Модель предназначена для генерации текста и запуска в llama.cpp, включая локальный инференс, а также сценарии со speculative decoding и обработкой изображений при использовании vision-файлов. Поведение отказов существенно снижено с помощью метода abliteration на базе Heretic, но не устранено полностью; дополнительное обучение и новые данные не использовались. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Поддерживаются английский и китайский языки. README указывает наличие vision-компонентов, однако применение изображений зависит от поддержки vision tower базовой моделью и совместимости runtime. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ, а также отдельные draft-варианты для speculative decoding. Сохранённая MTP-голова может ускорять генерацию, но после изменения основной модели коэффициент принятия draft-токенов может немного снизиться; на качество проверяемых токенов это не должно влиять. Сильные стороны модели — большой контекст, поддержка текста и изображений в соответствующих сборках, широкий выбор квантизаций и сохранённая MTP-голова. Ограничения включают неполное устранение отказов, требования к значительным ресурсам и зависимость vision- и speculative-decoding-сценариев от возможностей конкретного runtime. Модель распространяется по лицензии Apache-2.0.

JonathanColetti/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный JonathanColetti для запуска через llama.cpp и совместимые среды. В модели существенно снижено отказное поведение, но оно не устранено полностью; при этом заявлено сохранение исходных возможностей, обучающих данных и архитектуры базовой модели. Изменения выполнены методом abliteration без дообучения и добавления новых данных. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений при использовании совместимого vision runtime. Указаны английский и китайский языки. Архитектура — Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248320 токенов, один MTP-слой и контекст до 262144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с MTP для speculative decoding и отдельный vision-проектор. Сильные стороны модели — большой контекст, поддержка изображений, несколько вариантов квантизации для разных ограничений по памяти и возможность ускорения генерации через speculative decoding. Качество зависит от выбранной квантизации и аппаратного обеспечения; наиболее компактная IQ2_M заметно уступает остальным вариантам по измеренной perplexity. MTP-голова обучалась на неизменённой базовой модели, поэтому коэффициент принятия черновых токенов может немного снижаться, хотя проверка каждого токена сохраняет качество вывода. Для работы требуется совместимый runtime, а поддержка изображений доступна только при наличии соответствующего vision runtime. Лицензия — Apache-2.0.

KasugaiSakura/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B от Qwen, опубликованный KasugaiSakura для запуска через совместимые среды, включая llama.cpp. Модель предназначена для генерации текста, а также поддерживает обработку изображений при использовании совместимого vision runtime и файла mmproj. Вариант Uncensored создан с целью существенно снизить выраженность отказов без дообучения, дополнительного датасета и изменения базовых возможностей, однако отказы не устранены полностью. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Указаны английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, варианты со встроенной или отдельной MTP-головой для speculative decoding, а также отдельный vision-проектор F16. Размер файлов составляет примерно от 10,6 до 29 ГБ, не считая отдельных компонентов. Сильные стороны модели — длинный контекст, поддержка текста и изображений, широкий выбор квантизаций и возможность ускорения генерации с помощью speculative decoding. Ограничения включают зависимость от совместимого runtime и достаточного объёма памяти, возможное снижение acceptance rate для черновой MTP-головы, а также то, что уменьшение отказов не является полным и может влиять на поведение модели. Квантизации GGUF распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный lactroiii на базе модели Qwen/Qwen3.8-27B от Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального запуска через llama.cpp. Поведение отказов существенно снижено, но не устранено; основные возможности, обучающие данные и архитектура базовой модели сохранены. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Заявлена поддержка английского и китайского языков, а также визуального ввода при наличии vision tower в базовой модели. Доступны варианты IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, включая конфигурации со встроенной или отдельной MTP draft-моделью для speculative decoding. К сильным сторонам относятся большое контекстное окно, поддержка текста и изображений, несколько уровней квантизации и сохранённая MTP-голова для потенциального ускорения генерации. Измерения perplexity показывают близкое к f16 качество для большинства вариантов, тогда как IQ2_M заметно уступает остальным. Снижение отказов не является полным и может влиять на профиль безопасности модели. Для использования требуется совместимый runtime, например llama.cpp; лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель, созданная HauhauCS на базе Qwen/Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, агентских сценариев, анализа изображений и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа на сложные запросы. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120 и FFN-размером 17408. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention, встроенный MTP/NextN для speculative decoding и дополнительный профиль HauhauCS FastMTP 32K для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки; для работы с изображениями и видео требуется отдельный vision-проектор BF16. Сильные стороны модели — сочетание текстовых, рассуждающих, агентских и мультимодальных возможностей базовой Qwen3.8-27B, большой контекст и варианты GGUF-квантизации от Q8_K_P до IQ2_M, совместимые с llama.cpp, LM Studio и другими GGUF-рантаймами. FastMTP может повысить скорость генерации, однако фактический выигрыш зависит от оборудования и программной поддержки. Ограничения включают отсутствие защитного поведения и отказов в Aggressive-варианте, что может быть нежелательно для надёжных агентских систем, а также потерю качества при использовании более сильной квантизации. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа. Это плотная языковая модель на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя, размер скрытого состояния 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются английский, китайский и другие языки; заявлены текстовая, визуальная и видеомодальности. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Для обработки изображений и видео требуется отдельный vision projector в формате BF16. Модель сохраняет встроенный механизм NextN/MTP исходной Qwen3.8 и дополнительно поставляется с профилем ускорения HauhauCS FastMTP 32K, совместимым с различными текстовыми квантованиями. Доступны варианты от Q2 до Q8, включая специализированные K_P-кванты, оптимизированные для сохранения качества при уменьшенном размере. Ограничения включают значительные требования к памяти, зависимость визуального ввода от отдельного проектора и потенциальные риски некорректных или небезопасных ответов из-за uncensored-профиля; для критически важных длинноконтекстных агентских задач README рекомендует более сбалансированный вариант, если он доступен.

DavidrPatton/Qwen3.8-27B-Uncensored-UD3-GGUF — это квантизированная GGUF-версия 27-миллиардной языковой модели Qwen3.8-27B-Uncensored, основанной на Qwen3.8-27B и адаптированной JonathanColetti. Сборка использует метод Unsloth Dynamic 3.0 (UD3) с динамическим распределением точности по слоям и предназначена для запуска через llama.cpp. Модель поддерживает текстовую генерацию и диалоговые сценарии, а заявленные языки — английский и китайский. Основное назначение модели — локальные задачи генерации текста, общения и рассуждений, включая работу с контекстом размером до 128K токенов. Сборка оптимизирована для потребительских GPU с 16 ГБ VRAM, Apple Silicon Mac и Linux-систем. Размер файла составляет около 12,1 ГБ; заявленное потребление памяти с 128K контекстом — примерно 14,2 ГБ. Для ускорения генерации предусмотрена Multi-Token Prediction (MTP) draft head в формате Q8_0, проверенная для слоя 64. Ключевая особенность — смешанная точность: критические эмбеддинги, выходные логиты и MTP-компоненты используют Q8_0 или F32, важные проекции внимания — Q4_K, отдельные матрицы внимания — Q3_K, а основные FFN/MLP-блоки — IQ2_M. Такой подход обеспечивает более высокое качество рассуждений по сравнению с обычной равномерной двухбитной квантизацией при меньшем размере, хотя качество и точность всё равно зависят от потерь квантизации. Модель позиционируется как uncensored, однако README не приводит подробного описания ограничений безопасности или результатов независимого тестирования. Лицензия — Apache-2.0.

Qwen3.8-Flash-CIRU-STRIX-IU4 — специализированная сборка семейства Qwen3.8-Flash-Next, разработанная проектом CIRU при участии Peonist.ai и pwilkin. Модель распространяется в формате GGUF и предназначена для локального запуска на компьютерах с AMD Strix Halo, в частности с 128 ГБ памяти и графикой Radeon на базе Ryzen AI Max 395. Она ориентирована на генерацию текста с длинным контекстом, работу через OpenAI-совместимый API, веб-интерфейс и обработку изображений. Сборка использует архитектуру mixture-of-experts, поддержку vision и image-text-to-text, а также MTP для speculative decoding. В неё включены оптимизации предварительной обработки, кэширования, внимания и GPU-исполнения под AMD ROCm; заявлена возможность работы с контекстами до 256K и отдельные измерения для предварительной обработки до 512K токенов. README не указывает точное число параметров, перечень языков и полную спецификацию модальностей. Сильные стороны модели — высокая скорость локального инференса на совместимых системах, эффективная обработка длинного контекста, поддержка изображений и интеграция с локальными серверными сценариями. Ограничения включают жёсткую зависимость от специализированного CIRU runtime и подходящей AMD-платформы: стандартные llama.cpp и размещённый inference Hugging Face не поддерживаются. Для vision и MTP требуется версия runtime с исправлением v4.4.1; приведённые в README показатели производительности относятся к конкретной тестовой конфигурации и не гарантируют такие же результаты на другом оборудовании. Лицензия указана как other с названием qwen-community-1.0; ссылка ведёт на файл LICENSE. Условия использования следует уточнять по этому файлу.

unsloth/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной для распространения Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для обработки текста и изображений, включая мультимодальные и агентские сценарии. Для запуска рекомендуется использовать llama.cpp или Unsloth Desktop; также заявлена поддержка ускорения инференса с помощью MTP. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при работе, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибридную связку Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и 10 маршрутизируемыми плюс одним общим активным экспертом, Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживаемые языки в README не указаны. К сильным сторонам относятся разреженное внимание на уровне блоков, рассчитанное на снижение задержки при длинном контексте, экономичное масштабирование параметров и малая доля активных параметров относительно общего размера модели. Ограничения связаны с экспериментальным статусом архитектуры, потенциально высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленном README подробных результатов бенчмарков и описания языкового покрытия. Модель распространяется по лицензии qwen-community-1.0; указанный тип лицензии — other.

ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF — это набор GGUF-квантизаций мультимодальной модели Qwen3.8-Flash-Next, разработанный Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для текстовых и визуально-текстовых задач и совместима с llama.cpp, Ollama и LM Studio. Для мультимодального режима поставляется отдельный vision projector с vision encoder в формате BF16. В основе лежит разреженная Mixture-of-Experts-архитектура с 512 экспертами на слой, 48 слоями и 10 активными экспертами на каждый токен. Квантизация выполнена методами GSQ и RCO: GSQ оптимизирует скалярное представление весов, а RCO распределяет типы квантизации между тензорами с учётом общего ограничения на размер. Доступны варианты Q2_0, IQ2_XS и IQ3_XXS со средним размером 2,40, 2,50 и 3,00 бит на параметр; общий объём файлов составляет примерно 66,4–75,8 ГБ, не считая vision projector. IQ3_XXS рекомендуется авторами как вариант, сопоставимый с базовой моделью на тесте AIME25. Q2_0 обеспечивает наиболее высокую скорость: заявлены 3,4-кратная производительность обработки промпта и в 1,9 раза меньшая сквозная задержка по сравнению с IQ2_XS, но с некоторой потерей качества. Ограничениями являются большой размер модели, компромисс между качеством и скоростью у разных вариантов квантизации и отсутствие в предоставленных данных сведений о языках и максимальной длине контекста. Лицензия — Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-2bit-MTP — это MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео на устройствах Apple Silicon через совместимые MLX-совместимые среды, включая oMLX и MLX-VLM. Архитектура указана как vision-language sparse MoE с компонентами Qwen4Exp. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке запроса, 48 слоёв, скрытое состояние размером 2560, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Используются Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams, хешированные биграммные и триграммные embedding-компоненты, а также собственный MTP-блок для speculative decoding. Контекст составляет 262 144 токена и может быть расширен до 1 млн токенов в исходной модели. Языки не указаны в предоставленных данных. Ключевая особенность версии — affine-квантизация 2-bit с размером группы 32 для экспертных и predictive-embedding-модулей при сохранении чувствительных компонентов, включая attention, vision-модули, embeddings, output head и native MTP, в BF16 или совместимой исходной точности. Размер весов составляет около 80,07 ГБ, формат — MLX safetensors. На Apple M3 Studio измеренная скорость генерации составила 29,37 токена в секунду при отключённом MTP и 28,62 токена в секунду при включённом, поэтому MTP рекомендуется отключать по умолчанию. Для работы требуется runtime с поддержкой архитектуры qwen4_exp и native MTP. Модель распространяется по лицензии Qwen Community License 1.0. В предоставленных данных не приведены подробные результаты исходных оценок, полный перечень поддерживаемых языков и ограничения безопасности; за ними следует обращаться к карточке базовой модели.

Vontra/Qwen3.8-Flash-Next-MLX-oQ2-MTP — это общественная MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и обработки изображений и видео в совместимых vision-language сценариях на устройствах Apple Silicon. Это не официальный релиз Qwen, а квантованная версия, преобразованная из официального BF16-чекпойнта в формат MLX safetensors. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов (MoE), Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и hashed n-gram embeddings. Общее число параметров языковой модели составляет около 125 млрд, активных — около 6 млрд; дополнительно указаны 51 млрд параметров n-gram embedding и 4 млрд параметров native MTP-блока. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий эксперт. Контекст настроен на 262 144 токена и может быть расширен upstream до 1 000 000 токенов. Ключевая особенность — чувствительно-ориентированное смешанное квантование oQ2: базовое представление использует 2-битное affine-квантование с размером группы 32, а отдельные модули — 3, 4, 5, 6 и 8 бит. В чекпойнте сохранён один native MTP draft-блок для speculative decoding. На Apple M3 Studio в тестах скорость генерации составила 26,1398 токена в секунду без MTP и 25,9290 токена в секунду с MTP глубины 3; в данном тесте MTP снизил производительность на 0,81%, поэтому рекомендуется отключать его по умолчанию. Для запуска требуется runtime с явной поддержкой qwen4_exp и native MTP; без такой поддержки загрузка может завершиться ошибкой. Модель распространяется по лицензии Qwen Community License 1.0. Размер весов составляет около 70,782 ГБ, поэтому необходимы значительные объёмы памяти и совместимое оборудование. README не содержит полного описания ограничений исходной модели и предупреждает, что результаты производительности зависят от длины запроса, размера контекста, состояния кэша, версии runtime, нагрузки на память и температуры устройства.

Vontra/Qwen3.8-Flash-Next-MLX-oQ8-MTP — общественная MLX-конверсия мультимодальной vision-language модели Qwen3.8-Flash-Next, разработанной Qwen, с сохранённым нативным блоком MTP для speculative decoding. Конверсия выполнена Vontra напрямую из официальных BF16-весов; это не официальный релиз Qwen. Модель предназначена для генерации текста и обработки изображений в совместимых MLX-VLM или oMLX-средах, прежде всего на устройствах Apple Silicon. Модель использует архитектуру sparse MoE с обозначением qwen4_exp, включает Gated DeltaNet, Qwen Sparse Attention, разреженные mixture-of-experts-слои, расширенные gated residual-потоки и хешированные биграммные и триграммные embedding-таблицы. Всего заявлено 125 млрд параметров, из которых активно около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов с выбором 10 экспертов и одного общего, 24 attention heads и 2 KV heads, размер скрытого состояния 2560 и контекст до 262 144 токенов. Формат — MLX safetensors, квантизация oQ8, близкая к равномерной 8-битной аффинной, с group size 32; размер весов составляет около 202,75 ГБ. Сильная сторона конверсии — встроенный совместимый MTP-блок, который может существенно повысить скорость генерации: в измерении на Apple M3 Studio производительность выросла с 19,5 до 35,7 токена в секунду. Однако модель требует runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут отклонить веса. Указанные результаты зависят от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

novacardsai/qwen3-medical — дообученная командой NovaCards AI модель Sentence Transformer на базе Qwen/Qwen3-Embedding-4B для получения текстовых эмбеддингов медицинских карточек и других фрагментов текста. Она преобразует предложения и абзацы в плотные векторы размерности 2560; сходство между ними можно оценивать косинусной мерой. Максимальная длина последовательности — 40 960 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. В README приведён пример обучающих данных для медицинских флеш-карточек и оценка cosine accuracy 0,962 на проверочном наборе med_flashcard_val. Архитектура включает Qwen3Model, pooling по последнему токену и нормализацию выходного вектора. Репозиторий использует Sentence Transformers и формат safetensors. Лицензия в предоставленных данных не указана. Это модель для представления и сопоставления текстов, а не для генерации медицинских ответов; качество за пределами описанного сценария проверки из этих данных установить нельзя.

Qwen3-Next-80B-A3B-Thinking r22 — экспериментальный чекпойнт на базе Qwen/Qwen3-Next-80B-A3B-Thinking. В карточке указано, что это MoE-модель с маршрутизируемыми экспертами, усреднённо хранящимися при 2,0161 бита; остальные веса — BF16. Метаданные указывают 2,3 млрд параметров, контекст до 262 144 токенов и библиотеку Transformers. Веса представлены в safetensors и загружены в деквантованном виде в BF16-тензоры; заявлена совместимость со стандартными Transformers и vLLM. Модель предназначена для генерации текста и диалогового использования, включая сложные рассуждения и вызов инструментов через соответствующий интерфейс. Русский язык карточкой не заявлен, поэтому языковая поддержка здесь не уточняется. Чекпойнт помечен как внутренний исследовательский; лицензия наследуется от базовой модели.

Mungert/QwenLong-L1-32B-GGUF — это GGUF-квантизированная версия языковой модели QwenLong-L1-32B, созданная на основе DeepSeek-R1-Distill-Qwen-32B. Модель предназначена для генерации текста и задач, требующих работы с длинным контекстом и рассуждениями; в метаданных она обозначена как long-context и large-reasoning-model. При подготовке использовался llama.cpp, а среди связанных данных указан набор Tongyi-Zhiwen/DocQA-RL-1.6K. Главная особенность представленной версии — поддержка вариантов квантования с низкой разрядностью, включая 1–2-битные схемы IQ-DynamicGate. Этот подход распределяет точность по слоям модели и защищает критически важные компоненты, чтобы снизить потери качества при уменьшении размера. По приведённым тестам на Llama-3-8B DynamicGate уменьшал perplexity по сравнению со стандартным 1–2-битным квантованием, сохраняя сопоставимую скорость инференса; эти результаты не являются прямым бенчмарком данной 32B-модели. Модель подходит для развёртывания на системах с ограниченной GPU-памятью, CPU и edge-устройствах, а также для исследований ультранизкоразрядного квантования. Компромиссами являются возможное снижение точности по сравнению с полноформатными версиями и зависимость результата от выбранного варианта квантования и аппаратной поддержки. Лицензия — Apache-2.0. Точный размер модели, поддерживаемые языки и заявленное максимальное окно контекста в README не указаны.

Это GGUF-квантизированная версия языковой модели Qwen3-235B-A22B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и сценариев, требующих рассуждений; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. Архитектура и точные характеристики исходной модели, включая число активных параметров, контекст, поддерживаемые языки и модальности, в представленном README не описаны. Указано обозначение 235B-A22B, а также наличие множества вариантов квантования от Q8_0 до Q2_K и IQ-квантов. Размер файлов составляет примерно от 83,33 до 249,94 ГБ. Более качественные варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как низкобитные варианты экономят память, но снижают качество. Основные преимущества модели — доступность высококачественных квантований и возможность локального запуска на совместимом оборудовании. Ограничения связаны с очень большим размером файлов и зависимостью качества от выбранного типа квантования. Лицензия в README не указана.

QwQ-LCoT2-7B-Instruct — дообученная компанией prithivMLmods языковая модель на базе Qwen2.5-7B-Instruct. Она предназначена для диалогов, выполнения инструкций и пошагового решения задач, особенно математических и логических, а также для генерации развернутых объяснений. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и принимает текстовый контекст длиной до 32 768 токенов. Обучение включало наборы данных с примерами рассуждений и решения математических задач. Модель подходит для помощи в обучении, технической поддержке и генерации структурированных ответов. Она может ошибаться или выдавать вымышленные сведения; качество сложных решений зависит от задачи и формулировки запроса. README также отмечает возможные смещения обучающих данных и высокие вычислительные требования при длинной генерации и высокой нагрузке. Распространяется по лицензии Apache-2.0.

Reflection-Llama-3.1-70B-GGUF — набор GGUF-квантизованных версий модели, опубликованный leafspark и основанный на mattshumer/ref_70_e3. Модель дообучена с применением LoRA ранга 256 на Llama-3.1-70B-Instruct и предназначена для генерации текста, диалогов и задач, требующих рассуждений. Заявленная особенность — Reflection-Tuning: модель должна выявлять ошибки в рассуждении и корректировать ход решения с использованием секций <thinking>, <reflection> и <output>. Это текстовая авторегрессионная модель семейства Llama с примерно 70 млрд параметров. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует стандартный формат чата Llama 3.1 и доступна в вариантах от FP16 размером около 141 ГБ до сильно квантизованных сборок; приведённые размеры отдельных вариантов находятся примерно в диапазоне от 14,6 до 57,9 ГБ. Для некоторых вариантов применялась калибровка iMatrix. Сильной стороной заявляется способность к явному самопроверяемому рассуждению, однако авторы README предупреждают, что опубликованные результаты бенчмарков, вероятно, недостоверны и не воспроизводятся. Также отмечается неопределённость исходного обучения и возможная фиктивность связанной версии модели, поэтому характеристики качества следует проверять самостоятельно. Для запуска рекомендуется системный промпт из README, температура 0,7 и Top P 0,95. Модель распространяется по лицензии llama3.

Rombos-Qwen2.5-Writer-32b-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Rombos-Qwen2.5-Writer-32b, разработанной SubtleOne и подготовленной квантизатором bartowski. Модель основана на архитектуре Qwen2.5, однако точная конфигурация архитектуры, поддерживаемые языки и размер контекста в README не указаны. Формат предназначен для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель ориентирована на генерацию и редактирование текста, а также на сценарии, где важны писательские возможности, поскольку в её названии указано назначение Writer. Доступны варианты от полноточного F16 размером 65,53 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ различных размеров. Квантизации выполнены с использованием imatrix и датасета bartowski; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые благодаря сочетанию качества и экономии памяти. Более компактные варианты требуют меньше оперативной памяти, но уступают по качеству. Это текстовая, а не мультимодальная модель: сведения о работе с изображениями, аудио или видео отсутствуют. Основные ограничения — значительные требования к памяти для 32B-модели, зависимость качества от выбранного уровня квантизации и отсутствие в README подробных данных о производительности, языках и контексте. Для диалогового запуска следует использовать формат prompt с маркерами im_start и im_end. Для модели указана лицензия Apache-2.0.

SARDI Dream 7B — дообученная командой проекта SARDI модель на основе Dream-v0-Instruct-7B, представленная как основа метода Self-Augmenting Retrieval for Diffusion Language Models в работе для ICML 2026. Это плотная диффузионная языковая модель с 7,1 млрд параметров для генерации текста и диалогов; метаданные указывают контекст до 131 072 токенов. Модель дообучена для retrieval-augmented generation и многошаговых вопросов: во время денойзинга метод SARDI формирует запросы по частично восстановленной последовательности, получает дополнительные свидетельства и использует их на следующих шагах генерации. Для обучения использовались обучающие части 2WikiMultiHopQA и HotpotQA, трассы рассуждений gpt-4o-mini и документы-ответы в контексте; обучение длилось три эпохи. Для инференса нужны код и декодирование с порогами из репозитория проекта. Веса представлены в формате safetensors и хранятся в float32; при инференсе выполняется приведение к bfloat16. Модель выпущена по лицензии Apache-2.0. README отмечает, что исходная Dream-7B ненадёжно генерировала трассы рассуждений в режиме zero-shot, поэтому для этой задачи был создан RAG-файнтюн.

Sheared-LLaMA-1.3B — плотная авторегрессионная языковая модель семейства LLaMA, разработанная Princeton NLP. Она получена структурным прореживанием meta-llama/Llama-2-7b-hf и последующим продолжением предобучения: для прореживания использовано 0,4 млрд токенов, а для продолжения обучения — 50 млрд токенов из RedPajama. Модель содержит 1,3 млрд параметров, принимает текст и генерирует текст, имеет контекст до 4096 токенов и использует словарь LLaMA 1 и LLaMA 2. Модель предназначена для генерации текста и может применяться к языковому моделированию, рассуждениям, пониманию прочитанного и задачам с обширными знаниями. В README приведены сравнительные результаты на наборе downstream-задач, но они не гарантируют качество в каждом конкретном сценарии. Это базовая, не instruction-tuned версия; для диалогового использования авторы отдельно указывают ShareGPT-варианты. Репозиторий заявляет лицензию Apache-2.0, однако README требует соблюдать лицензию Llama 2, от которой модель производна.

MC7ever/spark25-4b-evo-merged — объединённая модель семейства Spark2.5-4B, созданная методом эволюционного линейного слияния весов. В основе использованы дообученные модели ProCreations/BetterWright-4b и hcnote/Spark-X2.5-4B-Writing-EP1; конфигурация и токенизатор взяты от базовой модели. Веса опубликованы в формате safetensors. Модель предназначена для диалоговой генерации текста. В карточке приведены результаты тестов на HellaSwag, ARC, MMLU и GSM8K, включая показатель 0,748 на GSM8K. Архитектура — плотная причинно-языковая Spark2_5ForCausalLM с 3,8 млрд параметров и контекстом до 1 048 576 токенов. Лицензия — Apache-2.0. Результаты тестирования не гарантируют качество в прикладных сценариях; карточка не описывает конкретные языки или ограничения безопасности. Метаданные отмечают склонность к менее строгой цензуре, поэтому ответы могут требовать дополнительной проверки.

Starling-LM-11B-alpha — языковая модель семейства Mistral, разработанная Banghua Zhu, Evan Frick, Tianhao Wu, Hanlin Zhu и Jiantao Jiao. В карточке описана версия Starling-LM-alpha, дообученная с помощью RLHF/RLAIF на основе OpenChat 3.5; метаданные этого репозитория указывают архитектуру MistralForCausalLM и 10,6 млрд параметров. Модель предназначена для диалогов и генерации текста. В обучении использованы датасет предпочтений Nectar, reward model Starling-RM и метод оптимизации политики APA. Карточка приводит результаты бенчмарков MT-Bench, AlpacaEval и MMLU, но эти оценки не гарантируют качество в конкретных задачах. Модель поддерживает английский язык и контекст до 32 769 токенов; для диалога следует применять шаблон OpenChat 3.5. Иногда ответы могут быть чрезмерно подробными. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка README называется Starling-LM-7B-alpha и описывает 7B-вариант, тогда как идентификатор и метаданные относятся к 11B-модели; поэтому сведения о дообучении и инструкциях из README следует считать относящимися к семейству, а не подтверждёнными специфически для 11B-чекпойнта.