I.11Классификация, ранжирование и сопоставление

POCKET-35B-GGUF — языковая модель семейства POCKET, разработанная FINAL-Bench. Это GGUF-сборка, предназначенная для запуска через стандартный llama.cpp без CUDA, GPU и облачных сервисов. Модель позиционируется для локального использования на ПК, серверах, мини-ПК и мобильных устройствах, включая сценарии on-device и edge-инференса. Модель имеет заявленный размер 35B параметров и архитектуру mixture-of-experts; в карточке она связана с FINAL-Bench/Darwin-36B-Opus, а также обозначена как основанная на Qwen3.5-35B-A3B. Доступны варианты квантования от IQ1_M и Q2_K до Q4_K_M: размер файлов составляет примерно от 8,2 до 21 ГБ, что позволяет выбирать между экономией памяти и качеством. В качестве ориентиров приведены показатели GPQA Diamond от 60,1% для Q2_K до 68,7% для Q4_K_M, а также измерения скорости генерации на CPU и GPU. Модель ориентирована на диалоговые и общие текстогенерационные задачи, включая локального повседневного ассистента. Среди сильных сторон заявлены работа на CPU, совместимость с upstream llama.cpp и высокая скорость генерации в ряде сравнительных тестов. Ограничения включают заметные требования к оперативной памяти, снижение качества при сильном квантовании и отсутствие завершённых измерений производительности на iPhone и Strix Halo. В карточке явно указаны английская и корейская специализации отдельных сборок, но полный набор поддерживаемых языков и максимальный контекст не приведены. Лицензия — Apache 2.0.

Карточка модели LIF1014/ptdbench-verl-coding-task-evaluator на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Q3.6-35B-A3B-abliterated-0520-MAX-GGUF — модель от prithivMLmods, основанная на Qwen/Qwen3.6-35B-A3B и распространяемая в формате GGUF. Это модифицированная версия с применением анализа направлений отказа и обучения методом абляции, направленная на снижение внутренних отказов при сохранении способностей к рассуждению и следованию инструкциям. В README также указана производная модель prithivMLmods/Q3.6-35B-A3B-abliterated-0520-MAX-STOR-check. Модель предназначена для генерации текста, подробных ответов, рассуждений и выполнения инструкций, включая сценарии локального запуска через llama.cpp или совместимые средства инференса. Указан английский язык. Архитектура описана как Mixture-of-Experts с 35 млрд параметров; максимальная длина контекста в README не указана. Наличие файлов mmproj и тега image-text-to-text указывает на заявленную поддержку мультимодального сценария, однако конкретные возможности работы с изображениями не описаны. Доступны варианты квантования от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 12,9 до 69,4 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. Сильной стороной заявляется улучшенное следование инструкциям и сниженное количество отказов, но это одновременно является ограничением для безопасного применения: поведение модели может быть менее ограничивающим, а качество и безопасность ответов требуют самостоятельной проверки. Модель предназначена авторами для исследований и обучения, а использование осуществляется на риск пользователя. Лицензия — Apache-2.0.

Карточка модели cold368733/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели DdaanZzubb/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели JMullings/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели tayaee/Qwen2.5-1.5B-Korean-SFT-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

bartowski/Qwen2.5-3B-GGUF — набор GGUF-квантизованных вариантов базовой языковой модели Qwen2.5-3B, опубликованный и квантизованный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через совместимые инструменты, включая llama.cpp и LM Studio; в README также указан специальный формат промпта с ролями system, user и assistant. Доступны варианты от полного формата F32 размером 12,35 ГБ до сильно сжатых вариантов IQ3_M размером 1,49 ГБ. Большинство сборок используют квантизацию Q4–Q8, а некоторые сохраняют embedding- и output-веса в формате Q8_0 для потенциального улучшения качества. Для ARM-процессоров предусмотрены отдельные варианты Q4_0_4_4, Q4_0_4_8 и Q4_0_8_8; их совместимость зависит от поддержки соответствующих инструкций. Более качественные варианты требуют больше оперативной памяти, а компактные варианты снижают требования к памяти ценой качества. Модель относится к текстовым, поэтому README не подтверждает поддержку изображений, аудио или других модальностей. Языки, размер контекста, конкретные архитектурные характеристики базовой модели и результаты бенчмарков в предоставленных данных не указаны. Лицензия также не указана, поэтому условия коммерческого и иного использования следует уточнять в исходном репозитории Qwen/Qwen2.5-3B и у опубликованного набора.

RedHatAI/Qwen2.5-VL-3B-Instruct-FP8-dynamic — квантизированная версия мультимодальной модели Qwen/Qwen2.5-VL-3B-Instruct, подготовленная Neural Magic. Модель принимает изображения и текстовые запросы, а генерирует текстовые ответы; заявленный язык — английский. Релиз модели датирован 24 февраля 2025 года. Модель предназначена для задач визуального вопросно-ответного взаимодействия, анализа документов и диаграмм, распознавания содержимого изображений и решения мультимодальных задач. Она имеет архитектуру Qwen2.5-VL-3B-Instruct и около 3 миллиардов параметров, использует FP8-квантизацию весов и активаций и оптимизирована для инференса с vLLM версии 0.5.2 и новее. В примере развертывания используется контекст до 4096 токенов, однако это значение относится к конфигурации запуска, а не обязательно к предельной длине контекста модели. К сильным сторонам относятся снижение требований к памяти и эффективное выполнение инференса при сохранении качества, близкого к исходной модели: в приведённых тестах средний результат FP8-версии составил 69,67 против 69,28 у исходной модели. Оценивались задачи MMMU, VQAv2, DocVQA, ChartQA и MathVista. Ограничения включают зависимость от совместимого стека vLLM и FP8-инфраструктуры, а также отсутствие в README подробных сведений о поддерживаемых языках помимо английского и о максимальном контексте. Модель распространяется по лицензии Apache 2.0.

Карточка модели KnutJaegersberg/Qwen2-Deita-500m на Hugging Face совпадает с карточкой KnutJaegersberg/Deita-34b, поэтому описание составлено по ней. KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

Qwen3.5-9B-Cold-Fusion-GAIN-v1.0-Uncensored-Heretic-NEO-MAX-Imatrix-GGUF — языковая модель семейства Qwen3.5, разработанная DavidAU. Модель представлена в формате GGUF с вариантами обычного и MTP-квантования, включая 4- и 8-битные версии, а также оптимизацию NEO Imatrix. Заявлены поддержка английского и китайского языков и лицензия Apache-2.0. В карточке также указана мультимодальная классификация image-text-to-text, однако подробности о фактической поддержке изображений не приведены. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. По заявлению автора, она создана с использованием многоэтапной настройки, методов Cold Fusion и GAIN, причём GAIN динамически адаптирует обучение для отдельных примеров. Среди заявленных преимуществ — более ясные и подробные ответы, улучшенная работа с контекстом, таблицами, графиками и текстовыми визуализациями, а также сохранение близкой к BF16 производительности в 4- и 8-битных вариантах. Модель содержит около 9 миллиардов параметров. В приведённых тестах она показывает результаты, сопоставимые или превосходящие базовые Qwen3.5-9B и Qwen3.5-27B на части задач ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, однако полнота тестовых данных ограничена, а заявления о превосходстве над 27B не подтверждены независимыми измерениями. Ограничения включают возможную нецензурированность, отсутствие подробных сведений о контекстном окне и требованиях к оборудованию, а также неполные данные по некоторым бенчмаркам.

sleepy186247 конвертировал модель llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved в формат MLX с точностью fp16; README указывает версию mlx-lm 0.31.2. Это мультимодальная MoE-модель семейства Qwen3.5, предназначенная для диалогов, анализа изображений и агентного программирования. Метаданные указывают архитектуру Qwen3_5MoeForConditionalGeneration, поддержку чата и зрения, а также задачу image-text-to-text. Модификация uncensored/heretic ослабляет ограничения на ответы. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.6-Whittle-25B-A3B — текстовая MoE-модель для диалогов и генерации текста, созданная автором проекта Whittle на основе Qwen3.6-35B-A3B. В основной версии репозитория удалены 30% маршрутизируемых экспертов базовой модели (256 → 180 на слой), а оставшиеся веса дообучены с помощью самодистилляции от исходной модели. Общее число параметров по метаданным — 2,9 млрд; модель поддерживает контекст до 262 144 токенов. В репозитории также описаны отдельные экспериментальные и GGUF-артефакты, поэтому характеристики конкретных файлов различаются. Модель предназначена для диалогов, следования инструкциям и агентных сценариев; метаданные отмечают интерфейс вызова инструментов. Карточка приводит результаты небольших проверок и указывает на близкую к исходной модели точность в отдельных заданиях, но эти результаты основаны на малом числе примеров. Для текстового и кодового дополнения в стиле базовой модели автор отмечает потерю качества без удалённой n-граммной памяти. Метаданные указывают лицензию Apache-2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-GGUF — неофициальный релиз модели, подготовленный chimingw на основе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Релиз представляет собой конвертацию и квантизацию исходной модели в формате GGUF без дополнительного обучения, дообучения, слияния или изменения выравнивания. Модель предназначена для локального запуска через совместимый runtime, включая llama.cpp; размещённый на Hugging Face хостинг inference отключён. Архитектура указана как Qwen3_5ForConditionalGeneration с типом qwen3_5 и размером 27B параметров. Это мультимодальная vision-language модель с поддержкой текста и изображений, английского и китайского языков, а также заявленной интеграцией function calling. Максимальный контекст по метаданным составляет 262 144 позиции, однако фактическая доступная длина зависит от runtime и объёма памяти. В комплект входят варианты квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M, а также отдельный BF16 мультимодальный проектор; для использования нужные файлы и split-части необходимо хранить вместе. Сильными сторонами релиза являются большой контекст, мультимодальность, несколько вариантов компромисса между качеством и требованиями к памяти и сохранение исходного BF16 набора файлов. Поведение при работе с текстом, изображениями, рассуждениями, инструментами и длинным контекстом зависит от выбранного варианта, клиента, prompt format, runtime и аппаратных ресурсов. Заявления исходного автора о характеристиках uncensored-модификации не были независимо проверены создателем GGUF-релиза и не являются результатами оценки данных артефактов. Модель распространяется по Apache License 2.0 согласно заявленной лицензии источника.

TheCluster/Qwen3.8-27B-Heretic-MLX-4bit — 4-битная квантованная версия модели Qwen3.8-27B, разработанная TheCluster на базе Qwen/Qwen3.8-27B. Модель модифицирована с помощью Heretic v1.4.0 и позиционируется как uncensored-версия с уменьшенными ограничениями на генерируемый контент. В метаданных указана задача image-text-to-text, однако подробности о поддержке изображений в README не приведены. Модель предназначена для диалоговой генерации текста, рассуждений и выполнения инструкций. Заявлена поддержка английского, китайского, русского, испанского, французского, итальянского, японского, корейского и ряда других языков, включая немецкий, арабский, турецкий, польский, украинский, португальский и финский. Размер базовой модели — 27B параметров; используется формат MLX и 4-битная affine-квантизация с размером группы 64. Размер контекста в README не указан. К сильным сторонам относятся сниженный уровень встроенных ограничений, поддержка многоязычных сценариев и возможность запуска в экосистеме MLX при уменьшенных требованиях к памяти благодаря 4-битной квантизации. По умолчанию reasoning_effort установлен в low, чтобы избежать избыточного обдумывания. Для thinking mode рекомендованы temperature 1.0, top_p 0.95 и top_k 20, а для instruct или non-thinking mode — temperature 0.7, top_p 0.80 и top_k 20. Повышение presence_penalty может уменьшить бесконечные повторы, но иногда приводит к смешению языков и небольшому снижению качества. Лицензия — Apache-2.0.

Israeli-AI/Qwen3.8-27B-MTP-W4A16-VOLTA-Ampere — квантованная версия Qwen/Qwen3.8-27B, подготовленная командой Israeli-AI. Это текстогенерационная thinking-модель с поддержкой native MTP speculative decoding. Основной сценарий — запуск и обслуживание на GPU, включая Volta V100, где официальная FP8-версия не работает, а также на Ampere и более новых архитектурах. Заявлена поддержка английского языка; мультимодальные возможности сохранены, но на Volta проверялся только текстовый режим. Модель использует квантование INT4 W4A16 с симметричной схемой и group size 128 для значительной части self-attention и MLP-проекций. Размер BF16-варианта 51,7 ГБ сокращён до 25,8 ГБ, благодаря чему модель может работать на двух V100 по 32 ГБ с tensor parallelism и контекстом до 256K; в измерениях обслуживался контекст 131 072 токена. MTP-head, vision tower, embeddings, lm_head, нормы и компоненты Gated-DeltaNet сохранены в полной точности. На двух V100 заявлена скорость декодирования 43–68 токенов в секунду, обычно около 53,5, при трёх speculative-токенах. Сильные стороны модели — совместимость с устаревшими Volta GPU, уменьшенный объём памяти и сохранённая эффективность MTP-декодирования за счёт нетронутой MTP-head. Ограничения включают необходимость специальной Volta-совместимой сборки vLLM и настройки окружения, отсутствие проверки мультимодальной работы на Volta, а также неподтверждённую в README работу на Ampere и новее. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео; заявлена поддержка английского, китайского и других языков. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного отказного поведения. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder, 64 слоями, размером скрытого состояния 5120, FFN-размером 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживается нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Встроенный NextN/MTP сохранён, а FastMTP 32K предоставляется как отдельный профиль ускорения; заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно режима без MTP. К сильным сторонам относятся широкий набор текстовых, визуальных и видеосценариев, длинный контекст, несколько вариантов квантования и совместимость с GGUF-совместимыми средами, включая llama.cpp и LM Studio. Aggressive-профиль может быть менее подходящим для надёжно контролируемых агентских задач, поскольку ориентирован на отсутствие отказов; README также не приводит подробностей о качестве на стандартных бенчмарках. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B Uncensored NVFP4-NInfer — это квантованный мультимодальный вариант Qwen3.8-27B, подготовленный igorls в формате .ninfer для собственного fork NInfer. Исходную abliterated-модель и смешанные веса NVFP4/FP8 разработала OrcaRouter, а для speculative decoding включён сопутствующий компонент DFlash2 от Inco AI. При конвертации дообучение и отдельное удаление отказов не выполнялись; сохранены BF16-эмбеддинги токенов и полная выходная голова. Модель предназначена для диалоговых и conversational-сценариев, обработки текста, а также анализа изображений и видео при сборке NInfer с поддержкой media. Заявлены английский и китайский языки. Артефакт включает целевую 27B-модель, Vision- и MTP-компоненты, оптимизированную proposal head, DFlash2-компаньон, токенизатор, шаблоны и медиаресурсы. Размер файла — около 26,27 ГБ; квалифицированная конфигурация — RTX PRO 6000 Blackwell Workstation Edition с 96 ГБ видеопамяти под Windows, CUDA target sm_120a. В приведённом примере ограничение контекста составляет 32K токенов, а общий KV-пул — 64K. Сильные стороны модели — готовая интеграция компонентов для обычной генерации и speculative decoding через MTP или DFlash2, поддержка OpenAI-совместимого API, JSON Schema, потоковой выдачи и мультимодального ввода. Ограничения связаны с форматом .ninfer: модель не загружается напрямую в Transformers, vLLM, Ollama или llama.cpp. Потребление видеопамяти превышает размер файла и зависит от контекста, CUDA-графов и параллелизма; меньшие GPU и максимальный контекст не квалифицировались. Интеграция распространяется по лицензии Apache 2.0.

Qwen3.8-27B-Uncensored-oQ8e-mtp — это квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная пользователем pyros-vault для запуска на Apple Silicon и macOS. Артефакт создан в формате MLX с помощью oMLX 0.6.1 и предназначен для развёртывания через runtime oMLX с OpenAI-совместимым API. Модель относится к типу qwen3_5, имеет заявленный максимальный контекст 262 144 токена, поддерживает мультимодальные сценарии благодаря сохранённым ресурсам Vision и включает один слой MTP. Используется смешанная квантизация oQ8e: аффинная Q8/G64 применяется по всей модели без переопределений точности для отдельных тензоров. Размер тензорных данных составляет около 27,94 GiB, модель размещена в шести Safetensors-фрагментах. В README не указаны точные языки, результаты бенчмарков или проверенная производительность. Модель подходит для диалоговых и мультимодальных задач, однако фактические возможности Vision, качество генерации, потребление памяти, скорость и эффективность MTP зависят от версии oMLX, клиента, промпта и аппаратного обеспечения. Полный контекст заявлен только конфигурацией и не подтверждён тестированием; квантизация может влиять на качество. Репозиторий не предназначен для CUDA на Windows, а hosted inference Hugging Face его формат не обслуживает. Прямая исходная модель распространяется по лицензии Apache-2.0; для полного соблюдения условий необходимо учитывать также правила и атрибуцию upstream-модели. Квантизацию и упаковку выполнил pyros-vault.

Qwen3.8-Distilled-9B-NPU2 — это квантизированный порт модели empero-ai/Qwen3.8-9B-Distill, подготовленный Atomic-Germ для инференса на NPU AMD XDNA. Модель скомпилирована для среды выполнения FastFlowLM версии 1.0.1 и поставляется в формате Q4NX, а не GGUF. Размер файла весов model.q4nx составляет 7,11 ГБ; конверсия выполнена 26 августа 2026 года. Модель предназначена для языковых и визуально-языковых задач, включая работу с изображениями, рассуждения и function calling. В репозитории также присутствует отдельный файл vision_weight.q4nx, а конфигурация и шаблон диалога рассчитаны на использование с FastFlowLM. Архитектура, точное число параметров, поддерживаемые языки и размер контекстного окна в карточке не указаны. Ключевое преимущество модели — адаптация к инференсу на AMD XDNA NPU с использованием квантизации Q4NX и специализированного runtime FastFlowLM. Ограничения связаны с зависимостью от FastFlowLM и совместимого оборудования AMD XDNA, а также с отсутствием подробных сведений о качестве, языковом охвате и контексте. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-GGUF — GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и квантизированной пользователем qtum с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp; заявленные языки — английский и китайский. Модель содержит около 180 млрд параметров: MoE-ядро на 125 млрд параметров с 48 слоями, 512 экспертами, маршрутизацией top-10 и одним общим экспертом, а также 51-миллиардную PLE-таблицу n-грамм. Используется гибридное внимание: линейное внимание Gated DeltaNet чередуется с блоками Qwen Sparse Attention и гиперсвязями. Максимальная длина контекста — до 262 тысяч токенов. Слой MTP для чернового предсказания был исключён при конвертации. Доступны варианты BF16 и квантизации IQ4_XS, IQ3_XXS, IQ2_XS-layered и IQ1_M-layered размером примерно от 76,4 до 118,8 GiB; каждый вариант поставляется в восьми сегментах. Квантизация снижает требования к хранилищу, но ухудшает показатель perplexity относительно BF16, особенно у низкобитных вариантов. Для работы необходимо скачать все восемь сегментов и использовать llama.cpp; модель предъявляет очень высокие требования к ресурсам. Лицензия — Qwen Community License 1.0, унаследованная от исходной модели, а не MIT.

halt95/Qwen3.8-Flash-Next-W4A16-Merlin — это квантованный вариант Qwen3.8-Flash-Next, подготовленный halt95 на основе компонентов Qwen, Intel и RadixArk. Модель предназначена для генерации текста и инференса в vLLM, включая сценарии с длинным контекстом, параллельными сессиями, включённым режимом рассуждений, vision-вводом и speculative decoding с MTP-драфтером. Модель использует смесь экспертов с 512 маршрутизируемыми экспертами на слой и 512 экспертами MTP draft-head. Основные эксперты представлены в INT4 с групповой схемой g128, отдельные проекции Gated DeltaNet — в INT8, а часть компонентов, включая 12 attention-слоёв, vision tower, эмбеддинги и lm_head, сохранена в BF16. Таблица n-gram (PLE) на 51 млрд параметров хранится в FP8 и выгружается в память CPU. При обслуживании применяется FP8 E4M3 KV-cache; заявлена поддержка контекста до 262 144 токенов и пула KV-cache размером 806 792 токена. README не указывает поддерживаемые языки и точное общее число параметров. Сильными сторонами являются работа с очень длинным контекстом, поддержка vision, MTP speculative decoding, структурированного вывода при конкуренции запросов и возможность запуска на четырёх потребительских RTX 3090 с архитектурой Ampere без NVLink. Ограничения связаны с узкой аппаратной и программной конфигурацией: для sm_86 требуется патченный vLLM с поддержкой FP8 KV-cache и специального доступа к большой n-gram-таблице, а стандартный vLLM не подходит. Качество INT4-квантования для отдельных компонентов и влияние дополнительной квантизации attention в README не оценивались. Распространение осуществляется по лицензии qwen-community-1.0; в метаданных также указана общая лицензия other. Для запуска может потребоваться companion-репозиторий halt95/qwen38-flash-next-3090s с закреплёнными скриптами сборки и модифицированным движком.

RandomMergeWEIGHTEDv2-7B-DARETIES — слитая языковая модель на базе архитектуры Mistral, созданная с помощью LazyMergekit из paulml/OGNO-7B, nlpguy/AlloyIngot и mlabonne/Monarch-7B. Веса объединены методом dare_ties с разреженными масками и взвешиванием; модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и общих языковых задач в приложениях на базе Transformers. В репозитории представлены веса Safetensors; конфигурация слияния указывает тип данных bfloat16. В карточке не приведены сведения о специализированных областях применения или поддерживаемых естественных языках. Лицензия в предоставленных данных не указана.

Replete-LLM-Qwen2-7b_Beta-Preview-GGUF — это GGUF-квантизованная версия языковой модели Replete-LLM-Qwen2-7b_Beta-Preview, разработанной Replete-AI и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. В README также указан обучающий датасет Replete-AI/Everything_Instruct_8k_context_filtered. Модель основана на архитектуре Qwen2 и содержит около 7 млрд параметров. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий; размеры файлов составляют примерно от 3,5 до 15,2 ГБ. Указан английский язык и контекст до 8k, связанный с использованным датасетом. Это текстовая модель без заявленной поддержки других модальностей. Сильная сторона репозитория — широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Высококачественными считаются варианты Q6 и Q5, а Q4 предлагают компромисс по размеру. Более сильная квантизация снижает требования к памяти, но может ухудшать качество генерации. Модель распространяется по лицензии Apache-2.0.

Rombo-LLM-V2.5-Qwen-1.5b — плотная причинная языковая модель на архитектуре Qwen2, созданная Rombo-Org как дообученная версия Qwen2.5-1.5B-Instruct. Она предназначена для диалогов и генерации текста, включая структурированные ответы и интерфейс вызова инструментов. В карточке заявлено слияние instruct- и base-моделей методом TIES, однако метаданные указывают связь с Qwen2.5-1.5B-Instruct как finetune; поэтому происхождение точнее определить по доступным данным нельзя. Модель содержит 1,5 млрд параметров, работает через Transformers и распространяется в формате safetensors; автор также упоминает варианты GGUF. Указанный контекст — до 131 072 токенов. Лицензия — Apache-2.0. README заявляет о более высокой производительности по сравнению с исходными instruct- и base-моделями, но не приводит результатов бенчмарков или подробностей оценки.

Rombo-LLM-V2.5-Qwen-3b — компактная плотная языковая модель семейства Qwen2, созданная Rombo-Org на основе Qwen2.5-3B-Instruct. В карточке указано, что модель получена непрерывным дообучением и слиянием instruct- и базовой версий методом TIES; метаданные подтверждают дообучение Qwen/Qwen2.5-3B-Instruct. Параметров — 3,1 млрд, архитектура — Qwen2ForCausalLM, максимальный контекст — 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; метаданные также отмечают интерфейс для вызова инструментов. Разработчик заявляет о более высокой производительности по сравнению с исходными instruct- и базовой моделями, но карточка не приводит результатов оценки. Модель работает с текстом и распространяется в формате Safetensors; README упоминает варианты GGUF. Лицензия указана как other, поэтому условия использования следует проверять в репозитории модели.

Saka-14B — объединённая языковая модель на архитектуре Qwen2, созданная Sakalti методом TIES с помощью mergekit на основе Qwenvergence-14B-v11 и Lamarck-14B-v0.7. Модель содержит 14 млрд параметров, работает с текстом и рассчитана на генерацию ответов в диалоге; каталог также отмечает интерфейс вызова инструментов. Длина контекста составляет 131 072 токена. Модель может применяться для диалоговых сценариев и генерации текста. В README не приведены оценки качества, конкретные поддерживаемые языки или дополнительные ограничения. Файлы представлены в формате safetensors; лицензия в доступных данных не указана.

lmstudio-community/Seed-OSS-36B-Instruct-MLX-8bit — 8-битная квантованная версия языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи, поддерживаемые исходной instruct-моделью. В README указаны архитектурная база Seed-OSS-36B-Instruct, размер 36B параметров, текстовая модальность и 8-битное квантование. Сведения о поддерживаемых языках и размере контекстного окна не приведены. Ключевые преимущества — снижение требований к памяти по сравнению с полноразмерной версией и оптимизация для экосистемы Apple Silicon. Ограничения связаны с зависимостью от совместимого оборудования и MLX, а также с общими рисками генеративных моделей: возможны неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

Shisa V2 Qwen2.5 7B — двуязычная чат-модель общего назначения от Shisa.AI, полученная дообучением Qwen/Qwen2.5-7B-Instruct. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалогов и генерации текста на японском и английском языках. Разработчики сосредоточились на постобучении на синтетических данных, чтобы улучшить качество японских ответов, сохранив возможности базовой модели на английском языке. Модель подходит для ответов на вопросы, следования инструкциям, многоходового общения, ролевых диалогов и перевода между японским и английским. Она выдаёт текст, поддерживает интерфейс вызова инструментов и использует шаблон чата базовой модели. Метаданные указывают контекст 32 768 токенов; в README для семейства приведено значение 128K/8K, поэтому доступная длина может зависеть от конфигурации и способа запуска. Модель использует Transformers и формат safetensors. По опубликованным оценкам модель улучшает ряд японских бенчмарков относительно Qwen2.5-7B-Instruct, хотя в некоторых англоязычных тестах базовая модель показывает более высокие результаты. Лицензия — Apache 2.0. Результаты бенчмарков не гарантируют качество на конкретных пользовательских данных; модель может ошибаться и генерировать неточные ответы.

StrangeMerges_54-7B-model_stock — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная Gille с помощью LazyMergekit и метода model_stock. В конфигурации указаны несколько исходных моделей, включая Gille/StrangerPerciVaaled_Strange-7B-slerp в качестве базовой; метаданные также связывают модель с другими объединёнными чекпойнтами.