I.2Синтез, понимание и проверка знаний

Qwen2.5-VL-7B-Instruct-GGUF — мультимодальная instruction-tuned модель семейства Qwen2.5-VL, разработанная командой Qwen. Представленная версия распространяется в формате GGUF и квантизирована bartowski на базе llama.cpp. Размер модели — 7B параметров, лицензия — Apache 2.0. Модель предназначена для задач image-text-to-text: анализа изображений и текста, ответов на вопросы по визуальному содержимому, распознавания объектов, работы с текстами, таблицами, диаграммами, иконками, графикой и макетами. Она также рассчитана на сценарии визуального агента, включая рассуждение и динамическое управление инструментами, компьютером или телефоном, а также на генерацию структурированных данных и стабильных JSON-ответов. Заявлена поддержка нескольких языков, однако их точный перечень в README не указан. Ключевая характеристика модели — контекст длиной до 128 тысяч токенов. Сильными сторонами являются мультимодальный анализ сложных визуальных материалов, работа со структурированным выводом и применение в агентских сценариях. README не содержит результатов benchmark-тестов, подробностей архитектуры, информации о конкретном варианте квантизации, системных требованиях и количественной оценке ограничений, поэтому фактическое качество и требования к ресурсам следует проверять отдельно.

Карточка модели Fbjfhvgv/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели Hellbound237/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели ponyseoyeonkm/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели ripgermany/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели sagar-rasakonda/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

RedHatAI/Qwen3-30B-A3B-NVFP4 — квантизированная версия языковой модели Qwen/Qwen3-30B-A3B, разработанная RedHatAI. Модель принимает и генерирует текст и предназначена для задач генерации текста, включая диалоговые сценарии и развёртывание через vLLM с OpenAI-совместимым сервером. Модель использует архитектуру Qwen3-30B-A3B, однако в представленном README не указаны подробности о числе параметров активной части, размере контекста и точном наборе поддерживаемых языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в формат FP4; квантизация выполнена с помощью LLM Compressor, а модель подготовлена для инференса в vLLM версии 0.9.1 и выше. Переход с 16 до 4 бит на параметр уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что является её основным преимуществом. К ограничениям относятся возможная потеря качества по сравнению с неквантизированной моделью и зависимость от совместимого программного стека и аппаратной поддержки. README отдельно ограничивает использование сценариями, соответствующими применимым законам и требованиям экспортного контроля, а также указывает использование на английском языке вне заявленной области применения. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-2B-GGUF — GGUF-версия модели Qwen3.5-2B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для мультимодального понимания текста и изображений, рассуждений, программирования, агентских сценариев, прототипирования, исследовательских задач и дообучения под конкретные задачи. Модель совместима с экосистемой Hugging Face Transformers, vLLM, SGLang и KTransformers; для локального запуска и дообучения Unsloth предоставляет отдельные руководства. Модель содержит около 2 млрд параметров, 24 слоя и скрытую размерность 2048. В архитектуре сочетаются Gated Delta Networks и Gated Attention; заявлена гибридная структура с эффективной обработкой последовательностей. Нативная длина контекста составляет 262 144 токена. Модель поддерживает мультимодальные входы и заявленную языковую и диалектную представленность для 201 языкового варианта. GGUF-квантизация ориентирована на эффективный локальный запуск при ограниченных вычислительных ресурсах, однако конкретные характеристики скорости, памяти и точности зависят от варианта квантизации и используемого рантайма. К сильным сторонам относятся сочетание языкового и визуального понимания, длинный контекст, компактный размер и возможность локального применения. Ограничением является меньшая параметрическая ёмкость по сравнению с крупными моделями, поэтому модель может уступать им в сложных задачах и не предназначена как универсальная замена наиболее мощным системам. README также указывает, что модель ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Лицензия — Apache 2.0.

Это сжатая версия весов Qwen3.6-35B-A3B, опубликованная fraQtl для генерации текста и диалогов. Модель использует архитектуру MoE и предназначена для инференса, в том числе при длинном контексте; в метаданных указан размер 2,9 млрд параметров и нативный контекст до 262 144 токенов. README сообщает о сокращении размера весов примерно в 2,74 раза и работе с контекстом до 128K на одной A100-80GB; приведённые замеры включают сравнение с FP16, но имеют предварительный характер. Для загрузки необходим пакет fraqtl-runtime и Transformers версии не ниже 4.51; README указывает поддержку Linux x86_64 с CUDA. Репозиторий содержит сжатые веса в safetensors, а дообучение не входит в назначение артефакта. Лицензия обозначена как other, поэтому конкретные условия следует проверять в карточке модели. Заявленные показатели качества и длинного контекста основаны на односидовых проверках; многоязычная производительность после сжатия отдельно не оценивалась.

Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Balance — локальная модель для генерации текста, опубликованная пользователем или организацией Youssofal и основанная на семействе Qwen3.6. Она предназначена для запуска на компьютерах Apple Silicon через MLX и ускорения генерации с помощью MTPLX — механизма speculative decoding, использующего собственные MTP-головы модели для чернового предсказания токенов с последующей проверкой основной моделью. Модель подходит для локального чата, программирования и других сценариев генерации текста, включая задачи с рассуждениями и обычные контексты разработки. README не указывает поддерживаемые языки и точное максимальное окно контекста. Модель имеет конфигурацию 35B-A3B и архитектуру mixture-of-experts, поставляется в виде 6-битного MLX-квантизованного основного блока с размером группы 64, 8-битными router и gate-тензорами, а также калиброванными INT4 MLX MTP-головами. Нормализации, масштабы, смещения и обычные тензоры сохранены в BF16. Заявлены высокая скорость локальной генерации и практичное потребление памяти; измеренная скорость генерации в режиме MTPLX Sustained Max на Apple Silicon для рекомендованной конфигурации D2 составила около 123–126 токенов в секунду, а скорость обработки промпта в тестах достигала 1756,8–4109,8 токена в секунду в зависимости от длины контекста. Ограничения связаны с применением квантизации, зависимостью от Apple Silicon и MTPLX, а также с тем, что это не полноточный чекпойнт. Лицензия — Apache-2.0.

llmfan46/Qwen3.6-35B-A3B-uncensored-heretic — мультимодальная чат-модель независимого автора, созданная на основе Qwen/Qwen3.6-35B-A3B. Это вариант с ослабленным отказом на запросы: в карточке приведено сравнение, где доля отказов составляет 10 из 100 против 83 из 100 у исходной модели. Модель предназначена для диалога, анализа изображений и сценариев агентного программирования с вызовом инструментов. Архитектура Qwen3.5 MoE содержит 35 млрд параметров, из которых активируется около 3 млрд; README также описывает языковую модель с визуальным энкодером и 262 144 токена нативного контекста, расширяемого до 1 010 000. Указаны возможности сохранения рассуждений в истории диалога и результаты тестирования MMLU, но эти сведения не гарантируют качество на конкретных задачах. Модель принимает текст и изображения и выдаёт текст. Файлы представлены в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0. Поскольку модель специально снижает число отказов, она может отвечать на запросы, которые исходная модель отклоняет; ответы следует проверять, особенно в чувствительных сценариях.

Это квантованная GGUF-сборка Qwen3.6-35B-A3B от автора xero0000, подготовленная для запуска целиком в видеопамяти. Вариант vram13 занимает 12,98 ГБ; README также описывает вариант с дополнительной MTP-головой размером 13,53 ГБ. Базовая модель — MoE с 35 млрд параметров, а базовый файл поддерживает контекст до 256 тыс. токенов; вариант MTP — до 128 тыс. токенов. Сборка предназначена для генерации текста и диалогов, в том числе для работы с кодом, на системах с ограниченной видеопамятью. Веса экспертов преимущественно квантованы в 2 бита с использованием imatrix и выборочной защиты чувствительных слоёв; внимание, SSM-проекции и некоторые общие тензоры имеют более высокую точность. Автор приводит замеры скорости и перплексии на двух видеокартах, однако результаты зависят от оборудования и программной среды. Ожидается некоторое снижение качества на сложных и редких случаях по сравнению с квантованиями Q4-класса. Вариант MTP использует голову, перенесённую из дообученной модели, поэтому выигрыш скорости зависит от содержания текста; совместимость этой сборки и MTP-файла зависит от загрузчика. Лицензия — Apache-2.0.

Карточка модели bernquant/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking на Hugging Face совпадает с карточкой DavidAU/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking, поэтому описание составлено по ней. Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — мультимодальная плотная модель с обработкой изображений, созданная DavidAU на основе Qwen/Qwen3.6-27B. Автор описывает расширение модели с 27 до 40 млрд параметров и многоэтапное дообучение: на наборах Deckard/PDK и на данных дистилляции рассуждений Claude 4.6 Opus. Модель рассчитана на диалог, рассуждения, программирование и творческое письмо, включая создание сюжетов и ролевые сценарии; поддерживает вызов инструментов и анализ изображений. В карточке указана длина контекста 256 тыс. токенов, а также режим рассуждений с переменной длиной ответа. Заявления автора о превосходстве в тестах не сопровождаются в предоставленном тексте конкретными результатами, поэтому их следует считать заявлениями автора. README также описывает модель как uncensored и предупреждает о возможности генерации откровенного контента по запросу; отмечены возможные зацикливания на низких квантизациях или слишком коротких запросах. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B. Она сохраняет гибридную текстово-визуальную архитектуру исходной модели, имеет 27 млрд параметров и распространяется в формате BF16 Safetensors, а также в нескольких текстовых вариантах GGUF. Модель заявлена как многоязычная и предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач и обработки изображений. Для запуска в Transformers рекомендуется около 56 ГБ памяти под веса без учёта служебных расходов и KV-кэша; в примере для Ollama указан контекст 32768 токенов, но это не подтверждает максимальный контекст модели. Основная особенность версии PHILADELPHIA CLASS — существенное снижение отказов от ответа. По внутренним автоматизированным проверкам авторов, модель не отказала в 842 основных и 126 отложенных запросах, а также прошла 23 из 24 проверок связности; эти результаты не являются независимым аудитом или публичными бенчмарками, причём часть тестовых запросов использовалась при настройке преобразования. Возможные ограничения включают отсутствие гарантии сохранения исходных показателей рассуждений, точности, программирования и компьютерного зрения, зависимость поведения от квантования и серверной части, а также отсутствие MTP-головы, из-за чего недоступно спекулятивное декодирование на её основе. Safetensors предназначен для проверенного мультимодального режима, тогда как GGUF-файлы являются текстовыми и требуют отдельного совместимого vision projector для работы с изображениями. Модель выпущена по лицензии Apache License 2.0.

ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF — набор неравномерно квантованных версий базовой модели Qwen3.8-27B, разработанный лабораторией Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для локального запуска текстовых и мультимодальных сценариев с обработкой изображений, включая генерацию текста, рассуждения и задачи, поддерживаемые базовой моделью Qwen3.8-27B. Формат GGUF обеспечивает совместимость с llama.cpp, Ollama и LM Studio. В набор входят варианты размером от 8,4 до 11,8 ГБ со средней разрядностью от 2,50 до 3,50 бит на вес. Квантование использует GSQ для оптимизации скалярных квантованных представлений и RCO для назначения разных типов квантования отдельным тензорам с соблюдением общего ограничения размера. Для мультимодальной работы используется отдельный vision-проектор mmproj в формате BF16 размером около 0,9 ГБ. Опциональные сборки с суффиксом -mtp содержат Multi-Token Prediction head для speculative decoding в llama.cpp и примерно на 0,35 ГБ больше. Рекомендуемым вариантом указан IQ3_S: по заявленным результатам он совпадает с базовой моделью на AIME25 и LiveCodeBench v6 и находится в пределах 0,51 балла от неё на GPQA-Diamond, занимая немногим более пятой части размера BF16-версии. Более компактные варианты уменьшают требования к хранилищу, но могут сильнее ограничивать качество. Языки и размер контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

RentedNoodle/Qwen3.8-27B-GSQ-RCO-IQ3_XXS-Uncensored — это квантизированная GGUF-версия модели Qwen3.8-27B, созданная на основе abliterated-чекпойнта huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это не новая дообученная модель: снижение выраженности отказов унаследовано от Huihui, а квантизация выполнена по методологии GSQ/RCO, разработанной ISTA-DASLab. Модель ориентирована на генерацию текста, диалоги, рассуждения, программирование, извлечение информации, работу с инструментами и мультимодальные сценарии, заявленные для базовой Qwen3.8. В README явно указаны английский и китайский языки, а также поддержка long-context и vision; конкретные характеристики мультимодального ввода для этого файла отдельно не подтверждены. Модель использует смешанную 3-битную квантизацию IQ3_XXS с размером файла около 9,75 GiB и примерно 27,3 млрд параметров. Сохранена MTP-head для speculative decoding, а 96 чувствительных тензоров оставлены в BF16. Заявлен контекст до 196K токенов с KV-кэшем q4_0 на видеокарте с 16 ГБ памяти, однако полноценная точность извлечения на всём окне 196K ещё не подтверждена: основные проверки проводились при 32K и 64K. Есть шаблон froggeric-qwen3.8-tool-use.jinja для вызова инструментов. Сильные стороны модели — возможность размещения большого контекста на одной 16-ГБ GPU, поддержка MTP и заметное ускорение генерации при совместимом llama.cpp, а также хорошие результаты в тестах извлечения из контекста, базового tool calling, связности диалога и смешанных задач. Ограничения связаны с потерями качества из-за квантизации и abliteration: для конкретного файла GPQA-Diamond составил 60,6% без рассуждений и 61,6% с рассуждениями, а расширенный тест вызова инструментов дал 9/14. Снижение отказов не гарантирует универсального соблюдения запросов, поэтому ответственность за безопасное и соответствующее требованиям использование несёт развёртывающая сторона. Модель распространяется по лицензии Apache-2.0.

trohrbaugh/Qwen3.8-27B-heretic-ara — производная версия мультимодальной модели Qwen3.8-27B, изменённая методом abliteration для снижения частоты отказов. По приведённому сравнению модель не отказала ни на одном из 100 запросов, тогда как исходная модель отказала на 99 из 100; это результат конкретного теста, а не гарантия поведения на любых запросах. Модель построена на архитектуре Qwen3.5: плотная причинная языковая модель с визуальным энкодером, 27 млрд параметров, 64 слоя. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и выполнения многошаговых задач; README семейства также описывает понимание видео, но метаданные этой модели подтверждают только задачу image-text-to-text. Модель унаследовала от семейства Qwen3.8 режим рассуждений с настраиваемой глубиной, поддержку длинного контекста и применение в программировании, исследованиях и профессиональных сценариях. Для базовой Qwen3.8 указаны 262 144 токена контекста с расширением до 1 000 000, но метаданные не подтверждают эти пределы отдельно для данной производной версии. Доступны веса Safetensors для Transformers и совместимых средств инференса. Лицензия — Apache 2.0. Abliteration существенно меняет поведение отказов, поэтому следует учитывать риск ответов на запросы, которые исходная модель отклоняла.

Qwen3.8-27B-Kearuga — пользовательская гибридно-квантизированная версия Qwen3.8-27B, разработанная 0xWhiteMage. Модель предназначена для генерации текста и высокопроизводительного интерактивного сервинга со speculative decoding на одной NVIDIA DGX Spark с GB10, Grace-Blackwell и 128 ГБ унифицированной памяти. Она ориентирована на сценарии, где важны снижение потребления памяти, высокая пропускная способность и сохранение качества базовой модели. Модель содержит около 27 млрд параметров и использует комбинацию GPTQ с групповыми масштабами Four-Over-Six, NVFP4 AWQ, FP8 E4M3 и защищённых участков BF16. Размер весов сокращён с 51,8 ГиБ до 24,85 ГБ. Для ускоренного сервинга поддерживается связка с SGLang и отдельной Kearuga DFlash 2 drafter-моделью с K=12 и draft head на 64K. Заявлены языки английский, китайский, немецкий, французский, японский, корейский, испанский и русский; модель относится к классу text-generation. По данным README, средняя KL-дивергенция относительно базовой BF16-модели составляет 0,0165, совпадение наиболее вероятного токена на тесте из 40 примеров — 100%, а на отложенном наборе — 95%. Точное совпадение продолжения длиной 32 токена достигнуто в 50% случаев, поэтому квантизация может приводить к отличиям в генерации при близких значениях логитов. Для Quality-200 указано 157 из 180 баллов, включая результаты на GSM8K, HumanEval, IFEval и агентских задачах. Производительность зависит от конфигурации сервинга и оборудования; приведённые показатели измерены на DGX Spark при отключённом thinking и температуре 0. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-MXFP8 — это квантизированная версия мультимодальной модели Qwen3.8-27B, опубликованная пользователем chriswritescode на базе модели Qwen/Qwen3.8-27B. Квантизация выполнена с помощью NVIDIA TensorRT Model Optimizer 0.45.0 по схеме MXFP8 (OCP microscaling FP8, размер блока 32). Модель предназначена для задач генерации текста и изображений с текстом, включая диалоговые сценарии, работу с кодом, мультимодальный анализ и использование инструментов через совместимые серверы инференса. Размер контрольной точки составляет 32 ГБ в восьми сегментах. Квантизированы линейные слои языковой модели, тогда как vision tower, отдельные компоненты гибридного внимания, embed_tokens, lm_head и встроенная MTP-голова сохранены в BF16. KV-кэш не квантизирован; поддерживается speculative decoding через MTP. Заявленный контекст — до 262 144 токенов при конфигурации vLLM из README. Точные языки и полный набор модальностей базовой модели в README не описаны, однако указана проверка на многоязычных данных и наличие vision tower. По результатам специального сравнения с BF16-версией модель показала более низкую дивергенцию, чем официальная Qwen3.8-27B-FP8, однако эти измерения характеризуют близость распределений, а не качество выполнения прикладных задач; публичные task-бенчмарки для этой контрольной точки не проводились. Практическое ограничение — аппаратная зависимость MXFP8: нативная поддержка заявлена для Blackwell (SM100+). В vLLM модель работает на SM80+ через Marlin с вычислениями в BF16, тогда как SGLang без специального пути конвертации требует SM100+. Лицензия Apache 2.0, унаследованная от базовой модели.

Qwen3.8-Flash-Next (PLElast) GGUF — это GGUF-сборка модели Qwen3.8-Flash-Next, опубликованная whm0627 на основе весов Qwen/Qwen3.8-Flash-Next и квантизаций unsloth. Модель предназначена для генерации текста, включая программный код и структурированные форматы. Архитектура — MoE с общим размером около 177B параметров и примерно 3B активных параметров. Доступны варианты Q2_K_XL размером 79 ГБ и IQ1_S размером 68 ГБ; веса не переквантизировались, изменён только порядок тензоров. Особенность сборки PLElast — размещение большой таблицы PLE/n-gram-эмбеддингов в конце файла. Это позволяет запускать модель на Apple Silicon и Metal при ограниченной памяти: на Mac с 64 ГБ заявлено около 42–48 ГБ использования VRAM или unified memory, несмотря на больший размер файла. Поддерживается контекст до 128K токенов. В тестах на Apple M1 Max с llama.cpp скорость декодирования составила около 21 токена в секунду, а с MTP speculative decoding для кода — около 24 токенов в секунду. Q2_K_XL обеспечивает немного лучшую perplexity, тогда как IQ1_S занимает меньше места и оставляет больше памяти для длинного контекста; автор отмечает, что глубокое тестирование не проводилось. Модель требует llama.cpp с поддержкой qwen4exp, быстрой SSD-памяти и актуального runtime; для MTP нужны отдельная draft-модель и специальная ветка llama.cpp. Совместимость с LM Studio заявлена только для новых runtime. Лицензия — Apache-2.0.

trohrbaugh/Qwen3.8-Flash-Next-heretic-2 — производная версия Qwen3.8-Flash-Next, представленная как разговорная модель с открытыми весами. Это причинная языковая модель с визуальным энкодером и поддержкой обработки изображений вместе с текстом; метаданные относят её к архитектуре Qwen4Exp. Модель содержит 125 млрд параметров, из которых активируются 6 млрд, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. В README указаны гибридное внимание с Qwen Sparse Attention и Gated DeltaNet, MoE с 512 экспертами и нативный контекст 262 144 токена с расширением до 1 млн. Модель предназначена для диалогов, визуально-языковых запросов и агентных сценариев с длинным контекстом, включая работу с изображениями, документами и программными задачами. README описывает базовую Qwen3.8-Flash-Next и её тестирование в агентных и визуальных бенчмарках, но не приводит отдельной оценки именно этой производной версии. Теги heretic, uncensored, decensored и abliterated указывают на модификацию ограничений поведения, однако конкретная методика изменений не описана. В репозитории указаны веса Safetensors и библиотека Transformers. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой и лицензией базовой модели перед применением.

Qwen3-Embedding-4B-W4A16-G128 — GPTQ-квантованная версия модели Qwen3-Embedding-4B, опубликованная пользователем boboliu и разработанная на базе Qwen/Qwen3-Embedding-4B. Модель предназначена для создания текстовых эмбеддингов и задач семантического сходства, классификации, кластеризации, поиска, reranking и оценки семантического соответствия. Для калибровки использовались наборы THUIR/T2Ranking и m-a-p/COIG-CQIA. Модель содержит около 4 млрд параметров и использует формат квантования W4A16 с GPTQ. По данным README, квантирование снижает использование VRAM примерно с 17 430 до 11 000 МБ без FA2. На бенчмарке C-MTEB средний результат составляет 71,75 против 72,27 у исходной Qwen3-Embedding-4B, то есть потери составляют около 0,72%. Языки, точная архитектура, размер контекста и поддерживаемые модальности в README не указаны. Основное преимущество модели — уменьшенные требования к видеопамяти при сохранении близкого к исходной версии качества, что делает её более подходящей для локального запуска и ресурсоограниченной инфраструктуры. Ограничением является небольшое снижение качества на C-MTEB, а также необходимость совместимой программной среды для работы с GPTQ-квантованием. README рекомендует установить compressed-tensors, optimum и один из пакетов auto-gptq или gptqmodel. Модель распространяется по лицензии Apache-2.0.

Qwen3-Swallow-30B-A3B-RL-v0.2 — двуязычная языковая модель Swallow LLM на архитектуре Qwen3 MoE, дообученная методом обучения с подкреплением на проверяемых наградах (RLVR) поверх Qwen3-Swallow-30B-A3B-SFT-v0.2. Она предназначена для диалогов на японском и английском, перевода между этими языками, решения математических задач и программирования с рассуждениями. В репозитории указано 2,6 млрд параметров и контекст до 40 960 токенов; для воспроизводимого инференса авторы рекомендуют vLLM и советуют ограничивать контекст 32 768 токенами или меньше. Модель обучалась на японских и англоязычных корпусах, а также на данных по математике, коду и диалогам. Разработчики сообщают об улучшенных языковых и рассуждательных способностях при сохранении результатов в STEM-задачах. Модель не обучалась специально для вызова инструментов, а переключение режима рассуждений не поддерживается. Авторы отмечают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия намерениям человека и требованиям безопасности. Лицензия — Apache-2.0.

Qwen3-Swallow-32B-RL-v0.2 — японско-английская языковая модель команды Swallow LLM, дообученная на основе Qwen3-Swallow-32B-SFT-v0.2 с помощью обучения с подкреплением по проверяемым вознаграждениям (RLVR). Это плотная архитектура Qwen3 с 29,7 млрд параметров, предназначенная для диалоговой генерации текста и рассуждений; модель принимает текст и генерирует текст. Поддерживает японский и английский языки, а родная длина контекста составляет 40 960 токенов. Модель ориентирована на ответы на японском и английском языках, перевод между ними, а также задачи математики и программирования. По описанию разработчиков, RLVR улучшило математические и кодовые рассуждения, сохранив результаты на уровне исходных Qwen3 или выше на некоторых задачах. Для запуска разработчики рекомендуют Transformers-совместимую инфраструктуру, в частности vLLM, и контекст не более 32 768 токенов. Вызов инструментов не является проверенным сценарием, а отдельного переключателя режима рассуждений нет. Модель выпущена на раннем этапе исследований и разработки; авторы предупреждают, что её ответы не настроены для надёжного соответствия намерениям пользователя и требованиям безопасности. Лицензия — Apache-2.0.

Qwen3-Swallow-8B-RL-v0.2 — созданная проектом Swallow LLM двуязычная языковая модель на архитектуре Qwen3 с плотной архитектурой и 7,6 млрд параметров. Это версия семейства Qwen3-Swallow, дообученная на основе tokyoTech-llm/Qwen3-Swallow-8B-SFT-v0.2 с обучением с подкреплением по проверяемым вознаграждениям (RLVR). Модель предназначена для диалогов и генерации текста на японском и английском языках, включая перевод между ними, математические и программные задачи, а также рассуждения. Обучение включало данные по математике и коду с цепочками рассуждений и диалоговые данные. Модель поддерживает контекст до 40 960 токенов по метаданным; разработчики рекомендуют ограничивать длину контекста 32 768 токенами или меньше и запускать модель через vLLM для более воспроизводимого поведения. Модель обычно выполняет рассуждения по умолчанию и не поддерживает переключатель режима рассуждений. Разработчики сообщают, что модель не обучалась специально для вызова инструментов, а её применение в этом сценарии требует дополнительной посттренировки. Также отмечено, что модель находится на ранней стадии разработки и не настроена для полного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

unsloth/Qwen3-VL-4B-Instruct-unsloth-bnb-4bit — это квантованная 4-битная версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для понимания и генерации текста на основе изображений, а также для работы с видео и текстовыми запросами. Модель имеет размер 4B параметров и архитектуру vision-language с режимом Instruct. Она поддерживает визуальное распознавание, OCR для 32 языков, анализ пространственных отношений, понимание длительных видеосцен, мультимодальное рассуждение в STEM-задачах и взаимодействие с графическими интерфейсами ПК и мобильных устройств. Заявлен нативный контекст до 256K токенов с возможностью расширения до 1M. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильными сторонами являются сочетание текстового и визуального понимания, обработка изображений, документов и видео, распознавание текста в сложных условиях, а также задачи визуального программирования и управления интерфейсами. Ограничения включают зависимость качества и совместимости от 4-битного квантования, а также необходимость подходящей аппаратной и программной конфигурации для длинного контекста и видео; конкретные языки, требования к ресурсам и детальные числовые результаты в README не указаны. Модель распространяется по лицензии Apache-2.0.

qminh369/rag-book — модель эмбеддингов на базе BERT, созданная с библиотекой Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу и кластеризации. Модель также подходит для сравнения семантической близости текстов и может использоваться в системах RAG для поиска релевантных фрагментов книг. Модель содержит 25,9 млн параметров, принимает текстовые входы и имеет контекстное окно 512 токенов. Для обучения применялась функция MultipleNegativesRankingLoss с косинусным сходством. Язык модели и условия лицензии по доступным сведениям определить нельзя.

Raptor 0.6 — GGUF — это квантизированная версия модели Raptor 0.6, разработанная Osaurus AI на базе XHToken/Spark-X2.5-4B. Модель предназначена для генерации текста, рассуждений, агентских сценариев и использования инструментов, включая работу с файлами и вызов функций. Заявлена поддержка английского и китайского языков, а формат GGUF ориентирован на локальный запуск, в частности в Osaurus for Windows и совместимых рантаймах семейства llama.cpp. Модель содержит около 4 млрд параметров и использует архитектуру spark2_5: объединённый q_k_v_proj, sigmoid-gate на выходе attention, GELU-MLP, RMSNorm без сдвига, а также комбинацию sliding и full attention с окном 512 токенов. В репозитории доступны варианты Q6_K размером около 3,38 ГБ и Q4_K_M размером около 2,60 ГБ; оба созданы с importance matrix для снижения потерь при квантизации. Поддерживаются встроенное рассуждение с отделением reasoning_content от основного ответа и преобразование вызовов инструментов в стандартный OpenAI JSON. Сильными сторонами являются возможность локального запуска, небольшой размер, поддержка reasoning и tool use, а также калибровка imatrix; для Q6_K заявлено совпадение top-1 с исходными bf16-весами на уровне 98,27%. Ограничение — необходим runtime с поддержкой архитектуры spark2_5: стандартные версии llama.cpp, Ollama и LM Studio без такой поддержки эти файлы не загрузят. Для работы рекомендуется llama.cpp с параметром --jinja; при сложных запросах рассуждения могут потребовать более 8192 выходных токенов, которые учитываются вместе с входом в пределах контекстного окна. Лицензия — Apache-2.0.

Это модель семейства Sentence Transformers на базе XLM-RoBERTa, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для поиска семантически близких текстов, кластеризации и сравнения предложений по смыслу. Модель содержит 305,2 млн параметров, принимает текст и выдаёт эмбеддинги. Контекст ограничен 514 токенами. В карточке указано обучение с функцией потерь CosineSimilarityLoss; данные README не позволяют установить конкретный обучающий датасет или заявить поддержку определённых языков. Доступны веса в формате PyTorch.

Ring-flash-2.0 — разговорная языковая модель с архитектурой MoE, разработанная InclusionAI на основе Ling-flash-2.0-base. Она предназначена для сложных рассуждений, включая решение математических задач, генерацию кода и логический анализ, а также для научных и медицинских вопросов и творческого письма. Модель обучалась в несколько этапов с SFT, обучением с проверяемыми наградами и RLHF; README также описывает алгоритм icepop для повышения стабильности длительного обучения с подкреплением для MoE-моделей. В метаданных указано 5,5 млрд параметров, а README сообщает о 100 млрд параметров всего и 6,1 млрд активных при генерации. Архитектура включает разреженную активацию экспертов и слои MTP. Контекст — до 32 768 токенов. Модель принимает текст и генерирует текст; основное назначение — диалоговое текстовое взаимодействие. Заявленные авторами сильные стороны — эффективность инференса и результаты в задачах рассуждения; эти оценки основаны на описании модели и приведённых там сравнениях. Модель доступна по лицензии MIT. Для запуска README описывает использование Transformers и vLLM, причём для vLLM на момент карточки требовалась специальная подготовка окружения. Поддерживаемые естественные языки в предоставленных источниках не перечислены.