I.11Классификация, ранжирование и сопоставление

Qwen3-VL-235B-A22B-Instruct-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-235B-A22B-Instruct с мелкозернистой квантизацией и размером блока 128; заявлено, что её показатели почти идентичны исходной версии BF16. Модель предназначена для понимания и генерации текста по текстовым, визуальным и видеоданным. Модель подходит для анализа изображений и видео, OCR, распознавания объектов, пространственного рассуждения, STEM- и математических задач, визуального программирования, генерации Draw.io/HTML/CSS/JS по визуальным материалам, а также для взаимодействия с графическими интерфейсами и инструментами. Она поддерживает контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, обработку длительных видео с временной индексацией и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся развитое визуальное восприятие, мультимодальное рассуждение, анализ пространственных отношений, работа с длинными документами и видео, а также устойчивый OCR для изображений с низким качеством, наклоном и редкими символами. README не содержит детальных числовых результатов тестов, полного перечня поддерживаемых языков или требований к аппаратному обеспечению. На момент описания Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache 2.0.

Qwythos-9B-Claude-Mythos-5-1M-GGUF — это набор GGUF-квантизаций модели Qwythos-9B, разработанной Empero. Модель создана на базе Qwen3.5-9B и дообучена на более чем 500 млн токенов высококачественных трасс Claude Mythos и Claude Fable с использованием внутреннего инструмента Empero AI rethink. Доступны варианты от Q4_K_M до BF16, включая версии с MTP для ускорения генерации в совместимых сборках llama.cpp. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других GGUF-совместимых средах. Она ориентирована на рассуждения, генерацию текста, решение математических задач, function calling и агентские сценарии, а также на задачи в области кибербезопасности и биомедицины. Заявлена поддержка английского языка, нативного function calling по спецификации Qwen3.5 и контекстного окна до 1 048 576 токенов с масштабированием RoPE YaRN. Модель мультимодальна и поддерживает изображения при подключении отдельного vision projector в формате GGUF. Визуальная часть унаследована от Qwen3.5-9B и во время дообучения не изменялась, поэтому заявлены описание изображений, OCR печатного и рукописного текста, анализ графиков и таблиц, понимание интерфейсов и документов и базовое пространственное рассуждение. Сильными сторонами являются большой контекст, reasoning-возможности, function calling и широкий выбор уровней квантизации; при этом качество, скорость и требования к памяти зависят от выбранного варианта, а для изображений требуется дополнительный файл mmproj. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-34B-Chat-GGUF — квантизированная в формате GGUF версия диалоговой языковой модели Yi-1.5-34B-Chat, разработанной компанией 01-ai. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального текстового общения и широкого круга задач: генерации текста, следования инструкциям, программирования, математики, рассуждений, понимания языка, здравого смысла и чтения с пониманием. Модель содержит около 34 млрд параметров и относится к семейству текстовых моделей с архитектурной основой Llama. Она поддерживает диалоговый шаблон ChatML и рассчитана на общий сценарий использования. Yi-1.5 была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров; точная длина контекста, языки и другие технические характеристики в README не указаны. Сильные стороны модели — универсальность, развитое следование инструкциям, способности к программированию, математике, рассуждениям и пониманию текста. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для генеративных моделей риски неточностей, неподходящего или вредного содержания. Модель распространяется по лицензии Apache-2.0.

Apriel-1.5-15b-Thinker-GGUF — это GGUF-квантизированная версия мультимодальной reasoning-модели Apriel-1.5-15b-Thinker, разработанной ServiceNow AI в рамках серии Apriel SLM. Модель предназначена для генерации текста, решения математических, научных и логических задач, программирования, работы с корпоративными сценариями и анализа изображений. Вариант GGUF создан с использованием llama.cpp; в процессе конвертации применялся подход с повышением точности отдельных важных слоёв для улучшения качества при заданном уровне квантизации. Модель содержит 15 млрд параметров и поддерживает текстовые и визуальные входные данные. Она обучалась на текстах, связанных с математикой, программированием, научными и логическими задачами, а также на мультимодальных данных для понимания изображений, создания подписей и работы с чередующимися изображениями и текстом. Постобучение включало текстовый SFT более чем на 2 млн высококачественных примеров; reinforcement learning не применялся. Заявлены результаты 52 балла в Artificial Analysis, 68 в Tau2 Bench Telecom и 62 в IFBench. Модель рассчитана на размещение на одной GPU и по умолчанию выполняет расширенное рассуждение, что может повышать точность, но увеличивает расход токенов и время ответа. К ограничениям относятся повышенная ресурсоёмкость вывода из-за подробного рассуждения, возможная зависимость качества от выбранного GGUF-квантизированного варианта и отсутствие image SFT и RL в процессе обучения. Лицензия модели — MIT.

Карточка модели ServiceNow-AI/Apriel-5B-Base на Hugging Face совпадает с карточкой ServiceNow-AI/Apriel-5B-Instruct, поэтому описание составлено по ней. Apriel-5B-Instruct — языковая модель общего назначения от ServiceNow AI, дообученная на Apriel-5B-Base с помощью продолженного предобучения, supervised fine-tuning и этапов выравнивания DPO и RLVR. Это плотный авторегрессионный Transformer-декодер с grouped-query attention и позиционными эмбеддингами YARN; в репозитории указаны 4,6 млрд параметров и контекст до 16 384 токенов. Веса опубликованы в формате safetensors и доступны по лицензии MIT. Модель предназначена для диалога и следования инструкциям, ответов на вопросы, генерации и краткого изложения текста, помощи с кодом, логических рассуждений и творческого письма. Она поддерживает структурированные диалоги и сценарии вызова инструментов. Основной язык — английский; качество на менее представленных языках может быть ниже. Модель может выдавать фактически неверные, вводящие в заблуждение или устаревшие ответы и отражать смещения обучающих данных. Её не следует применять в критически важных сценариях без проверки человеком и дополнительных мер защиты; для медицинских, юридических и финансовых решений она не подходит без специальных safeguards.

Baichuan2-13B-Chat — 百川智能推出的对话式大语言模型，属于 Baichuan 家族的稠密 причинно-языковой архитектуры BaichuanForCausalLM; содержит 13,3 млрд параметров. По карточке, версия v2 улучшает математические и логические рассуждения, а также следование сложным инструкциям. Модель предназначена для диалогов, генерации текста и решения задач на китайском и английском языках; её оценивали на общих, юридических, медицинских, математических, программных и переводческих наборах данных. Для запуска используется формат PyTorch, а README указывает требование PyTorch 2.0 из-за применения scaled_dot_product_attention. Модель обучена на корпусе из 2,6 трлн токенов. Лицензия в метаданных обозначена как other; README описывает Apache 2.0 вместе с отдельным соглашением сообщества. Для коммерческого использования требуется получить официальное разрешение Baichuan и соблюдать условия соглашения, включая ограничения по DAU и типу организации.

C4AI Command R+ 08-2024 — большая авторегрессионная языковая модель семейства Cohere, опубликованная Cohere и Cohere For AI; данная версия размещена Unsloth. Модель содержит 103,8 млрд параметров, использует архитектуру Transformer с grouped-query attention и принимает текст, выдавая текст. Контекстное окно — 128K токенов. Модель предназначена для диалогов, ответов на вопросы, суммаризации, рассуждений и генерации с опорой на предоставленные документы (RAG). Она обучена работать с инструментами в несколько шагов, например для поиска информации и автоматизации составных задач. Поддерживает 23 языка, включая английский, русский, китайский, арабский, японский и другие; оценивалась на 10 языках. Модель дообучена с помощью supervised fine-tuning и обучения предпочтениям. Для использования возможностей работы с инструментами рекомендуется соблюдать специальный шаблон диалога; отклонение от него может снизить качество. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование и требует соблюдения Acceptable Use Policy C4AI.

mlx-community/gemma-4-31B-it-qat-OptiQ-4bit — квантизированная модель семейства Gemma-4, разработанная сообществом mlx-community с использованием инструментария mlx-optiq и построенная на базе Google Gemma-4 31B IT QAT. Это плотная модель примерно на 31 млрд параметров для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и задач с длинным контекстом. Поддерживает сценарии image-text-to-text: зрительный модуль поставляется отдельно в формате bf16. Языки и максимальный размер контекста в README не указаны. Модель использует смешанную квантизацию: преимущественно 4-битную, с 186 чувствительными компонентами в 8-битном формате и 224 компонентами в 4-битном; достигнутая точность составляет 5,20 бит на вес, размер группы — 64. По заявленным тестам она особенно выигрывает у равномерной 4-битной квантизации в извлечении информации из длинного контекста, а также показывает высокие результаты в MMLU, GSM8K, IFEval, BFCL и HumanEval. Ограничения включают больший размер по сравнению с обычной 4-битной версией — около 20,8 ГБ на диске — и необходимость использования Apple Silicon, актуальной версии mlx-lm из репозитория и mlx-optiq; стандартного выпуска mlx-lm 0.31.3 недостаточно. Доступна по лицензии Apache 2.0.

Hunyuan-A13B-Pretrain — базовая большая языковая модель Tencent на архитектуре Mixture of Experts (MoE), предназначенная для генерации текста, рассуждений и общих языковых задач. В README для семейства Hunyuan-A13B указано 80 млрд параметров всего и 13 млрд активных параметров; метаданные именно этого репозитория указывают 3,1 млрд параметров. Карточка также описывает режимы быстрого и пошагового рассуждения, Grouped Query Attention и поддержку длинного контекста, но приводит для семейства 256 тыс. токенов, тогда как метаданные репозитория указывают нативный контекст 32 768 токенов. Модель подходит для диалоговых приложений, генерации и продолжения текста, решения задач на рассуждение, математику и код, а также для агентных сценариев с вызовом инструментов. Репозиторий содержит веса safetensors и рассчитан на работу через Transformers; для сервинга README также упоминает TensorRT-LLM, vLLM и SGLang. В README упоминаются возможности семейства и результаты варианта Instruct, которые не следует считать подтверждёнными оценками именно этого pretrain-чекпойнта. Лицензия указана как other; README ссылается на LICENSE, но конкретные условия в предоставленных данных не раскрыты.

Многоязычная инструкционно настроенная языковая модель Meta на архитектуре авторегрессионного трансформера Llama 3.1. Репозиторий unsloth/Llama-3.1-8B-Instruct основан на meta-llama/Llama-3.1-8B-Instruct и содержит плотную модель примерно на 7,5 млрд параметров в формате Safetensors; для настройки использовались supervised fine-tuning и обучение с обратной связью от людей. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов, а длина контекста составляет до 131 072 токенов. Модель предназначена для диалоговых помощников и генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Её можно применять для ответов на вопросы, составления и преобразования текстов, суммаризации и генерации синтетических данных. К сильным сторонам относятся широкий контекст, многоязычность и возможность интеграции с инструментами. Качество и безопасность ответов могут различаться между языками и сценариями; карточка рекомендует осторожность при использовании неподдерживаемых языков и интеграции сторонних инструментов. Модель распространяется по лицензии Llama 3.1 Community License с условиями коммерческого и исследовательского использования.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w4a16 — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная прежде всего для коммерческого и исследовательского использования на английском языке. Возможные сценарии включают чат-ассистентов, ответы на инструкции, генерацию текста, решение математических задач и помощь в программировании. Модель имеет архитектуру Meta-Llama-3 и содержит 70 млрд параметров в исходной версии. Веса линейных операторов в трансформерных блоках квантованы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией для групп по 128 параметров; для квантования применён алгоритм GPTQ. Это сокращает объём хранения и требования к памяти GPU примерно на 75% по сравнению с 16-битной версией. Модель работает с текстом на входе и выходе, а в README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, хотя официальное назначение ограничено английским. Указанная длина контекста при развёртывании — до 8192 токенов. К сильным сторонам относятся существенное снижение требований к памяти и высокая близость качества к неквантованной модели: заявлены результаты восстановления 100% для Arena-Hard, 99,4% для OpenLLM v1, 97,4% для OpenLLM v2, 101,0% для HumanEval pass@1 и 99,2% для HumanEval+ pass@1. Ограничения включают возможную потерю точности из-за INT4-квантования, ориентацию на английский язык и отсутствие мультимодальности. Для эффективного развёртывания рекомендуется backend vLLM, включая режим OpenAI-compatible serving. Модель распространяется по лицензии Llama3.1; применяются ограничения исходной лицензии, включая запрет использования с нарушением законодательства.

Mistral-7B-Instruct-v0.3 — языковая модель Mistral AI, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов, генерации и продолжения текста, а также сценариев с вызовом функций и инструментов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; контекст — до 32 768 токенов. В версии v0.3 расширен словарь до 32 768 токенов, добавлена поддержка токенизатора v3 и вызова функций. Модель принимает текст и генерирует текст, подходит для чат-ботов, выполнения инструкций и интеграции с инструментами. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. По заявлению авторов, это демонстрационная модель, показывающая возможности дообучения базовой версии. У модели нет механизмов модерации, поэтому её ответы требуют соответствующей проверки при использовании. Лицензия — Apache-2.0.

Mistral-7B-Instruct-v0.3-GGUF — это GGUF-квантизированная версия Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, следования инструкциям и использования в качестве универсального ассистента, включая сценарии с вызовом функций. Модель содержит около 7 млрд параметров, использует архитектуру Mistral и поддерживает контекст длиной 32 768 токенов. В версии 0.3 расширен словарь с 32 000 до 32 768 токенов, добавлен новый токенизатор и реализована поддержка function calling через специальные токены TOOL_CALLS, AVAILABLE_TOOLS и TOOL_RESULTS. Для работы в LM Studio рекомендуется шаблон Mistral Instruct с форматом <s> [INST] запрос [/INST] </s>. Сильные стороны модели — качественное следование инструкциям, универсальность и поддержка вызова функций. README не содержит сведений о поддерживаемых языках, конкретных размерах файлов или характеристиках отдельных уровней квантизации. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Mistral-Small-24B-Instruct-2501-FP8-dynamic — текстовая instruct-модель на базе Mistral-Small-24B-Instruct-2501. Модель разработана Neural Magic и распространяется в каталоге Red Hat AI. Она принимает текст и генерирует текст, поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для диалоговых приложений, генерации и преобразования текста, работы через text-generation и text-to-text интерфейсы. Это FP8-квантованная версия с квантизацией весов и активаций линейных операторов в блоках Transformer. По сравнению с представлением в FP16 такая оптимизация примерно вдвое уменьшает размер на диске и требования к памяти GPU, что делает модель более удобной для инференса. README указывает готовность к работе с vLLM; пример развертывания допускает максимальную длину контекста 32768 токенов. Средний результат на OpenLLM Leaderboard v1 составляет 78,88 против 79,45 у неквантованной версии, поэтому основное ограничение — небольшое снижение качества после квантизации. Для запуска требуется совместимая инфраструктура инференса, например vLLM, а поддержка и производительность зависят от используемого GPU и программного окружения. Модель распространяется по лицензии Apache 2.0.

qwp4w3hyb/Phi-3-mini-128k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-128K-Instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров и предназначена для генерации текста, диалоговых приложений и использования в условиях ограниченных ресурсов, где важны низкая задержка, компактность и способность решать задачи рассуждения, программирования, математики и логики. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а после предварительного обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель поддерживает контекст до 128 тысяч токенов, словарь размером до 32 064 токенов и ориентирована прежде всего на английский язык, хотя в карточке также указана многоязычность. Это текстовая авторегрессионная модель; сведения о конкретной архитектуре и полном наборе поддерживаемых языков не приведены. Данная сборка включает варианты квантизации от Q8_0 до IQ1_S, выполненные с использованием importance matrix в llama.cpp для снижения потерь точности. Для работы требуется актуальная версия llama.cpp master и совместимый GGUF-инференс. Сильные стороны модели — сочетание небольшого размера с заявленной высокой эффективностью среди моделей менее 13 млрд параметров, длинный контекст и хорошие возможности в коде, математике, логике и общем понимании языка. Ограничения включают возможные ошибки и необходимость отдельно проверять точность, безопасность и справедливость результатов, особенно в сценариях с высокими рисками. Модель выпущена под лицензией MIT; конкретный выбранный уровень квантизации может влиять на качество и требования к ресурсам.

Qwen2.5-3B-Instruct-GPTQ-Int8 — квантованная 8-битная версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Это авторегрессионная causal language model для генерации текста и диалоговых сценариев, включая ответы на инструкции, чат-ботов, работу со структурированными данными, а также задачи программирования и математики. Модель содержит около 3,09 млрд параметров, 36 слоёв и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Применяется Grouped Query Attention с 16 головами для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Модель работает с текстом и заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, формирование JSON, а также возможности в программировании и математике. 8-битная GPTQ-квантизация может снизить требования к памяти по сравнению с полноразмерной версией, однако README не приводит конкретных результатов оценки качества и производительности. Для использования рекомендуется актуальная версия библиотеки Transformers; модель распространяется по лицензии qwen-research, обозначенной как other.

unsloth/Qwen2.5-3B-Instruct-unsloth-bnb-4bit — это 4-битная квантизированная версия Qwen2.5-3B-Instruct, разработанная Unsloth на основе модели Qwen/Qwen2.5-3B-Instruct. Модель предназначена для диалогов, следования инструкциям, генерации текста, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель относится к классу причинных языковых моделей и использует текстовую модальность. В семействе Qwen2.5 заявлена поддержка более 29 языков, включая английский, китайский, русский и другие. Для серии также заявлена работа с контекстом до 128K токенов и генерация до 8K токенов, однако конкретные параметры этой 3B-квантизированной версии в README подробно не указаны. Ключевая особенность сборки — формат Unsloth Dynamic 4-bit, предназначенный для снижения требований к памяти при сохранении лучшей точности по сравнению со стандартной 4-битной квантизацией. Модель подходит для локального запуска, чат-ботов, автоматизации текстовых задач, программирования, анализа данных и дообучения. К преимуществам относятся компактный размер, сниженное потребление памяти и возможности instruction-tuned модели. Ограничения связаны с меньшим размером по сравнению с крупными моделями и возможными потерями точности из-за квантизации; конкретные показатели качества в README не приведены. Указанная лицензия — Apache-2.0.

Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — текстовая генеративная модель, разработанная Jackrong на базе Qwen/Qwen3.5-9B. Она дообучена методом supervised fine-tuning с применением LoRA и дистилляции рассуждений из источников, связанных с Gemini 3.1, Gemini 3.0 Pro и Qwen3.5-27B. Модель предназначена для задач, требующих структурированного анализа, декомпозиции, планирования, многошагового вывода и отслеживания ограничений. Модель относится к семейству Dense и содержит около 9 млрд параметров. Она работает в режиме text-generation и ориентирована на текстовые запросы и ответы. В README заявлена поддержка английского, китайского и корейского языков. Обучающие данные охватывают математику, логику, программирование, системный анализ, безопасность, физику, инженерию, право, медицину, финансы, химию и прикладные социальные задачи. Размер контекстного окна и другие параметры инференса не указаны. Сильными сторонами модели считаются более организованный стиль рассуждений, улучшенное решение сложных многошаговых задач, междисциплинарное покрытие и ориентация на анализ атак, отказов и ограничений. При этом дистилляция и специализированное дообучение могут ухудшать обобщение на отдельных сценариях или приводить к частичному забыванию знаний базовой модели, поэтому модель следует оценивать на собственных данных перед применением. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — языковая модель для генерации текста и решения сложных аналитических задач, разработанная сообществом на базе Qwen/Qwen3.5-9B. Она дообучена методом supervised fine-tuning с применением LoRA и дистилляции рассуждений из Gemini 3.1, Qwen3.5-27B и корпуса Gemini 3.0 Pro. Модель ориентирована на структурированное пошаговое рассуждение, декомпозицию задач, планирование, абстрагирование и подготовку более связных ответов. Модель предназначена для многошагового анализа, математики и логики, программирования и системных задач, физики, инженерии, права, медицины, финансов, химии, а также сценариев, связанных с безопасностью и adversarial reasoning. Заявлены языки English, Chinese и Korean. Архитектура — плотная модель размером 9B параметров; поддерживается текстовая генерация. Размер контекстного окна в README не указан. Сильными сторонами являются компактный размер, структурированная организация рассуждений, улучшенное отслеживание ограничений и широкое междоменное покрытие. Ограничения включают возможное ухудшение обобщения или частичное забывание отдельных знаний базовой модели из-за дистилляции и специализированного дообучения, поэтому модель следует проверять на целевых задачах перед использованием в производстве. Лицензия — Apache-2.0.

vrfai/Qwen3.6-27B-FP8 — мультимодальная модель для работы с текстом и изображениями, созданная на основе Qwen/Qwen3.6-27B. Исходную модель разработала команда Qwen (Alibaba Group), а FP8-квантизацию выполнил vrfai с использованием llm-compressor от vLLM Project. Модель предназначена для диалогов, генерации и анализа текста, программирования, а также задач, требующих обработки визуальной информации. Поддерживаются режимы с рассуждением и без него; README не содержит полного перечня языков и точных характеристик исходной модели, включая размер контекста. Используется статическая квантизация W8A8 FP8: веса и активации основных компонентов представлены в FP8 с симметричной по-тензорной схемой, при этом чувствительные компоненты, включая vision encoder, DeltaNet/linear-attention, merger и lm_head, сохранены в BF16. Формат compressed-tensors обеспечивает поддержку в vLLM. Такой подход снижает требования к памяти при сохранении качества лучше, чем более агрессивная NVFP4-квантизация; заявленный размер модели составляет около 34 ГБ. Для работы требуется GPU NVIDIA Ampere, Hopper или Blackwell с поддержкой SM 89+, рекомендовано использование vLLM или Transformers. Модель распространяется по лицензии Apache-2.0. Ограничениями являются необходимость совместимого современного NVIDIA GPU, использование trust_remote_code в приведённых примерах и отсутствие в предоставленном README подробных результатов бенчмарков, точного контекстного окна и полного описания языковой поддержки.

abhishekchohan/Qwen3.8-27B-AWQ-INT4 — это 4-битная AWQ-квантизированная версия модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста, рассуждений, математических и научных задач, программирования, обработки мультиязычных запросов и работы с изображениями. Она поддерживает визуально-текстовые сценарии благодаря встроенному ViT-энкодеру. Модель имеет гибридную архитектуру с 64 текстовыми слоями, включающими стандартное attention и линейное внимание DeltaNet, а также контекст до 262 144 токенов. Используется weight-only формат W4A16: веса хранятся в INT4 с group size 32 и асимметричными zero-point, KV-кэш — в BF16. Размер весов составляет около 20 ГБ, благодаря чему модель рассчитана на запуск с родным контекстом на одной GPU с 48 ГБ памяти. На GPU с 96 ГБ возможно расширение контекста до 524 288 токенов через YaRN, однако retrieval за пределами 262 144 токенов не проверялся. Главное преимущество — существенное снижение требований к памяти при сохранении результатов, близких к BF16-версии: на 9 из 10 заявленных тестов различия находятся в пределах статистического шума, а поиск информации на длинном контексте успешно проверен до 262 144 токенов. Ограничения включают заметное снижение результата в MathVision, неполную проверку визуальных возможностей, отсутствие оценки агентных сценариев и инструментального вызова, а также отсутствие количественной валидации speculative decoding. Модель распространяется по лицензии Apache-2.0.

Bernhard Brieger подготовил эту модель как посттренировочную NVFP4-квантизацию базовой Qwen/Qwen3.8-27B. Это мультимодальная модель для обработки текста и изображений, сохранившая языковую часть, vision tower и слой Multi-Token-Prediction (MTP). Квантизация не меняет логическое число параметров: оно составляет около 27,78 млрд, а размер весов на диске уменьшен до 20,59 ГБ по сравнению с 55,56 ГБ в формате bf16. Модель предназначена для следования инструкциям, программирования, диалогов, вызова инструментов и функций, работы с изображениями, а также задач с длинным контекстом, включая обработку документов объёмом свыше 100 тысяч токенов. Архитектура Qwen3_5ForConditionalGeneration включает 64 слоя: 48 слоёв с линейным вниманием Gated-DeltaNet и 16 слоёв с полным вниманием. Нативный контекст составляет 262 144 токена; работа проверена на контексте до 163 840 токенов с FP8 KV-кэшем. Поддерживается схема NVFP4 W4A4 с 4-битными весами и активациями, а критически важные компоненты, включая embeddings, lm_head, vision tower, нормализации и MTP-слой, сохранены в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении мультимодальности и длинного контекста: объём весов уменьшен на 62,9%. Проверенным вариантом запуска является vLLM с backend modelopt_fp4. Формат NVFP4 требует аппаратной поддержки FP4-тензорных ядер и рассчитан на GPU поколения Blackwell с архитектурами sm_100 или sm_120; на более старых GPU модель работать не может. Это только квантизация исходной модели без дополнительного дообучения, дистилляции или усиленного обучения безопасности, поэтому заявленные данные не показывают разницу качества с полной версией. Лицензия — Apache-2.0.

Qwen3-Nemotron-32B-RLBFF — текстовая диалоговая модель NVIDIA на архитектуре Transformer Qwen3, дообученная на базе Qwen/Qwen3-32B для повышения качества ответов в режиме рассуждения. Она принимает многоходовый текстовый диалог и генерирует ответ на последнее сообщение пользователя; подходит для общих вопросов, анализа данных, планирования, программирования и творческих задач. В метаданных указано 29,7 млрд параметров и контекст до 40 960 токенов; README сообщает, что обучение велось на диалогах длиной до 4 тыс. токенов, хотя заявленный там максимальный вход — 128 тыс. токенов. Модель предназначена для запуска через Transformers или vLLM на GPU NVIDIA; README рекомендует один или несколько GPU с 80 ГБ памяти. В опубликованных оценках модель превосходит исходную Qwen3-32B на Arena Hard V2, WildBench и MT-Bench, однако эти результаты не гарантируют качество в конкретных сценариях. Карточка называет модель исследовательской и приводит результаты тестирования на общих диалоговых бенчмарках. Язык в метаданных — английский; лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория NVIDIA.

Qwen3-VL-235B-A22B-Thinking-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-235B-A22B-Thinking в формате GGUF и предназначен для локального запуска на совместимых устройствах через llama.cpp, Ollama и другие инструменты GGUF. Модель предназначена для анализа и генерации текста по изображениям и видео, визуального распознавания, OCR, пространственного и временного рассуждения, решения STEM- и математических задач, генерации Draw.io/HTML/CSS/JS по визуальным примерам, а также взаимодействия с графическими интерфейсами и инструментами. Заявлены улучшенные возможности понимания документов, объектов, сцен, событий в видео и GUI. Поддерживается нативный контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона; OCR заявлен для 32 языков. Архитектура включает языковую модель и отдельный vision encoder mmproj. Для компонентов доступны варианты FP16 и квантованные варианты Q8_0 и Q4_K_M для языковой модели, а также FP16 и Q8_0 для vision encoder. Поддерживаются CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Основные ограничения — очень высокий размер модели и соответствующие требования к памяти и вычислительным ресурсам; производительность и доступное качество зависят от выбранной точности и оборудования. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Instruct-GGUF — мультимодальная vision-language модель, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это инструкционная версия базовой модели Qwen/Qwen3-VL-30B-A3B-Instruct с исправлениями chat template, предназначенная для диалогов и совместного понимания текста, изображений и видео. Модель использует MoE-архитектуру с 30 млрд параметров и 3 млрд активных параметров. Она поддерживает нативный контекст до 256K токенов с возможностью расширения до 1M, обработку книг и многочасового видео, визуальное распознавание, OCR на 32 языках, пространственное рассуждение, анализ STEM-задач, а также генерацию кода и разметки Draw.io, HTML, CSS и JavaScript по изображениям или видео. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — объединённое текстово-визуальное понимание, работа с длинным контекстом, видео, документами, пространственными отношениями и GUI-агентами, способными распознавать элементы интерфейса, вызывать инструменты и выполнять задачи. Ограничения, включая требования к памяти, производительности и совместимости конкретных GGUF-квантизаций, в README не уточнены. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-32B-Instruct-FP8 — мультимодальная instruction-модель семейства Qwen, представленная как FP8-квантизированная версия Qwen3-VL-32B-Instruct. Модель предназначена для обработки текста, изображений и видео, включая генерацию ответов, визуальное понимание и мультимодальное рассуждение. Квантование выполнено методом fine-grained FP8 с размером блока 128; заявлено, что показатели близки к исходной версии в формате BF16. Модель ориентирована на анализ изображений и видео, OCR, понимание пространственных отношений, STEM- и математическое рассуждение, распознавание объектов и сцен, извлечение структуры из длинных документов, а также задачи визуального агента и генерацию Draw.io, HTML, CSS и JavaScript по изображениям или видео. Она поддерживает контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона и рассчитана на работу с длинными документами и многочасовым видео. Для OCR заявлена поддержка 32 языков. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание текстового и визуального понимания, расширенная работа с видео и пространственными отношениями, улучшенное распознавание текста в сложных условиях и поддержка агентских сценариев с взаимодействием через графический интерфейс и инструменты. Ограничение текущей версии заключается в том, что Transformers пока не поддерживает прямую загрузку этих весов; для развёртывания рекомендуется использовать vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-8B-Instruct-unsloth-bnb-4bit — это 4-битно квантованная версия мультимодальной vision-language модели Qwen3-VL-8B-Instruct, подготовленная Unsloth на базе Qwen/Qwen3-VL-8B-Instruct. Модель предназначена для обработки и генерации текста по текстовым, визуальным и видеоданным, а также для мультимодального рассуждения, анализа документов, OCR, понимания пространственных отношений и взаимодействия с графическими интерфейсами через визуального агента. Она также ориентирована на генерацию кода и разметки Draw.io, HTML, CSS и JavaScript по изображениям и видео. Модель использует плотную архитектуру размером 8B параметров и поддерживает контекст длиной 256K токенов с возможностью расширения до 1M. Среди заявленных компонентов — Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. Заявлена поддержка OCR на 32 языках, включая работу с размытыми, наклонёнными и низкоконтрастными изображениями, а также понимание длинных документов и продолжительных видеозаписей. К сильным сторонам относятся сочетание текстового и визуального понимания, развитое пространственное и временное рассуждение, обработка изображений и видео, а также сниженные требования к памяти благодаря формату unsloth-bnb-4bit. Ограничения включают возможную потерю точности из-за 4-битной квантизации и необходимость совместимого программного окружения для запуска мультимодальных сценариев; точный перечень поддерживаемых языков и требования к аппаратному обеспечению в представленном README не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели TreezzZ/r2s-webshop-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Solar-Open2-250B-Nota-INT4 — 4-битная квантованная версия языковой модели Solar-Open2-250B от Upstage, подготовленная компанией Nota AI. Модель предназначена для генерации текста, диалоговых приложений, рассуждений, программирования, вызова инструментов и других задач обработки естественного языка. Заявлены языки английский, корейский и японский. Модель основана на архитектуре Mixture-of-Experts (MoE) и использует квантование весов W4A16 с форматом INT4, размером группы 128 и упаковкой AutoRound, совместимой с GPTQ. Весовой объём составляет около 142,9 ГБ против 500,6 ГБ в формате BF16. Модель рассчитана на развёртывание через vLLM; в README приведена конфигурация с tensor parallelism для четырёх GPU. Размер контекста в предоставленных данных не указан. Ключевое преимущество — снижение требований к памяти при сохранении близкого к BF16 качества: средний результат на приведённых бенчмарках составляет 81,17 против 81,57 у BF16. Для квантования применены методы Nota AI, ориентированные на сохранение маршрутизации экспертов, включая DREAM-MoE и SRA-MoE. Ограничениями являются необходимость значительных вычислительных ресурсов для запуска, зависимость от совместимой версии vLLM и возможное небольшое снижение качества на отдельных задачах по сравнению с BF16. Модель распространяется по лицензии Upstage Solar License. Для производных моделей требуется использовать префикс Solar в названии, указывать формулировку Built with Solar в публичных материалах и включать копию лицензии Upstage Solar.

SuperQwen3.8-27b-abliterated — мультимодальная диалоговая модель Jiunsong, полученная изменением Qwen/Qwen3.8-27B. Это полноразмерный чекпойнт BF16 в формате safetensors, примерно 52 ГБ, с плотной архитектурой Qwen3.5 и 27 млрд параметров. Изменение rank-4 снижает выраженность отказов; башня обработки изображений и веса MTP сохранены без изменений. Модель принимает текст и изображения и формирует текстовые ответы, поддерживает вызов инструментов и контекст до 262 144 токенов. Модель предназначена для диалогов, анализа изображений, многошаговых рассуждений и работы с инструментами. По карточке, настройки reasoning по умолчанию изменены на medium, а для xhigh добавлено условие остановки после получения ответа. Разработчик сообщает о прохождении конечного набора тестов на возможности, работу с изображениями и инструментами; это не гарантирует качество на всех задачах. Снижение отказов может приводить к ответам на запросы, которые базовая модель отклонила. Лицензия — Apache-2.0.