I.11Классификация, ранжирование и сопоставление

Карточка модели junie626/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

MaziyarPanahi/Qwen2.5-32B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантованную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживающих исходную instruct-модель. Модель имеет размер 32B параметров и относится к текстовым моделям. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Сильными сторонами являются широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, результатах оценки или ограничениях исходной модели. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в документации Qwen2.5-32B-Instruct и данного репозитория.

Qwen3-235B-A22B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения задач по инструкциям. README не содержит подробностей о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности или специализированных сценариях применения. Известно, что квантование снижает требования к памяти по сравнению с исходной моделью, а формат MLX ориентирован на эффективное выполнение на Apple Silicon. К ограничениям относятся возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

YOYO-AI разработала Qwen3-30B-A3B-YOYO-AutoThink как диалоговую модель с автоматическим переключением между кратким ответом и более развёрнутым рассуждением. Она основана на объединении Qwen3-30B-A3B-Instruct-2507 и Qwen3-30B-A3B-Thinking-2507 методом arcee_fusion с последующей заменой экспертных весов из thinking-модели. Архитектура — Qwen3 MoE для генерации текста; репозиторий содержит веса safetensors. Метаданные указывают 2,6 млрд параметров и контекст до 262 144 токенов, а README также заявляет длину контекста 1 010 000 токенов без пояснения условий для этого значения. Модель предназначена для диалогов, выполнения инструкций и генерации ответов с глубиной рассуждения, меняющейся в зависимости от сложности запроса; метаданные также отмечают интерфейс вызова инструментов. В карточке перечислены английский и китайский языки. Лицензия — Apache-2.0. README приводит рекомендованные параметры генерации: temperature 0.6, top_p 0.95 и top_k 20.

Sohailhosseini/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-AWQ-W4A16 — квантизированная версия модели Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста по текстовым и визуальным входным данным, включая диалоговые и инструкционные сценарии; в карточке она обозначена как image-text-to-text и заявлена как подходящая для мультиязычных моделей. Модель содержит 9,7 млрд параметров и использует квантизацию AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет 8,6 ГБ, что в 2,24 раза меньше исходных 19,3 ГБ. Визуальные компоненты, включая vision tower, vision model и multi-modal projector, а также слой lm_head оставлены без квантизации, поэтому сохраняется мультимодальная функциональность. Рекомендуемая длина контекста при запуске через vLLM — до 32 768 токенов. Ключевое преимущество — уменьшенные требования к хранению и потенциально более эффективный запуск по сравнению с исходной моделью; квантизация калибровалась на 256 примерах из HuggingFaceH4/ultrachat_200k. Ограничения включают возможное снижение качества из-за 4-битного представления и совместимость с реализациями vLLM: некоторые старые ядра могут предпочитать симметричную схему W4A16, тогда как данная версия асимметричная. В README указана лицензия Apache-2.0, унаследованная от исходной модели.

Qwen3.5-9B-GGUF — это квантизированная версия языковой модели Qwen3.5-9B, распространяемая в формате GGUF. Исходную модель разработала команда Qwen; преобразование и квантизацию выполнила unsloth. Репозиторий tinnlab/Qwen3.5-9B-GGUF является зеркалом без изменений: Tin Nguyen Lab не обучала, не дообучала и не квантизировала модель. В поставке доступен один файл Qwen3.5-9B-Q4_K_M.gguf размером около 5,68 ГБ с квантизацией Q4_K_M. Модель предназначена для локальной генерации текста, текстового диалога и использования инструментов без API-ключа. В данном репозитории поддерживаются только текстовые сценарии; мультимодальный проектор отсутствует, поэтому обработка изображений и видео невозможна. Дополнительные сведения об архитектуре, языках и размере контекста в предоставленной карточке не указаны. Модель распространяется по лицензии Apache-2.0. Репозиторий общедоступен и не требует токена, учётной записи или соглашения о доступе. Зеркало содержит только вариант Q4_K_M, поэтому для других уровней квантизации и мультимодальных компонентов необходимо обращаться к исходному репозиторию unsloth.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это GGUF-версия модели на базе DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель создана в результате многоэтапной дообученной настройки и слияния нескольких моделей Qwen3.5 9B; в разработке также участвовал Nightmedia. Предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. Заявлена как полностью uncensored и ориентированная на минимизацию отказов. Модель поддерживает контекст до 256k токенов, английский и китайский языки, а также обработку изображений. Для работы с изображениями требуется отдельный файл mmproj, размещённый в одной папке с GGUF-файлом. Доступны обычные и MTP-квантизации в форматах GGUF. NEO IMATRIX заявлена как технология, улучшающая точность квантизированных версий и работу с длинным контекстом, а MTP-варианты могут ускорять генерацию за счёт многотокенного предсказания. К сильным сторонам относятся высокая заявленная производительность на ряде тестов общего назначения, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность запуска в стандартных приложениях, поддерживающих GGUF. Ограничения включают зависимость скорости от аппаратного обеспечения и параметров генерации; MTP-версии могут работать хуже обычных при низком уровне принятия предсказанных токенов, сложных творческих задачах или температуре выше 1. Модель не обязательно превосходит более крупные версии во всех задачах. Лицензия — Apache-2.0.

TheWegemann/Qwen3.8-27B-LowGPU-NoMTP-IQ3XXXS-GGUF — это пользовательская GGUF-квантизация модели Qwen3.8-27B, разработанная TheWegemann совместно с авторами рецепта квантования. Модель предназначена для локального запуска через llama.cpp на видеокартах с 12 ГБ VRAM, включая сценарии работы с агентами, рассуждениями, текстом и изображениями. Модель основана на 27-миллиардной Qwen3.8-27B и занимает примерно 9,3 ГБ. Она использует гибридную архитектуру с блоками Gated DeltaNet и линейного внимания, периодическими блоками полного внимания и 64 слоями. Поддерживаются мультимодальные сценарии с совместимым F16 vision-проектором. В сборке удалена MTP-голова, чтобы уменьшить потребление видеопамяти. Рецепт IQ3XXXS является названием пользовательской схемы смешанного покомпонентного квантования, а не официальным типом квантования llama.cpp; применяются различные форматы, включая IQ1_S, IQ1_M, IQ2, IQ3, IQ4_XS, Q2_K, Q4_K, Q5_K и Q8_0. Тестирование проводилось с полным переносом на GPU, контекстом до 64 000 токенов, кэшем Q4_0, Flash Attention и сервером llama.cpp. Сильная сторона модели — сочетание относительно крупной базовой модели, мультимодальности и большого контекста с возможностью запуска на 12-ГБ GPU. Квантование агрессивно оптимизировано под ограниченный объём VRAM, а финальные слои и отдельные чувствительные тензоры сохранены с более высокой точностью. Ограничения связаны с потерями качества из-за низкой точности, отсутствием MTP и зависимостью фактического потребления памяти от версии llama.cpp, драйверов, настроек и использования видеопамяти. Сборка ориентирована прежде всего на GPU-only запуск; работа при меньшем объёме VRAM или с CPU offload возможна, но не является целевым сценарием. Модель распространяется по лицензии Apache-2.0.

Joestar79/Qwen3.8-27B-OBLITERATED-NVFP4 — производный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, прошедший V3 abliteration авторами OBLITERATUS и квантование NVIDIA ModelOpt 0.45.0. Модель предназначена для текстовой генерации, работы с изображениями, рассуждений и вызова инструментов через vLLM. Поведение отказов удалено, поэтому модель выполняет запросы, которые исходная версия могла отклонять; ответственность за законность использования и настройку защитных ограничений лежит на операторе. Модель использует квантование NVFP4 W4A16: размер на диске составляет около 21,5 ГБ вместо 55,6 ГБ у исходной BF16-версии. Весовая часть упакована в FP4, а vision tower, MTP head, lm_head, embeddings и отдельные внутренние компоненты линейного внимания сохранены в BF16. MTP head подключён для speculative decoding, поддерживается контекст до 126 976 токенов, а шаблон чата включает диалект вызова инструментов qwen3_coder. В README не указаны полный список языков и точное число параметров сверх обозначения 27B. Чекпойнт рассчитан прежде всего на запуск на одной NVIDIA RTX 5090 с 32 ГБ памяти и совместим с другими картами Blackwell и FP4-совместимыми серверными GPU. На RTX 5090 заявлена пропускная способность около 40 токенов в секунду для одного потока и до 317 токенов в секунду суммарно для восьми потоков. Ограничения включают известную проблему с зацикливанием генерации при некоторых условиях, возможное снижение эффективности speculative decoding из-за несовпадения MTP head с abliteration-весами и отсутствие калибровки квантования под конкретные задачи. Модель не рекомендуется для публичного неаутентифицированного развёртывания; перед критически важным применением её следует сравнить с BF16-версией. Лицензия — Apache-2.0. Производная модель наследует знания, предубеждения и потенциальные ошибки базовой модели, а удаление отказов повышает риск небезопасных или нежелательных ответов.

Chungulus/Qwen3.8-27B-Q6_K-GGUF — это неизменённая ванильная квантизованная версия модели Qwen3.8-27B, опубликованная Chungulus на основе исходных весов Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, обработки изображений и видео, вызова инструментов и задач reasoning; заявлена совместимость с нативным форматом tool calling Qwen и управлением режимами мышления через enable_thinking, reasoning_effort и preserve_thinking. Модель поставляется в формате GGUF с квантизацией Q6_K на базе llama.cpp. Основной файл занимает около 22,431 ГБ, vision projector в формате F16 — отдельный файл, а полный репозиторий — около 23,371 ГБ. Сохранена гибридная архитектура Hybrid Gated DeltaNet/full-attention, vision-компоненты, tokenizer и MTP-метаданные; спекулятивное ускорение не заявляется. Архитектурный максимальный контекст и полноценные бенчмарки в README не указаны, а самая длинная проверенная последовательность составляла 73 токена. Текстовая генерация, вызов инструментов, обработка изображений и видео, а также шаблон чата прошли заявленные локальные проверки. Квантизация может снижать качество по сравнению с исходными весами, особенно при меньшей разрядности, а для запуска требуется среда с поддержкой графа Qwen3.8, vision tower/projector и MTP-метаданных. Рекомендуется иметь не менее примерно 27 ГБ доступной памяти с учётом модели, vision projector и базовых накладных расходов; KV-cache дополнительно увеличивается с размером контекста. Модель и данная квантизация распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, выпущенная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальное вступление и отсутствие отказного поведения, поэтому подходит для задач, где требуется максимально свободная генерация. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, дополненный профилем ускорения HauhauCS FastMTP 32K. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки. Для изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются большой контекст, поддержка текста, рассуждений, агентских задач и мультимодального ввода, а также варианты квантизации от Q2 до Q8 для разного соотношения качества и требований к памяти. Aggressive-профиль может быть менее безопасным и менее подходящим для надёжных длинноконтекстных агентских сценариев, где рекомендуется более сбалансированная версия. Квантизация также может влиять на качество, а FastMTP и vision projector распространяются отдельными файлами. Модель и указанные компоненты распространяются по лицензии Apache-2.0.

Hagwell/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий Hagwell распространяет модель в формате, предназначенном для локального запуска. Модель основана на архитектуре, которая заявлена как фундамент для будущего Qwen4, и поддерживает обработку текста и изображений благодаря языковой модели с vision encoder. Модель предназначена для генерации и понимания текста, работы с изображениями, задач с длинным контекстом и агентных сценариев. Она имеет 125 млрд параметров, из которых активируется около 6 млрд, а также включает 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура содержит 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, MoE с 512 экспертами, из которых маршрутизируются 10 экспертов и один общий, а также механизмы Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. К сильным сторонам относятся высокая эффективность активации параметров, поддержка длинного контекста, оптимизация sparse attention на уровне блоков и возможность локального запуска через llama.cpp или Unsloth Desktop. Ограничения включают экспериментальный статус архитектуры, высокие требования к памяти для полной модели, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, подробных результатах тестирования и качестве на конкретных прикладных задачах. Модель распространяется по лицензии qwen-community-1.0; для использования следует ознакомиться с файлом LICENSE.

Baekpica/Qwen3.8-Flash-Next-Mixed-Quant-SSD-PLE-GGUF — производная квантованная версия модели Qwen3.8-Flash-Next, разработанная Baekpica на базе модели Qwen. Она распространяется в формате GGUF с mixed-quant квантованием и рассчитана на запуск с использованием SSD-PLE offload, в частности на системах DGX Spark. Модель относится к мультимодальному классу image-text-to-text и поддерживает обработку текстовых запросов и изображений, включая фотографии, снимки экрана и документы. Опубликованы варианты MQ-Q6-SSD-PLE-BF16 и MQ-Q5-SSD-PLE-BF16 с общим BF16 SSD-PLE sidecar; также доступен FP8 sidecar. Для модели заявлена проверка прямого prefill на 262 144 токенах, а связанный runtime поддерживает путь Qwen YaRN до 524 288 токенов, однако это подтверждает возможности программного стека, а не качество модели на таком контексте. В README приведены измерения производительности prefill и decode, оптимизации MTP, повторное использование кэшей и сквозная работа изображений через несколько API-совместимых интерфейсов. Сильные стороны модели — мультимодальность, варианты с разным компромиссом между качеством и потреблением памяти, поддержка SSD-PLE offload, длинного контекста и оптимизированного инференса. Ограничения включают зависимость от совместимого runtime и аппаратной конфигурации, необходимость выбора подходящего sidecar, а также отсутствие в README точных данных о числе параметров, языках, полном описании архитектуры и сравнении качества с исходной моделью. Лицензия указана как qwen-community-1.0; применяются условия лицензии Qwen, доступной по ссылке в карточке модели.

kingjones777/Qwen3.8-Flash-Next-ROCmFP4-FAST-GGUF — это квантизированная GGUF-версия модели Qwen3.8-Flash-Next, разработанная сообществом Qwen и адаптированная kingjones777 для запуска на AMD Ryzen AI Max+ 395 с интегрированной графикой Radeon 8060S, архитектурой Strix Halo и GPU-целью gfx1151. Модель предназначена для генерации текста, включая рассуждения, создание JSON, программирование и суммаризацию документов. Модель использует архитектуру qwen4exp и формат ROCmFP4; обычная версия llama.cpp её не загружает. Для работы требуется специальная ветка ROCmFPX с поддержкой qwen4exp и ROCmFP4, а также совместимая сборка для ROCm. В README указана проверка работы с контекстом до 128K, однако размер модели, точный перечень поддерживаемых языков и модальности не приведены. Доступен speculative decoding через MTP-head, который может повышать скорость генерации, но результат проверяется основной моделью; эффективность зависит от типа задачи и настроек. Сильная сторона модели — возможность запуска крупной модели на системе с общей памятью CPU и GPU, включая длинный контекст и аппаратные оптимизации для AMD. Ограничения включают необходимость специального runtime и патчей, зависимость производительности от пропускной способности общей памяти, а также непредсказуемый выигрыш от MTP: в приведённых измерениях он ускорял часть сценариев, но замедлял другие. Лицензия указана как qwen-community-1.0.

Qwen_Qwen3.5-35B-A3B-GGUF — это набор квантованных версий модели Qwen3.5-35B-A3B, подготовленный пользователем bartowski на основе оригинальной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, а GGUF-формат позволяет запускать её локально через llama.cpp и совместимые приложения, включая LM Studio, Jan AI, KoboldCpp и Text Generation Web UI. В набор входят варианты от BF16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 17 до 71 ГБ. Обозначение 35B указывает на 35 миллиардов параметров, а A3B относится к архитектуре исходной модели; подробности об архитектуре, поддерживаемых языках и размере контекста в README не приведены. Квантизации выполнены с использованием imatrix и llama.cpp, для некоторых конфигураций доступна поддержка MTP-слоёв. Сильная сторона набора — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью локального запуска; варианты Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как типичный выбор для большинства сценариев. Низкобитные варианты экономят память, но могут снижать качество. Для использования требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

Rax 4.5 — мультимодальная модель семейства Qwen3.5 от raxcore-dev, представленная в виде постобученных весов для Hugging Face Transformers. Это плотная причинная языковая модель с визуальным энкодером, поддерживающая ввод изображений и текста и выдающая текст. Модель насчитывает 2 млрд параметров, использует гибридную архитектуру Gated Delta Networks и gated attention, а заявленная длина контекста составляет 262 144 токена. Модель предназначена для диалогов с изображениями, визуального анализа, рассуждений, задач по коду и агентных сценариев с вызовом инструментов. README заявляет поддержку 201 языка и диалекта; модель работает в режимах с рассуждением и без него, причём режим без рассуждения включён по умолчанию. Авторы рекомендуют её для прототипирования, дообучения под конкретные задачи и разработки; для сервинга указана совместимость с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. Среди практических ограничений — сравнительно небольшой масштаб в 2 млрд параметров, а также возможная нехватка памяти при использовании длинного контекста; скорость и пропускная способность зависят от среды инференса.

CultriX/SeQwence-14B-EvolMerge — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом DARE TIES. В слиянии использованы CultriX/SeQwence-14Bv1 как базовая модель, а также CultriX/Qwestion-14B и CultriX/Qwen2.5-14B-Wernicke. Модель содержит 14 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; доступен интерфейс для вызова инструментов. Модель принимает текст и выдаёт текст. Заявленный родной размер контекста — до 131 072 токенов. В метаданных указан английский язык, поэтому её можно применять для англоязычных запросов и диалогов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

TenyxChat-8x7B-v1 — диалоговая языковая модель от Tenyx, дообученная на базе Mixtral-8x7B-Instruct-v0.1 методом Direct Preference Optimization (DPO) на датасете UltraFeedback. Модель использует архитектуру Mixture of Experts Mixtral и предназначена для генерации ответов в формате чата. В метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов. Модель подходит для диалоговых помощников, написания и редактирования текстов, извлечения сведений, ответов на вопросы, а также задач по программированию и STEM. В опубликованном сравнении MT-Bench она получила средний балл 8,4; это результат конкретной оценки, а не гарантия качества в каждом сценарии. Модель принимает текст и генерирует текст. Карточка и метаданные указывают английский язык. Лицензия Apache 2.0 допускает коммерческое использование. Разработчики предупреждают, что модель не настраивали специально для соблюдения предпочтений безопасности людей; при провокационных запросах она может выдавать нежелательные ответы, испытывает трудности с рассуждениями и математикой и иногда отвечает многословно.

visionOCR-3B-061125 — дообученная PrithivMLmods мультимодальная модель на архитектуре Qwen2.5-VL-3B для распознавания текста и анализа документов по изображениям. Она извлекает текст и структурированные данные из счетов, чеков, форм, научных статей и сканов, отвечает на вопросы по изображениям и преобразует математические выражения в LaTeX. Модель содержит 3,1 млрд параметров, принимает изображения с текстовыми инструкциями и выдаёт текст; заявлена поддержка контекста до 128 000 токенов. В карточке также заявлены анализ видео, визуально управляемая автоматизация устройств и работа с несколькими языками. Модель ориентирована на OCR документов, извлечение данных и визуальные вопросы-ответы, включая плотные макеты, таблицы и диаграммы. Карточка сообщает о конкурентных результатах на DocVQA, MathVista, RealWorldQA и MTVQA, но не приводит численных оценок. Лицензия — Apache-2.0. Качество может снижаться на изображениях низкого качества или с перекрытиями, а для редких языков и письменностей точность непостоянна. Длительная обработка видео требует значительных ресурсов; возможны галлюцинации и ошибки при неудачных настройках визуальных токенов.

WizardLM-2-7B-GGUF — это квантизированная в формате GGUF версия языковой модели WizardLM-2-7B, разработанной Microsoft. Квантизацию выполнил bartowski на базе llama.cpp. Модель основана на Mistral, содержит около 7 миллиардов параметров и предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на многошаговые беседы, общие вопросы и работу с общеизвестными знаниями. README также указывает на улучшенную поддержку сложных диалогов, многоязычных сценариев, рассуждений и агентских задач; модель может применяться для программирования и технических обсуждений. Она обучалась с использованием Progress Learning, AI Align AI, Supervised Learning, Stage-DPO, Evol-Instruct и методов обучения с подкреплением, ориентированных на качество инструкций и корректность ответов. Модель позиционируется как эффективная для своего размера и показывает высокие результаты в автоматической оценке MT-Bench, однако, как и другие языковые модели, может генерировать неточные, вредные или неподходящие ответы. В README не указаны точный набор поддерживаемых языков, размер контекстного окна и конкретные характеристики квантизации. Лицензия — Apache-2.0. Для использования рекомендован шаблон prompt в стиле Vicuna.

Xwen-72B-Chat — диалоговая языковая модель команды Xwen, дообученная на базе Qwen2.5-72B. Модель имеет плотную архитектуру Qwen2 и 71,5 млрд параметров; она предназначена для генерации текста и ведения диалогов, включая сценарии с интерфейсом вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель ориентирована на ответы на вопросы, диалоговое взаимодействие и другие задачи генерации текста. В README приведены результаты сравнительных оценок Arena-Hard-Auto, AlignBench и MT-Bench, однако авторы предупреждают, что некоторые сравнения используют заменённые модели-судьи, а результаты других бенчмарков ещё планировалось добавить. Карточка также отмечает, что ответы о личности модели и её разработчиках могут быть случайными, поскольку её идентичность специально не настраивали. Модель опубликована в формате Safetensors и доступна по лицензии Apache-2.0. Отдельные репозитории команды содержат варианты Xwen-72B-Chat в GGUF с различными видами квантования; они не являются форматом данного репозитория.

DeepSeek-V4-Pro — крупная языковая модель, разработанная DeepSeek и преобразованная сообществом mlx-community в формат MLX. Эта версия предназначена для генерации текста и запуска с библиотекой mlx-lm, преимущественно в сценариях локального инференса на совместимом оборудовании Apple MLX. Модель использует архитектуру Mixture-of-Experts (MoE), содержит около 1,6 трлн параметров в общей сложности, из которых активируется около 49 млрд, и поддерживает контекст до 1 млн токенов. Представленная версия имеет 8-битное представление весов. В карточке указана поддержка английского языка и текстовая модальность; сведения о других языках и модальностях отсутствуют. К сильным сторонам относятся очень большой контекст, MoE-архитектура с существенно меньшим числом активируемых параметров при каждом обращении и адаптация к MLX. Ограничения этой карточки — отсутствие подробных данных о качестве, бенчмарках, требованиях к памяти, скорости, поддерживаемых языках и особенностях применения; за дополнительной информацией предлагается обращаться к исходной карточке DeepSeek-V4-Pro. Лицензия указана как MIT.

Lambent/Eidolon-v2-14B — чат-модель на архитектуре Qwen2 с 14 млрд параметров и контекстом до 131 072 токенов. Автор указывает, что модель дообучена на основе Lambent/proto-nova-eidolon-v2alpha0.3-14B, а та настроена от arcee-ai/SuperNova-Medius; также применялись DPO, дополнительное обучение на инструкционных данных и продолженное предобучение. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста в диалоге и выполнения инструкций; заявлен интерфейс вызова инструментов. По словам автора, исправлена синтаксическая проблема предшественника, но оценка EQ-Bench примерно на один балл ниже, что может указывать на небольшое снижение качества рассуждений. В карточке указана лицензия CC BY-NC 4.0, поэтому применение ограничено некоммерческими сценариями. Тег «Not For All Audiences» связан автором с обучающими данными; автор также отмечает заметную цензуру.

FuseChat-Gemma-2-9B-Instruct — диалоговая модель FuseAI на архитектуре Gemma 2 с 9 млрд параметров. Это вариант FuseChat-3.0, созданный на базе Gemma-2-9B-It с помощью дообучения и неявного объединения знаний: после supervised fine-tuning модель оптимизировали методом Direct Preference Optimization на предпочтениях, собранных по ответам нескольких крупных языковых моделей. Модель предназначена для диалогов и выполнения инструкций, включая общие вопросы, математику, программирование и задачи на китайском языке. Контекст составляет 8192 токена. В README заявлены улучшения на бенчмарках для серии FuseChat-3.0, но приведённые численные результаты относятся к варианту с Llama-3.1-8B-Instruct в качестве целевой модели и не подтверждают такие же показатели для этой версии Gemma. Модель принимает текст и генерирует текст. Она распространяется в формате safetensors; лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия инструкционной модели Gemma 3 12B IT, разработанной Google и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и совместимых проектах. Модель поддерживает текстовые сценарии и работу с изображениями через vision-компонент, для которого требуется отдельный файл MMPROJ в формате GGUF. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций объёмом примерно от 6 до 23,5 ГБ; версии Q4–Q6 отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Архитектура, максимальный контекст и список поддерживаемых языков в представленном README не указаны. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка анализа изображений при использовании совместимой сборки llama.cpp. Ограничения связаны с необходимостью подбора квантизации под доступную память, а для мультимодальной работы — с отдельным vision-компонентом и специальной поддержкой Gemma 3. Модель распространяется по лицензии Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

google_gemma-3-27b-it-qat-GGUF — это GGUF-квантизация instruction-tuned модели Gemma 3 с 27 млрд параметров, разработанной Google. Квантизацию выполнил bartowski на основе QAT-весов Google с использованием llama.cpp и метода imatrix. В карточке модель обозначена как image-text-to-text, поэтому она предназначена для генерации текста по текстовым и, вероятно, визуально-текстовым входным данным. Основной файл Q4_0 имеет размер около 15,62 ГБ и рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантования — от BF16 и Q8_0 до Q3 и IQ-форматов, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Для Q4_0 заявлены улучшения благодаря QAT и поддержка онлайн-репаковки для ARM- и AVX-совместимых CPU. Языки, размер контекста и точные архитектурные характеристики в README не указаны. Модель подходит для локального запуска, диалоговых приложений и мультимодальных сценариев, поддерживаемых Gemma 3 и используемым рантаймом. Более высокие варианты квантования обеспечивают лучшее качество, но требуют больше памяти; низкие варианты экономичнее, однако могут заметно уступать по качеству. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию.

Hermes-3-Llama-3.1-70B-IMat-GGUF — это квантизированная версия текстовой языковой модели NousResearch/Hermes-3-Llama-3.1-70B, подготовленная пользователем legraphista в формате GGUF для запуска через llama.cpp. Исходная модель имеет размер 70B параметров и тип данных BF16, а доступные варианты включают BF16, FP16 и несколько уровней квантования от 1 до 8 бит, в том числе варианты с IMatrix. Модель предназначена для генерации текста, диалоговых сценариев и работы в формате instruct/chat. В описании также заявлены поддержка ChatML, function calling и JSON mode, а среди возможных применений указаны ролевые диалоги и задачи, связанные с синтетическими данными и дистилляцией. Указан английский язык; сведения о других языках и размере контекстного окна отсутствуют. Модель является текстовой и не заявляет поддержку изображений или других дополнительных модальностей. Основное преимущество сборки — возможность выбрать баланс качества, размера файлов и требований к ресурсам за счёт большого набора GGUF-квантов; IMatrix применяется в ряде вариантов с более низкой разрядностью. Ограничения связаны с очень большим размером модели: файлы занимают примерно от 26 до 141 ГБ, а некоторые варианты разделены на несколько частей. Квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно в вариантах с меньшей разрядностью. Лицензия указана как llama3.

Vtuber-plan/Huihui-Qwen3.8-27B-abliterated-NVFP4 — это 4-битная NVFP4-квантизованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, созданной на базе Qwen/Qwen3.8-27B. Квантизация выполнена с помощью NVIDIA TensorRT Model Optimizer 0.45.0; в комплект входит исправленный шаблон чата Qwen. Модель предназначена для генерации текста, диалогов, рассуждений, многоязычных задач и агентских сценариев с вызовами инструментов. Модель использует веса NVFP4 с размером групп 16 и FP8 KV-кэш. Для калибровки применялся набор из 5349 примеров, включающий английские и многоязычные диалоги, математические задачи, длинные рассуждения и трассировки вызовов инструментов. Заявлены языки English, French и multilingual; точный максимальный размер контекста в README не указан. Размер чекпойнта составляет около 19,5 ГБ и распределён по пяти шардам. Основное преимущество — сохранение качества чатового и агентского использования после квантизации: на GSM8K при фиксированном шаблоне чата модель показала 0,9833 против 0,9783 у базовой BF16-версии. При этом она плохо подходит для сырых few-shot-промптов без чатового режима: модель может начать рассуждение и не успеть выдать ответ при малом бюджете токенов. Рекомендуется использовать шаблон из комплекта, режим reasoning_effort medium и запас генерации от 8 тысяч токенов. При максимальном режиме xhigh возможны зацикливание и исчерпание лимита, особенно при температуре около нуля. В sglang при высокой конкуренции и длинных генерациях известна проблема падения; рекомендуется ограничивать число одновременных запросов или обновить sglang. Для запуска нужны sglang с quantization modelopt или TensorRT-LLM; обычный transformers/BF16 inference этот чекпойнт не деквантизирует. Лицензия — Apache-2.0.

Карточка модели muhamad-geosurge/invert-polarity-056ee365-12d0-4322-af56-4ed19ac9b445 на Hugging Face совпадает с карточкой google/gemma-3-12b-it, поэтому описание составлено по ней. Gemma 3 12B IT — мультимодальная модель с открытыми весами от Google, дообученная для следования инструкциям на основе google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; относится к семейству Gemma 3 и доступна в формате safetensors для Transformers. Модель предназначена для диалоговых приложений, ответов на вопросы и задач понимания изображений, а также для создания и обобщения текста. Контекстное окно — до 128 тысяч токенов, поддерживается более 140 языков. Размер модели — 12 млрд параметров. Модель подходит для извлечения сведений из изображений, составления черновиков, суммаризации и исследовательских задач. Google отмечает, что ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться со сложными открытыми запросами, языковыми нюансами и задачами, требующими здравого смысла. Лицензия — Gemma; при использовании следует соблюдать условия лицензии и политику запрещённого использования Gemma.

Карточка модели muhamad-geosurge/invert-polarity-8646eeb3-047b-4a8b-82df-b3920969d4ed на Hugging Face совпадает с карточкой google/gemma-3-12b-it, поэтому описание составлено по ней. Gemma 3 12B IT — мультимодальная модель с открытыми весами от Google, дообученная для следования инструкциям на основе google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; относится к семейству Gemma 3 и доступна в формате safetensors для Transformers. Модель предназначена для диалоговых приложений, ответов на вопросы и задач понимания изображений, а также для создания и обобщения текста. Контекстное окно — до 128 тысяч токенов, поддерживается более 140 языков. Размер модели — 12 млрд параметров. Модель подходит для извлечения сведений из изображений, составления черновиков, суммаризации и исследовательских задач. Google отмечает, что ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться со сложными открытыми запросами, языковыми нюансами и задачами, требующими здравого смысла. Лицензия — Gemma; при использовании следует соблюдать условия лицензии и политику запрещённого использования Gemma.