I.11Классификация, ранжирование и сопоставление

Карточка модели KnutJaegersberg/Llama-3-Deita-8b на Hugging Face совпадает с карточкой KnutJaegersberg/Deita-34b, поэтому описание составлено по ней. KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

nm-testing/Meta-Llama-3-8B-Instruct-W8-Channel-A8-Dynamic-Asym-Per-Token-Test — тестовый квантованный вариант Meta Llama 3 8B Instruct, размещённый организацией NM Testing; исходную модель разработала Meta. Репозиторий предназначен для генерации текста и диалоговых сценариев и поддерживает использование через Transformers, vLLM и SGLang. Суффикс W8-Channel-A8-Dynamic-Asym-Per-Token указывает на 8-битное представление весов и динамическое асимметричное квантование активаций по токенам; точные характеристики реализации квантования и результаты её оценки в карточке модели не описаны. Базовая модель представляет собой авторегрессионный языковой model с оптимизированной архитектурой Transformer и Grouped-Query Attention, содержит около 8 млрд параметров, принимает только текст и генерирует текст и код. Контекст составляет 8 тысяч токенов, модель ориентирована прежде всего на английский язык и диалог с инструкциями. Она подходит для чат-ассистентов, генерации и обработки текста, но является статической моделью с ограниченным актуальным знанием и не поддерживает мультимодальный ввод. Квантованный вариант может снизить требования к памяти и повысить эффективность инференса, однако по доступным данным нельзя надёжно оценить влияние именно этой тестовой конфигурации на качество, скорость и совместимость. Для исходной Meta Llama 3 действует специальная коммерческая лицензия Meta Llama 3 Community License с ограничениями по распространению, допустимому использованию и политике безопасности; применимость этих условий к квантованному производному варианту следует проверять отдельно.

Metis-0.4-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral. Она создана методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Mihaiii/Metis-0.4; конфигурация объединения указывает диапазон слоёв 0–32 для обеих моделей и формат весов bfloat16. Модель содержит 7,1 млрд параметров, принимает текстовые инструкции и диалоговые запросы, генерирует текст и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на инструкции. Она распространяется под лицензией Apache-2.0. README и метаданные не описывают отдельные специализированные области применения или конкретные ограничения качества.

MiniCPM-Llama3-V 2.5 — мультимодальная языковая модель команды OpenBMB для диалога и анализа изображений. Она объединяет визуальный энкодер SigLip-400M с языковой моделью Llama 3-8B-Instruct; в метаданных указано 7,5 млрд параметров, архитектура — плотная MiniCPMV. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает контекст до 8192 токенов. Модель предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, извлечения содержимого документов и таблиц, а также многоязычного общения по изображениям. README заявляет поддержку более 30 языков и эффективное локальное развёртывание, включая запуск через llama.cpp. В карточке упомянуты safetensors и возможность дообучения с LoRA. Лицензия в предоставленных данных не указана.

Mini-InternVL-Chat-2B-V1-5 — мультимодальная модель OpenGVLab для диалогов и анализа изображений. Она объединяет визуальный энкодер InternViT-300M-448px, MLP-проектор и языковую модель InternLM2-Chat-1.8B; общий размер составляет 2,2 млрд параметров. Архитектура InternVL поддерживает изображения с динамическим разрешением, обрабатывая до 40 фрагментов размером 448 × 448 пикселей, в том числе изображения с разрешением до 4K. Модель предназначена для ответов на вопросы по изображениям и документам, распознавания текста и диаграмм, визуального рассуждения и многошагового общения с изображениями. В карточке приведены результаты оценки на наборах DocVQA, ChartQA, TextVQA, OCRBench, MathVista и других. Для обучения использовался контекст длиной 8K; актуальный предел контекста в метаданных не приведён. README описывает запуск через Transformers и варианты квантования при инференсе. Модель может выдавать предвзятые или вредоносные ответы. Лицензия — MIT.

Mistral-10.7B-Instruct-v0.2 — плотная языковая модель семейства Mistral с примерно 10,6 млрд параметров, созданная увеличением глубины модели mistralai/Mistral-7B-Instruct-v0.2. Она предназначена для диалоговой генерации текста и может использоваться как замена исходной 7-миллиардной версии или как основа для дальнейшего дообучения. Модель принимает текст и генерирует текст; заявленное контекстное окно составляет 32 768 токенов. Модель опубликована под лицензией Apache 2.0. В карточке не описаны языковое покрытие и результаты сравнительных оценок, поэтому её качество для конкретных языков и задач следует проверять отдельно.

wang7776 выпустил разреженную версию Mistral-7B-Instruct-v0.2, предназначенную для диалогов и генерации текста по инструкциям. По README, модель прорежена на 2% методом Wanda без дообучения и изменения весов. В основе — Mistral-7B-Instruct-v0.2, дообученная для следования инструкциям версия Mistral-7B-Instruct-v0.1; архитектура — плотный трансформер Mistral с Grouped-Query Attention и Sliding-Window Attention. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и использует формат инструкций [INST] ... [/INST]. Модель подходит для диалоговых помощников, ответов на инструкции и генерации текста общего назначения. В карточке заявлена лицензия Apache 2.0. README предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соблюдать заданные ограничения.

Mistral-7B-KNUT-v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и Mistral-7B-KNUT-v0.2 методом SLERP с помощью MergeKit. Модель построена на архитектуре Mistral с 7,1 млрд параметров и принимает текстовые запросы, чтобы генерировать ответы и следовать инструкциям в диалоговом формате. Модель подходит для чат-ботов, ответов на инструкции и генерации текста. Её контекст составляет до 32 768 токенов. Файлы модели представлены в формате safetensors; лицензия — Apache-2.0. В карточке не заявлены отдельные языки или специализированные области применения.

MixtureofMerges-MoE-2x7b-v6 — языковая модель для генерации текста, созданная jsfs11 с помощью LazyMergekit путём объединения yam-peleg/Experiment26-7B и mlabonne/AlphaMonarch-7B. Это модель семейства Mixtral с архитектурой Mixture of Experts (MoE), примерно 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и может применяться в диалогах, ответах на запросы и рассуждениях. README приводит результаты оценивания на Open LLM Leaderboard, включая среднюю оценку 76,63 и результаты AI2 Reasoning Challenge и HellaSwag; это показывает оценивание модели, но не гарантирует аналогичного качества в прикладных сценариях. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

MoNeuTrix-7B-v1 — слитая языковая модель CultriX на архитектуре Mistral с 7,1 млрд параметров. Она создана методом DARE-TIES с помощью LazyMergekit на основе нескольких моделей, включая Kukedlc/NeuralMaxime-7B-slerp, mlabonne/Monarch-7B и eren23/ogno-monarch-jaskier-merge-7b; конфигурация также указывает CultriX/MonaTrix-v4 как базовую модель слияния. Модель предназначена для генерации текста и общих языковых задач, а контекст поддерживает до 32 768 токенов. Репозиторий содержит веса в формате safetensors, в конфигурации слияния указан bfloat16. Лицензия — Apache-2.0.

Fizzarolli/Nemo_Pony_2-merged — объединённая языковая модель, созданная методом passthrough с помощью mergekit. В состав объединения входят mistralai/Mistral-Nemo-Instruct-2407 и Ada321/Nemo_Pony_2; в конфигурации также указан путь к LoRA-адаптеру. Модель построена на архитектуре MistralForCausalLM, содержит 12,1 млрд параметров и распространяется в формате safetensors с библиотекой Transformers. Модель предназначена для генерации текста и диалоговых сценариев. Каталог также отмечает интерфейс вызова инструментов. Базовая Mistral Nemo — многоязычная инструктивная модель для диалога, следования инструкциям и вызова инструментов; карточка этой модели отдельно не уточняет поддерживаемые языки, длину контекста, лицензию или результаты оценки качества.

OpenHermes-7B-Symbolic-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная из mistralai/Mistral-7B-Instruct-v0.1 и hedronstone/OpenHermes-7B-Symbolic методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Карточка описывает состав и способ объединения моделей, но не приводит сравнительных оценок качества или специальных ограничений.

OPT 6.7B Tulu — плотная авторегрессионная языковая модель семейства OPT, разработанная Allen Institute for AI и дообученная на смеси наборов инструкций FLAN V2, CoT, Dolly, OpenAssistant, GPT4-Alpaca, Code-Alpaca и ShareGPT. Модель содержит 8,8 млрд параметров по метаданным и принимает текстовые запросы для генерации текста по инструкциям; карточка рекомендует передавать сообщение с завершающим переводом строки. Модель предназначена для диалоговых ответов, следования инструкциям, решения задач на рассуждение и помощи с кодом. В исследовании How Far Can Camels Go? её оценивали на MMLU, GSM, BBH, TydiQA и Codex-Eval. Контекст составляет 2048 токенов; указанный в карточке язык — английский. Это полная модель, а не разностный чекпойнт. Она опубликована в формате PyTorch и распространяется по лицензии AI model license, при этом для исходной OPT указана отдельная лицензия opt_license.md. В README приведены сравнительно невысокие результаты на части тестов, включая GSM Direct и Codex-Eval Pass@1, поэтому качество ответов и кода может быть ограниченным.

Optimus-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi с помощью слияния mistralai/Mistral-7B-Instruct-v0.2 и Q-bert/Optimus-7B методом SLERP. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовые инструкции и сообщения для генерации ответов и продолжения текста. Контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на инструкции и генерации текста. Репозиторий содержит веса Safetensors; указана лицензия Apache-2.0. README описывает конфигурацию слияния, но не сообщает о специальных возможностях сверх генерации текста.

orca_mini_v8_1_70b-GGUF — это квантизированная версия языковой модели orca_mini_v8_1_70b, разработанной pankajmathur и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и может запускаться локально, в частности через LM Studio и другие совместимые инструменты llama.cpp. Модель содержит 70 миллиардов параметров и работает с текстом на английском языке. Доступны варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода; наиболее качественными считаются Q8_0, Q6_K и Q5, а варианты Q3 и Q2 ориентированы на устройства с ограниченными ресурсами, но снижают качество. Для работы рекомендуется использовать указанный в README шаблон промпта с системными, пользовательскими и ассистентскими сообщениями. Сильной стороной модели является возможность локального запуска крупной 70B-модели с выбором подходящего компромисса между качеством и потреблением памяти. Ограничения включают значительные требования к оперативной или видеопамяти даже для сжатых вариантов, а также снижение качества у агрессивных квантизаций. Архитектура, размер контекстного окна и мультимодальные возможности в README не указаны. Указанная лицензия — llama3.3.

protoLabsAI/Ornith-1.5-9B-NVFP4 — это квантованная мультимодальная версия модели Ornith-1.5-9B, разработанной ornith-ai. Модель предназначена для задач image-text-to-text, обработки изображений и текста, диалоговых сценариев, вызова инструментов и агентских приложений. Сборка оптимизирована для запуска через vLLM на GPU NVIDIA Blackwell с архитектурой sm120 и включает дистиллированную MTP-голову для спекулятивного декодирования. Основная часть линейных слоёв attention и MLP использует квантование NVFP4 W4A4, благодаря чему размер модели уменьшен с 17,9 до 11,2 ГБ. Башня зрения, DeltaNet/GDN linear_attn, lm_head, embed_tokens и MTP-голова сохранены в формате bfloat16. Поддерживаются изображения и текст; точные языки и исходный размер контекста в README не указаны, но рекомендуемый параметр запуска vLLM составляет до 32768 токенов. MTP обеспечивает ускорение декодирования примерно в 1,27 раза при заявленной доле принятия черновых токенов 0,804 на реальных запросах. Сильными сторонами модели являются сохранённая работоспособность зрения без выявленной статистически значимой деградации относительно bf16-версии, высокие результаты во внутренних тестах вызова функций и наличие встроенной MTP-головы без отдельной черновой модели. Ограничения включают зависимость от GPU Blackwell и специфической конфигурации vLLM, необходимость выделять достаточный бюджет токенов для адаптивного рассуждения, а также слабые результаты в тесте LiveCodeBench. Модель распространяется по лицензии MIT.

Ovis1.6-Gemma2-27B — мультимодальная языковая модель семейства Ovis, разработанная командой Ovis. Она сочетает визуальный энкодер SigLIP-400M с Gemma2-27B-It и структурно согласует визуальные и текстовые представления. Модель содержит 29 млрд параметров и предназначена для диалоговой работы с изображениями и текстовыми инструкциями. Модель подходит для анализа сложных изображений, ответов на вопросы по документам, графикам и таблицам, распознавания китайского и английского текста на изображениях, а также мультимодальных рассуждений. В README приведены результаты на ChartQA, InfoVQA и DocVQA. Репозиторий содержит веса в формате safetensors; для запуска указана библиотека Transformers. Лицензия — Apache-2.0. Разработчики рекомендуют использовать более новую версию Ovis2. Модель может ошибаться в визуальном анализе и рассуждениях; авторы также не гарантируют полного отсутствия проблем с авторскими правами или некорректного контента.

Карточка модели DongfuJiang/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели lyNjx/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

ibrahimkettaneh/Qwen2.5-14B-Instruct-abliterated-v2-AWQ — это квантованная в формате AWQ версия производной модели Qwen2.5-14B-Instruct-abliterated-v2. Репозиторий опубликован пользователем ibrahimkettaneh; исходная базовая модель разработана командой Qwen компании Alibaba. Производная модель создана методом abliteration, направленным на ослабление отказов отвечать на запросы, а её назначение — локальная генерация текста и диалоговое использование. Модель основана на Qwen2.5-14B-Instruct: это causal language model примерно с 14,7 млрд параметров, архитектурой Qwen2 с RoPE, SwiGLU, RMSNorm и grouped-query attention. Базовая модель поддерживает текстовые задачи, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский, английский и китайский. Полное контекстное окно базовой модели составляет до 131 072 токенов, а генерация — до 8192 токенов, однако параметры контекста именно этой AWQ-сборки отдельно не документированы. Ключевое преимущество — существенно меньшие требования к памяти благодаря 4-битной AWQ-квантизации; размер опубликованных весов составляет около 10 ГБ. Ограничения включают отсутствие собственной карточки модели и подробных официальных сведений о качестве, области abliteration и фактическом поведении; ослабление защит может повысить риск небезопасных или нежелательных ответов. Для базовой Qwen2.5-14B-Instruct указана лицензия Apache 2.0, но отдельная лицензия данного производного репозитория в доступной карточке не указана.

Карточка модели tayaee/Qwen2.5-1.5B-Instruct-ko-Reasoning-alpha-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2-57B-A14B — базовая большая языковая модель серии Qwen2, разработанной командой Qwen. Это декодерная модель на архитектуре Transformer с разреженной смесью экспертов (MoE): всего 57 млрд параметров, из которых 14 млрд активируются при одном проходе. Модель предназначена для дальнейшего обучения и оценки возможностей в генерации и понимании текста, ответах на вопросы, рассуждениях, математике, программировании и многоязычных задачах. Модель принимает текст и генерирует текст; карточка указывает контекст до 131 072 токенов и адаптивный к разным естественным языкам и кодам токенизатор. В README не советуют использовать базовую версию для прямой генерации и рекомендуют сначала провести дополнительное обучение, например SFT, RLHF или продолжение предобучения. Для загрузки архитектуры Qwen2MoE требуется Transformers версии 4.40.0 или новее. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

Qwen2-UtK-7B-128K — языковая модель на основе Qwen2-7B, дообученная командой проекта Untie the Knots для работы с длинным контекстом. Это плотная авторегрессионная модель с 7,1 млрд параметров; её контекстное окно составляет до 131 072 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста и поиска нужной информации в длинных последовательностях. Метод Untie the Knots продолжает предобучение на перемешанных фрагментах документов, чтобы улучшить выделение релевантных сведений при большом контексте. В README приведены результаты оценки на RULER для 128K контекста; указанный пример обслуживания использует vLLM. Карточка сообщает о поддержке английского и китайского языков. Модель основана на Qwen2-7B с изменённым параметром RoPE theta: 5 000 000 вместо 1 000 000. README описывает отдельную инструктивную версию ChatQA2, но эта карточка относится к базовой модели UtK, поэтому её не следует считать чат-моделью ChatQA2. Практическое качество зависит от задачи и длины входа; результаты README не гарантируют такую же точность на других данных и сценариях.

duyntnet/Qwen3-0.6B-imatrix-GGUF — набор imatrix-квантизаций модели Qwen3-0.6B в формате GGUF, опубликованный пользователем duyntnet на Hugging Face. Это причинная языковая модель для генерации текста, диалогов, следования инструкциям, решения задач, написания кода и локального запуска через совместимые приложения и inference-клиенты, включая llama.cpp, KoboldCPP, Ollama, LM Studio и GPT4All. Базовая модель содержит около 0,6 млрд параметров, из которых 0,44 млрд приходятся на параметры без эмбеддингов. Она имеет 28 слоёв, Grouped-Query Attention с 16 головами запросов и 8 головами ключей и значений, а также контекст длиной до 32 768 токенов. Qwen3 поддерживает переключение между режимами с рассуждением и без него, предназначенными соответственно для сложных логических, математических и программных задач либо для более быстрой генерации и обычного диалога. Семейство заявляет поддержку более 100 языков и диалектов, включая многоязычные инструкции и перевод. К сильным сторонам относятся малый размер, возможность локального использования в GGUF-совместимой инфраструктуре, поддержка рассуждений и широкий спектр текстовых сценариев. Ограничениями являются отсутствие мультимодальности в заявленных характеристиках, небольшой по современным меркам объём модели и потенциальная зависимость качества и скорости от выбранного уровня квантизации; конкретные варианты квантизации в README не перечислены. В карточке указана лицензия «other», но её точные условия не приведены, поэтому перед использованием необходимо проверить лицензионные условия исходной Qwen3-0.6B и опубликованных файлов.

pearl-ai/Qwen3-30B-A3B-Instruct-2507-pearl — сертифицированный вариант Qwen3-30B-A3B-Instruct-2507, разработанный Pearl Research Labs на базе модели Qwen от Alibaba. Это каузальная instruction-tuned языковая модель для генерации текста и диалоговых сценариев, прежде всего предназначенная для работы в связке с Pearl vLLM mining plugin и стеком Pearl miner. В карточке указана поддержка английского языка. Модель использует архитектуру Qwen3MoeForCausalLM и подход Mixture-of-Experts: всего 30 млрд параметров, из которых около 3 млрд активируются для каждого токена; на токен маршрутизируются 8 экспертов. Архитектура включает 48 скрытых слоёв. Применяется смешанная квантизация W7A7 и FP8, выполненная средствами Pearl, что ориентировано на эффективное развёртывание. В примере запуска через vLLM используется максимальная длина контекста 8192 токена, однако это значение относится к конфигурации запуска. Основное преимущество модели — совместимость с инфраструктурой Pearl для майнинга при сохранении близких к исходной модели результатов: на полном тесте MMLU-Pro Pearl-версия получила 77,33% против 77,88% у оригинала. Для работы рекомендуются CUDA и NVIDIA GPU класса sm90, например H100 или H200, а также компоненты Pearl, включая запущенный узел pearld с RPC-доступом. Модель можно использовать через Pearl vLLM plugin, vLLM или Transformers, но совместимость зависит от программного стека и поддерживаемой GPU-архитектуры. Возможны некорректные, небезопасные или предвзятые ответы, поэтому необходимы контроль развёртывания и проверка результатов. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-w4a16-llmcompressor — квантизированная версия модели Qwen3.6-35B-A3B, созданная AMD с использованием LLM Compressor и формата compressed-tensors. Модель предназначена для генерации текста и обработки изображений и текста; её архитектура обозначена как Qwen3_5MoeForConditionalGeneration. Основной сценарий использования — инференс на CPU AMD EPYC под Linux через vLLM с оптимизациями ZenDNN. Модель использует 4-битную квантизацию только весов W4A16 по алгоритму GPTQ: веса представлены в INT4, симметрично и группами по 128 параметров, а активации сохраняются в BF16. Размер весов уменьшен примерно с 67,0 до 18,1 GiB, то есть примерно на 73%. Квантизации подвергнуты, в частности, 256 маршрутизируемых MoE-экспертов, общий эксперт и проекции линейного внимания; vision tower, маршрутизатор MoE, отдельные gate-компоненты, lm_head, эмбеддинги и layer norms сохранены в BF16. В README явно указан английский язык, но сведения о полном контекстном окне отсутствуют. Сильными сторонами являются существенное сокращение объёма модели и ориентация на эффективный CPU-инференс на аппаратной платформе AMD при сохранении наиболее чувствительных к качеству компонентов в BF16. Ограничения связаны с зависимостью от совместимого стека: ZenDNN 6.1.0, ZenTorch 2.13.0.0, PyTorch 2.13.0.0, LLM Compressor 0.12.0 и vLLM 0.28.0, а также с потенциальными потерями качества, характерными для 4-битной квантизации. Модель распространяется по лицензии Apache-2.0.

TheWegemann/Qwen3.8-27B-LowGPU-uncensored-NoMTP-IQ3XXXS-GGUF — это квантованная GGUF-версия 27-миллиардной модели Qwen3.8, подготовленная TheWegemann на основе аблитерированной и «uncensored» модели OrcaRouter Qwen3.8-27B-Uncensored, восходящей к официальной Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через llama.cpp, включая агентские сценарии, задачи рассуждения и работу с изображениями при наличии совместимого vision-проектора. Модель использует гибридную архитектуру с блоками Gated DeltaNet и линейным вниманием, чередующимися с блоками полного внимания; всего заявлено 64 слоя. Это custom per-tensor mixed-precision квантование с 498 назначениями типов, собственной importance matrix и удалённой MTP-головой для снижения потребления памяти. Размер файла составляет около 9,3 ГБ. Сборка ориентирована на GPU с 12 ГБ VRAM: она тестировалась на NVIDIA RTX 4070 с полным GPU offload, контекстом до 64 000 токенов, Q4_0 KV-кэшем, Flash Attention и F16 vision-проектором. Поддерживаемые языки в README не указаны. Сильная сторона модели — сочетание крупного размера, агрессивной оптимизации памяти и возможности полностью разместить модель на GPU с 12 ГБ VRAM, сохранив большой контекст и мультимодальный сценарий. Ограничения включают зависимость от версии llama.cpp, драйверов и настроек запуска, а также возможное увеличение требований к памяти; конфигурации с менее чем 12 ГБ VRAM и CPU offload находятся вне целевого сценария. Модель унаследовала сниженные защитные механизмы исходного аблитерированного чекпойнта: квантование их не восстанавливает, поэтому при развёртывании необходимы собственные меры модерации и контроля доступа. Лицензия — Apache 2.0.

Qwen3.8-27B-SSMFIX-UD-Q3_K_XL-GGUF — экспериментальная community-конверсия, опубликованная Luis23333. Модель основана на официальной Qwen3.8-27B через промежуточную исправленную BF16-версию redashes/Qwen3.8-27B-BF16-SSMFIX. Это неофициальный релиз Qwen и не подтверждённая официальная корректировка исходной модели. Модель предназначена для текстовой генерации, диалога, рассуждений и других задач inference через llama.cpp и совместимые GGUF-рантаймы. Это плотная модель семейства Qwen3.8 с 27 млрд параметров, формата GGUF V3, с пользовательской смешанной квантизацией UD-Q3_K_XL и размером около 12,52 GiB. Заявленный контекст унаследован от upstream-модели и составляет до 262 144 токенов, однако фактическая доступная длина зависит от оборудования и настроек рантайма. Поддерживаются английский и китайский языки. В основе версии лежит исправление масштабов SSM/conv1d в восьми слоях; соответствующие тензоры сохранены в формате F32, а остальные группы используют комбинацию IQ3_S, Q3_K, Q5_K и IQ4_XS с importance matrix. Это может улучшать сохранение характеристик исправленного источника при низком размере файла, но конкретные показатели качества для данного GGUF в README не приведены: опубликованные метрики относятся к BF16-источнику и не являются benchmark-результатами этой квантизованной версии. Исходная Qwen3.8 является vision-language моделью, но данный репозиторий содержит только языковой GGUF без файла mmproj или другого vision projector, поэтому артефакт предназначен исключительно для текстового inference и не поддерживает обработку изображений или видео в таком составе. Для работы требуется современная сборка llama.cpp с поддержкой архитектуры Qwen3.8/Qwen3.5; существенные ограничения могут возникать из-за объёма видеопамяти и длины контекста. Лицензия — Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-2bit-MTP — это MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео на устройствах Apple Silicon через совместимые MLX-совместимые среды, включая oMLX и MLX-VLM. Архитектура указана как vision-language sparse MoE с компонентами Qwen4Exp. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке запроса, 48 слоёв, скрытое состояние размером 2560, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Используются Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams, хешированные биграммные и триграммные embedding-компоненты, а также собственный MTP-блок для speculative decoding. Контекст составляет 262 144 токена и может быть расширен до 1 млн токенов в исходной модели. Языки не указаны в предоставленных данных. Ключевая особенность версии — affine-квантизация 2-bit с размером группы 32 для экспертных и predictive-embedding-модулей при сохранении чувствительных компонентов, включая attention, vision-модули, embeddings, output head и native MTP, в BF16 или совместимой исходной точности. Размер весов составляет около 80,07 ГБ, формат — MLX safetensors. На Apple M3 Studio измеренная скорость генерации составила 29,37 токена в секунду при отключённом MTP и 28,62 токена в секунду при включённом, поэтому MTP рекомендуется отключать по умолчанию. Для работы требуется runtime с поддержкой архитектуры qwen4_exp и native MTP. Модель распространяется по лицензии Qwen Community License 1.0. В предоставленных данных не приведены подробные результаты исходных оценок, полный перечень поддерживаемых языков и ограничения безопасности; за ними следует обращаться к карточке базовой модели.

bunnycore/Qwen-7B-MixLow — объединённая модель генерации текста, созданная автором репозитория с помощью mergekit методом Linear из трёх языковых моделей: bunnycore/FuseQwQen-7B, bunnycore/Qwen-2.5-7B-Deep-Stock-v1 и fblgit/cybertron-v4-qw7B-UNAMGS. Модель построена на архитектуре Qwen2 и содержит 7,1 млрд параметров; для работы с текстом указан контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования; метаданные также отмечают интерфейс вызова инструментов. Репозиторий содержит веса в формате safetensors. Сведения о целевых языках, специализированных областях и условиях лицензии в предоставленных данных отсутствуют.