I.11Классификация, ранжирование и сопоставление

Devs Do Code выпустила инструкционную версию Llama 3 8B с контекстом до 1 048 576 токенов. Это плотная авторегрессионная языковая модель семейства Llama, предназначенная для диалога и генерации текста с использованием длинного контекста. По описанию разработчика, контекст расширен настройкой параметра RoPE theta; для этого этапа обучения использовано 830 млн токенов, а суммарно для всех этапов — 1,4 млрд токенов. Модель подходит для ответов на вопросы и работы с длинными документами в сценариях, где требуется учитывать большой объём входного текста. В карточке указана поддержка английского языка и форматы весов Safetensors. Для запуска можно использовать Transformers или TGI. Модель основана на Meta-Llama-3-8B-Instruct и распространяется по лицензии Llama 3. Как и другие большие языковые модели, она может выдавать неточные ответы и сохраняет остаточные риски безопасности; разработчик рекомендует оценивать риски применительно к сценарию использования и при необходимости добавлять защитные меры.

Meta Llama 4 Maverick 17B 128E Instruct FP8 — инструкционная квантованная версия модели семейства Llama 4, разработанная Meta. Она предназначена для диалоговых сценариев и генерации текста, включая ответы на запросы, выполнение инструкций и интеграцию в приложения на базе Transformers. Модель заявлена как мультиязычная и поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. В идентификаторе указаны 17B и 128E, однако README не раскрывает архитектурные детали, длину контекста, точные модальности и характеристики качества. Обозначение FP8 указывает на 8-битное представление весов, но конкретные преимущества и ограничения этой версии не приведены. Модель распространяется по Llama 4 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая передачу текста лицензии, атрибуцию «Built with Llama» и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено получение отдельной лицензии Meta.

QuantFactory/Meta-Llama-3-70B-Instruct-GGUF — это квантованная версия инструкционной большой языковой модели Meta Llama 3 70B Instruct, подготовленная QuantFactory в формате GGUF. Базовая модель разработана Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется диалоговое взаимодействие или создание текстового контента. В README указано, что поддерживается английский язык и используется задача text-generation. Известно, что модель относится к семейству Llama 3 и имеет размер 70B параметров. Формат GGUF предназначен для совместимого локального запуска, однако конкретный вариант квантования, требования к памяти, длина контекста и поддерживаемые программные средства в README не указаны. Также отсутствуют сведения о дополнительных модальностях, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся инструкционная настройка базовой модели и возможность использования квантованного GGUF-представления для локального вывода. Ограничения включают отсутствие подробностей о типе и качестве квантования, а также о производительности. Использование регулируется Meta Llama 3 Community License. При распространении модели или продуктов на её основе требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Meta Llama 3», сохранение атрибуции Meta и соблюдение Acceptable Use Policy.

Ming-Lite-Omni v1.5 — мультимодальная модель семейства BailingMM, выпущенная командой inclusionAI. Она предназначена для понимания изображений, документов, видео и речи, а также для синтеза речи, генерации и редактирования изображений. В README указано 20,3 млрд параметров, из которых 3 млрд активны в блоке Mixture-of-Experts; модель построена на Ling-lite-1.5 и развивает Ming-Lite-Omni. Модель рассчитана на мультимодальные сценарии: анализ визуальных последовательностей, распознавание и понимание текста в документах и диаграммах, понимание речи и генерация речи в реальном времени, а также создание и редактирование изображений. Разработчики сообщают об улучшениях понимания длинных видео и согласованности при генерации и редактировании изображений. В README приведены сравнительные результаты на ряде бенчмарков, но они не гарантируют качество на конкретных данных. Репозиторий содержит файлы ONNX и Safetensors. Лицензия — MIT. Карточка не сообщает длину контекста и список поддерживаемых естественных языков; README упоминает расширение речевых данных, включая диалекты, без указания языковых кодов.

MiniCPM5-1B-OptiQ-4bit — квантизированная версия языковой модели openbmb/MiniCPM5-1B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах Apple Silicon через MLX, включая диалоговые приложения, переписывание и суммаризацию текста, генерацию кода, математические задачи, многошаговое рассуждение, планирование и сценарии с инструментами. Поддерживаются английский и китайский языки, текстовая генерация и длинный контекст, однако точный размер контекста в README не указан. Модель содержит около 1,08 млрд параметров и использует архитектуру Llama с гибридным режимом рассуждения. Доступны быстрый режим без рассуждений и режим с блоком <think> для математики, кода и сложных многошаговых задач. Квантизация OptiQ использует чувствительную к слоям смешанную точность: 4- и 8-битные веса, среднее значение 5,81 бит на вес. Размер модели составляет около 875 МБ, что примерно в 2,4 раза меньше версии в формате bfloat16. Сильными сторонами являются компактность, возможность локальной работы без облака, улучшенное по сравнению с равномерной 4-битной квантизацией сохранение качества, а также хорошие результаты в IFEval и HumanEval для модели такого размера. Ограничения включают слабые результаты в GSM8K и BFCL в режиме без рассуждений; заявленные бенчмарки не отражают полностью возможности режима thinking. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

MiniMax-M3-AWQ-int4 — это 4-битная квантованная версия модели MiniMax-M3, разработанной MiniMaxAI, подготовленная репозиторием spectator2026 для запуска на видеокартах NVIDIA A100 через vLLM. Модель предназначена для генерации текста и обработки изображений с поддержкой tool calling, рассуждений и режимов thinking/non-thinking. Она рассчитана на использование в серверных системах, где важны большой контекст и эффективное размещение крупной MoE-модели на оборудовании с архитектурой Ampere. Модель содержит около 428 млрд параметров, из которых примерно 23 млрд активируются на токен, и использует разреженную архитектуру Mixture of Experts с MiniMax Sparse Attention. Заявлен нативный контекст до 1 048 576 токенов, а также мультимодальность text + vision. Применена квантовка AWQ W4A16 с group size 128 только к маршрутизируемым экспертным проекциям MoE; attention, router, общие и плотные слои, embeddings, lm_head и vision tower сохранены в более высокой точности. Размер весов уменьшен примерно с 796 до 225 ГБ. Сильными сторонами являются поддержка текста и изображений, очень длинного контекста, инструментов и рассуждений, а также возможность запуска на A100 в конфигурациях TP-8 или TP-4. Для работы требуется vLLM с тремя специальными патчами, параметр block size 128 и доверие удалённому коду. Ограничения включают высокие требования к GPU-памяти, необходимость ручной настройки vLLM и компромисс между длиной контекста и количеством реплик. По данным README, расхождение с исходной bf16-версией на тесте wikitext составляет около 0,16 KL-дивергенции. Указана лицензия minimax-community; точные условия следует проверять в файле LICENSE.

MiroThinker-1.7 — агентная языковая модель miromind-ai, созданная на основе Qwen3-235B-A22B-Thinking-2507 методом дообучения. Она предназначена для глубокого исследования, многошагового анализа и ответов на сложные вопросы с использованием инструментов; в поддерживаемом агентном сценарии может выполнять до 300 вызовов инструментов за задачу. Модель использует архитектуру Qwen3 MoE, содержит 18,2 млрд параметров и принимает контекст до 262 144 токенов. README сообщает о сильных результатах в задачах исследования, включая BrowseComp, BrowseComp-ZH, GAIA-Val-165 и HLE-Text. Для полноценного использования рекомендован агентный фреймворк с поддержкой инструментов и режимом рассуждений; сама модель в каталоге размечена как генерация текста. В метаданных указан английский язык. Модель распространяется под лицензией Apache-2.0.

Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Карточка модели sagar-rasakonda/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Mistral-7B-Instruct-v0.2-GGUF — это квантизированная GGUF-версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI (mistralai) и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через LlamaEdge. Она использует шаблон запросов mistral-instruct и поддерживает контекст до 4096 токенов. Модель содержит около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации от 2 до 8 бит в формате GGUF, различающиеся размером файлов и компромиссом между требованиями к памяти и качеством: от 3,08 ГБ для Q2_K до 7,7 ГБ для Q8_0. В README не указаны поддерживаемые языки и подробности архитектуры. Варианты с низкой разрядностью требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. Модель распространяется по лицензии Apache-2.0, однако конкретные условия использования отдельных вариантов следует соотносить с лицензией исходной модели.

Mistral-Nemo-Instruct-2407-GGUF — это набор квантованных версий инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и локальный запуск через llama.cpp или совместимые приложения, например LM Studio. В репозитории представлены варианты с точностью от F16 до различных форматов Q8, Q6, Q5, Q4 и Q3, с размером файлов примерно от 5,7 до 24,5 ГБ. Квантование выполнено с использованием imatrix и llama.cpp; для общения рекомендуется шаблон prompt <s>[INST]{prompt}[/INST>. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Данные о числе параметров, архитектуре исходной модели, размере контекста и мультимодальности в README не указаны; по описанию это текстовая модель без заявленной поддержки изображений или других модальностей. Сильная сторона набора — широкий выбор квантований для баланса качества, объёма файлов и требований к оперативной памяти: варианты Q5 и Q6 отмечены как высококачественные, а Q3 подходят для систем с ограниченной памятью. Некоторые варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций; они не рекомендуются для Mac или Windows. Модель распространяется по лицензии Apache-2.0.

duyntnet/Mistral-NeMo-Minitron-8B-Instruct-imatrix-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA. Исходная модель создана на базе Mistral-NeMo-Minitron-8B-Base, которая была получена из Mistral-NeMo 12B с применением методов pruning и distillation, а затем дообучена в несколько этапов с помощью supervised fine-tuning и выравнивания на основе предпочтений. Модель предназначена для генерации текста, включая диалоговые сценарии, roleplay, retrieval-augmented generation и function calling. Она работает с текстом на английском языке и поддерживает контекст до 8192 токенов. Архитектура представляет собой авторегрессионный Transformer Decoder семейства Mistral-NeMo с 40 слоями, размером эмбеддингов 4096, 32 attention heads, промежуточным размером MLP 11520, Grouped-Query Attention и Rotary Position Embeddings. Формат GGUF позволяет использовать модель в совместимых локальных клиентах и интерфейсах, включая llama.cpp, KoboldCPP, Ollama, Jan, text-generation-webui и GPT4All. Для оптимальных результатов рекомендуется применять специальный шаблон диалога с ролями System, User и Assistant и заданными специальными токенами. Ограничения включают поддержку только текстовой модальности и заявленного английского языка; конкретные характеристики производительности зависят от выбранного уровня квантизации и аппаратного обеспечения. Исходная модель распространяется по NVIDIA Open Model License; для данного репозитория указано обозначение лицензии other.

Nanbeige4.1-3B-GGUF — квантованная версия языковой модели Nanbeige4.1-3B, разработанной командой Nanbeige на базе Nanbeige4-3B-Base. Модель дообучалась с применением supervised fine-tuning и reinforcement learning и предназначена для генерации текста, рассуждений, программирования, решения математических и научных задач, использования инструментов и агентных сценариев. Репозиторий GGUF подготовлен Mungert с использованием llama.cpp. Модель относится к компактному классу с примерно 3 млрд параметров, работает с текстом и заявлена для английского и китайского языков. Среди заявленных сильных сторон — многошаговое рассуждение, согласование предпочтений и способность поддерживать длительные агентные процессы с большим числом вызовов инструментов. В README также описан специальный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что может повысить качество при сохранении относительно небольшого размера файлов, но увеличивает их объём. Конкретный контекстный размер и параметры отдельных вариантов квантования не указаны, а фактическое качество зависит от выбранного GGUF-файла и настроек запуска. Модель распространяется по лицензии Apache 2.0. Она подходит для локального запуска через совместимые инструменты экосистемы llama.cpp и для приложений, которым нужны рассуждения, генерация кода или агентное взаимодействие при ограниченных вычислительных ресурсах. Как компактная и квантованная модель, она может уступать более крупным или полноточным системам в отдельных задачах; приведённые результаты относятся к исходной Nanbeige4.1-3B и не обязательно полностью характеризуют каждый GGUF-вариант.

bartowski/NousResearch_DeepHermes-3-Llama-3-8B-Preview-GGUF — это набор GGUF-квантизаций модели DeepHermes-3-Llama-3-8B-Preview, разработанной NousResearch и подготовленной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых и чат-сценариев, инструкционного взаимодействия, рассуждений, ролевых диалогов, работы с JSON и function calling. Указан английский язык. Модель основана на Llama 3 и содержит 8 миллиардов параметров. Она поддерживает текстовую модальность и формат запросов ChatML-подобного типа с системными, пользовательскими и ассистентскими сообщениями. В репозитории представлены варианты квантизации от Q3 до Q8 объёмом примерно от 4,45 до 8,54 ГБ; более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и поддержка задач, связанных с инструкциями, структурированными ответами и вызовом функций. Ограничения включают отсутствие заявленных данных о контекстном окне, бенчмарках и качестве на других языках, а также неизбежные потери качества при использовании более агрессивной квантизации. Лицензия указана как llama3; дополнительные условия использования в README не раскрыты.

bartowski/Phi-3-medium-4k-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и кода, диалоговых сценариев, ответов на пользовательские инструкции и локального запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Модель работает с текстом и имеет контекст длиной 4K токенов, что следует из её названия и исходной модели. Доступны варианты от F32 до Q2_K и IQ-квантизаций с размером файлов примерно от 4,72 до 55,84 ГБ. Квантизации подготовлены bartowski с использованием llama.cpp и imatrix; обновление llama.cpp также учитывает исправление rope scaling. Более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по точности. Основные ограничения связаны с ограниченным контекстом 4K токенов, отсутствием заявленной поддержки изображений или других немультимодальных входов и возможной потерей качества при сильной квантизации. Формат prompt требует специальных маркеров ролей <|user|>, <|end|> и <|assistant|>. Для модели указана лицензия MIT.

Mungert/Phi-4-mini-instruct-GGUF — набор GGUF-версий инструкционной языковой модели Phi-4-mini-instruct, разработанной Microsoft и опубликованный пользователем Mungert. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и кода. Доступны варианты для запуска на GPU, CPU и устройствах с ограниченной памятью. Представлены файлы в форматах BF16 и F16, а также квантованные варианты Q8_0, Q6_K, Q4_K, Q4_0 и IQ3. Квантование уменьшает потребление памяти ценой возможного снижения точности. Заявлена поддержка multilingual-сценариев и языков, включая английский, русский, китайский, японский, корейский, арабский, французский, немецкий, испанский, португальский, украинский и другие. Точный размер модели, архитектура, максимальная длина контекста и мультимодальные возможности в README не указаны; по описанию это текстовая модель. Сильные стороны набора — широкий выбор точности и размера файлов, возможность локального запуска на CPU или GPU и адаптация под устройства с разными ограничениями памяти. Более низкобитные варианты экономичнее, но могут уступать полноформатным версиям по качеству. В README не приведены результаты тестов, точные требования к памяти и подробные ограничения поведения модели. Лицензия — MIT.

duyntnet/Phi-4-mini-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-4-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста, диалогов, выполнения инструкций, рассуждений и сценариев с вызовом инструментов. Она ориентирована на локальный запуск через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, text-generation-webui, Jan и GPT4All. Модель является лёгкой и поддерживает контекст длиной до 128K токенов. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на плотные по рассуждениям данные; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Указан английский язык, модальность — текстовая. Размер модели, конкретные параметры квантизации и архитектурные детали в README не приведены. Для запуска требуется llama.cpp версии b4792 или новее либо совместимое программное обеспечение. Квантизация может снизить требования к ресурсам, но потенциально уступать исходной модели в точности; конкретные компромиссы зависят от варианта GGUF и не описаны. Лицензия указана как other, без дополнительных условий в представленном README.

Qwen1.5-7B-Chat-GGUF — диалоговая версия языковой модели серии Qwen, разработанная командой Qwen. Это авторегрессионная decoder-only модель на архитектуре Transformer с обучением на больших массивах данных и последующей настройкой с помощью supervised fine-tuning и direct preference optimization. Модель предназначена для генерации текста и ведения диалогов, включая ответы на вопросы, ассистирование и другие сценарии обработки естественного языка. Она содержит около 7 миллиардов параметров, поддерживает многоязычную работу и контекст длиной до 32 тысяч токенов. Репозиторий распространяет модель в формате GGUF с вариантами квантования от q2_k до q8_0, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Предполагается запуск через llama.cpp. К сильным сторонам относятся улучшенная по сравнению с предыдущим поколением поддержка диалогов, многоязычность, большой контекст и наличие нескольких уровней квантования для локального использования. Ограничения включают возможные потери качества при более агрессивном квантовании, а также отсутствие в предоставленных данных подробных оценок по прикладным задачам и точного перечня поддерживаемых языков. Лицензия указана как other с названием tongyi-qianwen; перед использованием следует изучить условия по ссылке на лицензию.

Qwen2.5-7B-Instruct-20241204-114939 — дообученная компанией или автором qfq диалоговая языковая модель на архитектуре Qwen2 плотного типа с 7,1 млрд параметров. Она предназначена для генерации текста и ответов в формате диалога; также поддерживает интерфейс вызова инструментов. В карточке указана оценка Loss 0,3328 на наборе для оценки, но сам набор данных и подробности обучения не описаны. Модель принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. README не приводит конкретных специализаций или ограничений, поэтому пригодность для узких задач и качество ответов следует оценивать отдельно.

Карточка модели nuckcrews/Qwen3-0.6B-pub на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Qwen3.5-4B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная principled-intelligence. Это плотная авторегрессионная модель с 3,4 млрд параметров для генерации текста и диалогов. В чекпойнте удалены веса визуального энкодера; модель принимает текст и предназначена для сценариев, где обработка изображений не нужна. Контекстное окно составляет 262 144 токена. По описанию авторов, текстовое поведение, токенизатор и шаблон чата соответствуют исходной Qwen3.5-4B, а сокращённый чекпойнт требует меньше места и видеопамяти. Для загрузки авторы указывают Transformers версии 5.2.0 или новее. Другие движки инференса, включая vLLM, SGLang, llama.cpp и Ollama, не поддерживаются в карточке. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-abliterated-MAX-AIO-GGUF — экспериментальная серия моделей, разработанная prithivMLmods на основе Qwen3.5 от Alibaba. Репозиторий содержит GGUF-варианты размеров 0,8B, 2B, 4B и 9B, а также ссылки на вариант 27B. Модели предназначены для локального и периферийного развертывания с использованием llama.cpp и других совместимых средств инференса. Серия ориентирована на генерацию текста, рассуждения, программирование, математические задачи и мультимодальные сценарии с обработкой изображений и текста. Согласно README, модели используют гибридную архитектуру Gated DeltaNet, поддерживают контекст до 262K токенов, словарь для 201 языка и переключаемые режимы рассуждения. Для мультимодального применения доступны отдельные файлы mmproj, а для разных требований к памяти — варианты BF16, F16, F32 и Q8_0. Ключевая особенность — модификация alignment и снижение количества отказов следовать инструкциям, что может быть полезно для исследовательских задач, создания датасетов и приложений, требующих менее ограниченного поведения. При этом такие изменения ослабляют стандартные защитные механизмы, поэтому модели требуют самостоятельной оценки безопасности. Заявленные улучшения производительности основаны на сообщественных тестах и не подтверждены официальными оценками. Лицензия — Apache-2.0.

btbtyler09/Qwen3.6-27B-GPTQ-8bit — это 8-битная GPTQ-квантизованная версия модели Qwen/Qwen3.6-27B, разработанной командой Qwen. Модель представляет собой плотную мультимодальную систему примерно с 27 млрд параметров, предназначенную для генерации и понимания текста, работы с изображениями и ускоренного вывода с использованием MTP (Multi-Token Prediction). Контрольная точка опубликована с лицензией Apache-2.0. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, чередующихся в соотношении 3:1. Размер скрытого представления составляет 5120, размер промежуточного слоя — 17408, максимальная длина контекста — 262 144 токена. В состав входят полноразмерный 27-блочный ViT-энкодер для обработки изображений и MTP-модуль для speculative decoding. Языки и специализированные языковые возможности отдельно не указаны. Линейные модули текстового декодера квантизованы в INT8 с помощью GPTQ, тогда как vision-энкодер, MTP, эмбеддинги, нормы и выходная голова сохранены в BF16 или FP16. Размер модели составляет около 32 ГБ вместо примерно 50 ГБ в BF16. По заявленным измерениям, ухудшение perplexity на wikitext-2-raw-v1 составляет всего 0,07%, что указывает на близкое к исходному качество. Модель подходит для мультимодального сервинга и длинного контекста, однако для запуска рекомендуется vLLM; прямое использование через GPTQModel и transformers на момент публикации не поддерживается, а для некоторых версий vLLM может потребоваться исправление ошибки разбора конфигурации.

Карточка модели nwzjk/Qwen3.6-34B-80L-Fable-5-Heretic на Hugging Face совпадает с карточкой hiebo/Qwen3.6-34B-80L-Fable-5-Heretic, поэтому описание составлено по ней. Qwen3.6-34B-80L-Fable-5-Heretic — мультимодальная модель семейства Qwen от hiebo, дообученная на основе Qwen/Qwen3.6-27B. По карточке, модель расширена с 64 до 80 слоёв и примерно 34 млрд параметров, обучена методом дистилляции на 4 665 агентных трассах Fable-5 с применением QLoRA, а затем объединена с головами MTP для спекулятивного декодирования. Архитектура — Qwen3_5ForConditionalGeneration; заявлены чередование линейного и полного внимания, чат и работа с изображениями. Модель предназначена для диалоговых сценариев с рассуждениями и использованием инструментов, а также для задач, где нужно совместно обрабатывать текст и изображения. В README указаны запуск через Transformers и vLLM и максимальная длина контекста 256K; конфигурация запуска по умолчанию задаёт 4096 токенов. Карточка заявляет ускорение генерации с MTP, но приводит показатель принятия токенов и ускорение только для vLLM. Модель опубликована в формате safetensors; README описывает BF16-веса. Лицензия в предоставленных данных не указана.

mlx-community/Qwen3.6-35B-A3B-4bit-DWQ — это MLX-совместимая 4-битная версия модели Qwen3.6-35B-A3B, опубликованная сообществом mlx-community. Исходную модель разработала команда Qwen компании Alibaba Cloud. Она предназначена для локального запуска и генерации текста, диалогов, а также мультимодальных сценариев с обработкой изображений и видео; репозиторий поддерживает использование через MLX и mlx-lm. Модель имеет архитектуру Mixture of Experts с 35 млрд параметров, из которых на один токен выбираются 8 из 256 экспертов. Конфигурация включает гибридные linear attention и full attention, 40 слоёв и максимальную длину контекста 262 144 токена. Исходная модель поддерживает текстовые и визуальные входы; для производного MLX-файла заявлена 4-битная квантизация, уменьшающая размер до примерно 20,7 ГБ и предназначенная прежде всего для запуска на совместимом оборудовании Apple Silicon. Сильная сторона варианта — существенно сниженные требования к памяти по сравнению с полной моделью и возможность локального использования через MLX. Ограничения включают зависимость от MLX-совместимой инфраструктуры и потенциальную потерю качества из-за квантизации; в карточке производного репозитория подробные результаты тестов, перечень поддерживаемых языков и отдельные ограничения не указаны. Для исходной Qwen3.6-35B-A3B указана лицензия Apache-2.0, однако отдельная лицензия производного репозитория mlx-community явно не приведена.

mmangkad/Qwen3.6-35B-A3B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.6-35B-A3B, разработанной Alibaba и подготовленной с использованием NVIDIA Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе ИИ. Модель построена на архитектуре Transformers и имеет 35 млрд параметров, из которых 3 млрд активируются при работе. Она принимает и генерирует текст, поддерживает контекст длиной до 262 тысяч токенов. Веса и активации линейных операторов в MoE-компонентах transformer-блоков квантизированы в формат NVFP4, что ориентировано на эффективный инференс на GPU NVIDIA. Указана совместимость с NVIDIA Blackwell, Linux и SGLang; тестирование проводилось на B300. Данные о поддерживаемых языках и полном составе обучающего набора не раскрыты. Сильные стороны модели — предварительная NVFP4-квантизация, большой контекст и оптимизация для развертывания на совместимом оборудовании NVIDIA. Для запуска требуется SGLang, по README рекомендуется актуальная версия из основной ветки. Модель может воспроизводить токсичные формулировки и общественные предубеждения из исходных данных, а также генерировать неточные, неполные или нерелевантные ответы. Распространение и использование разрешены по лицензии Apache 2.0 с учетом требований и ограничений базовой модели.

Qwen3.6-35B-A3B Uncensored Heretic MLX 8bit — мультимодальная версия модели Qwen, разработанной Alibaba Cloud, конвертированная пользователем froggeric в формат MLX для нативной работы на Apple Silicon. Базовая модель — llmfan46/Qwen3.6-35B-A3B-uncensored-heretic; для устранения отказов использовался Heretic v1.2.0 с вариантом метода Magnitude-Preserving Orthogonal Ablation, применённым с учётом гибридной архитектуры внимания Qwen 3.6. Модель предназначена для диалогов, генерации и анализа текста, задач с изображениями и видео, рассуждений и tool calling. Поддерживаются текстовые и визуальные входы, режимы с рассуждением и без него, а также языки English, Chinese и другие языки, обозначенные как multilingual. Указаны размер класса 35B-A3B и 8-битная квантизация. Исправленный chat template поддерживает современные роли, вызовы инструментов и переключатель thinking, а также устраняет проблемы обработки визуальных входов. Сильные стороны модели — мультимодальность, работа в экосистеме MLX, совместимость с MLX-LM, MLX-VLM, LM Studio, llama.cpp, vLLM и другими движками с HuggingFace Jinja templates, а также снижение частоты отказов при заявленной минимальной потере возможностей. Для работы требуются mlx-lm версии 0.31.2 или новее и mlx-vlm версии 0.4.4 или новее. Модель распространяется по лицензии Apache-2.0. README не содержит подробных независимых результатов бенчмарков и не уточняет фактический объём контекстного окна.

Qwen3.8-27B-Abliterated — модифицированная мультимодальная модель на базе Qwen3.8-27B, разработанная Grimxlock. Она предназначена для диалогов, генерации и анализа текста и изображений, следования инструкциям, программирования, рассуждений и многоязычных сценариев. В README указано, что базовая модель имеет размер 27 млрд параметров и работает в формате BF16; для использования заявлены Transformers, AutoProcessor и AutoModelForMultimodalLM. Точные поддерживаемые языки и размер контекстного окна не указаны. Модель создана методом targeted activation steering / ablation: из residual stream, attention- и MLP-компонентов удалялось или перенаправлялось направление, связанное с отказами. В заявленном тесте на 450 вредоносных запросах модель не отказала ни разу, при этом не было зафиксировано вырожденных ответов. По сравнению с исходной моделью отмечено небольшое ухудшение perplexity и результатов capability-бенчмарка: пройдено 14 из 15 заданий вместо 15 из 15; единственная ошибка была в простом числовом вопросе о седьмом числе Фибоначчи. Основное преимущество модели — сохранение заявленных способностей к письму, структурированному рассуждению, следованию инструкциям, программированию и многоязычной работе при существенно сниженном числе отказов. Ограничения включают возможное снижение точности и отсутствие стандартного защитного поведения, поэтому модель требует ответственного применения и дополнительного контроля результатов. В README указана лицензия Apache-2.0; поскольку это производная модель, базовые веса Qwen3.8-27B также подчиняются исходным условиям Qwen.

uzairkhn/Qwen3.8-27B-FP4 — дообученная и 4-битно квантованная версия causal language model Qwen/Qwen3.8-27B. Квантование FP4 выполнено с использованием библиотеки bitsandbytes разработчиком uzairkhanux; исходную модель разработала команда Qwen. Модель предназначена для генерации текста, диалогового взаимодействия, zero-shot и few-shot prompting, а также инференса в прикладных сценариях, где важны сниженные требования к видеопамяти. Это трансформерная авторегрессионная модель размером 27B параметров, доступная в формате FP4. По данным карточки, её потребление памяти снижено примерно с 54 ГБ для исходных 16-битных весов до около 14 ГБ, что позволяет запускать её на одной GPU с 16 ГБ VRAM или конфигурациях вроде двух NVIDIA T4. Модель поддерживает несколько языков, включая английский и китайский, а также другие языки, поддерживаемые базовой моделью. Для загрузки рекомендуется экосистема Hugging Face Transformers и bitsandbytes с возможностью выгрузки части весов в оперативную память. Главное преимущество модели — существенное уменьшение требований к памяти при сохранении возможностей исходной большой языковой модели. Ограничения связаны с потерями качества из-за lossy-квантования: по сравнению с исходными 16-битными или BF16-весами возможно ухудшение сложного рассуждения. Использование CPU offloading снижает скорость генерации, поэтому модель плохо подходит для чувствительных к задержкам производственных систем без оборудования с большим объёмом VRAM. Модель может наследовать предвзятости и ошибки исходных и дообучающих данных; перед применением нужны тестирование и защитные механизмы. Лицензия определяется лицензией базовой модели Qwen/Qwen3.8-27B.

utautako/Qwen3.8-27B-NVFP4-MTP-Q8attn-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen. Конверсию выполнил автор репозитория с использованием NVIDIA ModelOpt: MLP-слои представлены в формате NVFP4, а проекции attention и линейного внимания DeltaNet сохранены в Q8_0 для повышения точности, особенно при работе с длинным контекстом. Модель предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии: для обработки изображений поставляется отдельный BF16 vision projector, совместимый с путём Qwen3-VL. Архитектура содержит 64 текстовых слоя и один MTP-слой для speculative decoding; общий размер основного файла составляет около 17,81 GiB, а плотность — примерно 5,60 бит на вес. Заявлена поддержка контекста до 213056 токенов в текстовом режиме и до 163840 токенов при подключённом vision projector на RTX 5090 с 32 ГБ видеопамяти. К сильным сторонам относятся сохранение качества attention-компонентов за счёт Q8_0, поддержка изображений и ускорение генерации с помощью MTP: на RTX 5090 производительность достигает примерно 120–130 токенов в секунду, что примерно вдвое выше авторегрессионного режима. Ограничения включают зависимость от совместимой версии llama.cpp, значительные требования к видеопамяти и снижение эффективности speculative decoding при глубине чернового предсказания четыре и более. Модель распространяется по лицензии Apache-2.0.