I.11Классификация, ранжирование и сопоставление

MaziyarPanahi/Meta-Llama-3.1-405B-Instruct-GGUF — это набор файлов модели в формате GGUF для Meta-Llama-3.1-405B-Instruct, разработанной Meta (meta-llama) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в локальных приложениях на базе llama.cpp и совместимых библиотек и интерфейсов. Модель имеет размер 405 миллиардов параметров, относится к текстовым моделям и поддерживает языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. В репозитории представлены варианты квантизации с разрядностью 2 и 3 бита; конкретные характеристики зависят от выбранного файла. В примере указано контекстное окно до 131 072 токенов. Формат GGUF упрощает локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами. Сильными сторонами являются большой размер исходной модели, поддержка нескольких языков, инструкционное обучение, длинный контекст и возможность локального использования с квантизированными файлами. Ограничениями остаются очень высокие требования к вычислительным ресурсам, возможные потери качества из-за агрессивной квантизации и отсутствие в README подробных данных о точности, производительности и рекомендуемом оборудовании. Модель распространяется по лицензии Llama 3.1.

Это общественная квантованная версия Meta-Llama-3.1-70B-Instruct, разработанной Meta AI и подготовленной сообществом hugging-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в качестве инструкционного чат-ассистента. Она поддерживает текстовый ввод и вывод и ориентирована на многоязычное применение. Модель содержит 70 миллиардов параметров и использует архитектуру Llama 3.1. Версия преобразована из FP16 в INT4 с помощью AutoAWQ: применяется GEMM-квантизация с нулевой точкой и размером группы 128. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для загрузки контрольной точки требуется около 35 GiB видеопамяти без учёта KV-кэша и CUDA-графов, поэтому фактические требования выше. README не указывает размер контекста исходной модели. К сильным сторонам относятся существенно сниженные требования к памяти по сравнению с FP16-версией и совместимость с Transformers, AutoAWQ и Text Generation Inference, включая оптимизацию инференса с Marlin kernels. Ограничения связаны с потерями точности, возможными для INT4-квантизации, значительными требованиями к видеопамяти и отсутствием заявленной поддержки мультимодальных входов. Модель распространяется по лицензии Llama 3.1.

tanliboy/Meta-Llama-3.1-8B-Instruct — текстовая инструктивно настроенная языковая модель семейства Llama 3.1, разработанного Meta. Это плотный авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; модель дообучена для диалогов с помощью SFT и RLHF. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и ориентирована на многоязычный диалог на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель подходит для создания разговорных помощников, ответов на запросы и генерации текста, а также может быть подключена к внешним инструментам через соответствующий интерфейс. Репозиторий содержит веса в формате safetensors. Модель выпущена 6 сентября 2024 года и распространяется по лицензии Llama 3.1 Community License; перед коммерческим или иным применением необходимо соблюдать её условия и Acceptable Use Policy. Качество и безопасность ответов на языках вне восьми заявленных языков могут быть ниже; разработчикам следует оценивать результаты и применять защитные меры в соответствии со своим сценарием. Интеграция внешних инструментов требует отдельной политики и проверки безопасности подключённых сервисов.

MLX-совместимая 8-битная версия Meta-Llama-3.1-8B-Instruct, опубликованная сообществом mlx-community и основанная на модели Meta Llama 3.1. Это текстовая генеративная языковая модель с инструкционным дообучением, предназначенная для диалогов, выполнения текстовых инструкций и создания текстов. Модель работает в формате text-generation и ориентирована на использование в экосистеме MLX. В названии указаны размер 8B параметров и 8-битное квантование, которое обычно позволяет снизить требования к памяти по сравнению с полноформатными весами, однако конкретные показатели производительности и качества в README не приведены. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о других модальностях и размере контекстного окна отсутствуют. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для распространения материалов необходимо предоставить текст лицензии и отображать обозначение «Built with Llama»; для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено отдельное лицензионное условие.

hugging-quants/Meta-Llama-3.1-8B-Instruct-BNB-NF4 — общественная квантованная версия Meta-Llama-3.1-8B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и мультиязычного диалогового взаимодействия, включая работу в качестве инструкционно настроенного чат-ассистента. Она поддерживает сценарии вопросно-ответного общения и другие задачи text-to-text, совместимые с causal language modeling, и может использоваться через Transformers или Text Generation Inference. Модель содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В этой версии исходные веса BF16 преобразованы с помощью bitsandbytes в формат NF4 с размером блока 64. Для загрузки контрольной точки требуется около 6 ГиБ VRAM без учёта KV-кэша и CUDA-графов, поэтому фактические требования к памяти выше. Квантование снижает требования к видеопамяти, но может влиять на качество по сравнению с исходной версией BF16. В README размер контекста и результаты конкретных тестов не указаны. Модель распространяется по лицензии Llama 3.1. Для запуска рекомендуются torch, bitsandbytes и Transformers версии 4.43.0 или выше; также заявлена поддержка Text Generation Inference.

legraphista/Meta-Llama-3.1-8B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-8B-Instruct, подготовленный legraphista в формате GGUF с поддержкой IMat. Это инструкционно настроенная большая языковая модель Meta с 8 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текстовых ответов. Данные README не содержат точной информации о поддерживаемых языках, длине контекста, конкретных вариантах квантования или аппаратных требованиях. Формат GGUF делает модель пригодной для локального запуска в совместимом программном обеспечении, однако README не указывает конкретные средства инференса и характеристики производительности. Ограничения включают возможные ошибки и нежелательные результаты, характерные для языковых моделей, а также ответственность пользователя за оценку пригодности выводов. Модель распространяется на условиях Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов требуется сохранять текст лицензии и указывать «Built with Llama»; также необходимо соблюдать Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

MiniCPM5-2B GGUF — набор GGUF-квантизаций модели MiniCPM5-2B, разработанной OpenBMB и подготовленной для локального развертывания. Это плотная Llama-based модель примерно на 2 млрд параметров, предназначенная для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель работает только с текстом и поддерживает английский и китайский языки. Исходная модель имеет нативный контекст до 131 072 токенов (128K). Доступны варианты квантизации Q2_K, Q3_K_M, Q4_0, Q4_K_S, Q4_K_M, Q5_K_M, Q6_K, Q8_0, IQ2_M, IQ3_M и IQ4_XS размером примерно от 0,97 до 2,68 ГБ. Файлы содержат встроенный chat template и рассчитаны на использование с актуальными сборками llama.cpp с поддержкой MiniCPM5. К сильным сторонам относятся небольшой размер, возможность локального запуска, поддержка очень длинного контекста и широкий выбор квантизаций для компромисса между качеством и требованиями к памяти. Поддержка вызова инструментов зависит от парсера и API-интеграции конкретного сервера, поэтому её необходимо проверять в целевом окружении. Модель распространяется по лицензии Apache-2.0.

FriendliAI публикует эту версию Mistral-7B-Instruct-v0.2, квантованную в FP8 для более эффективного инференса; исходную модель разработала Mistral AI. Это плотная авторегрессионная языковая модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов на инструкции. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст. Её можно использовать для чат-ботов, ответов на вопросы и выполнения текстовых инструкций. Для запуска в README указан Friendli Container; FP8 поддерживается на GPU NVIDIA Ada, Hopper и Blackwell. Лицензия — Apache-2.0. README предупреждает, что у исходной instruct-модели нет механизмов модерации, поэтому её ответы могут требовать отдельного контроля.

gghfez/Mistral-Small-3.2-24B-Instruct-hf-AWQ — инструкционная языковая модель для генерации текста, разработанная на базе gghfez/Mistral-Small-3.2-24B-Instruct-hf. Модель предназначена для диалоговых сценариев и других задач text generation, а также совместима с экосистемой Transformers и инфраструктурой text-generation-inference. В названии и метаданных указано использование AWQ, то есть модели с квантованным представлением весов, что может снизить требования к памяти при развертывании. Архитектура, поддерживаемые языки, размер контекста и конкретные показатели качества в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI/Mistral-Small-4-119B-A6B-JANG_2L — версия Mistral Small 4, подготовленная Jinho Jang с использованием открытого метода адаптивного квантования JANG и предназначенная для запуска на Apple Silicon через MLX. В README указаны архитектура Mistral Small 4 с MLA attention, 128 MoE-экспертами и визуальным энкодером Pixtral; размер модели — 119 млрд параметров, из которых активны около 6 млрд на токен. Репозиторий содержит веса safetensors, а вариант JANG_2L использует смешанную разрядность около 2,14 бита. Модель предназначена для диалогов и генерации текста, включая рассуждения, ответы на вопросы, математические задачи и написание кода. Она также принимает изображения для визуального анализа; README указывает максимальное разрешение 1540 пикселей и режим рассуждений с тегами [THINK]. Заявлены размер файлов около 30 ГБ и пиковое потребление памяти около 40 ГБ, поэтому автор рекомендует Mac с 48 ГБ объединённой памяти и MLX Studio для поддержки JANG. В метаданных указана лицензия Apache-2.0 и связь с базовой моделью mistralai/Mistral-Small-4-119B-2603. Заявления README о скорости и результатах MMLU являются результатами автора; они не описывают независимую оценку качества. Сильное квантование может влиять на точность, а для запуска нужны совместимая среда MLX и достаточно памяти.

NeoHorse-1-4B-GGUF — набор общественных GGUF-квантизаций модели NeoHorse-1-4B, опубликованный пользователем ngquocvinh на основе модели TokenRhythm/NeoHorse-1-4B. Это текстовая авторегрессионная языковая модель примерно на 4 млрд параметров, дообученная из Qwen3.5-4B для агентских сценариев, использования инструментов, программирования, следования инструкциям и диалогового общения. Модель работает через llama.cpp и поддерживает форматы квантизации GGUF; варианты представлены с разным балансом между размером файлов и точностью сохранения поведения исходной BF16-модели. Модель предназначена для генерации текста, рассуждений, ответов на инструкции, кодирования и текстового tool use. Заявлена нативная длина контекста 262 144 токена, однако практически доступный контекст зависит от используемого runtime, объёма памяти, настроек KV-cache и рабочей нагрузки. Поддерживаются текстовые сценарии; vision-веса отсутствуют. Проверка поведения охватывала английский, вьетнамский и китайский языки, а также код, JSON и текстовый формат вызовов инструментов. Варианты Q8_0 и Q6_K лучше сохраняют исходное поведение, Q5_K_M является сбалансированным выбором, а Q4_K_M — более компактным практическим вариантом. К преимуществам относятся локальный запуск через llama.cpp, большой заявленный контекст, несколько вариантов размера и подтверждённая загрузка всех опубликованных квантизаций на NVIDIA A10M. Ограничения связаны с потерей качества в низкобитных вариантах: Q3 и более низкие версии отмечены как экспериментальные, а тест строгого вывода по JSON Schema завершился ошибкой инициализации runtime-сэмплера. Проверка tool use оценивала только формат сериализации, а не полноценное выполнение инструментов. Указана лицензия Apache-2.0; в данном репозитории изменён только формат хранения посредством квантизации, без дополнительного обучения.

AceReason-Nemotron-14B-GGUF — это квантизированная версия языковой модели AceReason-Nemotron-14B, разработанной NVIDIA. Сборка подготовлена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения математических задач, рассуждений и программирования; поддерживает английский язык и запускается через llama.cpp, LM Studio и другие совместимые проекты. Размер исходной модели составляет 14 млрд параметров. В репозитории доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы варианты Q6_K, Q6_K_L, Q5 и Q4_K_M; для устройств с ограниченной памятью доступны более компактные варианты, но с более низким качеством. Архитектура, максимальная длина контекста и другие подробные характеристики в README не указаны. Модель удобна для локального запуска и ресурсоэффективного вывода, однако качество зависит от выбранного уровня квантования, а низкобитные варианты могут заметно уступать более крупным по точности. Для корректной работы следует использовать указанный формат prompt. Модель распространяется по NVIDIA Open Model License; конкретные условия необходимо уточнять в тексте лицензии NVIDIA.

Open-Instruct GPT-4 Alpaca 7B — языковая модель семейства LLaMA, разработанная исследователями AllenAI и дообученная на наборе инструкций GPT-4 Alpaca в рамках исследования по настройке открытых моделей на инструкции. Это плотная авторегрессионная модель примерно на 6,6 млрд параметров для генерации текста и выполнения пользовательских инструкций на английском языке; для качественной генерации рекомендуется использовать обученный формат запросов. Контекст составляет 2048 токенов. Модель подходит для диалоговых ответов, следования инструкциям, решения задач, вопросов и генерации кода. В карточке приведены результаты тестирования на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Репозиторий содержит diff весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Указана лицензия AI model license вместе с исходной лицензией LLaMA; условия следует проверять в соответствующих файлах лицензии.

Ornstein3.6-35B-A3B-GGUF — набор GGUF-квантизаций модели DJLougen/Ornstein3.6-35B-A3B, опубликованный для локального запуска. Это дообученная модель семейства Qwen 3.6 с архитектурой Qwen3_5MoeForCausalLM и поддержкой сценариев генерации текста; репозиторий также содержит мультимодальные конфигурации и файлы визуальной башни для обработки изображений и видео, однако существующие GGUF-бинарники при обновлении метаданных не переписывались. Модель использует архитектуру mixture-of-experts с 34,66 млрд параметров, из которых около 3 млрд активны для каждого токена. В ней 256 экспертов, выбираются 8 экспертов на токен, предусмотрены чередующиеся линейное и полноразмерное внимание, а также Gated Delta Net. Контекст составляет до 262 144 токенов, скрытый размер — 2048, число слоёв — 40, словарь — 248 320 токенов. Доступны варианты квантизации от 8 до примерно 2,6 бит; версии ниже 8 бит частично созданы с importance matrix на смешанном многоязычном корпусе. Сильная сторона модели — сочетание большого общего числа параметров с относительно небольшим числом активных параметров, что делает локальный инференс более доступным по памяти. Для лучшего качества рекомендуется Q4_K_M или выше; Q5_K_M описывается как удачный баланс качества и размера, а Q8_0 — как почти без потерь. Низкобитные варианты требуют компромисса по качеству, причём у MoE-моделей деградация при сильной квантизации может быть заметнее. Для запуска подходят llama.cpp, LM Studio, Ollama, koboldcpp и text-generation-webui при наличии поддержки Qwen3_5MoeForCausalLM и Gated Delta Net. Модель распространяется по лицензии Apache 2.0, унаследованной от базового релиза Qwen 3.6.

attashe/q-2.5-deepseek-r1-veltha-v0.2 — объединённая 14-миллиардная языковая модель, созданная методом SLERP с помощью mergekit на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-14B и djuna/Q2.5-Veltha-14B. Она использует плотную архитектуру Qwen2 для генерации текста и диалогов; модель поддерживает контекст до 131 072 токенов и работает через Transformers с весами в формате safetensors. Модель предназначена для диалоговых сценариев и генерации текста. Базовая модель DeepSeek-R1-Distill-Qwen рассчитана, в частности, на задачи рассуждения, математики и программирования; карточка этой модели не уточняет, насколько хорошо объединённая версия сохраняет эти возможности. В метаданных также отмечен интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

CultriX/Qwen2.5-14B-Hyperionv4 — объединённая языковая модель на архитектуре Qwen2.5, созданная с помощью mergekit. В качестве базовой модели использована CultriX/Qwen2.5-14B-Wernickev3; слияние выполнено методом DARE TIES с участием нескольких моделей семейства Qwen и других производных 14B-моделей. Модель предназначена для генерации текста и диалогового общения, включая сценарии с длинным контекстом до 131 072 токенов. Она поставляется в формате Safetensors и поддерживает интерфейс вызова инструментов. В карточке не заявлена специализация на конкретном языке или прикладной области. Модель содержит 14 млрд параметров. Лицензия в доступных данных не указана.

Карточка модели vy22215/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Richard Young подготовил декензурированную версию Qwen2.5-3B-Instruct с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,1 млрд параметров для диалоговой генерации текста. Она подходит для чат-ботов, ответов на инструкции, написания и анализа текста, а также задач по программированию и математике. Модель принимает текст и выдаёт текст; контекст составляет 32 768 токенов, поддерживается генерация до 8 192 токенов. В основе лежит Qwen2.5-3B-Instruct с архитектурой Qwen2ForCausalLM; заявлены RoPE, SwiGLU, RMSNorm и grouped-query attention. README указывает многоязычную поддержку более чем 29 языков, включая русский и английский. В приведённом сравнении модель отказала в 3 случаях из 100 против 96 у исходной версии, поэтому её следует считать менее склонной к отказам при запросах на чувствительные темы. Это не означает гарантии полноты или точности ответов. В метаданных лицензия обозначена как other, а README не содержит её условий, поэтому перед использованием следует проверить лицензию на странице модели и базовой модели. Модель предназначена для работы через библиотеку Transformers.

Qwen2.5-7B-Instruct-abliterated-v2 — доработанная методом abliteration версия инструктивной языковой модели Qwen2.5-7B-Instruct, созданная huihui-ai. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалогов и генерации текста; она поддерживает контекст до 32 768 токенов и предназначена для работы через библиотеку Transformers. В карточке отмечены чат-возможности и интерфейс вызова инструментов. Версия позиционируется как менее ограниченная в отказах на запросы, чем исходная модель. В README приведены оценки IF_Eval 77,82, MMLU Pro 42,03 и TruthfulQA 57,81; результаты отдельных тестов отличаются от исходной Qwen2.5-7B-Instruct. Метаданные указывают языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0.

Это слитая методом passthrough модель семейства Qwen2.5, созданная с помощью mergekit на основе bunnycore/Qwen2.5-7B-Instruct-Fusion и bunnycore/Qwen2.5-7B-Exp2-lora_model. Модель имеет плотную архитектуру Qwen2ForCausalLM и содержит 7,1 млрд параметров; веса представлены в формате safetensors. Модель предназначена для генерации текста и диалогов. Метаданные указывают на поддержку интерфейса вызова инструментов. Нативная длина контекста составляет 131072 токена, что позволяет использовать модель для работы с длинными текстовыми запросами и документами. Основные сведения о назначении доступны, однако README не приводит результаты оценки качества или подробные рекомендации по применению. Лицензия в предоставленных данных не указана.

bartowski/Qwen2-72B-Instruct-GGUF — набор квантизированных вариантов языковой модели Qwen2-72B-Instruct, разработанной командой Qwen (Tongyi Qianwen) и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в чат-интерфейсах и локальный запуск через llama.cpp. Поддерживается специальный шаблон промпта с ролями system, user и assistant. Модель имеет 72 миллиарда параметров, работает с текстом и ориентирована как минимум на английский язык. Доступны варианты GGUF с разными уровнями квантизации: от Q8_0 размером около 77,26 ГБ до IQ1_M размером около 23,74 ГБ. Наиболее рекомендуются Q5_K_M, Q4_K_M и IQ4_XS как компромисс между качеством и требованиями к памяти; варианты с более низкой точностью занимают меньше места, но заметно теряют в качестве. Квантизация выполнена с использованием imatrix и llama.cpp. Сильная сторона набора — возможность выбрать подходящий баланс качества, скорости и потребления RAM или VRAM для локального запуска. Для работы на GPU рекомендуется, чтобы файл помещался в доступную видеопамять; также возможно комбинировать системную RAM и VRAM. Для CUDA указано ограничение: offloading может работать некорректно без включения flash attention. I-quant варианты не совместимы с Vulkan, а на CPU и Apple Metal могут работать медленнее K-quant вариантов. Модель распространяется по лицензии tongyi-qianwen; README также содержит ссылку на лицензию исходной модели Qwen2-72B-Instruct.

Карточка модели ponyseoyeonkm/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

coder3101/Qwen3.5-35B-A3B-heretic — мультимодальная разговорная модель на основе Qwen3.5-35B-A3B, изменённая автором репозитория методом abliteration для заметного снижения частоты отказов. Это модель с причинным языковым ядром и кодировщиком изображений; архитектура использует разреженную смесь экспертов и Gated Delta Networks: всего 35 млрд параметров, из которых активируются около 3 млрд. Веса доступны в формате Safetensors и совместимы с Transformers и рядом движков инференса. Модель предназначена для диалогов, ответов на вопросы по изображениям, рассуждений и сценариев с вызовом инструментов. Она унаследовала от базовой модели контекст 262 144 токена с возможностью расширения примерно до 1 010 000 токенов. Карточка сообщает о поддержке 201 языка и диалекта базовой моделью, но не уточняет языковой охват именно этой производной версии. В приведённом сравнении частота отказов составила 5 из 100 запросов против 91 из 100 у исходной модели; KL-дивергенция относительно неё указана как 0,0972. Это указывает на ослабление отказного поведения, но не подтверждает качество ответов по другим задачам. Лицензия — Apache-2.0. Пониженная частота отказов означает, что модель может слабее ограничивать ответы на потенциально вредные запросы.

Qwen3.5-4B-Clarity-1.0-GGUF — экспериментальная дообученная версия Qwen3.5-4B, опубликованная пользователем Regic1d3 и основанная на модели Qwen от Qwen. Модель предназначена для генерации текста, рассуждений, решения многошаговых задач, проверки согласованности, выявления ошибок и некорректных предположений, а также для более точной генерации кода на Python. В обучении использовались дополнительные примеры рассуждений на английском и русском языках, а основная часть данных была дистиллирована из Qwen3.8-27B. Дообучение выполнено как относительно тонкая поведенческая настройка, сохраняющая общие возможности исходной модели. Модель имеет размер 4B параметров и доступна в формате GGUF, совместимом с llama.cpp. Предоставлены варианты квантования Q5_K_M и Q8_0. README также упоминает возможность мультимодального запуска, однако подробные характеристики поддерживаемых модальностей и контекстного окна не указаны. Рекомендуемые параметры генерации различаются для общих задач и кода. К сильным сторонам относятся потенциально улучшенные логическое, причинно-следственное и ограничительное рассуждение, арифметика в несколько шагов, обнаружение и исправление ошибок, а также различение фактов и предположений. Ограничения включают экспериментальный статус, отсутствие стандартизированных бенчмарков, возможность ошибочных рассуждений, недостаточную калибровку и склонность к чрезмерно уверенным или избыточно подробным ответам. Лицензия в README не указана.

filvyb/Qwen3.5-9B-heretic-v2-GGUF — GGUF-квантизация декензурированной версии trohrbaugh/Qwen3.5-9B-heretic-v2, созданной на базе Qwen3.5-9B с использованием Heretic 1.2.0. Модель предназначена для локального запуска и генерации текста с уменьшенной склонностью к отказам; README сообщает о 6 отказах из 100 против 100 из 100 у исходной Qwen3.5-9B. При этом декензурирование изменяет поведение исходной модели: указанная KL-дивергенция составляет 0,0793. Это мультимодальная causal language model с vision encoder, поддерживающая работу с текстом и изображениями. Размер языковой части — около 9 млрд параметров; архитектура сочетает Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов; заявлена поддержка 201 языка и диалекта. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о конкретном формате GGUF-квантизации, требуемых ресурсах и подробных ограничениях качества, поэтому фактическая производительность зависит от выбранного файла и среды запуска.

Qwen3.6-27B-GPTQ-Pro-4bit — это 4-битная GPTQ-квантизация модели Qwen/Qwen3.6-27B, опубликованная пользователем groxaxo. Модель предназначена для эффективного запуска на GPU в локальных и размещённых средах, открытой оценки и воспроизводимых экспериментов. В метаданных указана задача image-text-to-text и поддержка английского языка. Модель содержит около 27 млрд параметров и использует формат GPTQ с оптимизацией под Marlin и сервер vLLM. Для сжатия применялись GPTQ-Pro, FOEM и настройки GPTAQ-style; заявленная цель — сохранить качество исходной модели при уменьшении потребления памяти. Репозиторий включает веса в формате safetensors, конфигурации, токенизатор, процессор и шаблон диалога. В документации приведена конфигурация с контекстом до 132144 токенов, однако практические ограничения зависят от оборудования, длины контекста, размера KV-кэша и числа параллельных запросов. Модель ориентирована на генерацию текста, задачи рассуждения и программирования, а также на сценарии инференса через vLLM или Transformers. В качестве проверенной конфигурации указаны две NVIDIA RTX 3090; для наиболее надёжного запуска рекомендуются float16 и gptq_marlin. К ограничениям относятся возможные изменения качества, памяти и скорости из-за квантизации, необходимость совместимого runtime и сохранения согласованности всех файлов одной версии. На протестированной конфигурации speculative decoding не дал прироста скорости, а запуск с контекстом 262144 токенов привёл к нехватке памяти. Лицензия — Apache 2.0.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-квантованная модель, разработанная DavidAU. Она расширена из Qwen3.6 27B до 40 млрд параметров и представляет собой плотную архитектуру без MoE с 96 слоями и 1275 тензорами. Обучение и дообучение выполнялись с использованием Unsloth, наборов данных TeichAI/claude-4.5-opus-high-reasoning-250x и DavidAU/PkDick-Deckard-5-Datasets, а также методов Heretic и NEO-CODE-Di-IMatrix. Модель предназначена для универсального применения: рассуждений, программирования, математики, творческого и художественного письма, генерации сюжетов и сцен, ролевых сценариев и работы с длинными диалогами. Заявлена поддержка контекста до 256K токенов, переменной длины рассуждений и текстовых сценариев на английском и китайском языках. Также заявлена работа с изображениями, но для этого требуется отдельный файл mmproj, размещённый рядом с GGUF-моделью. К сильным сторонам относятся большой контекст, развитые рассуждения, ориентация на код и универсальные задачи, а также оптимизированные NEO-CODE-Di-IMatrix-MAX-квантизации, для которых приведены показатели близости к полной точности BF16. Модель намеренно uncensored и unfiltered, поэтому может генерировать небезопасный или откровенный контент и требует самостоятельного контроля применения. Указанные характеристики производительности основаны на данных автора и приведённых в README тестах; независимая проверка не представлена. В метаданных указана лицензия Apache-2.0. Для запуска необходим совместимый GGUF-движок, а выбор квантизации влияет на требования к памяти и качество работы.

Qwen3.8-27B Abliterated MLX MXFP4-MTP — vision-language модель на основе Qwen/Qwen3.8-27B, упакованная Shiftedx для экосистемы MLX. Это квантованная версия полной 27-миллиардной архитектуры: языковая часть использует MXFP4 с размером группы 32, а неизменённая vision tower — веса BF16. Пакет также содержит 15 BF16-тензоров native MTP для ускорения спекулятивной генерации; рекомендованная глубина MTP — 3. Для работы требуется MTPLX версии 2.0.2 или новее. Модель предназначена для генерации и анализа текста, обработки изображений, задач с длинным контекстом, tool calling и сценариев, где важна высокая скорость вывода на совместимом Apple Silicon-оборудовании. В опубликованном тестировании эффективный проверенный контекст составлял до 131 072 токенов; языки README не уточняет. На Apple M4 Max с 64 ГиБ unified memory модель показала 100% в тестах tool calling, 86,7% в тестах длинного контекста и 75% в vision-тестах, однако результаты зависят от версии весов, runtime, настроек и оборудования. Изменение refusal-направления снизило измеренные отказы в специально подготовленном наборе с 12/12 до 0/12, но авторы подчёркивают, что это не доказывает универсальную «нецензурированность». Модель может чаще выдавать вредные или ошибочные ответы; результаты бенчмарков также показывают ограничения в общей проверке качества и agentic-сценариях. Использовать её следует с осторожностью, особенно при работе с инструментами, изображениями и генерируемым кодом. Лицензия — Apache-2.0; ограничения исходной модели сохраняются.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа; при этом заявлено сохранение исходных текстовых, reasoning-, agentic-, image- и video-возможностей базовой модели. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой языков English, Chinese и других языков за счёт мультиязычной базы. Архитектура включает 64 слоя языковой модели, hidden size 5120, FFN size 17408, словарь размером 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживается нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. В поставку входят различные GGUF-квантизации, отдельный BF16 vision projector для изображений и видео, а также профиль HauhauCS FastMTP 32K для ускорения speculative decoding; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для reasoning-сценариев по сравнению с режимом без MTP. Сильные стороны модели — широкий набор модальностей, длинный контекст, сохранённые возможности Qwen3.8, выбор квантизаций от Q2 до Q8 и оптимизированные K_P-кванты, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских и критически важных задач, где предпочтительнее более сбалансированная настройка. Для мультимодального ввода требуется отдельный vision projector, а запуск требует значительных ресурсов: размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ в зависимости от квантизации. Модель распространяется по лицензии Apache-2.0.

Sawfwair/Qwen3.8-Flash-Next-MLX-4bit — это воспроизводимая конверсия модели Qwen/Qwen3.8-Flash-Next в формат MLX, разработанная Sawfwair на основе исходной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, включая мультимодальные сценарии, совместимые с архитектурой Qwen4-Exp. Поддерживает нативный контекст до 262 144 токенов. Исходная модель насчитывает около 180 млрд параметров: 125 млрд параметров основной модели, 51 млрд параметров n-граммовых эмбеддингов и 4 млрд параметров MTP. Квантизация выполнена в формате MLX affine Q4: применяются Q4/group-64 для языковых, MTP- и vision-матриц и Q4/group-32 для таблицы n-грамм; маршрутизаторы, нормализации, смещения, свёртки и несовместимые формы оставлены в плотном формате. Размер артефактов составляет около 97,55 GiB. К сильным сторонам относятся большой контекст, поддержка текста и изображений, воспроизводимая конверсия и существенное уменьшение размера по сравнению с полноразмерным представлением. Для работы требуется runtime MLX с поддержкой архитектуры Qwen4-Exp; старые версии mlx-lm или mlx-vlm могут не поддерживать модель. Распространение осуществляется по Qwen Community License 1.0. Лицензия содержит требования к атрибуции и отображению для очень крупных коммерческих продуктов, а также отдельные условия для некоторых коммерческих Model-as-a-Service и AI Work Assistant-сценариев; перед использованием необходимо ознакомиться с её полным текстом.