I.11Классификация, ранжирование и сопоставление

pearl-ai/Llama-3.3-70B-Instruct-pearl — сертифицированный вариант Meta Llama-3.3-70B-Instruct, подготовленный командой Pearl Research для работы с Pearl vLLM mining plugin. Модель относится к большим языковым моделям типа instruct и предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов; в карточке указана поддержка английского языка. Модель имеет размер 70B параметров и распространяется через Transformers. Её основной сценарий — запуск в инфраструктуре Pearl miner, где vLLM интегрирован с процессами mining. Для работы требуются CUDA-совместимые NVIDIA GPU класса sm90, например H100 или H200, а также программный стек Pearl; в примере запуска задана длина контекста 8192 токена, однако максимальный контекст модели отдельно не указан. В сравнительном тесте на 4 GPU H200 Pearl-сертифицированный вариант показал близкие к исходной модели результаты MMLU и более высокую пропускную способность в некоторых конфигурациях параллелизма, включая 18 291,66 токена в секунду при DP=4. Эти показатели зависят от оборудования и настроек запуска. Модель ориентирована на специализированную инфраструктуру Pearl и требует запущенного pearld-узла с RPC-доступом, поэтому её использование вне этого стека может потребовать дополнительной настройки. Лицензия указана как llama3.3.

Это модель brunopio в формате GGUF, конвертированная с использованием llama.cpp из HF1BitLLM/Llama3-8B-1.58-100B-tokens. В качестве базовой модели также указан meta-llama/Meta-Llama-3-8B-Instruct. Модель предназначена для локального запуска задач генерации текста и диалогового вывода через llama.cpp, включая работу в командной строке или в режиме сервера. Ключевая характеристика — размер базовой модели 8B; в названии и исходной модели также указано обозначение 1.58 и обучение на 100B токенов, однако README не раскрывает их техническую интерпретацию, точную архитектуру, размер файла, параметры квантования, поддерживаемые языки и максимальную длину контекста. Для запуска требуется llama.cpp; в примере сервера задан контекст 2048 токенов, но не указано, является ли это предельным значением модели. Лицензия в README не указана, поэтому условия использования необходимо уточнять у автора и разработчиков базовых моделей.

Это преобразованная в формат MLX версия языковой модели Llama 3 8B Instruct с контекстом до 262 144 токенов. Репозиторий подготовлен сообществом mlx-community на основе gradientai/Llama-3-8B-Instruct-262k с помощью mlx-lm 0.12.0; модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Она предназначена для диалоговой генерации текста и работы с длинными текстовыми контекстами. Метаданные указывают английский язык и поддержку чата. Репозиторий содержит веса safetensors в формате MLX; лицензия в доступных данных не приведена.

Magpie-Align/Llama-3-8B-Magpie-Air-MT-SFT-v0.1 — плотная авторегрессионная языковая модель семейства Llama 3, дообученная на наборе Magpie-Air-MT-300K-v0.1. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога рекомендуется использовать официальный шаблон чата Llama 3. Модель предназначена для генерации ответов на инструкции и ведения диалога. Авторы сообщают о результатах, сопоставимых с Llama-3-8B-Instruct на некоторых задачах, и приводят оценки Alpaca Eval 2 и Arena Hard. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Meta Llama 3 Community License. Она унаследует ограничения базовой Llama 3 и качество данных дообучения; приведённые оценки не гарантируют одинаковую производительность на всех запросах.

Llama-3-Chinese-8B-Instruct-v2 — диалоговая языковая модель семейства Llama 3, разработанная HFL на основе Meta-Llama-3-8B-Instruct и дообученная на 5 млн инструкционных примеров. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и предназначена для генерации текста в формате инструкций и чата. Модель подходит для диалогов, ответов на вопросы и других сценариев, где нужен ассистент, понимающий китайский и английский языки. Контекст составляет до 8192 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не приводит сравнительных результатов или конкретных ограничений качества; характеристики базовой модели не следует автоматически считать подтверждёнными для этой дообученной версии.

MiniCPM5-2B-heretic-GGUF — это набор GGUF-квантизованных версий языковой модели MiniCPM5-2B-heretic, разработанной Dingdust и опубликованной в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста, работы с длинным контекстом, вызова инструментов и локального запуска на устройствах с ограниченными ресурсами. В карточке указана поддержка английского и китайского языков. Модель относится к семейству MiniCPM и имеет размер 2 млрд параметров. Доступны варианты квантования от Q2_K до Q8_0, IQ4_XS и f16; размер файлов составляет примерно от 1,1 до 5,1 ГБ. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с наилучшим качеством среди перечисленных. Архитектура и максимальная длина контекста в README не указаны; по тегам модель ориентирована на текстовые сценарии, edge AI и on-device deployment. К сильным сторонам относятся компактный размер, возможность локального запуска и выбор между несколькими уровнями компромисса по скорости, качеству и потреблению памяти. Ограничения связаны с потерями качества при низком квантовании, а также с отсутствием в карточке подробных результатов оценки, описания конкретной архитектуры и точного размера контекста. Модель распространяется по лицензии Apache-2.0.

wang7776/Mistral-7B-Instruct-v0.2-sparsity-10 — разреженная версия инструктивной языковой модели Mistral-7B-Instruct-v0.2, созданная методом Wanda с целевой разреженностью 10% без дообучения или обновления весов. Базовая модель разработана Mistral AI; в карточке перечислены участники команды Mistral AI. Это плотный трансформер Mistral с Grouped-Query Attention, Sliding-Window Attention и токенизатором Byte-fallback BPE; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста по инструкциям и диалогового общения. В README указан формат запросов с маркерами [INST] и [/INST]; метаданные отмечают поддержку чата. Модель опубликована в формате safetensors по лицензии Apache-2.0. README предупреждает, что у базовой инструктивной модели нет механизмов модерации; качество и поведение разреженной версии отдельно не описаны.

zelk12/MT1-Gen4-BB-gemma-2-MTg2MTMM2MU-9B — объединённая языковая модель на базе Gemma 2, опубликованная zelk12. Веса двух предварительно обученных моделей объединены методом SLERP с помощью mergekit; размер модели составляет 9 млрд параметров, архитектура — плотная Gemma 2 для причинной генерации текста. Модель предназначена для генерации текста и диалогового общения, принимает текст и выдаёт текст. Контекстное окно — 8192 токена. Модель доступна в формате safetensors; README также описывает статические квантизованные сборки GGUF от @mradermacher. Метаданные указывают библиотеку Transformers. В карточке не приведены специальные доменные назначения или ограничения на использование. Лицензия в предоставленных данных не указана.

win10/nemolita-21b — объединённая автором win10 с помощью mergekit языковая модель на архитектуре Mistral, созданная из unsloth/Mistral-Nemo-Instruct-2407 и MarinaraSpaghetti/Nemomix-v1.0-12B методом passthrough merge. Модель содержит 20,7 млрд параметров и предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и выдаёт текст. Модель распространяется в формате safetensors и рассчитана на контекст до 1 024 000 токенов. Языки и специализированные области применения в предоставленных данных не определены. Лицензия не указана в источниках; качество и ограничения объединения отдельно не описаны.

Nemotron-4-340B-Instruct-hf — преобразованный чекпойнт диалоговой языковой модели Nemotron-4-340B-Instruct от NVIDIA, опубликованный пользователем mgoin. Модель предназначена для генерации текста в формате диалога; README указывает, что чекпойнт создан из версии 1.0 формата .nemo. Метаданные описывают архитектуру как плотную авторегрессионную модель NemotronForCausalLM с общим числом 466,8 млрд параметров и контекстом 4096 токенов. Модель принимает текст и выдаёт текст, поддерживает чат-сценарии и может развёртываться через vLLM версии 0.5.4 или новее. В README приведены оценки для чекпойнта FP8, полученные с lm-eval 0.4.3 на восьми A100, однако сами результаты в доступном тексте не представлены. Метаданные указывают лицензию other; конкретные условия следует сверять с лицензией базовой модели NVIDIA.

RedHatAI/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-FP8 — квантизированная языковая модель для генерации текста и диалоговых сценариев, разработанная RedHatAI на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 от NVIDIA. Модель принимает текст и возвращает текст, поддерживает использование в conversational-приложениях и может разворачиваться с помощью Transformers и vLLM. Архитектура модели обозначена как NemotronHForCausalLM. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8 по статической схеме с использованием LLM Compressor и калибровочных примеров UltraChat. Такое сжатие уменьшает требования к GPU-памяти и дисковому пространству примерно на 50% по сравнению с BF16 и может примерно вдвое повысить пропускную способность матричных умножений на оборудовании с поддержкой FP8. В идентификаторе указаны 30B параметров и конфигурация A3B, однако другие характеристики, включая языки и максимальную длину контекста, в README не приведены. Сильными сторонами модели являются сниженные требования к ресурсам и оптимизация для быстрого инференса на совместимом оборудовании. Ограничения связаны с тем, что FP8-квантизация может зависеть от аппаратной и программной поддержки, а README не содержит результатов оценки качества, подробностей о поддерживаемых языках и условий лицензирования. Данные о лицензии отсутствуют.

OpenAi-GPT-oss-20b-HERETIC-uncensored-NEO-Imatrix-gguf — это текстовая генеративная модель в формате GGUF, разработанная DavidAU на базе p-e-w/gpt-oss-20b-heretic. Согласно карточке, модель использует архитектуру Mixture of Experts с 20B параметров и 24 экспертами. Она предназначена для локального запуска и доступна в вариантах IQ4_NL, Q5_1 и Q8_0 с применением Imatrix, DI-Matrix или TRI-Matrix-квантизации. Модель ориентирована на генерацию текста, чат, программирование и генерацию кода, рассуждения, решение задач, мозговой штурм, творческие сценарии и общее использование. Указан английский язык и заявлена поддержка контекста до 128k токенов. Автор отмечает улучшения производительности благодаря NEO, Horror и NEOCode-наборам данных, а также различия между квантизациями: Q5_1 описывается как более стабильная в некоторых сценариях, тогда как IQ4_NL может давать более необычные и спонтанные ответы. Ключевая особенность модели — удаление отказов и ограничений, обозначенное автором как uncensored и decensored. Это может быть полезно для свободных творческих и исследовательских сценариев, но одновременно означает отсутствие встроенных защитных механизмов и повышенный риск небезопасных или нежелательных ответов. В карточке не приведены независимые бенчмарки, точные требования к памяти, аппаратные рекомендации или подробные измерения качества, поэтому производительность и практическая скорость зависят от выбранной квантизации и оборудования. Модель распространяется по лицензии Apache-2.0.

OrcaAgent-llama3.2-8b-GGUF — это набор GGUF-квантизаций модели OrcaAgent-llama3.2-8b, разработанной Isotonic и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и агентских сценариев; обучение связано с наборами данных microsoft/orca-agentinstruct-1M-v1 и Isotonic/agentinstruct-1Mv1-combined. Указан английский язык. В основе лежит 8-миллиардная модель семейства Llama 3.2. Доступны варианты от F16 до Q2_K_L, различающиеся размером файла, требованиями к памяти и качеством: от 16,07 ГБ для F16 до примерно 3,69 ГБ для Q2_K_L. Наиболее сбалансированным вариантом README называет Q4_K_M размером 4,92 ГБ; варианты Q5 и Q6 обеспечивают более высокое качество, а Q3 и Q2 подходят для систем с ограниченным объёмом оперативной памяти. Формат GGUF поддерживается llama.cpp и приложением LM Studio. Сильная сторона модели — наличие множества уровней квантизации для локального запуска и выбора компромисса между качеством и потреблением памяти. Ограничения включают снижение качества в наиболее компактных вариантах, отсутствие сведений о размере контекста, мультимодальности и точных архитектурных характеристиках, а некоторые ARM-оптимизированные варианты требуют поддержки специальных инструкций и не рекомендуются для Mac. Лицензия — Apache-2.0.

Ornith-1.5-9B-Uncensored-GGUF — квантованная GGUF-версия модели Ornith-1.5-9B, разработанная командой ornith-ai и подготовленная zaakirio для llama.cpp. Это текстовая сборка мультимодальной базовой модели без vision-проектора, предназначенная для генерации текста, диалогов и локального запуска через llama.cpp. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Qwen3.5: 32 слоя, в которых чередуются блоки линейного внимания gated DeltaNet и полноформатное внимание в каждом четвёртом слое. Заявлен контекст до 262 тысяч токенов, однако для практического запуска размер контекста определяется параметрами llama.cpp. Доступны варианты от Q2_K до Q8_0, а также BF16; Q4_K_M указан как сбалансированный вариант по размеру и качеству. Для работы требуется очень свежая версия llama.cpp с поддержкой архитектуры qwen3_5. Сборка подвергнута abliteration с помощью Heretic: направления, связанные с отказами, были ослаблены без дообучения или переобучения модели. На тесте из 100 вредоносных запросов число keyword-маркованных отказов снизилось с 85 до 55, при KL-дивергенции 0,0017 на безвредных запросах; авторы отмечают, что этот показатель неточен и поведение модели может быть менее безопасным. Модель также может легче принимать ошибочные предпосылки, поэтому ответы требуют проверки. Распространяется по лицензии MIT, унаследованной от базовой модели.

PaddleOCR-VL-1.6 — компактная модель для разбора документов от команды PaddlePaddle, дообученная на основе PaddleOCR-VL-1.5. В метаданных указаны архитектура PaddleOCRVLForConditionalGeneration и 318,2 млн параметров; модель принимает изображения документов и формирует текстовый разбор. Для запуска предусмотрена библиотека PaddleOCR, а README также описывает совместимость архитектуры с версией 1.5. Модель предназначена для распознавания и структурирования содержимого документов: текста, таблиц, формул, диаграмм, печатей и штампов. README сообщает об улучшениях для китайских древних документов, редких китайских символов и распознавания текста в различных областях изображения, а также о результате 96,33% на OmniDocBench v1.6. Метаданные указывают контекст 131 072 токена и языки английский, китайский и многоязычную поддержку. Модель распространяется по лицензии Apache-2.0. Показатели бенчмарков приведены в README; фактическое качество зависит от типа документа и условий распознавания. Для работы с моделью описаны зависимости PaddlePaddle и PaddleOCR.

PaddleOCR-VL-1.6-i1-GGUF — квантизированная версия мультимодальной модели PaddleOCR-VL-1.6, разработанной PaddlePaddle и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для анализа изображений документов и преобразования их содержимого в структурированные текстовые данные, включая OCR, разбор макета, таблиц, формул, графиков, печатей и других элементов, а также для задач spotting. Заявлена поддержка английского, китайского и других языков. Модель работает с визуально-текстовыми данными и распространяется в виде набора вариантов квантизации i1, включая IQ- и Q-форматы размером примерно от 0,3 до 0,5 ГБ. README не содержит сведений о точной архитектуре, числе параметров и размере контекста. Преимущество набора — возможность выбрать компромисс между размером, скоростью и качеством; для некоторых вариантов отдельно отмечены высокая скорость или оптимальное соотношение характеристик. Ограничения связаны с потерями качества у низкобитных вариантов квантизации, а также с отсутствием в README подробных результатов оценки. Лицензия — Apache-2.0.

Phi-3-mini-128k-instruct-IMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели microsoft/Phi-3-mini-128k-instruct, подготовленная пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты, в частности llama.cpp. В репозитории представлены варианты от исходных BF16 и F16 до различных уровней квантизации Q- и IQ-семейств, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. Для ряда вариантов применена IMatrix-квантизация на основе доступного калибровочного набора данных. Модель работает с текстом, заявлена для английского языка и имеет контекстное окно 128 тысяч токенов, унаследованное от базовой Phi-3-mini-128k-instruct. В README не указаны точное число параметров и подробности архитектуры базовой модели. Ключевые преимущества этой версии — широкий выбор форматов GGUF, возможность локального инференса и уменьшение размера модели за счёт квантизации; при этом более низкие уровни квантизации могут снижать качество по сравнению с BF16 или F16. Репозиторий распространяется по лицензии MIT, указанной для базовой модели.

lmstudio-community/Phi-4-mini-reasoning-MLX-4bit — это 4-битная версия модели Phi-4-mini-reasoning, разработанной Microsoft и преобразованной сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста, включая задачи обработки естественного языка, математики и программного кода. В README приведён пример решения квадратного уравнения, что указывает на сценарии, связанные с рассуждениями и решением математических задач. Модель поддерживает текстовую модальность; в метаданных указан английский язык. Точные сведения об архитектуре, количестве параметров и размере контекста в README отсутствуют. Для использования требуется библиотека mlx-lm и совместимое с MLX окружение, а загрузка выполняется через интерфейс mlx_lm. 4-битное представление снижает требования к памяти, но может влиять на точность по сравнению с исходной моделью. Лицензия — MIT.

QandoraExp-7B — языковая модель для генерации текста, созданная bunnycore с помощью слияния нескольких предварительно обученных моделей методом Della через mergekit. В качестве базовой использована Qwen/Qwen2.5-7B; в слияние также вошли Etherll/Qwen2.5-7B-della-test, jeffmeloy/Qwen2.5-7B-nerd-uncensored-v1.0 и fblgit/cybertron-v4-qw7B-MGS. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и имеет контекстное окно до 131 072 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель предназначена для диалоговой генерации текста и предоставляет интерфейс для вызова инструментов. В README приведены результаты оценок Open LLM Leaderboard: среднее значение 28,51, IFEval — 75,09 и BBH — 35,92. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя. Результаты приведённых оценок не гарантируют качество на конкретных задачах; также карточка не описывает отдельные ограничения модели.

bamec66557/Qwen-2.5-14B-MINUS — объединённая методом SLERP модель на архитектуре Qwen2, созданная с помощью mergekit из sometimesanotion/Qwen2.5-14B-Vimarckoso-v3 и djuna/Q2.5-Veltha-14B. Это плотная языковая модель с 14 млрд параметров для диалоговой генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации ответов в диалоге и других задач генерации текста. Заявленная длина контекста — 131 072 токена. Сведения о поддерживаемых естественных языках и специализированных областях в предоставленных данных отсутствуют. Условия лицензии в карточке не приведены.

Qwen2.5-7B-Instruct-IMat-GGUF — это квантизированная GGUF-версия языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Дистрибутив подготовлен пользователем legraphista с помощью llama.cpp версии b3785 и предназначен для локального запуска и генерации текста, включая чатовые сценарии. В README указана поддержка английского языка и текстовая модальность. Модель содержит около 7 млрд параметров и основана на исходных весах в формате BF16. Доступны варианты от BF16 и F16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Для ряда вариантов квантизации применена IMatrix-калибровка, призванная улучшить сохранение качества при уменьшении точности. Размер файлов варьируется примерно от 3,02 до 15,24 ГБ. Сильная сторона модели — возможность локального использования в широком диапазоне аппаратных конфигураций благодаря множеству вариантов квантизации и формату GGUF, совместимому с экосистемой llama.cpp. Ограничения включают возможное снижение качества у наиболее агрессивно квантизированных вариантов; сведения о размере контекста, архитектурных деталях, результатах тестирования и поддержке других языков в README не приведены. Модель и её варианты распространяются по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-Q4_K_M-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, преобразованная пользователем paultimothymooney в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp в командной строке или в режиме сервера. Модель имеет размер 7B параметров и использует квантизацию Q4_K_M, что рассчитано на более экономичное использование памяти по сравнению с полноразмерной версией. Указана поддержка английского языка и текстовая модальность. В примере запуска серверу передаётся контекст размером 2048 токенов, однако максимальный размер контекста в карточке отдельно не указан. К сильным сторонам относятся совместимость с экосистемой llama.cpp, возможность локального развёртывания и сниженные требования к ресурсам благодаря квантизации. Ограничения связаны с тем, что карточка не содержит подробных сведений о качестве, бенчмарках, аппаратных требованиях и полном наборе поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

legraphista/Qwen2-7B-Instruct-IMat-GGUF — это набор GGUF-версий инструкционной языковой модели Qwen2-7B-Instruct, разработанной командой Qwen и дополнительно квантизированной пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через совместимые с GGUF инструменты и llama.cpp. Модель содержит около 7 миллиардов параметров и создана на основе исходной версии с форматом BF16. Доступны варианты от BF16 и FP16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантов. Для ряда низкобитных вариантов применена IMatrix — калибровочная матрица, призванная сохранить качество при уменьшении размера модели. Размеры файлов варьируются примерно от 3,02 до 15,24 ГБ. В карточке указана поддержка английского языка; сведения о контекстном окне и дополнительных модальностях отсутствуют. Основные преимущества — большое количество вариантов квантования, возможность подобрать баланс между размером, требованиями к памяти и качеством, а также поддержка формата GGUF. Низкобитные версии экономичнее по ресурсам, но могут сильнее терять качество по сравнению с BF16 или FP16. Точные характеристики производительности, контекстного окна и поведения на других языках в README не указаны. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-30B-A3B-MLX-8bit — это конвертированная в формат MLX 8-битная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и опубликованной сообществом lmstudio-community. Конвертация выполнена с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через chat template при его наличии. Она ориентирована на запуск с библиотекой mlx-lm, преимущественно в экосистеме Apple MLX. В README не указаны поддерживаемые языки, размер контекста, точная архитектура исходной модели, модальности помимо текста и результаты оценки качества. Ключевая характеристика этой версии — 8-битное представление в формате MLX, потенциально подходящее для более эффективного локального запуска по сравнению с полноформатной моделью, однако конкретные требования к памяти и производительности не приведены. Ограничения и области применения следует оценивать по исходной модели Qwen3-30B-A3B; дополнительные сведения о них в README отсутствуют. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3-4B-DFlash-GGUF — это текстовая генеративная модель в формате GGUF, созданная Atomic Chat на основе оригинальных весов z-lab/Qwen3-4B-DFlash-b16. Модель предназначена для локального и полностью офлайн-использования в llama.cpp, Ollama, LM Studio, Jan и приложении Atomic Chat, включая диалоговые сценарии и генерацию текста. Согласно README, модель имеет плотную decoder-архитектуру DFlashDraftModel, 5 слоёв, 32 attention heads и 8 KV heads, словарь из 151 936 токенов и контекст до 40 960 токенов. Поддерживается только текстовая модальность. В карточке указано 0,5 млрд параметров, а доступный квант Q8_0 занимает около 0,6 ГБ; при этом название базовой модели содержит обозначение 4B, поэтому размер следует трактовать с осторожностью. Ключевая особенность репозитория — самостоятельная квантизация Atomic Chat с использованием importance matrix для каждого варианта, что должно сохранять качество исходной модели при низкой разрядности. Ограничения включают отсутствие мультимодальности и необходимость применять шаблон чата Qwen3 через параметр --jinja; без него возможны некорректно сформированные диалоговые ходы. В README также рекомендована temperature 0.0. Исходная модель выпущена Z Lab по лицензии MIT, квантизированная версия подготовлена Atomic Chat.

unsloth/Qwen3.5-2B — постобученная мультимодальная модель от Unsloth на базе Qwen/Qwen3.5-2B. Она сочетает причинную языковую модель с визуальным энкодером и предназначена для диалогов, понимания изображений и вызова инструментов. Модель содержит 2 млрд параметров, использует гибридную архитектуру с Gated Delta Networks и Gated Attention и поддерживает контекст до 262 144 токенов. Модель подходит для прототипирования, разработки и специализированного дообучения; её можно запускать через Transformers, vLLM, SGLang и KTransformers. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако в карточке нет списка языков, специфичного для этой версии. Модель работает в режиме без рассуждений по умолчанию; авторы также описывают режим рассуждений и возможности работы с видео в составе семейства Qwen3.5. Весовые файлы представлены в формате Safetensors. Лицензия — Apache-2.0. Масштаб в 2 млрд параметров делает модель удобной для экспериментов и настройки под конкретные задачи, но карточка рекомендует прежде всего прототипирование и разработку; производительность и пропускная способность зависят от инфраструктуры и выбранного движка.

Bahushruth/Qwen3.6-35B-A3B-abliterated-v4-GGUF — набор GGUF-квантизаций языковой модели, разработанный Bahushruth на базе Bahushruth/Qwen3.6-35B-A3B-abliterated-v4. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, KoboldCPP и другие совместимые среды. Это MoE-модель с 35 млрд общих параметров, 256 экспертами и 8 активными экспертами на токеном; согласно карточке, около 3 млрд параметров активны при обработке каждого токена. Данные о языках и размере контекстного окна не указаны. Доступны варианты от BF16 до 2-битных K-квантизаций и IQ-квантизаций с importance-matrix-калибровкой. Размер файлов составляет примерно 12–71 ГБ, а требования к оперативной памяти — от 16 ГБ в зависимости от варианта. Основные квантизации не содержат MTP-компонент для максимальной совместимости; отдельный BF16-вариант поддерживает Multi-Token Prediction и спекулятивное декодирование в совместимых версиях llama-server. Модель позиционируется как эффективная по вычислениям благодаря MoE-архитектуре и предлагает выбор между качеством, размером и требованиями к памяти. Вариант является «uncensored»: поведение отказа удалено методом norm-preserving abliteration, поэтому встроенные защитные ограничения ослаблены или отсутствуют. Это может быть полезно для исследовательских и экспериментальных сценариев, но повышает риски небезопасного использования и не гарантирует сохранение исходного поведения базовой модели. Модель распространяется по лицензии Apache-2.0; автор отдельно указывает, что релиз предназначен для исследований и не принимает на себя ответственность за дальнейшее использование.

Qwen3.8-27B-nvfp4qat-NInfer — квантизированная версия модели Qwen3.8-27B, подготовленная cometkim для выполнения в runtime NInfer v3. В состав артефакта также встроен модуль-черновик DFlash2 от z-lab для speculative decoding. Модель предназначена для генерации текста, диалоговых сценариев и мультимодальных задач с обработкой текста и изображений через компоненты Text и Vision. Модель содержит около 27 млрд параметров в основном Text-компоненте и использует профиль весов NVFP4 W4A4, полученный с применением quantization-aware training из QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4. В артефакте также присутствуют MTP, Vision, оптимизированная draft head и NVFP4-версия DFlash2 размером около 2 млрд параметров. Для DFlash2 заявлены пять слоёв, скользящее окно 2048, selector rank 256 и top-16. Размер файла составляет около 17,35 GiB. Языки и максимальная длина контекста в карточке не указаны. Сильными сторонами являются существенное уменьшение размера весов за счёт NVFP4, отсутствие необходимости в отдельном файле для DFlash2 и поддержка ускоренного декодирования в NInfer. В приведённых оценках модель получила accuracy 89,22 на GPQA-Diamond, 91,11 на AIME 2026 и 66,30 на LongBench v2, однако эффективность встроенного DFlash2 ниже, чем у профиля nvfp4full: 2,50 токена за раунд и 21,4% принятия против 5,50 и 64,3% соответственно на указанном тесте. Модель не является checkpoint для Transformers, Safetensors или GGUF и требует NInfer v3; карточка также не указывает совместимость с другими средами. Распространяется по лицензии Apache-2.0.

Qwen3.9-245B-A29B — текстовая генеративная модель семейства Qwen3, опубликованная аккаунтом QwennAI. Карточка показывает использование через Transformers и чат-шаблон Qwen с режимом рассуждений; также приведены примеры запуска через vLLM и SGLang. Метаданные указывают архитектуру Qwen3ForCausalLM, формат safetensors и поддержку чата. Модель предназначена для диалогов и генерации текста, включая задачи, требующие пошагового рассуждения, например объяснение математического доказательства. В README для сервинга приведён параметр контекста 65 536 токенов, тогда как метаданные указывают native context 1 024 токена; доступные сведения о размере противоречивы: имя модели содержит 245B-A29B, а total_parameters указано как 798.7K. Метаданные указывают английский и китайский языки. Лицензия — Apache-2.0.

Карточка модели mlinmg/Qwen3-Omni-30B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.