I.11Классификация, ранжирование и сопоставление

Mistral-7B-Instruct-v0.3-GGUF — квантизированная версия инструкционной модели Mistral-7B-Instruct-v0.3, разработанной mistralai и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для диалогового взаимодействия и запуска локальных сервисов генерации текста, включая сценарии с использованием инструментов через LlamaEdge. Модель имеет размер 7B параметров и поддерживает контекст до 32 000 токенов. В репозитории представлены варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 2,72 до 14,5 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством, тогда как более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество. Сведения о модальностях и поддерживаемых языках в README не указаны. Модель подходит для локального чата, генерации текста и интеграции в приложения через LlamaEdge с шаблонами Mistral Instruct и Mistral Tool. К ограничениям относятся компромиссы между размером файла и качеством, характерные для квантизированных версий, а также отсутствие в предоставленных данных результатов тестирования и подробностей об аппаратных требованиях. Распространяется по лицензии Apache-2.0.

SuperAGI разработала Mistral-7B-32K-PoSE — плотную авторегрессионную языковую модель семейства Mistral с 7,1 млрд параметров. С помощью техники PoSE контекст модели расширен до 32 768 токенов; README сообщает о высокой эффективности в извлечении информации из длинного контекста и лишь небольшом снижении результатов на стандартных тестах. Модель предназначена для генерации текста и работы с длинными текстовыми запросами, в частности для поиска конкретных сведений в больших фрагментах текста. Она доступна в формате safetensors и распространяется по лицензии Apache-2.0. В README приведён пример загрузки через Transformers. У модели нет механизмов модерации и защитных ограничений; разработчики предупреждают о рисках токсичности, социальных предубеждений и ограничений по языкам и не рекомендуют её для использования в production без дополнительных мер безопасности.

Это объединённая модель MaziyarPanahi, созданная методом SLERP на основе Mistral-7B-Instruct-v0.2 и Mistral-7B-v0.1-sharded. Она предназначена для генерации текста в диалогах и выполнения инструкций. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; длина контекста — до 32 768 токенов. Весы опубликованы в формате Safetensors. Модель принимает текст и выдаёт текст. Метаданные не определяют конкретные языки, поэтому их нельзя указать. Репозиторий распространяется по лицензии Apache-2.0. README описывает состав и параметры слияния, но не приводит сравнительных оценок качества или подробных ограничений применения.

Это объединённая диалоговая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и OpenPipe/mistral-ft-optimized-1227 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в диалоговом формате; контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других текстовых задач общего назначения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Mistral-Small-Instruct-2409-GGUF — это набор квантованных файлов в формате GGUF для инструкционной модели Mistral-Small-Instruct-2409, разработанной компанией mistralai. Квантование и публикацию этого варианта выполнил MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Набор включает варианты квантования с разной разрядностью — от 2 до 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов; некоторые из них поддерживают GPU-ускорение и совместимый с OpenAI API сервер. Преимуществами являются возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. README не содержит сведений о точной архитектуре, числе параметров, поддерживаемых языках, длине контекста, целевых модальностях, результатах оценки и лицензии. Поэтому эти характеристики и условия юридического использования следует уточнять по карточке исходной модели Mistral-Small-Instruct-2409 и сопутствующим материалам.

Nemotron-Mini-4B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Nemotron-Mini-4B-Instruct, разработанной NVIDIA и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локального инференса, в том числе через LM Studio. Указан английский язык; поддерживается текстовая модальность. Формат запроса требует специальных маркеров для системных, пользовательских и ассистентских сообщений. Доступны варианты от исходных весов F16 размером 8,39 ГБ до компактных квантизаций IQ3_M размером 2,18 ГБ. Предлагаются форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие, включая варианты, оптимизированные для ARM-процессоров. Некоторые сборки используют Q8_0 для embedding- и output-весов, что может улучшать сохранение качества. Ключевое преимущество набора — выбор между качеством, размером и требованиями к памяти; ограничение — снижение качества при более агрессивной квантизации. Сведения о размере контекста и архитектуре базовой модели в README не указаны. Модель распространяется по лицензии NVIDIA Community Model License; условия следует уточнять в документе лицензии NVIDIA.

Nous-Hermes-2-DPO_into_Nous_Hermes-2-Pro — слитая модель, созданная с помощью LazyMergekit на основе NousResearch/Nous-Hermes-2-Mistral-7B-DPO и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; контекстное окно составляет 32 768 токенов. Модель поддерживает чат-сценарии и использует формат весов safetensors. Слияние выполнено методом SLERP с настройками, заданными по слоям и компонентам внимания и MLP; в README указан тип данных bfloat16. Метаданные не содержат сведений о лицензии и конкретном наборе поддерживаемых языков, поэтому их нельзя надёжно указать.

NVIDIA Nemotron-3-Nano-4B-GGUF — это квантизированная версия языковой модели NVIDIA Nemotron-3-Nano-4B, подготовленная bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Указан английский язык; поддержка других языков и мультимодальность не заявлены. Модель имеет около 4 миллиардов параметров в исходной версии и поставляется в вариантах от BF16 до Q2_K_L, включая Q4_K_M, Q5_K_M и Q6_K_L. Квантизация позволяет сократить требования к памяти и запускать модель на локальных устройствах, однако более компактные варианты могут заметно уступать по качеству исходным весам. В README не указаны архитектура, размер контекста, точные показатели производительности и системные требования. Приведён формат промпта с ролями system, user и assistant, а также началом блока рассуждений. При обучении исходной модели использовались наборы данных NVIDIA, охватывающие общие тексты, научные материалы, следование инструкциям, агентные сценарии, календарное планирование, структурированный вывод, математику и соревновательное программирование. Лицензия указана как NVIDIA Nemotron Open Model License; условия следует уточнять в официальном тексте лицензии NVIDIA. Модель подходит для локальной генерации текста, диалоговых приложений, задач следования инструкциям, программирования, математических и агентных сценариев, но конкретные возможности следует проверять для выбранной квантизации.

Nemotron-H-47B-Reasoning-128K-GGUF — это набор GGUF-квантизаций модели Nemotron-H-47B-Reasoning-128K, разработанной NVIDIA и квантизированной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет 47 миллиардов параметров и заявленный контекст до 128K токенов. В README указана только текстовая модальность; сведения о языках, конкретной архитектуре и формате промптов отсутствуют. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций, поэтому можно выбирать между качеством, объёмом памяти и скоростью запуска. Для квантизации использовался imatrix и релиз llama.cpp b6317. Сильной стороной являются большой контекст и широкий выбор уровней квантизации, включая варианты Q4–Q6, рекомендованные автором как обеспечивающие высокое или хорошее качество при существенно меньшем размере файлов. Ограничения связаны с большими требованиями к оперативной или видеопамяти даже у компактных вариантов, а при более агрессивной квантизации возможно снижение качества. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели NVIDIA и соответствующего репозитория.

OpenVINO/Phi-3.5-mini-instruct-int4-ov — это квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Она предназначена для генерации текста, диалоговых сценариев и других задач, поддерживаемых исходной instruction-tuned моделью; конкретные языки, размер контекста и дополнительные модальности в карточке не указаны. Сжатие выполнено в режиме int4_asym с размером группы 128 и коэффициентом ratio 1. Модель совместима с OpenVINO версии 2024.5.0 и выше, а также с Optimum Intel версии 1.21.0 и выше, и может запускаться через OpenVINO GenAI на CPU и других поддерживаемых устройствах. Ограничения следует оценивать по исходной карточке Phi-3.5-mini-instruct; подробности о качестве после квантизации в README не приведены. Модель распространяется по лицензии MIT.

Quyen-Plus-v0.1 — диалоговая языковая модель серии Quyen, разработанной авторами модели на основе семейства Qwen1.5. Это плотная авторегрессионная модель архитектуры Qwen2ForCausalLM примерно с 7,1 млрд параметров и контекстом до 32 768 токенов. Она принимает текст и генерирует текст, используя шаблон диалога ChatML. Модель предназначена для диалоговых ответов и помощи с текстовыми запросами. Серия Quyen обучалась с использованием SFT и DPO на наборах OpenHermes-2.5, Capybara, Orca DPO и distilabel-capybara-dpo, а также на закрытых данных. В карточке приведены отдельные результаты тестов, но полный набор результатов и бенчмарков не представлен. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверить с лицензией и файлами репозитория. Модель опубликована в формате Safetensors и доступна через Transformers.

FiditeNemini/Qwen2.5-14B-DeepSeek-R1-1M-Uncensored — объединённая модель на 14 млрд параметров, созданная с помощью mergekit и метода TIES на основе mkurman/Qwen2.5-14B-DeepSeek-R1-1M с включением huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2. Она использует архитектуру Qwen2 с плотной языковой моделью для генерации текста и диалогов; заявленная длина контекста составляет около 1,01 млн токенов. Модель предназначена для диалогового взаимодействия и генерации текста с поддержкой интерфейса вызова инструментов. Многоязычная поддержка, включая конкретные языки, в предоставленных данных не описана. В названии и базовой модели указано ослабление отказов, поэтому поведение модели может быть менее ограничительным. Файлы представлены в формате safetensors; лицензия в доступных данных не приведена.

BenevolenceMessiah/Qwen2.5-72B-2x-Instruct-TIES-v1.0 — объединённая плотная языковая модель семейства Qwen2.5, созданная методом TIES с помощью mergekit. В качестве основы использована Qwen/Qwen2.5-72B; в объединение также вошли Rombos-LLM-V2.5-Qwen-72b и Dracarys2-72B-Instruct. Модель содержит 71,5 млрд параметров и имеет заявленное контекстное окно 131 072 токена. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Её можно применять для составления ответов, продолжения текста и сценариев чат-ассистента. README не уточняет специальные преимущества объединения, а сведения о языках обучения и целевых сценариях ограничены. Файлы представлены в формате Safetensors и предназначены для Transformers. Лицензия в предоставленных данных не указана.

Archsloth/Qwen3-4B-GGUF — это квантизированная GGUF-версия языковой модели Qwen3-4B, разработанная Archsloth на базе Qwen/Qwen3-4B. Модель предназначена для генерации текста, диалоговых сценариев, программирования и локального запуска через llama.cpp, в том числе на CPU и устройствах с ограниченными ресурсами. Доступны варианты квантизации Q4_K_M, Q6_K и Q8_0 с размером файлов примерно от 2,50 до 4,28 ГБ. Архитектура и структура тензоров соответствуют базовой модели Qwen3-4B, однако README не указывает точное число параметров, максимальный контекст и полный набор архитектурных характеристик. Заявлена поддержка корейского, английского, испанского, японского, китайского, русского, арабского, хинди и тайского языков, а также исходного кода. Для варианта Q4_K_M приведены измерения KL-дивергенции, показывающие более близкое соответствие исходной модели bf16 по сравнению с рядом альтернативных квантизаций аналогичного размера. Основные преимущества — компактный размер, возможность локального CPU-запуска и улучшенные заявленные показатели сохранения качества после квантизации, особенно для корейского языка и программного кода. Ограничения связаны с потерями качества квантизации, потребностью в значительном объёме памяти при длинном контексте и отсутствием в README подробных данных о производительности, мультимодальности и максимальной длине контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-INT8-INT4 — квантизированная версия языковой модели Qwen3-4B, разработанной Alibaba Cloud и обработанной командой PyTorch с использованием torchao. Это авторегрессионная модель для генерации текста, диалогов, работы с кодом и математическими задачами; заявлена поддержка многоязычных сценариев. Модель предназначена для локального и мобильного развертывания, в частности через ExecuTorch. Ключевая особенность — схема квантизации INT8-INT4: эмбеддинги используют 8-битные веса, динамические активации представлены в 8 битах, а линейные слои используют 4-битные веса. Размер базовой модели — 4 млрд параметров. Предоставляемый файл model.pte экспортирован с максимальной длиной последовательности и контекстом 1024 токена; этот параметр можно изменить повторным экспортом. На iPhone 15 Pro заявлена скорость около 14,8 токена в секунду при использовании примерно 3379 МБ памяти. Сильные стороны модели — уменьшенные требования к памяти и возможность запуска на мобильных устройствах при сохранении назначения исходной Qwen3-4B для диалогов, генерации текста, кода и решения математических задач. Ограничениями являются возможная потеря качества из-за квантизации, ограничение предоставленной сборки контекстом 1024 токена и зависимость мобильного запуска от ExecuTorch и совместимого устройства. В README приведена лицензия MIT; подробные результаты бенчмарков отсутствуют.

unsloth/Qwen3.5-0.8B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная языковая модель с vision-энкодером, предназначенная для локального запуска, прототипирования, исследовательских задач, специализированного дообучения, программирования, рассуждений, работы с изображениями и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. Она использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts, а также обучение с multi-step prediction (MTP), поддерживающее спекулятивное декодирование. Нативная длина контекста составляет 262 144 токена. Заявлена поддержка 201 языка и диалекта. Репозиторий ориентирован на совместное использование с llama.cpp и другими инструментами, поддерживающими GGUF; для MTP в llama.cpp требуется соответствующая ветка или актуальная версия с поддержкой draft-MTP. К сильным сторонам относятся малый размер, возможность эффективного локального запуска, мультимодальность, широкий языковой охват и потенциальное ускорение генерации примерно в 1,5–2 раза благодаря MTP. Ограничениями являются невысокий по современным меркам объём модели и, как следствие, вероятно более слабое качество сложных задач по сравнению с крупными моделями. Для MTP указаны ограничения: не поддерживаются параллельные последовательности с параметром -np больше 1 и использование mmproj. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-27B-V2-abliterated-uncensored-Q4_K_M-GGUF — мультимодальная модель семейства Qwen, выпущенная Lemura Labs. Она основана на Qwen/Qwen3.6-27B и производной Jackrong/Qwopus3.6-27B-v2, дополнительно обработанной методом abliteration для снижения количества отказов. Модель предназначена для генерации текста, диалогов, рассуждений и работы с изображениями совместно с текстовыми запросами. Модель содержит около 27 млрд параметров и распространяется в формате GGUF с 4-битной квантизацией Q4_K_M и эффективной плотностью около 4,92 BPW. Размер языковой части составляет примерно 15,4 ГБ, а комплектный визуальный проектор mmproj.gguf занимает около 928 МБ и сохраняет vision tower Qwen3.6-VL. Поддерживаются английский, китайский и, согласно карточке, мультиязычные сценарии. Для запуска рекомендуется llama.cpp; ориентировочные требования составляют от 16 ГБ GPU или 24 ГБ оперативной памяти на Apple Silicon. К сильным сторонам относятся мультимодальность, совместимость со стандартными сборками llama.cpp, относительно компактный размер для модели такого класса и существенно сниженная частота отказов: 4 из 100 против 91 из 100 у исходной версии в указанном тесте. При этом Q4_K_M уступает более точным вариантам по сохранению исходных характеристик, а для обработки изображений требуется отдельный mmproj.gguf. Показатели отказов и сохранения возможностей приведены разработчиком и могут зависеть от методики оценки; абляция защитных механизмов также может повышать риски небезопасного или нежелательного использования. Модель распространяется по лицензии Apache-2.0.

Frozenlock/Qwen3.8-27B-int4-AutoRound — это мультимодальная квантованная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем или организацией Frozenlock. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска и обслуживания через vLLM, включая сценарии генерации текста, работы с изображениями и инструментами. Модель использует квантование INT4 по схеме W4A16 с размером группы 128 и симметричным представлением, выполненное с помощью AutoRound 0.14.2 и упаковки auto_gptq. Квантованы основные языковые блоки и слои MTP, тогда как 96 тензоров GDN-линейного внимания in_proj_a и in_proj_b, а также vision tower и эмбеддинги сохранены в bf16. Размер весов составляет около 18 ГБ. Поддерживаются мультимодальные входные данные, вызов инструментов и спекулятивное декодирование MTP; заявленный нативный контекст — 262 144 токена, а базовая модель поддерживает расширение YaRN до 1 миллиона токенов. Ключевое преимущество сборки — совместимость квантованной MTP-головы со спекулятивным декодированием в vLLM, что в измерениях README почти удваивало скорость декодирования, хотя коэффициент принятия черновых токенов зависит от типа текста и составлял примерно 41–67%. Компактные веса также позволяют оставить больше памяти под KV-кэш, однако для эффективной работы требуются совместимые версии vLLM и Marlin W4A16, а мультимодальность, поддерживаемые языки и точные показатели качества отдельно не описаны. Производительность зависит от GPU, настроек KV-кэша, длины контекста и режима tensor parallelism.

Qwen3.8-27B-TURBO-Fable-Coder-GGUF — это многоз этапно дообученная и объединённая модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README модель представлена как разработка для потребительского оборудования с использованием Unsloth, методов COLD FUSION и Fable Fusion 711. Доступны GGUF-квантизации, включая обычные и MTP-варианты, с заявленной поддержкой режимов reasoning и thinking. Модель предназначена для широкого круга задач: программирования, решения задач, рассуждений, творческого письма, создания художественных текстов, ролевых сценариев и работы с различными жанрами. В метаданных указаны английский и китайский языки. Размер базовой модели — 27B параметров. Репозиторий также помечен как image-text-to-text, однако подробные сведения о поддерживаемых визуальных входах в README отсутствуют; максимальная длина контекста не указана. К заявленным сильным сторонам относятся сокращение объёма внутреннего рассуждения и ускорение генерации при сохранении детализации, а также высокие результаты на ARC-C и ARC-E. Автор утверждает, что модель превосходит базовые версии Qwen по ряду benchmarks, но эти показатели приведены без независимой методологии проверки. Ограничениями являются отсутствие подробных данных о контекстном окне, требованиях к памяти, совместимости MTP и качестве мультимодальной обработки. Модель описана как uncensored и abliterated, поэтому её ответы могут требовать дополнительной фильтрации и контроля безопасности. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-Q4_K_M-Vision-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, диалоговые сценарии и обработку изображений при использовании vision-варианта, если соответствующая система поддерживается базовой моделью. Заявлены языки English и Chinese. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ; в него встроена MTP-голова для speculative decoding. В README указано, что отказное поведение было существенно снижено с помощью Heretic без дообучения и дополнительных данных, но не устранено полностью. При обычном прямом проходе MTP-блок не влияет на качество вывода, а speculative decoding может ускорить генерацию, хотя коэффициент принятия черновых токенов может немного снизиться. К сильным сторонам относятся большой контекст, поддержка мультимодального ввода, сохранённая MTP-структура и относительно компактное представление Q4_K_M. Ограничения включают зависимость от поддержки vision и MTP со стороны конкретного рантайма, а также возможное ухудшение качества квантования по сравнению с f16; для Q4_K_M в README приведена perplexity 7,1814 на wikitext-2. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-9B-Distill-uncensored-heretic-GGUF — GGUF-квантизированная версия модели Qwen3.8-9B-Distill, подготовленная пользователем petruhonk на базе empero-ai/Qwen3.8-9B-Distill. Модель подвергнута «abliteration» с помощью Heretic v1.4.0 для снижения числа отказов при ответах на запросы, которые исходная модель отклоняет. Она предназначена для генерации текста, диалоговых приложений, агентских сценариев и функционального вызова инструментов через llama.cpp. Модель содержит 9 млрд параметров, 33 блока и сохранённую MTP-голову для speculative decoding с режимом draft-mtp. В репозитории опубликованы только текстовые веса в формате GGUF, предположительно с квантизацией Q8_0; для запуска с мультимодальными возможностями необходим отдельный файл mmproj. Исходная архитектура поддерживает изображения и видео, однако данный репозиторий не содержит соответствующих компонентов. Встроенный шаблон чата поддерживает tools и <tool_call>, а пример запуска рассчитан на контекст до 32768 токенов. К сильным сторонам относятся сохранённая MTP-голова, совместимость со speculative decoding и существенно меньшее число отказов по сравнению с исходной моделью: 6 из 100 против 100 из 100 в указанном тесте. Ограничения включают неполную мультимодальную поставку, зависимость качества и потребления памяти от выбранной квантизации, а также возможные изменения поведения из-за abliteration; показатель KL-дивергенции относительно исходной модели составляет 0,0306. Модель распространяется по лицензии Apache-2.0.

PrimeIntellect/Qwen3-8B — копия модели Qwen/Qwen3-8B с шаблоном чата, поддерживающим многоходовые диалоги и вызовы инструментов. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста в формате диалога. Модель принимает текст и выдаёт текст; её контекстное окно составляет 40 960 токенов. Модель основана на Qwen/Qwen3-8B-Base и адаптирована для использования с совместимым с вызовом инструментов шаблоном чата. Репозиторий распространяется в формате Safetensors; библиотека для работы — Transformers. Лицензия — Apache-2.0.

Qwen3-Next-80B-A3B-Instruct-8bit — языковая модель для генерации текста и диалогового взаимодействия, разработанная сообществом mlx-community на основе Qwen/Qwen3-Next-80B-A3B-Instruct от Qwen. Модель преобразована в формат MLX с использованием mlx-lm версии 0.27.1 и предназначена для запуска через библиотеку mlx-lm. Из README известно, что это 8-битная версия модели с архитектурой и характеристиками базовой модели Qwen3-Next-80B-A3B-Instruct, однако подробности об архитектуре, фактическом числе активных параметров, поддерживаемых языках, модальностях и размере контекста не указаны. Модель ориентирована на текстовую генерацию и может использоваться в чат-сценариях через встроенный chat template. Для работы требуется библиотека mlx-lm; пример запуска предполагает загрузку модели и токенизатора средствами Python. Ключевое преимущество модели — адаптация в MLX-формат и 8-битное представление, что делает её подходящей для экосистемы MLX и потенциально снижает требования к памяти по сравнению с полноточной версией. Ограничения, результаты оценивания и особенности качества в README не описаны. Модель распространяется по лицензии Apache-2.0.

Модель llamafy/Qwen-Qwen2.5-7B-llamafied — версия Qwen2.5-7B, преобразованная в формат Llama для совместимости с программами, поддерживающими этот формат. В метаданных указаны 7,1 млрд параметров, плотная архитектура с классом LlamaForCausalLM, библиотека Transformers и формат весов safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; также заявлен интерфейс вызова инструментов. Она поддерживает несколько языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Родная длина контекста — 4096 токенов. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; формат подходит для офлайн-сценариев на оборудовании с ограниченными ресурсами по сравнению с полной версией BF16. Модель относится к семейству Qwen3 и имеет заявленный размер 30B параметров, при этом в названии указано A3B. README не содержит сведений о поддерживаемых языках, длине контекста, конкретной архитектуре, мультимодальности и результатах тестирования. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6, Q5, Q4, Q3 и IQ; они различаются размером файлов, качеством и требованиями к оперативной памяти. Версии Q6 и Q5 отмечены как высококачественные, Q4_K_M — как стандартный вариант для большинства сценариев, а Q3 предназначены для систем с небольшим объёмом памяти, но дают более низкое качество. Сильными сторонами являются широкий выбор квантизаций, совместимость с популярными локальными инструментами и возможность подобрать баланс между качеством, скоростью и потреблением памяти. Ограничения включают неизбежное снижение качества в более компактных вариантах, значительный размер файлов даже после квантизации и отсутствие в README сведений о лицензии, языках и максимальном контексте. Для корректного диалога рекомендуется использовать указанный в README шаблон prompt format с секцией <think>.

Qwen_Qwen3.5-27B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-27B, разработанной командой Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и обработки изображений с текстом; запуск возможен через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README указан pipeline image-text-to-text, однако подробности о поддерживаемых языках и максимальном контексте не приведены. Доступны варианты от исходных весов BF16 размером 54,66 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M указан как стандартный вариант для большинства сценариев. Меньшие варианты экономят память, но могут заметно снижать качество ответов. Для ускорения генерации поддерживаются MTP-слои при использовании соответствующей функции llama.cpp. Модель удобна для локального запуска на совместимом оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения включают значительные требования к памяти даже у компактных вариантов, зависимость совместимости от обновлений используемого программного обеспечения и возможное ухудшение качества при сильной квантизации. Лицензия — Apache-2.0.

bartowski/Qwen_Qwen3.5-4B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-4B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в совместимых инструментах, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation WebUI. В метаданных указана задача image-text-to-text, однако подробные сведения о поддерживаемых модальностях, языках и максимальном контексте в README не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 2,4 до 8,67 ГБ. В README варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более компактные варианты экономят оперативную память, но снижают качество; часть форматов предназначена для ARM- и AVX-совместимого CPU-инференса. Поддерживаются MTP-слои при использовании актуальной версии llama.cpp и параметра draft-mtp. Преимущество модели — возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного уровня квантизации и совместимости используемого инструмента; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Распространение указано по лицензии Apache-2.0.

ClaudioItaly/QwenTies-14B — плотная языковая модель семейства Qwen2.5, созданная автором репозитория с помощью TIES-слияния предварительно обученной Qwen2.5-14B и инструкционной Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат safetensors; для работы указан стек Transformers. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая структурированные ответы и интерфейс вызова инструментов. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также для сценариев, где требуется длинный контекст. Карточка не приводит результатов оценки качества. Сведения о лицензии в доступных данных отсутствуют.

Fulcrum-AI/Ryze-Mistral-7B-Instruct-v0.3-10 — текстовая генеративная модель для диалогов и выполнения инструкций. Карточка сообщает, что модель создана с помощью mergekit методом passthrough; в слиянии участвовала mistralai/Mistral-7B-Instruct-v0.3. Метаданные классифицируют её как плотную архитектуру Mistral с классом MistralForCausalLM и указывают 16,3 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель подходит для генерации ответов и текста в диалоге, а также для сценариев с интерфейсом вызова инструментов. Базовая Mistral-7B-Instruct-v0.3 предназначена для диалогов, генерации текста и работы с инструментами. В README и метаданных лицензия не указана.

Fulcrum-AI опубликовала модель Ryze-Nemo-passthrough — объединение языковых моделей, созданное с помощью mergekit методом passthrough. В конфигурации дважды используются слои модели mistralai/Mistral-Nemo-Instruct-2407: диапазоны 0–24 и 8–32; веса представлены в формате safetensors, а конфигурация слияния указывает bfloat16. Архитектура — плотная MistralForCausalLM примерно на 14,4 млрд параметров. Модель предназначена для генерации текста и диалогов; в метаданных также заявлен интерфейс вызова инструментов. Указанная для неё длина контекста — 1 024 000 токенов. Базовая модель описана как многоязычная инструктивная модель для диалога, следования инструкциям и вызова инструментов. Лицензия в предоставленных данных не указана.