II.4Отладка, тестирование и качество ПО

Matter-0.1-7B-boost-DPO-preview — диалоговая языковая модель на архитектуре Mistral, разработанная 0-hero. Это версия Matter 7B Boost, дообученная методом DPO на наборе Matter, составленном из более чем 35 датасетов и охватывающем свыше 6 млрд токенов. Модель содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель предназначена для диалоговой генерации текста и работы в формате ChatML. В README также заявлена поддержка вызова функций, позволяющая использовать её в приложениях с инструментами. Метаданные указывают английский язык; модель опубликована в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Возможные ограничения включают ошибки и выдуманные ответы, характерные для генеративных языковых моделей; качество вызова функций зависит от корректного форматирования запросов и обработки специальных токенов.

Это версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная mlx-community и опубликованная MaziyarPanahi. Модель предназначена для диалоговой генерации текста и выполнения инструкций; её можно запускать локально с помощью llama.cpp и совместимых приложений. Каталог указывает на 8 млрд параметров у базовой модели и плотную архитектуру семейства Mistral. Репозиторий содержит файлы GGUF в формате BF16. README перечисляет llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие совместимые средства запуска. Лицензия и конкретные ограничения применения в предоставленных данных не описаны.

DevQuasar-12/meta-llama.Llama-4-Scout-17B-16E-Instruct-GGUF — это квантованная версия языковой модели meta-llama/Llama-4-Scout-17B-16E-Instruct, опубликованная DevQuasar. Модель предназначена для генерации текста и работы в сценариях инструкционного взаимодействия, включая ответы на запросы пользователя и выполнение текстовых задач. Модель относится к семейству Llama 4 Scout; в её обозначении указаны конфигурация 17B и 16E. Формат GGUF предназначен для использования в совместимых инструментах локального запуска квантованных моделей. Согласно README, модель работает только с текстом; сведения о поддерживаемых языках, размере контекста и конкретном варианте квантования не приведены. К сильным сторонам относятся инструкцийная настройка исходной модели и возможность локального использования квантованной версии, что может снизить требования к ресурсам по сравнению с полноразмерной моделью. Ограничения связаны с отсутствием мультимодальных возможностей и недостатком данных о качестве, точности, требованиях к оборудованию и параметрах квантования. Лицензия в README не указана; условия использования следует уточнять для исходной модели и данной публикации отдельно.

MiniCPM5-2B-Claude-Fable5-heretic — языковая модель для генерации текста и агентских сценариев, созданная RACER IS OP на основе SauravMahalik/MiniCPM5-2B-Claude-Fable5. Родительская модель получена дообучением openbmb/MiniCPM5-2B на агентских трассах, дистиллированных из Claude Fable-5 и других передовых моделей, а затем в этой версии поведение отказов было подавлено методом Heretic v1.4.0 посредством направленного редактирования весов, без дополнительного дообучения. Модель предназначена для многошагового следования инструкциям, диалогов, вызова функций и инструментов, а также разработки локальных и автономных агентов. Она поддерживает английский и китайский языки, имеет архитектуру Llama и около 2,57 млрд параметров. Доступны версии Safetensors и GGUF различных уровней квантования, благодаря чему модель рассчитана на запуск на потребительских GPU, CPU, Apple Silicon и небольших устройствах через llama.cpp, Ollama, LM Studio или Jan. Размер контекста в README не указан. К сильным сторонам относятся компактный размер, сохранение заявленных способностей к использованию инструментов и агентскому диалогу, а также значительно сниженное количество отказов по сравнению с родительской моделью: 3 из 100 против 89 из 100 в приведённом авторами тесте. При этом модель является uncensored-вариантом без исходных защитных ограничителей, поэтому её ответы требуют дополнительной проверки и мер безопасности. Приведённые показатели основаны на тестах авторов и не являются независимой оценкой; влияние абляции и квантования на качество может различаться. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI/MiniMax-M2.7-JANGTQ — это квантизированная версия MiniMax-M2.7, разработанная JANGQ-AI на базе архитектуры MiniMax M2 от MiniMaxAI. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и работы с инструментами. Она ориентирована на запуск в MLX и vMLX на компьютерах Apple Silicon, включая M3 Max с 96 ГБ памяти и более новые M4 Max, M5 Max и Mac Studio с 128 ГБ памяти. Модель использует архитектуру MoE с 62 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Заявленный контекст составляет 196K токенов. Размер сборки на диске — около 47 ГБ вместо примерно 230 ГБ у исходной FP8-версии. Маршрутизируемые экспертные веса сжаты до 2 бит методом JANGTQ2, а attention, общие экспертные компоненты, эмбеддинги и lm_head используют 8-битное аффинное квантование; нормализации и маршрутизатор частично сохранены в исходной точности. Поддерживаются reasoning через парсер qwen3 и вызовы инструментов через парсер minimax; режим рассуждения включён по умолчанию и может быть отключён. К сильным сторонам относятся существенное уменьшение размера, предварительно собранная структура экспертных весов, быстрая загрузка без дополнительной перестановки и заявленная идентичная скорость декодирования по сравнению с предыдущей раскладкой. Ограничения связаны с узкой совместимостью с MLX/vMLX и требованием значительного объёма объединённой памяти Apple Silicon. Язык модели, точные показатели качества и полный набор поддерживаемых языков в README не указаны. Лицензия — minimax-m2.7-non-commercial; сборка предназначена для некоммерческого использования.

MiniMax-M3-GGUF — это квантизированная в формате GGUF версия модели MiniMax-M3, разработанной компанией MiniMaxAI и подготовленная пользователем bartowski с использованием llama.cpp. Модель относится к архитектурам MoE и содержит около 427 млрд параметров. Доступны варианты квантизации от Q2 до Q8, включая imatrix-квантизации, с размером файлов примерно от 146 до 454 ГБ. Модель предназначена для работы с текстом, а также с изображениями при использовании дополнительного файла mmproj. По заявленным тегам, её предполагаемые сценарии включают мультимодальные задачи, программирование, агентные приложения и обработку видео, однако подробные результаты тестирования и точные поддерживаемые видеосценарии не указаны. Формат GGUF ориентирован на запуск через llama.cpp и совместимые инструменты. В README не указаны размер контекстного окна, список поддерживаемых языков и детальные характеристики архитектуры. К сильным сторонам относятся очень большой размер базовой модели, поддержка мультимодального ввода и широкий выбор вариантов квантизации с разным соотношением качества и требований к памяти. Основные ограничения — исключительно высокие требования к дисковому пространству и оперативной или видеопамяти, а также возможное снижение качества при выборе низкобитных вариантов. Модель не поддерживает MTP. Лицензия обозначена как minimax-community; также указано общее обозначение лицензии other, поэтому условия использования следует уточнять в файле LICENSE исходного репозитория.

Ministral-8B-Instruct-2410-4bit — 4-битная квантованная версия инструкционной языковой модели Ministral-8B-Instruct-2410-HF, разработанной Mistral AI и опубликованной сообществом mlx-community. Модель предназначена для генерации и обработки текста по инструкциям, включая диалоговые сценарии, ответы на вопросы, написание и преобразование текста, а также другие задачи, где требуется компактная локально запускаемая LLM. Модель имеет размер 8B параметров и использует 4-битное представление весов, что снижает требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат или параметры контекстного окна, точная архитектура, показатели качества и перечень поддерживаемых модальностей в предоставленных данных не указаны; по имеющейся информации это текстовая модель. К сильным сторонам относятся инструкционная настройка, многоязычность и уменьшенный объём памяти благодаря 4-битной квантизации. К ограничениям относятся возможная потеря качества по сравнению с исходной версией из-за квантизации, а также отсутствие в README подробных результатов тестирования и характеристик производительности. Модель распространяется по Mistral AI Research License (MRL-0.1): использование модели, производных версий и результатов ограничено исследовательскими целями, а распространение требует соблюдения условий лицензии и указания атрибуции Mistral AI.

wang7776/Mistral-7B-Instruct-v0.2-sparsity-30-v0.1 — разреженная версия чат-модели Mistral-7B-Instruct-v0.2, созданная методом Wanda с целевой разреженностью 30%. В карточке сказано, что pruning выполнен без дообучения и изменения весов. Модель основана на Mistral-7B-Instruct-v0.2; её архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention. Репозиторий содержит веса Safetensors; в метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов по инструкциям, подаваемым в формате Mistral с маркерами [INST] и [/INST]. Она принимает текст и генерирует текст. Карточка не задаёт основной язык модели. Лицензия — Apache-2.0. По заявлению карточки, разреживание сохраняет конкурентоспособное качество, но конкретные результаты оценки не приведены. У модели нет встроенных механизмов модерации, поэтому её ответы могут требовать отдельной проверки и фильтрации.

unsloth/mistral-7b-instruct-v0.3 — версия Mistral 7B Instruct, опубликованная Unsloth. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров для генерации текста и диалогов по инструкциям; в метаданных указаны библиотека Transformers и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает английский язык и интерфейс вызова инструментов. Модель подходит для диалоговых помощников и генерации ответов по запросу. README описывает её как основу для дообучения в разговорном формате ShareGPT/ChatML или Vicuna, а также для задач продолжения текста и DPO. Репозиторий содержит веса Safetensors; указана лицензия Apache 2.0. Это instruct-модель общего назначения, поэтому её ответы могут содержать ошибки и требуют проверки в критичных сценариях. README посвящён примерам и инструментам дообучения Unsloth и не приводит оценки качества самой модели.

RedHatAI/Mixtral-8x7B-Instruct-v0.1 — разговорная instruct-модель, опубликованная Red Hat AI на основе Mistral AI Mixtral-8x7B-Instruct-v0.1. Она предназначена для диалога и генерации текста по запросам, например для ответов на вопросы и объяснения понятий. Модель использует архитектуру Mixtral с разреженной экспертной маршрутизацией (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст; в карточке заявлены английский, французский, итальянский, немецкий и испанский языки. README описывает развёртывание с vLLM, Red Hat Enterprise Linux AI и OpenShift AI. Модель распространяется по лицензии Apache-2.0. В README указано, что у неё нет встроенных механизмов модерации, поэтому сгенерированные ответы могут требовать отдельной фильтрации.

MoEstral-2x7B — диалоговая языковая модель на архитектуре Mixtral/MoE, опубликованная paulilioaica. Она предназначена для генерации текста и ответов на инструкции, в том числе для задач рассуждения, работы с числами и абстрактными понятиями. В карточке описано объединение через mergekit двух копий mistralai/Mistral-7B-Instruct-v0.2 с маршрутизацией экспертов по тематическим подсказкам; метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель принимает текст и генерирует текст в диалоговом режиме. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. README приводит результаты на отдельных бенчмарках, но не описывает методику или полный набор оценок, поэтому эти цифры не позволяют судить о качестве во всех сценариях.

Это квантованная сборка NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, подготовленная FreedomAISVR в формате GGUF для запуска через llama.cpp. Модель имеет гибридную архитектуру Mamba2 и Transformer с MoE: 30 млрд параметров, около 3 млрд активных, 52 слоя, включая 23 слоя Mamba2, 23 MoE-блока и 6 слоёв внимания; в MoE используются 128 экспертов и маршрутизация к шести из них. Для Mamba2-тензоров применяется F16, остальные веса хранятся в NVFP4; для обработки изображений README также описывает отдельный файл SigLIP-проектора. Модель предназначена для генерации текста и диалоговых сценариев с рассуждением. Заявленный контекст — 262 тыс. токенов. Поддержка изображений упоминается в комплекте файлов, однако метаданные классифицируют репозиторий только как text-generation. README сообщает, что CUDA-ядра Mamba2 требуют F32 и при работе с квантованными тензорами могут переводить соответствующие слои на CPU, что снижает производительность. Лицензия указана как other, без дополнительных условий в предоставленных данных.

Noromaid-7b-v0.1.1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и NeverSleep/Noromaid-7b-v0.1.1 методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции в формате диалога; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по запросу. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.

Nous Hermes 2 Llama-2 70B — языковая модель для диалоговой генерации текста, разработанная Nous Research и дообученная на наборе Hermes 2. Для обучения использовали более миллиона примеров, преимущественно созданных GPT-4, а также данные из открытых наборов. Модель основана на плотной архитектуре Llama и содержит 68,7 млрд параметров. Модель предназначена для многоходового общения и выполнения инструкций. Она использует формат запросов ChatML с ролями и специальными маркерами ходов; карточка также отмечает совместимость этого формата с интерфейсами OpenAI API. Контекст составляет 4096 токенов. Указанный язык — английский. Модель принимает текстовые запросы и генерирует текстовые ответы. Карточка приводит пример использования через Transformers и отмечает высокие требования к видеопамяти: даже в 4-битном режиме требуется более 24 ГБ VRAM. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-4M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и работу с очень длинными контекстами; обозначение UltraLong-4M указывает на поддержку контекста до 4 миллионов токенов. В карточке указано, что модель ориентирована на английский язык и относится к текстовой модальности. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF, совместимом с llama.cpp, LM Studio и другими проектами на его основе. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций с размером файлов примерно от 4,3 до 16,1 ГБ. Квантизации выполнены с использованием imatrix, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса; наиболее качественными названы BF16, Q8_0 и варианты Q6, а Q4 и Q3 подходят для систем с меньшим объёмом оперативной памяти. Основные ограничения связаны с использованием квантизированных вариантов: уменьшение размера может сопровождаться снижением качества по сравнению с исходными весами, а требования к памяти при работе с контекстом в миллионы токенов остаются высокими. Для корректной работы следует использовать рекомендованный шаблон prompt формата Llama 3.1. Лицензия модели — CC-BY-NC-4.0, допускающая использование с некоммерческими ограничениями.

bartowski/nvidia_Llama-3_3-Nemotron-Super-49B-v1-GGUF — это GGUF-квантизированная версия языковой модели Llama-3_3-Nemotron-Super-49B-v1, разработанной NVIDIA и подготовленной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других совместимых проектах. Указана поддержка английского языка и текстовая модальность. Модель относится к классу крупных моделей с заявленным размером 49B параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций; рекомендуемыми названы, в частности, Q6_K, Q5_K, Q4_K_M и IQ4_XS. Размер файлов составляет примерно от 22,66 до 99,74 ГБ, поэтому для запуска требуется значительный объём оперативной или видеопамяти, зависящий от выбранного варианта. Квантизация снижает требования к ресурсам и позволяет использовать модель локально, но более компактные варианты могут уступать исходной модели по качеству. README не содержит данных о длине контекста, точной архитектуре, результатах тестирования, производительности или поддержке других языков, поэтому эти характеристики нельзя надёжно оценить. Модель распространяется по NVIDIA Open Model License; условия лицензии следует уточнять по указанной NVIDIA-ссылке.

OpenHermes-2.5-Mistral-7B-AWQ — это 4-битная AWQ-квантизованная версия языковой модели OpenHermes 2.5 Mistral 7B. Исходную модель разработала Teknium, а квантизацию выполнил TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста, диалоговых сценариев и выполнения инструкций на английском языке. Модель содержит около 7 млрд параметров, использует формат взаимодействия ChatML и рассчитана на контекст длиной до 4096 токенов. Доступная сборка имеет групповой размер AWQ 128, обучающий набор для калибровки wikitext и размер около 4,15 ГБ. Квантизация снижает требования к памяти и предназначена прежде всего для быстрого GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или text-generation-webui. К сильным сторонам относятся компактный размер, высокая скорость инференса и возможность запуска на совместимом пользовательском оборудовании. Ограничения включают поддержку только английского языка в заявленных метаданных, зависимость от совместимого AWQ-инструментария и потенциальные потери качества по сравнению с исходной моделью в формате FP16, характерные для квантизованных моделей. Модель распространяется по лицензии Apache-2.0.

OpenSonnet-Lite-MAX — дообученная языковая модель hadadxyz на архитектуре Qwen3, основанная на Qwen/Qwen3-4B-Thinking-2507. Она предназначена для диалоговой генерации текста, следования инструкциям и решения задач с рассуждением; в карточке также показана демонстрация вызова инструментов. Модель содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. Указаны многоэтапное дообучение в два прохода и оценка 85,22 на GSM8K; результатов для MMLU-Pro и GPQA Diamond карточка не приводит. Модель распространяется в формате safetensors через Transformers по лицензии Apache 2.0. Языки обучения или поддерживаемые естественные языки в предоставленных данных не обозначены. Результаты бенчмарка и заявленные возможности основаны на карточке модели и сами по себе не гарантируют аналогичное качество на других задачах.

llama_3_orca_mini_v5_8b_orpo — разговорная языковая модель, созданная Pankaj Mathur на базе семейства Llama 3 и обученная с использованием наборов данных ORPO. Модель предназначена для диалога и ответов на запросы в роли универсального ИИ-ассистента; в README указан формат промпта ChatML. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров, принимает текст и генерирует текст. Родной контекст составляет 8192 токена; в метаданных заявлен английский язык. Веса опубликованы в форматах PyTorch и Safetensors. Автор разрешает дальнейшее полное дообучение, настройку DPO, PPO и ORPO, а также объединение моделей при условии указания авторства. Лицензия указана как llama3.

LuffyTheFox/Ornith1.5-35B-A3B-Genesis-Hermes-GGUF — экспериментальная мультимодальная модель в формате GGUF, созданная на основе Ornith-1.5-35B-A3B от ornith-ai. В её основу также перенесены данные из Hermes-файнтюна DJLougen/hermes-qwen3.5-35b-a3b-GGUF, ориентированного на агентские сценарии и вызов функций. Релиз относится к проекту Genesis, автор которого заявляет о посттренировочной численной обработке весов без дополнительного обучения; эти заявления не подтверждены независимыми оценками в представленном описании. Модель предназначена для генерации текста и обработки изображений с текстовыми инструкциями, а также для диалогов, программирования, агентских задач и function calling. Заявлены поддержка английского и китайского языков, а также многоязычность. Архитектура — Mixture of Experts с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров; точный размер контекста в README не указан. К потенциальным сильным сторонам относятся мультимодальность, MoE-архитектура и ориентация на следование инструкциям и агентские рабочие процессы. Модель экспериментальная, а заявленные улучшения стабильности, снижения шумов и качества не сопровождаются результатами бенчмарков, поэтому фактическую производительность следует проверять самостоятельно. Для запуска рекомендуется использовать совместимый GGUF-движок; README также содержит настройки для GPU-offload, MoE и KV-кэша. Указана лицензия MIT.

prototype-128x03 — языковая модель, созданная разработчиком shamwowzer слиянием предварительно обученных моделей при помощи mergekit. В слиянии использованы /workspace/modeler/Behemoth и /workspace/mistral-text-only; последняя указана базовой моделью. Применён метод Multi-SLERP, итоговые веса сохранены в формате safetensors с точностью bfloat16. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 123,4 млрд параметров. Она предназначена для генерации текста и диалогового общения; максимальный контекст составляет 262 144 токена. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Mungert/Qwen2.5-14B-Instruct-1M-GGUF — это GGUF-версия инструкционной языковой модели Qwen2.5-14B от команды Qwen, подготовленная пользователем Mungert. Модель предназначена для генерации текста и диалоговых сценариев, включая работу чат-ассистента, ответы на инструкции и локальный запуск на системах с ограниченными ресурсами. В метаданных указаны английский язык и задача text-generation; название модели указывает на поддержку контекста до 1 миллиона токенов, однако подробные характеристики контекстного окна в README не приведены. Ключевая особенность сборки — ультранизкая 1–2-битная квантизация с динамическим распределением точности IQ-DynamicGate. Для разных слоёв применяются форматы IQ1 и IQ2, а критические embedding- и output-слои защищаются квантизацией Q5_K. Такой подход снижает требования к памяти и подходит для CPU, edge-устройств и GPU с ограниченным VRAM, но может уступать моделям с более высокой точностью и требует проверки качества именно на Qwen2.5-14B, поскольку приведённые в README бенчмарки выполнены на Llama-3-8B-Instruct. Размер файлов, конкретный вариант квантизации и скорость зависят от выбранного GGUF-файла. Лицензия — Apache-2.0.

EasierAI/Qwen-2.5-32B — это GGUF-квантизированная версия Qwen2.5-32B-Instruct, предназначенная для генерации текста и диалогового взаимодействия. Исходная модель разработана командой Qwen, а представленные квантизации подготовлены bartowski с использованием llama.cpp и imatrix. Модель ориентирована на чат, локальный запуск и другие сценарии текстовой генерации, включая использование в LM Studio. В README указано, что модель поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Размер исходной модели составляет 32B параметров; доступны варианты от F16 до IQ3 и Q3-квантизаций с объёмом файлов примерно от 13,71 до 65,54 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. Точная архитектура и максимальная длина контекста в README не указаны; отмечено лишь обновление настроек контекста и токенизатора. Сильными сторонами являются многоязычность, широкий выбор квантизаций и возможность локального инференса, включая варианты, оптимизированные для ARM. Ограничения связаны с компромиссом между качеством и требованиями к памяти при использовании низкоразрядных вариантов, а также с отсутствием в описании результатов тестирования и точных характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Mavapy-b-7B — слитая методом della модель генерации текста, созданная с помощью mergekit на основе Qwen2.5-Mavapy-7B и объединяющая Locutusque/StockQwen-2.5-7B и fblgit/cybertron-v4-qw7B-MGS. Модель разработана сообществом mergekit-community; архитектура — плотная Qwen2ForCausalLM с 7,1 млрд параметров, доступная в формате safetensors. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает контекст до 32 768 токенов и работает с текстовым вводом и выводом. README описывает конфигурацию с типом выходных весов bfloat16. README рекомендует дообучить модель перед использованием. Данных о лицензии и конкретных языках в предоставленных источниках нет.

mlx-community/Qwen3-4B-Thinking-2507-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Thinking-2507, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.2. Исходная модель опубликована организацией Qwen. Модель относится к классу text-generation и предназначена для генерации текста и диалогового взаимодействия. Модель рассчитана на запуск через библиотеку mlx-lm, включая загрузку токенизатора и применение chat template для диалоговых запросов. Из README известно, что она использует формат MLX и имеет размер исходной модели 4B параметров; применяется 4-битное представление. Сведения о поддерживаемых языках, длине контекста, точной архитектуре и мультимодальных возможностях не указаны, поэтому модель следует рассматривать как текстовую. Ключевое преимущество — адаптация к экосистеме MLX и уменьшенное 4-битное представление, что может снизить требования к памяти при локальном запуске. Ограничения README не описывает: отсутствуют данные о качестве, производительности, скорости, специализации модели и известных рисках. Лицензия — Apache-2.0.

trymirai/Qwen3.5-4B-M — это средний по размеру 4-битный вариант модели Qwen3.5-4B, подготовленный Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и унаследовала архитектуру, назначение, языки, модальности и другие базовые свойства оригинальной Qwen3.5-4B, однако в представленном README их подробные характеристики не указаны. Квантизация выполнена с использованием 4-битного асимметричного целочисленного представления, 4-битных zero points, масштабов bfloat16 и размера группы 32. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms; после посттренировочной квантизации использовалась дистилляция с учётом квантизации. По заявлению разработчиков, чекпойнт находится на компромиссном фронте между размером и KL-дивергенцией, то есть сочетает уменьшенный размер с сохранением качества. Основное преимущество модели — возможность более эффективного локального вывода на Apple silicon при меньших требованиях к памяти по сравнению с исходной моделью. Ограничение состоит в том, что в README заявлена поддержка только Apple silicon; характеристики производительности и качества для других платформ не приведены. Для запуска предлагается пакет mirai для macOS или сборка из исходного кода. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем jaromer и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоги и другие задачи обработки текста; доступны также варианты с поддержкой изображений, если это поддерживается базовой моделью. Уровень отказов существенно снижен с помощью метода abliteration на базе Heretic, однако полностью не устранён. Дополнительное обучение и новые обучающие данные не использовались. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, контекст до 262 144 токенов, один MTP-слой и поддержку vision. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ. Варианты с сохранённой MTP-головой поддерживают speculative decoding; также предлагаются отдельные target- и draft-файлы. Заявленные языки — английский и китайский. Сильными сторонами являются большой контекст, широкий выбор квантизаций, поддержка MTP и близкие к f16 показатели perplexity у большинства вариантов; IQ2_M заметно уступает остальным по этому измерению. Perplexity не оценивает качество рассуждений, программирования, мультиязычности или поведения отказов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-4B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это полнопараметрическая дистилляция Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Модель ориентирована на рассуждения и использует встроенный шаблон чата; ответы начинаются с блока <think>, который при необходимости можно удалять перед показом пользователю. Доступны варианты от Q4_K_M до BF16 размером примерно от 2,783 до 8,666 ГБ. Рекомендуемый Q4_K_M обеспечивает баланс качества и размера, а Q8_0 и BF16 дают более высокое качество при повышенных требованиях к памяти. Архитектура Qwen3.5 использует гибрид из слоёв Gated DeltaNet и полноценных attention-слоёв, поэтому требуется свежая версия llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. В карточке указаны английский язык и сценарий text-generation; размер контекста не заявлен. По приведённым оценкам, модель заметно превосходит базовую Qwen3.5-4B в MMLU, но уступает ей в GSM8K CoT, поэтому качество зависит от типа задачи. Для Q4_K_M и Q5_K_M подходят видеокарты с 4–6 ГБ памяти, Q6_K и Q8_0 требуют примерно 6–8 ГБ, а BF16 — от 12 ГБ; при длинном контексте дополнительные ресурсы нужны для KV-кэша. Веса распространяются по лицензии Apache-2.0.

empero-ai/Qwen3.8-9B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это дистилляция крупной Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Указан английский язык; поддерживаемые модальности и размер контекста в карточке не уточняются. Модель имеет гибридную архитектуру Qwen3.5 с тремя слоями Gated DeltaNet на каждый слой полной attention-механики и ориентирована на reasoning-сценарии. В карточке приведены варианты от Q4_K_M размером 5,780 GB до BF16 размером 18,407 GB; рекомендуемым считается Q4_K_M как оптимальный баланс качества и объёма. Для работы требуется современная сборка llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. Модель использует встроенный шаблон чата и формирует рассуждения в блоках <think>, которые при необходимости следует удалять из пользовательского вывода. По заявленным оценкам исходной модели, дистилляция заметно улучшает результат на MMLU по сравнению с базовой Qwen3.5-9B, однако немного уступает ей на GSM8K. К ограничениям относятся необходимость совместимого рантайма, потребность в дополнительной памяти под KV-кэш при длинном контексте и отсутствие в этой карточке подробных бенчмарков и рекомендаций по применению. Веса распространяются по лицензии Apache-2.0.

mlx-community/Qwen3-8B-4bit — языковая модель для генерации текста, преобразованная сообществом mlx-community из базовой модели Qwen/Qwen3-8B в формат MLX с использованием mlx-lm версии 0.24.0. Модель предназначена для запуска и генерации текста через библиотеку mlx-lm, включая диалоговые сценарии с применением chat template, если он доступен в токенизаторе. Модель имеет 8B параметров; обозначение 4bit указывает на 4-битное представление, ориентированное на более компактное хранение и эффективный запуск. В README не указаны архитектурные детали, поддерживаемые языки, контекстное окно или дополнительные модальности, поэтому эти характеристики нельзя достоверно определить. Сильной стороной является готовая конвертация в формат MLX и возможность использования через стандартный интерфейс mlx-lm; ограничениями могут быть особенности совместимости и качества, связанные с 4-битным представлением, однако конкретные показатели в README не приведены. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README содержит пример загрузки модели и генерации ответа.