II.2Создание и понимание программного кода

Mistral-22B-v0.2-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Mistral-22B-v0.2, опубликованный и квантизированный bartowski на основе исходной модели Vezora/Mistral-22B-v0.2. Файлы предназначены для запуска через llama.cpp и совместимые инструменты, включая локальный запуск с использованием CPU, GPU или их комбинации. Модель рассчитана на задачи генерации текста и диалогового взаимодействия. В README указаны шаблон запроса с ролями System, Human и Assistant, а также множество вариантов квантизации от Q8_0 до IQ1_S. Размер файлов составляет примерно от 4,82 до 23,63 ГБ; варианты с более высокой точностью обычно обеспечивают лучшее качество, но требуют больше памяти. Рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS. К ключевым ограничениям относятся потери качества при использовании низкобитных вариантов, причём IQ1_M и IQ1_S прямо не рекомендуются. README не содержит сведений об архитектуре слоёв, размере контекста, поддерживаемых языках, модальностях помимо текста или результатах бенчмарков. Квантизации выполнены с использованием imatrix и датасета Kalomaze. Указана лицензия Apache-2.0.

Это квантизированная версия в формате GGUF модели MaziyarPanahi/Mistral-7B-Instruct-v0.1-16k-Mistral-7B-Instruct-v0.2-slerp. Модель разработана и подготовлена MaziyarPanahi; исходная версия получена объединением Mistral-7B-Instruct-v0.1-16k от NurtureAI и Mistral-7B-Instruct-v0.2 от Mistral AI методом slerp. Модель предназначена для генерации текста и работы с инструкциями, включая локальные чат-сценарии и другие задачи text generation, совместимые с поддерживаемыми GGUF инструментами. Модель имеет около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством. README не указывает точный размер контекстного окна объединённой модели, языки, результаты тестирования или специализированные преимущества. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими совместимыми средствами, поэтому модель подходит для локального запуска на различных платформах, в том числе с GPU-ускорением. Ограничениями являются зависимость характеристик от выбранного уровня квантизации и отсутствие подтверждённых в README данных о качестве, языковой специализации и производительности. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-quantized.w4a16 — текстовая instruction-tuned модель семейства Mistral-Nemo, разработанная Neural Magic на основе Mistral-Nemo-Instruct-2407. Она предназначена для коммерческого и исследовательского использования в англоязычных assistant-like чат-сценариях и задачах генерации текста. Модель работает только с текстом на входе и выходе и использует INT4-квантизацию весов линейных слоёв трансформера по схеме W4A16 с алгоритмом GPTQ, групповой симметричной квантизацией и размером группы 128. Снижение разрядности с 16 до 4 бит уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что облегчает развёртывание через vLLM или Transformers. Заявленный результат на OpenLLM Leaderboard v1 составляет 70,13 против 71,61 у неквантизированной версии. К сильным сторонам относятся существенно сниженные требования к памяти и удобство эффективного инференса. Ограничения включают поддержку и заявленное назначение только для английского языка, а также небольшое снижение benchmark-показателей относительно исходной модели; размер модели и максимальная длина контекста в README не указаны. В описании указана лицензия Apache-2.0, хотя в метаданных README также присутствует значение llama2; это расхождение следует уточнить перед использованием.

Mistral-Small-22B-ArliAI-RPMax-v1.1-GGUF — это квантизированная версия текстовой генеративной модели ArliAI/Mistral-Small-22B-ArliAI-RPMax-v1.1. Исходную модель разработала ArliAI, а сборку в формате GGUF подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через совместимые инструменты, включая llama.cpp и LM Studio. Модель относится к семейству Mistral и содержит около 22 миллиардов параметров. Доступны версии от F16 до разных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ4_XS, что позволяет выбирать между качеством генерации, потреблением памяти и скоростью инференса. Размер файлов варьируется примерно от 11,7 до 44,5 ГБ. Для некоторых вариантов предусмотрена оптимизация под ARM, включая требования к поддержке sve или i8mm. Рекомендуемый формат prompt — <s> [INST] запрос [/INST]. Сильной стороной сборки является широкий выбор квантизаций, включая варианты с высоким качеством и уменьшенным потреблением памяти, что упрощает локальное развертывание. Ограничения и дополнительные характеристики исходной модели, включая поддерживаемые языки, размер контекста, точную архитектуру, мультимодальность и результаты тестирования, в README не указаны. Модель распространяется по лицензии MRL-0.1; в метаданных она обозначена как license: other.

Это GGUF-квантизированная версия текстовой генеративной модели Qwen3-4B-abliterated, разработанной mlabonne и подготовленной пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b5200 и метода imatrix, что позволяет запускать модель в локальных приложениях на базе llama.cpp, включая LM Studio. Модель предназначена для генерации текста в диалоговом формате с использованием шаблона prompt формата ChatML. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные форматы. Размер файлов составляет примерно от 1,8 до 8,05 ГБ; варианты с более высокой точностью обеспечивают лучшее качество, а варианты с низкой разрядностью требуют меньше оперативной памяти. Рекомендуемым компромиссом для большинства сценариев указан Q4_K_M, а для максимального качества — Q6_K или Q6_K_L. В README не указаны архитектурные детали исходной модели, поддерживаемые языки, размер контекста, мультимодальные возможности и лицензия. Поэтому модель следует рассматривать как локальную текстовую LLM для совместимых инструментов llama.cpp, с ограничениями, зависящими от выбранного варианта квантизации и доступной памяти.

DevQuasar/NousResearch.Hermes-4-405B-GGUF — квантизированная версия языковой модели NousResearch/Hermes-4-405B, опубликованная DevQuasar. Модель предназначена для генерации текста и, вероятно, может применяться в задачах диалога, написания и обработки текстов, однако README не содержит подробного описания поддерживаемых сценариев. Известно, что модель относится к классу text-generation и распространяется в формате GGUF. Сведения об архитектуре, количестве параметров, доступных уровнях квантизации, модальностях, языках, размере контекста, производительности и ограничениях в README не приведены. Условия лицензирования также не указаны; для уточнения следует обратиться к исходной модели NousResearch/Hermes-4-405B и материалам публикации DevQuasar.

bartowski/nvidia_Llama-3_3-Nemotron-Super-49B-v1-GGUF — это GGUF-квантизированная версия языковой модели Llama-3_3-Nemotron-Super-49B-v1, разработанной NVIDIA и подготовленной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других совместимых проектах. Указана поддержка английского языка и текстовая модальность. Модель относится к классу крупных моделей с заявленным размером 49B параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций; рекомендуемыми названы, в частности, Q6_K, Q5_K, Q4_K_M и IQ4_XS. Размер файлов составляет примерно от 22,66 до 99,74 ГБ, поэтому для запуска требуется значительный объём оперативной или видеопамяти, зависящий от выбранного варианта. Квантизация снижает требования к ресурсам и позволяет использовать модель локально, но более компактные варианты могут уступать исходной модели по качеству. README не содержит данных о длине контекста, точной архитектуре, результатах тестирования, производительности или поддержке других языков, поэтому эти характеристики нельзя надёжно оценить. Модель распространяется по NVIDIA Open Model License; условия лицензии следует уточнять по указанной NVIDIA-ссылке.

Nemotron-Cascade-8B-GGUF — это квантованная версия языковой модели Nemotron-Cascade-8B, разработанной NVIDIA и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, рассуждений и задач общего назначения; в карточке указаны сценарии локального запуска через LM Studio, llama.cpp и совместимые проекты. Заявленный язык — английский. Модель содержит 8 миллиардов параметров. Доступны варианты с точностью от BF16 до Q2 и различными форматами квантования, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Размер файлов составляет примерно от 3,9 до 16,4 ГБ. Квантование выполнено с использованием imatrix на базе llama.cpp; для работы рекомендуется применять шаблон диалога с поддержкой маркера /think. Сильной стороной является выбор вариантов между качеством и требованиями к памяти, включая варианты, рекомендованные автором как близкие к исходному качеству. Сведения о размере контекста, архитектуре, дополнительных модальностях и результатах бенчмарков в README не приведены. Модель распространяется по лицензии NVIDIA Open Model License; в карточке указана лицензия other и приведена ссылка на её текст. Условия лицензии следует учитывать отдельно перед использованием и распространением.

Open-Instruct Self-Instruct 7B — языковая модель семейства LLaMA, дообученная командой Allen Institute for AI на наборе Self-Instruct. Она предназначена для генерации ответов на инструкции и текстовые запросы; карточка приводит результаты оценки на тестах общих знаний, математики, рассуждений, вопросов и ответов и генерации кода. Модель содержит около 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст. Родной размер контекста — 2048 токенов. Для работы нужны исходные веса LLaMA в формате Hugging Face: опубликованная модель представляет собой diff, а не полный самостоятельный набор весов. Карточка сообщает о лицензии AI Model License вместе с исходной лицензией LLaMA. Результаты в приведённых тестах скромные, поэтому перед применением в конкретной задаче качество следует проверить отдельно.

Ornith-1.5-35B-A3B-abliterated-NVFP4 — квантованная версия языковой модели Ornith-1.5-35B-A3B, разработанной ornith-ai, с изменёнными весами от pottokao. Из модели удалено направление, связанное с отказами в ответах, поэтому она не реализует стандартное защитное поведение и предназначена для исследовательских и прикладных сценариев генерации текста, где требуется меньше ограничений на содержание. Модель работает только с текстом: в сборке отсутствуют vision tower и MTP head. Это MoE-модель с заявленным размером 35B и активной частью около 3B параметров; архитектура сочетает слои линейного внимания Mamba-типа и обычного self-attention. Основная часть весов использует NVFP4 W4A16 с group size 16, отдельные проекции — FP8 W8A8, а некоторые компоненты сохранены в BF16. Поддерживается запуск через Transformers и vLLM; автор проверял работу на двух GPU RTX 5070 Ti по 16 ГБ, с контекстом до 131 072 токенов в указанной конфигурации и FP8 KV-кэшем. Для ускорения генерации предусмотрено использование speculative decoding с DFlash. К сильным сторонам относятся относительно небольшое потребление памяти для модели такого класса, возможность запуска на двух потребительских GPU, большой доступный контекст и интеграция с vLLM. Ограничения включают текстовую модальность, отсутствие защитных отказов, зависимость производительности от специализированных NVFP4/FP8-ядер и настроек vLLM, а также ограниченный бюджет KV-кэша при нескольких параллельных запросах. Модель распространяется по лицензии MIT; лицензия включённых компонентов и черновой модели DFlash может регулироваться отдельно.

p-e-w_gpt-oss-20b-heretic-GGUF — это набор квантованных версий языковой модели gpt-oss-20b-heretic, разработанной p-e-w и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях на базе llama.cpp, включая llama.cpp и LM Studio, а также инструменты с поддержкой этого формата. Доступны варианты от BF16 до низкобитных квантований Q2, Q3, Q4, Q5, Q6 и IQ. Размер файла зависит от варианта и составляет примерно от 12,16 до 41,86 ГБ. Для квантования использовался llama.cpp с методом imatrix и калибровочными наборами данных. В README не указаны архитектура, поддерживаемые языки, размер контекста, мультимодальность и точные характеристики базовой модели; по назначению это текстовая, а не мультимодальная модель. Сильной стороной набора является широкий выбор квантований, позволяющий выбирать между качеством, размером и требованиями к памяти; варианты Q6_K и Q6_K_L описаны как близкие к исходному качеству, а Q4_K_M — как типичный вариант для большинства сценариев. Более сильное сжатие уменьшает требования к ресурсам, но снижает качество. Шаблон чата в README не задан и может требовать проверки по карточке исходной модели. Лицензия — Apache 2.0.

Phi-3-mini-4k-instruct-GGUF — квантизированная версия инструкционной модели Phi-3-mini-4k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая применение в локальных и встраиваемых AI-сценариях через GaiaNet. Модель относится к семейству Phi и поставляется в формате GGUF. Она рассчитана на контекст до 4000 токенов, использует шаблон prompt phi-3-chat и поддерживает английский язык. Квантизация выполнена компанией Second State Inc. с использованием llama.cpp b3333. В README не указаны точный размер модели, конкретный вариант квантизации, перечень поддерживаемых модальностей или специализированные показатели качества. Сильными сторонами модели являются инструкционный режим работы, компактный формат GGUF и возможность запуска через совместимую инфраструктуру GaiaNet и llama.cpp. Ограничениями могут быть поддержка только текстовых задач и ограниченный контекст в 4000 токенов; сведения о производительности, качестве на отдельных задачах и системных требованиях отсутствуют. Модель распространяется по лицензии MIT.

Qwen2-0.5B-Instruct — инструкционно дообученная языковая модель семейства Qwen2, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Transformer с 494 млн параметров; она принимает текст и генерирует текст в формате диалога. Контекст составляет до 32 768 токенов. Модель предназначена для общения, генерации и понимания текста, а также может применяться к задачам рассуждения, математики и программирования. Модель компактна и поддерживает многоязычный токенизатор, но метаданные карточки отмечают английский язык. В приведённом сравнении она показала улучшение относительно Qwen1.5-0.5B-Chat на тестах MMLU, HumanEval и GSM8K. Эти результаты не гарантируют аналогичное качество в конкретных приложениях. Модель распространяется под лицензией Apache-2.0.

Mungert/Qwen2.5-14B-Instruct-1M-GGUF — это GGUF-версия инструкционной языковой модели Qwen2.5-14B от команды Qwen, подготовленная пользователем Mungert. Модель предназначена для генерации текста и диалоговых сценариев, включая работу чат-ассистента, ответы на инструкции и локальный запуск на системах с ограниченными ресурсами. В метаданных указаны английский язык и задача text-generation; название модели указывает на поддержку контекста до 1 миллиона токенов, однако подробные характеристики контекстного окна в README не приведены. Ключевая особенность сборки — ультранизкая 1–2-битная квантизация с динамическим распределением точности IQ-DynamicGate. Для разных слоёв применяются форматы IQ1 и IQ2, а критические embedding- и output-слои защищаются квантизацией Q5_K. Такой подход снижает требования к памяти и подходит для CPU, edge-устройств и GPU с ограниченным VRAM, но может уступать моделям с более высокой точностью и требует проверки качества именно на Qwen2.5-14B, поскольку приведённые в README бенчмарки выполнены на Llama-3-8B-Instruct. Размер файлов, конкретный вариант квантизации и скорость зависят от выбранного GGUF-файла. Лицензия — Apache-2.0.

bartowski/Qwen2.5-3B-GGUF — набор GGUF-квантизованных вариантов базовой языковой модели Qwen2.5-3B, опубликованный и квантизованный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через совместимые инструменты, включая llama.cpp и LM Studio; в README также указан специальный формат промпта с ролями system, user и assistant. Доступны варианты от полного формата F32 размером 12,35 ГБ до сильно сжатых вариантов IQ3_M размером 1,49 ГБ. Большинство сборок используют квантизацию Q4–Q8, а некоторые сохраняют embedding- и output-веса в формате Q8_0 для потенциального улучшения качества. Для ARM-процессоров предусмотрены отдельные варианты Q4_0_4_4, Q4_0_4_8 и Q4_0_8_8; их совместимость зависит от поддержки соответствующих инструкций. Более качественные варианты требуют больше оперативной памяти, а компактные варианты снижают требования к памяти ценой качества. Модель относится к текстовым, поэтому README не подтверждает поддержку изображений, аудио или других модальностей. Языки, размер контекста, конкретные архитектурные характеристики базовой модели и результаты бенчмарков в предоставленных данных не указаны. Лицензия также не указана, поэтому условия коммерческого и иного использования следует уточнять в исходном репозитории Qwen/Qwen2.5-3B и у опубликованного набора.

Qwen2.5-7B Fine-tuned — это текстовая генеративная модель, разработанная waguriagent на базе Qwen/Qwen2.5-7B-Instruct от команды Qwen. Модель дообучена методом LoRA, объединена с базовыми весами и представлена в формате GGUF с 4-битным квантованием Q4_K_M для эффективного локального запуска. Модель предназначена для диалогов, генерации и обработки текста, включая работу через Ollama, llama.cpp и llama-cpp-python. Она использует архитектуру Qwen2 с примерно 7,6 млрд параметров, поддерживает контекст до 32 768 токенов и формат запросов ChatML. В README явно указан английский язык; другие языки не заявлены. Размер файла составляет около 4,4 ГБ, а для запуска рекомендуется примерно 6 ГБ RAM или VRAM, поэтому модель подходит для потребительских GPU с 8 ГБ видеопамяти. Ключевое преимущество модели — сочетание относительно компактного размера, низких требований к памяти и небольших потерь качества по сравнению с полноточной версией. Ограничения связаны с 4-битным квантованием, возможным снижением качества относительно моделей с большей разрядностью, а также с унаследованными от базовой модели знаниями, предвзятостями и ограничениями. Дообучение на специализированном наборе данных могло сузить универсальные способности, поэтому модель следует проверять на собственных задачах перед использованием в production. Модель распространяется по лицензии Apache 2.0.

MaziyarPanahi/Qwen3-30B-A3B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-30B-A3B, разработанной командой Qwen. Квантованием и публикацией файлов занимался MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими совместимыми решениями, что позволяет использовать модель с GPU-ускорением, локальными графическими интерфейсами или API-серверами. Архитектура, число параметров базовой модели, поддерживаемые языки, модальности и размер контекста в README не указаны. К сильным сторонам относятся широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. Ограничения зависят от выбранного варианта квантования и конкретного средства запуска; подробности о качестве, производительности, лицензии и требованиях к оборудованию в предоставленных данных отсутствуют.

litert-community/Qwen3-4B — это оптимизированный для локального запуска вариант языковой модели Qwen3-4B, разработанный сообществом LiteRT и основанный на контрольной точке Qwen/Qwen3-4B от команды Qwen. Модель предназначена для генерации текста на устройствах, включая настольные GPU и Android-устройства, и интегрируется через LiteRT-LM. В репозитории доступны артефакты с channel-wise INT8-квантованием весов и float32 KV-кэшем размером 5,28 ГБ, а также смешанный вариант TorchAO mixed INT4 размером около 2,54 ГиБ с контекстом 2048 токенов. В INT4-варианте линейные проекции используют блочное INT4-квантование с размером группы 32, эмбеддинги — weight-only INT8, а нормализация, операции редукции и KV-кэш сохраняются в формате с плавающей точкой. Для внимания и работы с кэшем применяются StableHLO composite ops LiteRT-LM. Модель подходит для автономной генерации текста и встраивания в приложения, где важны локальная обработка и сниженные требования к памяти. README указывает английский язык, но не сообщает полный языковой охват, точную архитектуру исходной Qwen3-4B или другие модальности. Производительность зависит от устройства, версии runtime, backend, квантования и теплового состояния; приведённые результаты являются измерениями авторов и не представляют независимую сертификацию. Лицензия — Apache-2.0.

ReliquaryForge/qwen3-4b-base-dapo-v4 — базовая плотная причинная языковая модель семейства Qwen3, опубликованная в формате safetensors и предназначенная для генерации текста. Карточка описывает предобученную модель Qwen3-4B-Base с 36 слоями и группированным запросным вниманием (GQA); метаданные каталога указывают 3,7 млрд параметров. Контекстное окно составляет 32 768 токенов. Модель подходит как основа для генерации текста и дальнейшей адаптации под диалоговые и другие языковые сценарии. В карточке семейства указано предобучение на многоязычном корпусе и акцент на знаниях, рассуждениях, STEM и программировании; это общесемейное описание, не отдельная оценка именно данного чекпойнта. Для работы рекомендуется актуальная версия Transformers: версии ниже 4.51.0 могут не распознавать архитектуру Qwen3. Лицензия — Apache-2.0.

Qwen3-4B-Instruct-2507-Hi-Fi-fraQtl — это квантизированная GGUF-версия Qwen/Qwen3-4B-Instruct-2507, подготовленная fraQtl и опубликованная в сообществе Qualcomm AI Hub. Модель предназначена для генерации текста и работы в сценариях локального запуска на CPU и GPU через llama.cpp; GGUF также совместим с GenieX без изменений. Поддержка выполнения на NPU/Hexagon в README не подтверждена. Модель содержит около 4 млрд параметров и поддерживает контекст до 262 144 токенов. Доступны варианты Hi-Fi Q4_K_M-класса размером 2,50 ГБ и Q4_0 размером 2,38 ГБ. Квантизация выполнена с учётом калибровки методом fraQtl code+math imatrix; заявлены более низкое расхождение с исходными весами по сравнению с рядом других сборок Q4_K_M и успешное извлечение контрольных данных на полном контексте. Архитектура, перечень языков и поддерживаемые модальности в README отдельно не указаны. Сильными сторонами являются компактный размер, возможность локального запуска, сохранение качества после квантизации и проверенная работа с длинным контекстом. Ограничения включают отсутствие подтверждённого ускорения на Hexagon NPU, а также отсутствие подробных данных о языковых возможностях и качестве на прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

ente-ai/Qwen3.5-0.8B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-0.8B, основанной на Qwen/Qwen3.5-0.8B. Модель разработана в экосистеме Qwen, а данный вариант опубликован ente-ai с использованием подходов Unsloth Dynamic 2.0. Она предназначена для локального запуска, прототипирования, исследовательских и прикладных задач, а также специализированного дообучения. Модель представляет собой каузальную языковую модель со зрительным энкодером и поддерживает обработку текста и изображений. Она содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Артефакты совместимы с инструментами локального и серверного инференса, включая Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, длинный контекст, возможность локального использования и потенциально высокая эффективность инференса. Из-за небольшого масштаба модель прежде всего ориентирована на прототипирование, task-specific fine-tuning и разработку; её возможности могут быть ограничены по сравнению с более крупными моделями в сложных задачах. Модель распространяется по лицензии Apache-2.0.

daniloreddy/Qwen3.5-4B_GGUF — набор GGUF-квантизированных версий языковой модели Qwen3.5-4B, разработанной командой Qwen. Модель предназначена для генерации текста и локального запуска на потребительском оборудовании, мобильных и периферийных устройствах, а также системах с ограниченным объёмом памяти. Она совместима с llama.cpp и связанными экосистемами, включая LM Studio, Jan и Text Generation WebUI. В репозитории представлены варианты FP16, Q8_0, Q5_K_M, Q4_K_M и Q4_K_S, полученные из официальных весов FP16 с использованием llama-quantize и K-квантизации. Размер базовой модели составляет 4 млрд параметров. Вариант Q4_K_M рекомендован как компромисс между скоростью и качеством, Q4_K_S ориентирован на минимальное потребление памяти и высокую пропускную способность, а FP16 сохраняет максимальную точность исходных весов. Качество рассуждений, связность и точность ограничены масштабом базовой модели; сведения о поддерживаемых языках, модальностях и исходном размере контекста в README не указаны. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-EXTENSOR — созданный AMD runtime-артефакт на основе Qwen/Qwen3.6-35B-A3B. Это текстовая модель с архитектурой mixture-of-experts; в комплект входят целевая модель и модуль MTP для ускорения жадного декодирования с помощью speculative decoding. Проверка MTP требует, чтобы полный набор экспертных блоков целевой модели находился в памяти. Артефакт распространяется в формате GGUF v3 с упаковкой EXTENSOR v2 и квантованием ROCmFP4/ROCmFP4_FAST; указаны также Q8_0 для слияния MTP и F16 для управляющих весов. Он предназначен для генерации текста и диалогов в среде EXTENSOR версии 2.4.0 или новее с backend API 4. Файлы несовместимы с llama.cpp. Визуальный энкодер базовой модели в артефакт не включён, поэтому использовать его для обработки изображений нельзя. Лицензия — Apache-2.0.

mlasli/Qwen3.8-27B-Heretic-Abliterated-MLX-6bit — текстовая языковая модель, созданная mlasli на основе Qwen/Qwen3.8-27B. Это версия v2.1.0 с изменённым поведением отказов и ответов, преобразованная в формат MLX для запуска через mlx-lm на компьютерах с Apple Silicon. Модель предназначена для генерации текста, диалогов, ролевых сценариев и задач, где требуется более прямое следование запросу. Модель содержит около 27 млрд параметров и использует групповое 6-битное квантование с размером группы 64. Размер файлов составляет примерно 21,9 ГБ. Репозиторий поддерживает только текстовый ввод: при конвертации удалена vision tower, поэтому обработка изображений недоступна. Многоцелевое предсказание токенов MTP также не сохранено, из-за чего инференс выполняется одной основной головой и может быть медленнее сборок с поддержкой MTP. В карточке указаны английский язык и контекстная длина не приведена. Сильной стороной является уменьшенный объём по сравнению с BF16-версией при сохранении возможностей 27B-модели и удобная интеграция с MLX. По данным тестов, 6-битная версия немного уступает BF16 по прямоте ответов, а режим thinking может чаще приводить к уклончивым или пустым ответам; для заявленного поведения рекомендуется отключать thinking. Abliteration снижает или удаляет исходное safety-выравнивание, поэтому модель требует осторожного применения. Лицензия — Apache-2.0.

Qwen3.8-27B-Huihui-Abliterated-NVFP4-MTP-VL — мультимодальная квантованная модель, разработанная lyf на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это поведенческий производный вариант, предназначенный для исследований и локального инференса, включая генерацию текста, работу с изображениями и видео, рассуждения, вызов инструментов и ускорение декодирования с помощью MTP (эталонного многотокенного предсказания). Модель использует языковую часть размером 27B параметров с квантованием линейных слоёв в формате NVFP4 W4A4 и размером группы 16. Башня обработки изображений и видео, MTP-голова, lm_head, эмбеддинги токенов и GDN conv1d сохранены в формате BF16. Поддерживаются английский и китайский языки. Указанный проверенный профиль рассчитан на видеокарты NVIDIA RTX 5090 с архитектурой Blackwell, ограничением контекста 4096 токенов и KV-кэшем FP8; большие контексты требуют отдельной проверки доступной видеопамяти. К сильным сторонам относятся мультимодальность, существенное снижение требований к памяти благодаря NVFP4, сохранение исходной BF16 vision/video tower и MTP-компонентов, а также совместимость с vLLM и OpenAI-compatible API. На одной RTX 5090 модель успешно прошла проверки текстовой генерации, MTP и мультимодального профиля; во время генерации использовалось около 28 944 MiB VRAM. Ограничения включают зависимость от совместимого оборудования и программного окружения, необходимость валидации для иных нагрузок и контекстов, а также экспериментальный характер abliterated-производной. Модель распространяется по лицензии Apache-2.0. Она предназначена для исследовательского использования и локального инференса; ответственность за дальнейшее применение и соблюдение соответствующих политик лежит на пользователе.

Qwen3.8-27B-NVFP4-GGUF — квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная akopytko. Модель предназначена для задач генерации текста и работы с изображениями, включая сценарии image-text-to-text. Она представлена в формате GGUF и использует специализированное 4-битное числовое представление NVFP4 с оптимизацией масштаба по среднеквадратичной ошибке реконструкции. В модель также встроена квантизированная MTP draft head для speculative decoding. Ключевое преимущество — высокая скорость предварительной обработки на GPU с архитектурой NVIDIA Blackwell: заявлено преимущество около 50% над обычными 4-битными вариантами при сопоставимом размере, а сама реализация NVFP4 работает ещё на 4–7% быстрее альтернативных NVFP4-квантов. Поддерживается ввод изображений; при загрузке не через -hf может потребоваться отдельный vision-проектор mmproj-BF16.gguf. Основное ограничение — необходимость совместимого NVIDIA Blackwell GPU, например RTX 50, DGX Spark, B200 или B300. По приведённым тестам, качество NVFP4 уступает вариантам Q4_0 и особенно Q6_K, хотя превосходит сравниваемый NVFP4-квант Unsloth по некоторым метрикам. Лицензия — Apache-2.0.

LibertAIDAI/Qwen3.8-27B-NVFP4-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная LibertAI для запуска в llama.cpp. Модель предназначена для генерации текста, а при подключении отдельного vision-модуля — для обработки изображений и видео. Вариант MTP использует Multi-Token Prediction для speculative decoding: отдельная черновая голова предлагает несколько следующих токенов, а основная модель проверяет их одним проходом, что может повысить скорость генерации. Основная часть весов использует NVFP4 с размером группы 16 для линейных слоёв MLP; attention, vision tower, embeddings, lm_head и MTP-блок сохранены в BF16. Доступны варианты с тензорами Q4_K_M, Q8_0 или BF16, а также отдельные файлы MTP-головы и vision-модуля. Заявлена поддержка английского языка, контекст до 262144 токенов указан в тестовой конфигурации. На RTX 5090 авторы измерили прирост скорости около 22,7% при использовании MTP и конфигурации n-max=3, p-min=0.1. Сильными сторонами являются уменьшенный размер NVFP4-весов, совместимость с llama.cpp, поддержка speculative decoding и мультимодального ввода при подключении mmproj-файла. Для работы требуется Blackwell GPU с архитектурой sm_120 и llama.cpp, собранный с CUDA 12.8 или новее; MTP-голова не работает самостоятельно. Реальный прирост скорости зависит от предсказуемости текста, а мультиязычные, кодовые и визуальные сценарии отдельно полноценно не оценивались. Модель распространяется по лицензии Apache 2.0, унаследованной от Qwen/Qwen3.8-27B.

KasugaiSakura/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B от Qwen, опубликованный KasugaiSakura для запуска через совместимые среды, включая llama.cpp. Модель предназначена для генерации текста, а также поддерживает обработку изображений при использовании совместимого vision runtime и файла mmproj. Вариант Uncensored создан с целью существенно снизить выраженность отказов без дообучения, дополнительного датасета и изменения базовых возможностей, однако отказы не устранены полностью. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Указаны английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, варианты со встроенной или отдельной MTP-головой для speculative decoding, а также отдельный vision-проектор F16. Размер файлов составляет примерно от 10,6 до 29 ГБ, не считая отдельных компонентов. Сильные стороны модели — длинный контекст, поддержка текста и изображений, широкий выбор квантизаций и возможность ускорения генерации с помощью speculative decoding. Ограничения включают зависимость от совместимого runtime и достаточного объёма памяти, возможное снижение acceptance rate для черновой MTP-головы, а также то, что уменьшение отказов не является полным и может влиять на поведение модели. Квантизации GGUF распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем preyy2 для запуска через llama.cpp и совместимые среды. Модель предназначена для генерации текста, диалогов и других задач на основе текста, а варианты с vision-проектором также поддерживают обработку изображений. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, одну MTP-голову и поддерживает контекст до 262 144 токенов. В README заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ, а также отдельные draft-варианты для speculative decoding. MTP-голова позволяет использовать ускоренное декодирование при поддержке со стороны runtime. Ключевая особенность сборки — существенное снижение поведения, связанного с отказами от ответов, с помощью abliteration без дообучения и добавления новых данных; отказы не устранены полностью. При этом заявлено сохранение исходных возможностей, обучающих данных и архитектуры базовой модели. Качество квантизаций оценивалось по perplexity на wikitext-2, однако IQ2_M заметно уступает вариантам с более высокой точностью. Для запуска необходим совместимый runtime и объём памяти, соответствующий выбранному файлу; поддержка изображений зависит от vision-совместимого runtime. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная версия Qwen3.8-27B, опубликованная HauhauCS. Это плотная языковая модель с поддержкой текста, рассуждений, агентских сценариев, изображений и видео. Она предназначена для прямых ответов без выраженного отказного поведения и минимального вступления, включая сложные запросы. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, а профиль HauhauCS FastMTP предназначен для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. Поддерживаются английский, китайский и другие языки; для изображений и видео используется отдельный vision-проектор BF16. Сильные стороны модели — мультимодальность, большой контекст, несколько вариантов GGUF-квантизации и ускорение FastMTP. Агрессивный профиль может быть удобен, когда важны краткость и отсутствие отказов, однако для надёжных длинноконтекстных агентских задач автор рекомендует сбалансированный вариант, если он доступен. README не приводит независимых оценок качества и не уточняет риски, связанные с uncensored-поведением. Модель распространяется по лицензии Apache-2.0.