II.2Создание и понимание программного кода

ibm-granite/granite-4.1-30b-GGUF — это конверсия модели IBM Granite 4.1 30B в формат GGUF, предназначенная для запуска и инференса с инструментами, поддерживающими этот формат. Разработчик исходной модели — IBM; репозиторий содержит варианты с различными уровнями квантования, преобразованные из модели в формате .safetensors. Базовая модель указана как ibm-granite/granite-4.1-30b. Модель относится к задачам генерации текста и может использоваться в сценариях локального или оптимизированного инференса, совместимого с GGUF. Из доступных данных известны размер базовой модели — 30B параметров, текстовая модальность и поддержка библиотеки Transformers; сведения о конкретной архитектуре, языках, размере контекста, результатах тестирования и сильных или слабых сторонах отсутствуют. Вариант bf16 разделён на пять файлов из-за ограничений на размер одного файла и может быть объединён инструментом llama-gguf-split. Лицензия — Apache-2.0. Условия применения квантованных вариантов, требования к аппаратным ресурсам и совместимость с конкретными средствами запуска в карточке подробно не указаны.

Interim Labs Qwen3.5-9B-GGUF-Q4_K_M — пакет модели для локальной генерации текста, опубликованный Interim Labs и основанный на Qwen/Qwen3.5-9B. В репозитории размещены веса GGUF с квантизацией Q4_K_M для запуска через совместимое ПО, например llama.cpp. Размер модели — 9 млрд параметров; лицензия — Apache-2.0. Модель предназначена для диалогов и генерации текста. Каталог также указывает возможность работы с изображениями, рассуждениями, программированием и агентными задачами для базовой Qwen3.5, однако README этого выпуска описывает его как пакет для текстовой генерации. Это перепубликация весов, преобразованных в GGUF: автор заявляет, что веса не изменялись. Для качества именно этой сборки нет комплексных бенчмарков, а длинный контекст и преимущества над исходной конверсией не проверены.

LIMI-Air — агентная языковая модель, разработанная GAIR и дообученная на базе zai-org/GLM-4.5-Air. Она предназначена для диалоговых сценариев, рассуждений и работы с инструментами в агентных приложениях; сообщения подаются в формате OpenAI chat, инструменты можно передавать отдельно. По README, базовая модель содержит около 107 млрд параметров, тогда как метаданные репозитория указывают 8,5 млрд параметров и архитектуру семейства GLM-4 MoE; заявленный контекст составляет 131 072 токена. Карточка описывает обучение на компактных курированных агентных данных GAIR/LIMI и приводит оценку на AgencyBench. Модель рассчитана на более быстрый и менее затратный запуск по сравнению с крупными вариантами LIMI, с возможным снижением качества на сложных задачах. Проверка проводилась на курированных агентных задачах, поэтому результаты могут не переноситься на другие сценарии. Для запуска в README приведены Transformers, vLLM и SGLang. Лицензия репозитория — Apache-2.0.

LLaMA-MoE-v2-3.8B (2/8) SFT — чат-модель семейства LLaMA-MoE-v2, разработанная командой llama-moe. Она создана на основе LLaMA 3: полносвязные слои FFN или слои внимания разделены на разреженные эксперты, а маршрутизатор выбирает два из восьми экспертов. Затем модель прошла supervised fine-tuning в два этапа на открытых данных. Модель предназначена для генерации текста и диалогов на английском языке. В репозитории указано 3,8 млрд активируемых параметров, а метаданные каталога сообщают о 2,6 млрд параметров; контекст составляет до 8192 токенов. Доступны веса в формате safetensors. Лицензия — Apache-2.0, допускающая коммерческое использование при соблюдении её условий. Модель можно применять для диалоговых помощников, ответов на вопросы, следования инструкциям и решения общих текстовых задач. Представленные в карточке бенчмарки охватывают знания, математику, программирование и понимание текста, но не дают оценки именно этой SFT-версии. Карточка не приводит конкретных ограничений или результатов её качества.

Это 4-битная MLX-конверсия модели Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная сообществом mlx-community из mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated с помощью mlx-lm 0.17.1. В основе лежит дообученная Meta-Llama-3.1-8B-Instruct; модель предназначена для диалоговой генерации текста и запуска на устройствах Apple с MLX. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Контекст составляет до 131 072 токенов. Вариант abliterated позиционируется как менее ограниченный в ответах; это не гарантирует точность или безопасность результатов. Репозиторий указывает лицензию Llama 3.1; её условия распространяются на использование модели.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2509, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с разной точностью и размером: от BF16 объёмом 47,15 ГБ до IQ3 и Q3 объёмом около 10–13 ГБ, а также более качественные Q4, Q5, Q6 и Q8. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5, Q6 и другие версии, отмеченные автором как рекомендуемые. Более компактные квантизации экономят оперативную память, но могут заметнее снижать качество; низкобитные варианты подходят при ограниченных ресурсах с соответствующими компромиссами. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста, формате промпта или лицензии. Поэтому эти характеристики и условия юридического использования по представленным данным определить нельзя.

Это пакет слоёв GGUF для Mistral Medium 3.5 128B UD-Q4_K_XL, подготовленный Mesh LLM для распределённого вывода. Он создан на основе unsloth/Mistral-Medium-3.5-128B-GGUF и разбивает исходное распределение GGUF на артефакты по слоям для запуска модели на локальном кластере Mesh LLM. Пакет предназначен для приватного локального чата и генерации текста, в том числе на нескольких машинах, когда модель целиком не помещается на одном узле. Mesh LLM поддерживает OpenAI-совместимый интерфейс чата и дополнений. Вариант квантования — UD-Q4_K_XL; архитектурные подробности, контекст и языки следует уточнять по карточке исходной модели.

Kimi-K2-Thinking-GGUF — это набор квантованных GGUF-версий языковой модели Kimi-K2-Thinking, разработанной moonshotai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска через llama.cpp, LM Studio и другие совместимые проекты, включая локальный инференс. В набор входят варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и другие, с размером файлов примерно от 283 до 1090 ГБ среди указанных версий. Более крупные варианты обычно обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но заметно уступают по качеству; README рекомендует, в частности, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS в зависимости от доступных ресурсов. Сведения об архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста в карточке отсутствуют. Преимущество набора — широкий выбор квантований и совместимость с экосистемой llama.cpp. Ограничениями являются очень большие требования к дисковому пространству и памяти даже у наиболее компактных вариантов, а также возможное снижение качества при низком уровне квантования. Формат prompt не указан. Для модели заявлена лицензия modified-MIT, при этом в метаданных также указано значение other; перед использованием следует проверить условия лицензии исходной модели moonshotai/Kimi-K2-Thinking.

Guile/nbeerbower_BigBubba-Qwen3.6-27B-GGUF — это квантизированная GGUF-версия модели BigBubba-Qwen3.6-27B, разработанной nbeerbower и подготовленной bartowski с использованием llama.cpp. Модель предназначена для генерации текста и обработки изображений совместно с файлом mmproj, поэтому может применяться в текстовых и мультимодальных сценариях. Указаны английский и китайский языки. Модель содержит 27,4 млрд параметров, поддерживает MTP и imatrix. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций; рекомендуемым универсальным вариантом называется Q4_K_M размером 17,77 ГБ, а Q6_K и Q6_K_L обеспечивают более высокое качество при большем потреблении памяти. Среди сильных сторон — широкий выбор форматов, поддержка изображений и возможность локального запуска через совместимые инструменты llama.cpp. Ограничения включают значительные требования к памяти, зависимость мультимодальной работы от отдельного mmproj-файла и возможное снижение качества в менее точных квантизациях. Лицензия — Apache-2.0.

NEO 7B — базовая плотная языковая модель семейства LLaMA, разработанная командой Neo. Репозиторий содержит базовую версию модели; в карточке проекта также упоминаются отдельные версии с supervised fine-tuning и настройкой на выполнение инструкций. Модель насчитывает 7,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст длиной до 8192 токенов. Модель предназначена для генерации текста и может использоваться как основа для диалоговых приложений и последующей адаптации под конкретные задачи. Она распространяется в формате safetensors по лицензии Apache 2.0. В README заявлена открытость кода, весов, обучающих данных и деталей обучения, но эта карточка не описывает конкретные языки, оценки качества или ограничения.

Это квантованная версия NVIDIA Nemotron 3 Nano 4B, подготовленная FreedomAISVR в формате GGUF на основе весов NVIDIA Nemotron 3 Nano 4B BF16. Модель содержит около 4 млрд параметров и предназначена для генерации текста и диалога. Её гибридная архитектура включает 37 слоёв Mamba2 и 4 блока внимания с ограниченным окном. Контекстное окно — до 1 048 576 токенов. Веса Mamba2 хранятся в F16, а веса блоков внимания, FFN, эмбеддинги и нормализации — в NVFP4. Такое смешанное представление увеличивает размер файла примерно до 4,6 ГБ, но позволяет выполнять слои на CUDA GPU без описанного в карточке перехода Mamba2-операций на CPU. Модель ориентирована на запуск через llama.cpp на совместимом GPU, в частности Blackwell. Указана лицензия other; конкретные условия следует проверять в исходной карточке NVIDIA.

Orca 2 7B — языковая модель Microsoft, представленная в квантованном формате GGUF компанией TheBloke. Это текстовая модель генерации на базе архитектуры типа Llama с примерно 7 млрд параметров, предназначенная для локального запуска и диалогового взаимодействия. Модель использует шаблон запросов ChatML с системными и пользовательскими сообщениями. Репозиторий содержит варианты квантования от 2 до 8 бит, рассчитанные на инференс с использованием CPU и GPU. Формат GGUF совместим с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие решения. Разные уровни квантования позволяют выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества, однако конкретные характеристики контекстного окна, поддерживаемые языки и результаты оценки в README не указаны. Модель подходит для локальной генерации текста и чат-сценариев при наличии совместимого программного обеспечения. Ограничения включают отсутствие в предоставленных данных подробностей о мультимодальности, языковом покрытии, контекстном окне и специализированных возможностях. Лицензия обозначена как other, но её конкретные условия в README не приведены.

OrcaMaid 13B — это языковая модель для генерации текста в формате GGUF, созданная ddh0 на базе архитектуры Llama и квантизированная TheBloke. Репозиторий содержит варианты модели с разрядностью 2, 3, 4, 5, 6 и 8 бит для запуска на CPU и GPU. Исходная модель доступна в формате FP16 для GPU-инференса и дальнейших преобразований. Модель предназначена для выполнения инструкций и генерации ответов в текстовых сценариях, включая локальный инференс через llama.cpp и совместимые приложения и библиотеки. Для работы используется шаблон Alpaca с секциями Instruction и Response. Поддерживаются клиенты и инструменты, совместимые с GGUF, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ключевые характеристики — 13 миллиардов параметров, текстовая модальность, архитектура семейства Llama и формат GGUFv2. Сведения о поддерживаемых языках и размере контекста в README не указаны. Квантизация позволяет выбирать компромисс между требованиями к памяти и качеством, однако конкретные характеристики качества и аппаратные требования зависят от выбранного варианта. Лицензия указана как microsoft-research-license для исходной модели; также заявляется применимость лицензии Meta Llama 2, поэтому условия использования и взаимодействие лицензий следует проверять в исходном репозитории.

OrionStar Yi 34B Chat Llama — текстовая gener generative-модель для диалогового взаимодействия, разработанная OrionStarAI. Представлена в формате GGUF и предназначена для задач генерации текста и чат-сценариев, включая запуск через LlamaEdge. Модель относится к семейству Yi, содержит около 34 миллиардов параметров и поддерживает контекст длиной до 7168 токенов. Сведения о поддерживаемых языках и дополнительных модальностях в README не указаны. Модель доступна в нескольких вариантах квантизации от Q2_K до Q8_0. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с низкой потерей качества; квантизация Q2_K–Q4_0 обеспечивает меньший размер, но может заметно снижать качество. Размер файлов составляет примерно от 12,8 до 36,5 ГБ, поэтому для запуска требуются значительные вычислительные ресурсы и память. Квантизацию и публикацию GGUF-вариантов выполнила Second State Inc. Для работы с LlamaEdge требуется версия 0.2.9 или новее и специальный шаблон prompt типа human-assistant. Лицензия модели указана как Apache-2.0.

Это квантизированная версия Phi-4-reasoning-plus, разработанная AMD на основе модели Microsoft с использованием LLM Compressor. Модель предназначена для генерации текста и задач рассуждения, включая сценарии локального вывода на процессорах AMD EPYC. Она поддерживает только текстовые входы и выходы, указанный язык — английский, а запуск рассчитан на Linux с использованием vLLM. Архитектура модели обозначена как Phi3ForCausalLM. Применена 4-битная квантизация только весов W4A16 методом GPTQ: веса INT4 имеют симметричное групповое представление с размером группы 128, а активации сохраняются в формате BF16. Квантизация выполнена в формате compressed-tensors, при этом lm_head не квантизировался. Для CPU-инференса предусмотрена оптимизация через ZenDNN и ZenTorch; заявлена совместимость с AMD EPYC, ZenDNN 6.1.0, ZenTorch 2.11.0.3, PyTorch 2.11.0 и vLLM 0.26.0. Главное преимущество модели — уменьшенный размер весов и возможность эффективного вывода на AMD CPU при сохранении качества, близкого к исходной BF16-модели: на GSM8K получено 0,8688 против 0,8704 у базовой версии, то есть восстановлено 99,82% результата. Ограничения включают привязку к указанным версиям программного стека, ориентацию на CPU AMD EPYC и возможное снижение точности из-за агрессивной 4-битной квантизации. Модель распространяется по лицензии MIT; README также указывает, что она предоставляется на условиях лицензии исходной модели.

Qwen2-1.5B-Instruct-bnb-4bit — квантизированная 4-битная версия инструкционно настроенной языковой модели Qwen2 объёмом 1,5 млрд параметров, опубликованная организацией Unsloth. Модель предназначена для генерации текста и диалоговых сценариев, а также для дообучения на пользовательских наборах данных с использованием Transformers и инструментов Unsloth. В карточке указаны английский язык и библиотека Transformers. Модель поддерживает обучение через готовые ноутбуки Unsloth, ориентированные на начинающих пользователей; заявлена возможность экспорта дообученных моделей в GGUF и использования с vLLM. Архитектура, размер контекстного окна, перечень модальностей и точные характеристики инференса в README не раскрыты. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти по сравнению с полноразмерными версиями и упрощающее запуск и дообучение на ограниченных GPU-ресурсах. Ограничения включают отсутствие подробных результатов оценки качества, сведений о поддерживаемых языках помимо английского и информации о безопасности или специализированных областях применения. Указана лицензия Apache-2.0.

Mungert/Qwen2.5-7B-Instruct-1M-GGUF — это GGUF-версия инструкционной языковой модели Qwen2.5-7B, разработанная Mungert на базе Qwen/Qwen2.5-7B. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск на устройствах с ограниченными ресурсами, локальный инференс на CPU и системах с небольшим объёмом GPU-памяти. В названии заявлена поддержка контекста до 1 миллиона токенов, однако подробные характеристики реализации этого контекста в README не приведены. Модель относится к классу текстовых генеративных моделей, имеет около 7 миллиардов параметров и распространяется в формате GGUF. README также описывает ультранизкобитные варианты квантования с динамическим распределением точности IQ-DynamicGate, ориентированные на снижение потребления памяти; приведённые бенчмарки относятся к Llama-3-8B и не подтверждают показатели именно этой модели. В метаданных указан английский язык. Сильная сторона модели — возможность эффективного локального запуска благодаря квантованию и потенциально большому контекстному окну. Ограничения включают возможное снижение точности при низкобитном квантовании, отсутствие подробных данных об архитектуре, фактическом размере контекста и результатах тестирования именно для Qwen2.5-7B-Instruct-1M-GGUF. Лицензия — Apache-2.0.

AtomicChat/Qwen3-4B-DFlash-GGUF — это текстовая генеративная модель в формате GGUF, созданная Atomic Chat на основе оригинальных весов z-lab/Qwen3-4B-DFlash-b16. Модель предназначена для локального и полностью офлайн-использования в llama.cpp, Ollama, LM Studio, Jan и приложении Atomic Chat, включая диалоговые сценарии и генерацию текста. Согласно README, модель имеет плотную decoder-архитектуру DFlashDraftModel, 5 слоёв, 32 attention heads и 8 KV heads, словарь из 151 936 токенов и контекст до 40 960 токенов. Поддерживается только текстовая модальность. В карточке указано 0,5 млрд параметров, а доступный квант Q8_0 занимает около 0,6 ГБ; при этом название базовой модели содержит обозначение 4B, поэтому размер следует трактовать с осторожностью. Ключевая особенность репозитория — самостоятельная квантизация Atomic Chat с использованием importance matrix для каждого варианта, что должно сохранять качество исходной модели при низкой разрядности. Ограничения включают отсутствие мультимодальности и необходимость применять шаблон чата Qwen3 через параметр --jinja; без него возможны некорректно сформированные диалоговые ходы. В README также рекомендована temperature 0.0. Исходная модель выпущена Z Lab по лицензии MIT, квантизированная версия подготовлена Atomic Chat.

lmstudio-community/Qwen3-4B-MLX-8bit — это 8-битная версия модели Qwen3-4B, преобразованная в формат MLX из базовой модели Qwen/Qwen3-4B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и локального запуска в экосистеме MLX, включая диалоговые сценарии и другие задачи, поддерживаемые базовой языковой моделью. Модель содержит около 4 миллиардов параметров и использует 8-битное представление, что может снизить требования к памяти при запуске. Для работы предусмотрена библиотека mlx-lm и токенизатор с поддержкой chat template, если она доступна. README не указывает архитектуру, поддерживаемые языки, длину контекста, мультимодальные возможности, результаты тестирования, сильные стороны или ограничения модели, поэтому эти характеристики нельзя достоверно оценить по представленным данным. Лицензия — Apache 2.0.

MLX-версия языковой модели Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16, разработанная на основе модели AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 и конвертированная в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации и продолжения текста, диалоговых приложений и локального запуска на устройствах, поддерживающих MLX. Модель имеет около 27 млрд параметров и представлена в 8-битном формате MLX; исходная модель использует BF16. В метаданных указаны архитектурные компоненты hybrid attention, Mamba и gated-deltanet, а также поддержка английского, китайского и мультиязычного текста. Длина контекста в README не указана. Для работы требуется библиотека mlx-lm и совместимое с MLX окружение. К сильным сторонам относятся крупный размер, оптимизация для экосистемы MLX и возможность локального использования. Ограничения включают отсутствие данных о качестве на конкретных тестах, производительности, точном наборе поддерживаемых языков и размере контекста. Модель помечена как abliterated и uncensored, поэтому её ответы могут иметь меньше встроенных ограничений безопасности; это следует учитывать при практическом применении. Лицензия — Apache 2.0.

Модель stamsam/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-MLX-oQ4-MTP представляет собой 4-битную конверсию и квантизацию для локального вывода в MLX/oMLX. Она основана на Qwen3.6-35B-A3B и чекпойнте, дистиллированном из Claude Opus 4.7; новую тренировку или дообучение автор не проводил. Разработчик конверсии — stamsam, при этом в README указаны вклад авторов базовой модели, исходного дистиллированного чекпойнта и сообщества MLX/oMLX. Модель предназначена для генерации текста и задач рассуждения при локальном запуске, прежде всего на компьютерах Apple Silicon с использованием oMLX. Архитектура — MoE с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров на токен. Используется формат MLX oQ4 с 4-битной квантизацией и размером группы 64. Сохранены и проверены тензоры MTP, включая один дополнительный скрытый слой; нативная поддержка MTP подтверждена только в oMLX. Языки, размер контекста и мультимодальность в карточке не указаны. Сильные стороны модели — низкие требования к памяти по сравнению с полноразмерной версией, адаптация для локального вывода на Apple Silicon и потенциальное ускорение за счёт MTP. На M5 Pro с 48 ГБ объединённой памяти в локальном тесте oMLX достигнута средняя скорость около 89,9 токена в секунду с MTP против 86,0 без него, однако эти результаты не являются универсальным бенчмарком. Ограничения включают экспериментальный статус конверсии, зависимость MTP от конкретной среды выполнения и возможность генерации длинных цепочек рассуждений. Лицензия — Apache-2.0; перед распространением или коммерческим использованием рекомендуется дополнительно проверить условия upstream-моделей и политики использования данных учителя.

Qwen3.6-35B-A3B-NInfer — это конвертированная версия мультимодальной модели Qwen3.6-35B-A3B, подготовленная разработчиком Neroued для нативного формата NInfer. Артефакт предназначен исключительно для запуска в NInfer и не является checkpoint для Transformers, Safetensors-дистрибутивом или файлом GGUF. Дополнительные веса DFlash предоставлены проектом z-lab/Qwen3.6-35B-A3B-DFlash. Модель рассчитана на диалоговую генерацию текста, работу с изображениями и видео, а также сценарии локального инференса через CLI или HTTP-сервер NInfer. Архитектура указана как Qwen3_5MoeForCausalLM; размер файла составляет около 21,23 GiB. В артефакт входят текстовые и vision-компоненты, MTP, DFlash, оптимизированная proposal head и frontend-ресурсы. Поддерживаются speculative decoding через MTP и DFlash, мультимодальные запросы и контекст до 240 000 токенов при серверном запуске. В README не указаны полный перечень языков и точное число активных или всех параметров, однако обозначение модели содержит 35B-A3B. К сильным сторонам относятся мультимодальность, большой заявленный контекст, локальный запуск и ускорение генерации с помощью MTP или DFlash. В приведённых оценках модель получила 90% на AIME 2025 и AIME 2026 и 85,35% на GPQA-Diamond; результаты заявлены для режима zero-shot. Ограничения включают жёсткую зависимость от NInfer, 64-битного Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее, а также необходимость сборки NInfer из исходного кода. Распространение указано по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантизированная NVFP4-версия мультимодальной модели Qwen3.6-35B-A3B-Uncensored-Genesis. Квантизацию выполнил jan1k с использованием advanced-gguf-quantizer, форка llama.cpp; исходная модель основана на разработках HauhauCS и LuffyTheFox. Это версия Genesis без переноса Hermes-файнтюнинга. Модель предназначена для генерации текста и обработки изображений вместе с текстовыми запросами, при этом для мультимодальной работы требуется отдельный mmproj-файл. Архитектура — MoE qwen35moe: 35 млрд параметров всего, около 3 млрд активных, 40 слоёв и контекст до 262 144 токенов. Указаны английский, китайский и мультиязычный режимы. Рекомендуемый файл v4 занимает около 20 ГБ и использует встроенные UE4M3-масштабы, что обеспечивает совместимость с LM Studio, Pelican и другими средами, поддерживающими этот формат. Сильные стороны модели — большой контекст, мультимодальность, MoE-архитектура с относительно небольшим числом активных параметров и оптимизация NVFP4 для современных GPU. Наилучшая производительность ожидается на видеокартах Blackwell, а на Ampere используется fallback-реализация. Для запуска рекомендуется llama.cpp, максимальная выгрузка на GPU, F16 для K/V-кэша и 8 активных экспертов. Это специализированная квантизированная сборка, поэтому совместимость зависит от поддержки NVFP4 конкретным runtime; версия v2/v3 может выдавать некорректный результат в средах, не поддерживающих отдельные scale-тензоры. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B Abliterated + MTP GGUF — неофициальная производная модель Global Cybersecurity Alliance на базе Qwen/Qwen3.8-27B. Это плотная модель с 27 миллиардами параметров и нативной поддержкой понимания текста, изображений и видео. Модель распространяется в формате GGUF с квантованиями Q8_0, Q6_K, Q4_K_M и Q4_K_S; для каждого варианта предусмотрен соответствующий vision projector mmproj. Базовая модель ориентирована на мультимодальные задачи, управляемый режим рассуждений и работу с длинным контекстом, однако точный размер контекстного окна и перечень поддерживаемых языков в карточке не указаны. В производной версии применено вмешательство Abliterix, направленное на снижение поведения, связанного с отказами. Это может быть полезно для исследовательских и прикладных сценариев, где требуется более свободное следование инструкциям, но эффект не гарантирован и способен ухудшить тон, калибровку, качество рассуждений, точность или соблюдение инструкций. Приведённые в README результаты относятся к отдельной FP8-версии и не являются подтверждёнными показателями GGUF-квантований. Дополнительно доступен BF16 MTP-драфт для speculative decoding в совместимых версиях llama.cpp и других runtime: он может повысить скорость, но требует дополнительной памяти и явной настройки, а выигрыш зависит от оборудования и параметров запуска. Модель не является официальным релизом Qwen, Alibaba Cloud или авторов Abliterix. Лицензия — Apache-2.0.

summerMC/Qwen3.8-27B-SpeedX27-VL-GDN64-GGUF — квантованная версия модели summerMC/Qwen3.8-27B-SpeedX27-VL-GDN64 в формате GGUF. Модель основана на архитектуре Qwen3.8 с идентификатором qwen35 и содержит около 27 млрд параметров. В README не указаны имя или организация разработчика, однако репозиторий модели связан с пользователем summerMC. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. Указана поддержка модифицированной архитектуры Qwen с компонентами GDN и recurrent; для работы рекомендуется свежая версия llama.cpp. Максимальная длина контекста составляет 262 144 токена, но фактически доступный размер зависит от объёма RAM и VRAM. О модальностях и поддерживаемых языках дополнительных сведений нет. Предоставлена квантизация Q4_K_M, которая призвана обеспечить практический баланс между качеством, потреблением памяти и скоростью инференса. Формат GGUF удобен для локального развертывания, однако старые сборки llama.cpp могут не распознать архитектуру. К основным ограничениям относятся возможные требования к значительному объёму памяти и потенциальное снижение качества по сравнению с более точными версиями из-за квантизации. Лицензия — Apache-2.0; дополнительные условия использования следует уточнять в репозитории исходной модели.

Qwen3.8-4B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это полнопараметрическая дистилляция Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Модель ориентирована на рассуждения и использует встроенный шаблон чата; ответы начинаются с блока <think>, который при необходимости можно удалять перед показом пользователю. Доступны варианты от Q4_K_M до BF16 размером примерно от 2,783 до 8,666 ГБ. Рекомендуемый Q4_K_M обеспечивает баланс качества и размера, а Q8_0 и BF16 дают более высокое качество при повышенных требованиях к памяти. Архитектура Qwen3.5 использует гибрид из слоёв Gated DeltaNet и полноценных attention-слоёв, поэтому требуется свежая версия llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. В карточке указаны английский язык и сценарий text-generation; размер контекста не заявлен. По приведённым оценкам, модель заметно превосходит базовую Qwen3.5-4B в MMLU, но уступает ей в GSM8K CoT, поэтому качество зависит от типа задачи. Для Q4_K_M и Q5_K_M подходят видеокарты с 4–6 ГБ памяти, Q6_K и Q8_0 требуют примерно 6–8 ГБ, а BF16 — от 12 ГБ; при длинном контексте дополнительные ресурсы нужны для KV-кэша. Веса распространяются по лицензии Apache-2.0.

NobodyWho/Qwen_Qwen3-0.6B-GGUF — это GGUF-квантизированная версия языковой модели Qwen/Qwen3-0.6B, подготовленная для запуска через библиотеку инференса NobodyWho. Квантизации предоставлены bartowski. Модель предназначена для генерации текста, диалогов и выполнения инструкций, а также поддерживает синтаксис вызова функций и инструментов. Модель содержит около 600 млн параметров и поддерживает контекст до 32 768 токенов. Она работает с текстом и заявляет поддержку более 100 языков. Доступен режим рассуждений с отображением пошагового ответа. В README приведён вариант Q4_K_M в формате GGUF, ориентированный на переносимый локальный запуск и использование в приложениях, включая интеграции с Godot и Flutter. К сильным сторонам относятся небольшой размер, локальный запуск, портативность GGUF-файлов и поддержка многоязычных диалогов, инструментов и режима рассуждений. При этом архитектура, точные языковые показатели и результаты тестирования не указаны, бенчмарки заявлены как готовящиеся, а дата отсечения знаний неизвестна. Базовая модель распространяется по лицензии Apache 2.0; README указывает эту же лицензию для представленного варианта.

Alcoft/Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированный вариант языковой модели Qwen3-4B-Thinking-2507, разработанной командой Qwen. Модель предназначена для генерации текста и сценариев, требующих рассуждений, включая работу с локальными приложениями и системами, поддерживающими формат GGUF. В репозитории представлены варианты квантизации от Q2_K до Q8_K с размером файлов примерно от 1,38 до 3,99 ГБ. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и близкие к ним конфигурации: они обеспечивают приемлемое или высокое качество при меньших требованиях к памяти. Самые лёгкие варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. Некоторые варианты используют повышенную точность Q8_0 или F16 для выходных и embedding-слоёв. Модель относится к text-generation и предоставляет только текстовую модальность. Данные о точной архитектуре, размере контекста и поддерживаемых языках в представленном README не указаны. Основные ограничения связаны с потерей качества при сильной квантизации и зависимостью результата от выбранного варианта. Указана лицензия Apache-2.0.

Schematron-8B — специализированная языковая модель компании Inference.net для извлечения структурированных данных из HTML. Она принимает HTML-страницу и JSON Schema, а в ответ формирует JSON, соответствующий заданной схеме; модель построена на архитектуре Llama и дообучена на базе meta-llama/Llama-3.1-8B-Instruct. По метаданным, модель содержит 7,5 млрд параметров, использует библиотеку Transformers и формат safetensors. Модель предназначена для веб-скрейпинга, загрузки данных и преобразования содержимого страниц в структурированные записи. Контекст составляет до 131 072 токенов. Карточка заявляет качество извлечения, близкое к GPT-4.1 на описанной оценке, и рекомендует температуру 0 и JSON-режим для более стабильного вывода. Модель работает со статическим HTML: динамически загружаемый контент нужно предварительно отобразить, а очень большие страницы могут потребовать усечения. Результаты неоднозначных полей зависят от ясности схемы; вывод рекомендуется проверять по схеме. Лицензия в предоставленных данных не указана.

Sky-T1-32B-Flash-GGUF — GGUF-квантизированная версия текстовой генеративной модели Sky-T1-32B-Flash, разработанной NovaSky-AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Модель имеет 32 миллиарда параметров и ориентирована на работу с английским языком. В репозитории доступны варианты от BF16 и Q8_0 до низкобитных Q2_K и IQ2_M, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью инференса. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и близкие к ним; более компактные версии подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Ключевые сведения об архитектуре, размере контекста, мультимодальности и специализированных возможностях в README не указаны. Модель является текстовой, поэтому данные о поддержке изображений или других модальностей отсутствуют. Для использования требуются совместимое ПО и значительные вычислительные ресурсы, особенно для BF16 и высококачественных квантизаций. Распространяется по лицензии Apache-2.0.