II.8Инженерия данных и аналитика

Mistral-Small-4-119B-Uncensored-GGUF — текстовая GGUF-версия модели Mistral Small 4 119B Instruct, разработанная TIMTEH на базе модели Mistral AI. Из исходной мультимодальной модели удалена vision tower, поэтому данная версия работает только с текстом. Модель предназначена для генерации текста, диалогов, рассуждений, программирования и других задач обработки естественного языка, включая сценарии, где требуется меньше ограничений на ответы. Модель содержит 119 млрд параметров и использует архитектуру Mixture of Experts с 128 маршрутизируемыми и одним общим экспертом на каждом слое; для каждого токена активируются 4 эксперта. Архитектура включает 36 decoder layers и Multi-Latent Attention. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского и корейского языков. Исходная модель поддерживает контекст до 128K токенов, однако для GGUF-рантаймов рекомендуется ориентироваться на контекст до 32K токенов. Ключевая особенность — abliteration: из слоёв 9–35 удалено направление, связанное с отказами, без дообучения и изменения датасета. Это расширяет диапазон запросов, на которые модель отвечает, но одновременно уменьшает защитные ограничения и требует ответственного применения. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в BF16; размер файлов составляет примерно от 41 до 222 ГБ, поэтому требуются значительные ресурсы GPU или оперативной памяти. Совместима с llama.cpp, LM Studio, Jan, koboldcpp, Ollama и другими GGUF-совместимыми средами. Распространяется по лицензии Apache-2.0.

NVIDIA Nemotron 3.5 Lightning 30B-A3B — APEX GGUF — это набор измеренно распределённых и оптимизированных GGUF-квантизаций базовой модели NVIDIA Nemotron 3.5 Lightning 30B-A3B от NVIDIA. Рецепт APEX и инструментарий предоставлены LocalAI, а движок квантизации — llama.cpp. Модель предназначена для генерации текста, диалоговых приложений и сценариев с инструментами, включая последовательный tool-calling, при запуске через llama.cpp. Архитектура Nemotron-H гибридная: 52 слоя сочетают Mamba2 SSM и MoE, причём полное attention используется только в 6 слоях. MoE включает 128 маршрутизируемых экспертов и общий эксперт; активно используется около 3B параметров из примерно 31,6B. Контекст поддерживается до 128k токенов, а благодаря архитектуре KV-кэш занимает около 6 KiB на токен, или примерно 0,75 GiB при контексте 128k. В комплект включена MTP-голова для speculative decoding. Доступны варианты mini на 3,56 bpw и 13,66 GiB, compact на 4,42 bpw и 16,91 GiB, а также i-quality на 5,62 bpw и 21,53 GiB; compact и i-quality на момент описания ещё загружались. Сильные стороны модели — большой контекст при сравнительно небольших требованиях к памяти, специализированная importance matrix-квантизация, измеренное распределение битов по тензорам и сохранённая поддержка speculative decoding. Вариант mini рассчитан на видеокарту с 16 ГБ памяти и полный контекст 128k. Ограничения включают необходимость достаточно новой версии llama.cpp, явной настройки размера контекста и учёт того, что модель генерирует подробные рассуждения, увеличивая расход выходных токенов. Лицензия указана как openmdw-1.1.

RedHatAI/Qwen2-72B-Instruct-FP8 — это текстовая instruction-tuned модель для диалоговых и ассистентских сценариев, созданная Neural Magic на основе Qwen2-72B-Instruct. Модель принимает текст и генерирует текст; заявлена для коммерческого и исследовательского использования на английском языке. Модель содержит 72 млрд параметров и использует FP8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Симметричная поканальная схема не используется: применяется симметричная поквантовая схема с одним масштабным коэффициентом на тензор. Это примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битной версией. Модель подготовлена для инференса через vLLM версии 0.5.0 и выше; в примерах развертывания и оценки используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам при сохранении качества исходной модели: средний результат на OpenLLM benchmark составляет 80,34 против 79,97 у неквантизированной версии. Ограничения включают ориентацию на английский язык, необходимость совместимого FP8-оборудования и программного стека для эффективного запуска, а также отсутствие в README сведений о поддержке изображений или других модальностей. Лицензия указана как tongyi-qianwen; применение должно соответствовать условиям этой лицензии и законодательству.

Карточка модели jahseh1654/Qwen3.5-4B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

AtomicChat/Qwen3.5-4B-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-4B, подготовленный командой Atomic Chat. Модель предназначена для локального и полностью автономного запуска задач генерации текста, включая диалоги, рассуждения, программирование и агентские сценарии. В репозитории представлены только текстовые версии без визуального проектора, поэтому изображения не поддерживаются, хотя базовая модель относится к мультимодальным моделям Text и Image. Модель содержит около 4,7 млрд параметров и 32 слоя; заявлены контекст до 262 144 токенов и словарь размером 248 320 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая версии с importance matrix, которая призвана уменьшить потери качества при низкой разрядности. Вариант Q4_K_M указан как оптимальный баланс размера, скорости и качества; файлы занимают примерно от 1,9 до 4,5 ГБ. Сильные стороны модели — возможность офлайн-использования, широкий выбор квантизаций и относительно небольшие требования к памяти. К ограничениям относятся потеря качества в наиболее компактных вариантах, отсутствие поддержки изображений в данном репозитории и необходимость применять шаблон чата Qwen3.5 через параметр --jinja, иначе возможна некорректная генерация диалоговых реплик. Приведённые в README результаты являются опубликованными оценками базовой Qwen3.5-4B, а не независимыми измерениями Atomic Chat. Лицензия — Apache-2.0.

Infatoshi/Qwen3.6-35B-A3B-GGUF — это набор GGUF-конверсий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный Infatoshi для запуска в llama.cpp. Модель предназначена для генерации и обработки текста, а также для мультимодальных сценариев с изображениями и видео; для работы с визуальными входными данными требуется отдельный файл vision projector. Модель использует разреженную MoE-архитектуру: 35 млрд параметров суммарно, около 3 млрд активных параметров, 256 экспертов и один общий эксперт, маршрутизация top-8. В архитектуре сочетаются слои Gated-DeltaNet и Gated-Attention в соотношении 3:1, заявлен нативный контекст до 262 тысяч токенов. Указана поддержка английского, китайского и многоязычного применения. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и BF16 с объёмом файлов от 20 до 65 ГБ. Сильными сторонами являются существенно сниженное число активных параметров при большом общем размере модели, поддержка длинного контекста и мультимодальный ввод. Вариант Q4_K_M рассчитан на одну видеокарту с 24 ГБ памяти, тогда как более качественные или менее квантованные варианты требуют 32–40 ГБ видеопамяти, частичной выгрузки или CPU. Производительность и требуемые ресурсы зависят от варианта квантования, размера контекста и режима инференса; варианты Q5_K_M, Q8_0 и BF16 не помещаются на одной 24-гигабайтной видеокарте при практически применимом контексте. Модель распространяется по лицензии Apache-2.0.

batiai/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, основанной на архитектуре Qwen3.5. Квантизацию выпустила BatiAI на базе официального релиза Qwen. Модель предназначена для локального запуска через llama.cpp и Ollama, включая использование на устройствах Apple Silicon. Модель представляет собой плотную модель на 27 млрд параметров с 64 слоями, скрытым размером 5120 и словарём из 248 320 токенов. Она использует гибридную архитектуру с преимущественно линейным вниманием Gated DeltaNet и полным вниманием в каждом четвёртом блоке. Нативный контекст составляет 262 144 токена и заявлена возможность расширения до 1 млн токенов. Поддерживаются текстовые сценарии, а при подключении vision-проектора BF16 — анализ изображений и видео. Заявлены языки английский, корейский и китайский. Модель ориентирована на генерацию текста, рассуждения, планирование и агентские сценарии с обработкой обратной связи от окружения. Режим рассуждений включён по умолчанию, его можно отключать и настраивать через reasoning_effort. Доступно несколько вариантов квантизации объёмом примерно от 10,2 до 22,1 ГБ, а vision-проектор требует ещё около 0,93 ГБ. Квантизация снижает требования к памяти, но может влиять на качество по сравнению с полноточной моделью; конкретные требования зависят от выбранного варианта и оборудования. На Apple Silicon производительность разных квантизаций неодинакова, поэтому меньший файл не всегда означает более высокую скорость. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-GSQ-RCO-GGUF — квантизированная версия Qwen3.8-27B, разработанная с использованием методов GSQ и RCO в Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель распространяется в формате GGUF и предназначена для локального запуска в llama.cpp, Ollama и LM Studio. Модель рассчитана на текстовые и мультимодальные сценарии благодаря отдельному vision encoder и проектору mmproj в формате BF16. Доступны варианты с эффективной средней разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ; файл mmproj занимает около 0,9 ГБ. Вариант IQ3_S позиционируется как рекомендуемый и практически не уступающий базовой модели на заявленных тестах AIME25, LiveCodeBench v6 и GPQA-Diamond. Дополнительные сборки с MTP head поддерживают speculative decoding и примерно на 0,35 ГБ больше. GSQ выполняет посттренировочную скалярную квантизацию с учетом чувствительности отдельных координат и масштабов групп, а RCO распределяет типы квантизации между тензорами в рамках заданного бюджета размера. Это позволяет существенно уменьшить объем модели при сохранении качества, однако низкоразрядные варианты могут иметь компромиссы по точности и требуют совместимого программного обеспечения. Лицензия — Apache 2.0.

Qwen3-VL-30B-A3B-Instruct-AWQ — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3-VL-30B-A3B-Instruct, разработанной Qwen и опубликованной в репозитории dark-side-of-the-code. Модель предназначена для генерации текста по текстовым и визуальным запросам, включая понимание изображений, распознавание текста на изображениях, работу со структурированными ответами и вызов инструментов. Она рассчитана прежде всего на эффективное локальное развертывание через vLLM, в том числе на одной видеокарте с 24 ГБ памяти. Архитектура и поведение соответствуют базовой модели Qwen3-VL-30B-A3B-Instruct. Используется MoE-архитектура с 30 млрд параметров и примерно 3 млрд активных параметров; языковые веса сжаты до 4 бит по схеме W4A16 с размером группы 128, тогда как vision tower, MoE-router и lm_head сохранены в полной точности. Поддерживается мультимодальный ввод; в приведённой конфигурации проверена работа с несколькими изображениями и контекстом до 48 000 токенов при использовании FP8 KV-кэша. Размер файлов модели составляет около 17,8 ГБ. К сильным сторонам относятся существенное снижение требований к памяти, высокая скорость декодирования и сохранение возможностей базовой модели в задачах текста, OCR, структурированной генерации и tool calling. К ограничениям относятся небольшое снижение точности относительно версии bf16, зависимость от совместимой версии vLLM и необходимость настройки параметров обслуживания; данные о поддерживаемых языках отдельно не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели jamiefutch/Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF на Hugging Face совпадает с карточкой FreedomAISVR/Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF, поэтому описание составлено по ней. Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF — это квантованная в формате GGUF MXFP4 версия модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M, дообученной Empero AI на базе Qwen3.5-9B. Это мультимодальная модель с архитектурой Qwen3.5 и зрительным энкодером SigLIP ViT; основной файл использует 4-битный формат MXFP4, а для обработки изображений нужен отдельный файл mmproj в F16. Репозиторий распространяется под лицензией Apache-2.0. Модель предназначена для диалогов с рассуждениями, работы с изображениями, вызова инструментов и задач с длинным контекстом, включая анализ кода и документов. README заявляет контекст до 1 048 576 токенов, а также сильные стороны в математике, кибербезопасности и биомедицинских темах. Поддерживаются английский язык и интерфейс вызова инструментов в стиле OpenAI/Qwen3.5. Зрительная часть унаследована от базовой модели и не дообучалась; README также предупреждает, что модель может уверенно выдавать ошибочные идентификаторы CVE и дозировки лекарств. Для критически важных ответов нужны внешняя проверка и инструменты, а для пользовательских развёртываний README рекомендует добавить собственный слой безопасности. Ответы начинаются с блока рассуждений, поэтому требуется достаточный лимит генерации.

Command A+ — открытая мультимодальная модель Cohere и Cohere Labs для диалогов, агентных сценариев и задач, требующих рассуждений. Эта версия представлена в формате BF16; её архитектура — декодерный трансформер со sparse Mixture-of-Experts: 218 млрд параметров всего, из которых 25 млрд активны, 128 экспертов и 8 активных экспертов на токен. Модель принимает текст и изображения и генерирует текст; поддерживает вызов внешних инструментов в диалоге. Модель рассчитана на многоязычные сценарии и обучение охватывает 48 языков, включая русский, английский, арабский, хинди, японский и китайский. Контекст составляет до 128 тысяч входных и 64 тысяч выходных токенов. Веса распространяются по лицензии Apache 2.0. Для запуска указаны Transformers с необходимыми изменениями из исходного репозитория либо vLLM версии 0.21.0 или выше; для корректного разбора ответов в vLLM требуется библиотека Cohere Melody. BF16-версия требует значительных GPU-ресурсов: в карточке приведены конфигурации от четырёх B200 или восьми H100.

AtomicChat/gemma-4-26B-A4B-it-GGUF — это GGUF-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалогов, рассуждений и других сценариях, поддерживаемых базовой text-generation-моделью. Для запуска в llama.cpp требуется применять шаблон чата Gemma 4 с параметром --jinja. Модель использует архитектуру Mixture-of-Experts: 25,2 млрд параметров всего и около 3,8 млрд активных на каждый токен, 30 слоёв, 128 маршрутизируемых экспертов с выбором top-8, гибридное внимание с локальным окном 1024 токена и глобальным вниманием, 16 attention heads и 8 KV heads. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи. Базовая модель поддерживает текст и изображения, однако данный репозиторий содержит только текстовые квантизации и не включает vision projector. К сильным сторонам относятся высокая вычислительная эффективность MoE-архитектуры, большой контекст, режимы рассуждения и широкий выбор квантизаций от Q2_K до Q8_0. Квантизация с importance matrix призвана сохранить качество оригинальной модели, но низкобитные варианты могут заметно терять качество; Q4_K_M обозначен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 — как варианты с минимальными потерями. Размер файлов составляет примерно от 10,6 до 26,9 ГБ, поэтому требуются значительные оперативная память или видеопамять. Модель распространяется по лицензии Apache-2.0.

mlx-community/GLM-5 — версия GLM-5, преобразованная сообществом mlx-community для запуска с MLX на устройствах Apple. Это диалоговая языковая модель семейства GLM с архитектурой GlmMoeDsaForCausalLM и 30,4 млрд параметров; она предназначена для генерации текста и общения. В карточке базовая GLM-5 описана как модель для рассуждений, программирования и длительных агентных задач. Модель поддерживает английский и китайский языки и имеет контекстное окно 202 752 токена. Репозиторий содержит веса в формате Safetensors и рассчитан на использование с библиотекой MLX; README указывает преобразование из zai-org/GLM-5 с помощью mlx-lm версии 0.30.7. Лицензия — MIT. Метаданные указывают связь с базовой моделью как finetune, хотя README описывает именно преобразование в формат MLX; поэтому происхождение классифицировано как конверсия формата.

duyntnet/granite-3.0-2b-instruct-imatrix-GGUF — GGUF-квантизации модели Granite-3.0-2B-Instruct, разработанной командой Granite компании IBM. Модель дообучена на базе Granite-3.0-2B-Base с использованием открытых наборов данных для обучения инструкциям, синтетических данных, supervised fine-tuning, обучения с подкреплением для выравнивания и объединения моделей. Она содержит около 2 миллиардов параметров и предназначена для генерации текста по инструкциям. Модель подходит для создания ассистентов и бизнес-приложений, суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval Augmented Generation (RAG), задач, связанных с кодом, function calling и многоязычного диалога. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые интерфейсы, включая KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. К сильным сторонам относятся компактный размер, широкий набор прикладных сценариев, структурированный чат-формат и поддержка 12 языков. README не содержит сведений о длине контекста, конкретных вариантах квантизации, требованиях к оборудованию или результатах бенчмарков, поэтому производительность и ограничения в этих аспектах оценить нельзя. Для исходной модели указана лицензия Apache 2.0; для данного репозитория в метаданных отмечена лицензия other, без дополнительных пояснений.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель архитектуры LlamaForCausalLM для генерации текста, диалоговых ассистентов и tool calling. Модель получает текст на вход и генерирует текст на выходе; поддержка вызова инструментов реализована через специальный шаблон чата и парсер llama3_json. Модель содержит 8 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках с применением симметричной поканальной схемы для весов и динамической потокенной квантизации активаций. По сравнению с 16-битным представлением это примерно вдвое уменьшает размер на диске и требования к памяти GPU. Модель рассчитана на эффективный инференс с vLLM; заявлено восстановление качества на уровнях 99,7–105,4% относительно исходной модели в ряде тестов, включая Arena-Hard, OpenLLM и HumanEval. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, однако README отдельно ограничивает использование языком английским и указывает, что применение в других языках относится к сценариям вне области назначения. Контекст модели в README явно не указан. Модель предназначена для коммерческого и исследовательского использования с учетом условий лицензии Llama 3.1 и применимых законов и ограничений. Она была проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.

Ornith-1.5-9B-OptiQ-4bit — квантованная версия языковой reasoning-модели Ornith-1.5-9B-MLX, разработанной ornith-ai и адаптированной сообществом mlx-community для MLX. Модель предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. Указан английский язык. Модель основана на архитектуре Qwen3.5 с 9 млрд параметров и 32 слоями. Используется смешанная покомпонентная квантизация OptiQ: 116 компонентов представлены в 4-битном формате, 134 — в 8-битном, размер группы — 64. На диске модель занимает около 7 ГБ; обозначение 4bit относится к семейству квантов, а не к среднему числу бит на параметр. Для запуска используются mlx-lm и mlx-optiq, доступен совместимый с OpenAI и Anthropic серверный интерфейс с поддержкой смешанной точности KV-кэша. Сильными сторонами являются уменьшенный размер, локальная работа на Apple Silicon и сохранение более высокой точности в чувствительных слоях за счёт смешанной квантизации. Ограничения включают специализацию на экосистеме MLX и Apple Silicon, а также необходимость выделять модели достаточный бюджет токенов для reasoning-сценариев. Модель распространяется по лицензии Apache-2.0.

Phi-3-medium-4k-instruct-GGUF — это квантизированная GGUF-версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft и подготовленной к квантизации компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Указана поддержка нескольких языков, но их точный перечень в карточке не приведён. Модель использует архитектуру Phi, имеет контекст до 4000 токенов и поддерживает формат GGUF с вариантами квантизации от 2 до 8 бит, а также f16. Размер файлов составляет примерно от 5,14 до 27,9 ГБ. Вариант Q4_K_M обозначен как рекомендуемый баланс размера и качества, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Модель совместима с LlamaEdge версии 0.11.2 и выше и использует шаблон запросов phi-3-chat. Основное преимущество этой версии — возможность локального запуска с выбором компромисса между потреблением памяти, размером файла и качеством ответов. Низкобитные варианты экономичнее, но могут заметно терять в качестве; для большинства практических сценариев рекомендуется избегать Q2_K и ряда более агрессивных квантизаций. Карточка не содержит данных о точном числе параметров, обучающих данных, результатах оценки, аппаратных требованиях или ограничениях безопасности. Модель распространяется по лицензии MIT.

RedHatAI/phi-4-quantized.w4a16 — квантизированная версия языковой модели phi-4, разработанной Microsoft; оптимизацию выполнили Red Hat и Neural Magic. Это авторегрессионная текстовая модель архитектуры Phi3ForCausalLM с текстовым вводом и выводом, предназначенная для генерации текста, диалоговых и conversational-сценариев, задач рассуждения, логики, математики и программирования, преимущественно на английском языке. Модель ориентирована на исследовательское использование и создание генеративных AI-функций в средах с ограниченными ресурсами, а также в сценариях, чувствительных к задержке. Веса линейных операторов в трансформерных блоках квантизированы до INT4 по симметричной групповой схеме с размером группы 128 с применением алгоритма GPTQ через библиотеку llm-compressor. По сравнению с представлением FP16 это примерно на 75% снижает размер на диске и требования к памяти GPU, что может облегчать развертывание и повышать эффективность инференса. В README также указана поддержка развертывания через vLLM и совместимость с Red Hat AI Inference Server, Red Hat Enterprise Linux AI и Red Hat OpenShift AI; максимальный контекст в приведённой конфигурации составляет 32768 токенов. Ограничения включают фокус на английском языке, возможные типичные проблемы языковых моделей с точностью, безопасностью и справедливостью, а также отсутствие специальной оценки для всех прикладных сценариев. Перед использованием в чувствительных и высокорисковых системах необходимы отдельная проверка и меры контроля. Модель распространяется по лицензии MIT.

Qwen3-128k-30B-A3B-NEO-MAX-Imatrix-gguf — набор GGUF-квантизаций модели Qwen3-30B-A3B, разработанной командой Qwen. Это разреженная Mixture-of-Experts-модель с 30 млрд общих параметров и 128 экспертами, из которых обычно активируются 8 в зависимости от содержания запроса; эффективный объём активных параметров составляет около 3 млрд. Автор сборки применил собственный NEO Imatrix-процесс и модификации, ориентированные на работу с различными уровнями квантования. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, рассуждений, решения задач и использования инструментов. Заявлена поддержка контекста до 131072 токенов, расширенного с 32768 с применением YaRN. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Ключевое преимущество сборки — возможность запуска всех вариантов на GPU, CPU или в режиме CPU с оперативной памятью благодаря MoE-архитектуре и активации только части параметров. NEO Imatrix-квантизация призвана сохранить пригодное качество даже у компактных вариантов, однако более низкие уровни квантования уступают старшим по качеству и могут требовать более подробных промптов. Скорость и качество зависят от конкретного варианта квантизации и оборудования; приведённые в README оценки производительности ограничены описанной конфигурацией. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Thinking-2507-FP8 — текстовая авторегрессионная модель семейства Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это thinking-вариант, работающий только в режиме рассуждений: перед итоговым ответом модель формирует цепочку рассуждений, которую совместимый сервер может возвращать отдельно. Модель предназначена для генерации текста, следования инструкциям, решения задач, многоязычного общения и вызова инструментов. Архитектура — Mixture-of-Experts (MoE) на базе Qwen3: около 30,5 млрд общих параметров, из которых примерно 3,3 млрд активируются для каждого токена. Поддерживаются ввод и вывод в текстовом формате, вызов функций через parser Hermes и OpenAI-совместимый API Furiosa-LLM. Веса статически квантованы в FP8, активации используют динамическую FP8-квантизацию, а KV-кэш хранится в 16-битной точности. Ключевое преимущество модели — сочетание возможностей рассуждения, следования инструкциям, многоязычности и использования инструментов при сниженной вычислительной нагрузке на токен благодаря MoE-архитектуре и FP8-квантизации. Ограничения включают работу только в режиме рассуждений, необходимость совместимого стека Furiosa-LLM и аппаратуры FuriosaAI RNGD для описанной конфигурации, а также отсутствие в README сведений о поддерживаемых языках и размере контекста. Для запуска на RNGD требуется тензорный параллелизм на 32 PE, соответствующий четырём картам RNGD. Модель распространяется по лицензии Apache 2.0.

AtomicChat/Qwen3.6-35B-A3B-GGUF — это набор самостоятельно квантованных версий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный командой Atomic Chat в формате GGUF для локального и полностью офлайн-запуска. Модель предназначена для генерации текста, диалоговых сценариев, агентного программирования, работы с frontend-задачами и рассуждений на уровне репозитория. Модель можно использовать через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Базовая модель содержит 36 млрд параметров и построена на архитектуре Mixture-of-Experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Архитектура использует 16 attention heads и 2 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Исходная модель поддерживает текст и изображения, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Репозиторий включает варианты Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0; размеры файлов составляют примерно от 21,2 до 36,9 ГБ. Квантование выполнено с importance matrix, что позволяет сохранить большую часть качества исходной модели, при этом Q4_K_M рекомендуется как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся большой контекст, MoE-архитектура, возможность автономного запуска и несколько уровней квантования с разным компромиссом между качеством и требованиями к памяти. Ограничения — высокая потребность в оперативной или видеопамяти, отсутствие обработки изображений в данных версиях и необходимость применять шаблон чата Qwen3.6 через параметр --jinja. Лицензия исходной модели — Apache 2.0; квантованные файлы подготовлены Atomic Chat.

Qwen3.8-27B-4bit-MLX-TextOnly — текстовая 4-битная квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Модель преобразована в формат MLX с использованием mlx-lm 0.31.2 и предназначена для запуска в экосистеме MLX и mlx-lm. Она поддерживает генерацию текста, диалоговые сценарии, рассуждения, использование инструментов и работу с длинным контекстом; заявлена как многоязычная. Модель содержит около 27 миллиардов параметров в исходной версии и использует weight-only-квантование до 4 бит с group size 64, affine- и RTN-подходами. Это текстовая модель без vision tower: возможности обработки изображений удалены, поэтому она работает только с текстом. К сильным сторонам относятся уменьшенный объём весов и пригодность для локального запуска в MLX, а ограничением — отсутствие мультимодальных возможностей и потенциальная потеря точности по сравнению с полной моделью из-за квантования. Точная длина контекста в README не указана. Распространяется по лицензии Apache-2.0.

MKRWW/Qwen3.8-27B-int4-AutoRound — производная квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для локального запуска и сервинга через vLLM на потребительских GPU, включая обработку текста, изображений и аудио, задачи рассуждения, программирования, математики, вызова инструментов и описания изображений. Архитектура определяется базовой моделью Qwen3.8-27B и представлена в Transformers как Qwen3_5ForConditionalGeneration; заявлена поддержка мультимодальных сценариев и контекста до 262 144 токенов. В модели применена весовая квантизация INT4 методом Intel AutoRound с group_size 128 и форматом auto_round:auto_gptq. Квантизованы 64 блока языкового декодера, тогда как vision- и audio-компоненты, эмбеддинги, lm_head и отдельные малые проекции сохранены в FP16. Размер весов составляет около 17,45–17,5 ГБ, благодаря чему модель запускается на одной видеокарте с 24 ГБ памяти; для полного контекста 262K рекомендуется конфигурация из двух таких карт. Для CPU и небольшого объёма VRAM этот репозиторий не предназначен. Сильные стороны — заметно сниженное потребление памяти, сохранение мультимодальных возможностей и совместимость с vLLM, включая reasoning и tool calling. Модель по умолчанию использует рассуждение, поэтому при малом лимите вывода ответ может быть обрезан; видимое отдельное поле reasoning_content также требует дополнительной настройки. Приведённые в README результаты являются внутренним сравнением, а не формальным независимым бенчмарком. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

vmarcelo/Qwen3.8-27B-MIX_GGUF — набор пользовательских смешанных GGUF-квантизаций модели Qwen/Qwen3.8-27B-FP8, подготовленный vmarcelo с использованием llama.cpp, importance matrix и переопределений типов квантизации для отдельных тензоров. Базовая модель представляет собой плотную мультимодальную модель на 27 млрд параметров с гибридной архитектурой GatedDeltaNet и Gated Attention, а также головой Multi-Token Prediction. Поддерживается работа с текстом и изображениями; заявлена многоязычность, включая английский, французский, немецкий и японский языки. Доступны две версии: IQ4-MIX размером 14,10 ГБ и IQ3-MIX размером 12,58 ГБ. IQ4-MIX ориентирована на более высокое качество, программирование, рассуждения и работу с изображениями, тогда как IQ3-MIX обеспечивает примерно на 14% большую скорость генерации, сниженное потребление памяти и больший запас для длинного контекста, но с небольшим снижением качества, особенно из-за более сильного квантования линейного внимания. На видеокарте AMD Radeon RX 9070 XT с 16 ГБ VRAM средняя скорость генерации составляет около 33 токенов в секунду для IQ4-MIX и 37,5 токена в секунду для IQ3-MIX. В зависимости от версии, конфигурации KV-кэша и среды выполнения доступны контексты от 16–64K до 64–128K токенов; измерения зависят от backend, размера пакета и других параметров. Модель предназначена для локального запуска через совместимые GGUF-рантаймы, включая LM Studio и llama.cpp с Vulkan. Для обработки изображений требуется отдельный файл vision encoder mmproj-F16.gguf. Лицензия указана как other с названием qwen-research; применимые условия следует уточнять по лицензии базовой модели Qwen/Qwen3.8-27B-FP8.

t-firefly выпустил сборку Qwen3.8-27B для работы на ускорителе Rockchip RK1828 через LlamaPi. Это плотная мультимодальная модель генерации текста по текстовым и визуальным входам; исходную модель разработала команда Qwen. Она предназначена для диалога, анализа изображений и видео, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Модель принимает изображения и видео, включая документы и STEM-диаграммы; в исходной карточке заявлено понимание видео длительностью до часа. Режим рассуждения включён по умолчанию, его глубину можно настраивать. Репозиторий содержит GGUF и safetensors и помечен как совместимый с LlamaPi. Лицензия — Apache-2.0. Для запуска через LlamaPi требуется соответствующая среда на RK1828; практическое качество и поддержка конкретных входных форматов зависят от реализации.

unsloth/Qwen3-VL-32B-Instruct — репозиторий весов мультимодальной модели Qwen3-VL, опубликованный Unsloth на основе Qwen/Qwen3-VL-32B-Instruct. Это плотная модель на 32 млрд параметров для диалога по тексту и изображениям; поддерживает визуальное понимание, OCR, рассуждения о пространстве и видео, а также интерфейс взаимодействия с инструментами. Модель рассчитана на анализ документов и сцен, распознавание элементов графического интерфейса, ответы на вопросы по визуальным материалам и генерацию кода или разметки по изображениям и видео. README указывает контекст 256 тысяч токенов с возможностью расширения до 1 млн и OCR на 32 языках. Репозиторий содержит веса safetensors и исправления шаблона чата Unsloth. Лицензия — Apache-2.0. README не приводит отдельные результаты тестирования этой конкретной сборки, поэтому заявления о превосходстве квантованных вариантов не подтверждают качество данного репозитория. Для запуска с llama.cpp README рекомендует параметр --jinja.

unsloth/Qwen3-VL-4B-Instruct-bnb-4bit — это 4-битно квантованная версия мультимодальной инструкционной модели Qwen3-VL-4B-Instruct, подготовленная Unsloth на базе модели Qwen Team. Модель предназначена для задач, в которых требуется совместная обработка текста и изображений, включая визуальные вопросы и ответы, описание изображений, OCR, анализ документов, визуальное рассуждение, работу с видео и взаимодействие с графическими интерфейсами. Модель имеет плотную архитектуру и около 4 миллиардов параметров; поддерживает текстово-визуальный ввод и вывод текста. Для семейства Qwen3-VL заявлены нативный контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, анализ продолжительных видео, распознавание текста на 32 языках, улучшенное пространственное рассуждение, временная привязка событий в видео и генерация кода HTML/CSS/JS или схем Draw.io по визуальным материалам. В README также указаны механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками, однако конкретные языки интерфейса и точные параметры именно этой квантованной сборки не уточняются. К сильным сторонам относятся сочетание визуального восприятия и текстового понимания, работа с документами и видео, распознавание текста в сложных условиях, а также возможность применения в агентских сценариях и на устройствах с ограниченными ресурсами благодаря 4-битной квантизации. Ограничения включают возможное снижение точности по сравнению с полноформатной моделью и неуточнённые требования к аппаратному обеспечению и совместимости. Лицензия — Apache-2.0.

Qwen3-VL-8B-Instruct-GGUF — мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-8B-Instruct в формате GGUF, разделённые на языковую модель и vision encoder. Модель предназначена для понимания и генерации текста по текстовым и визуальным данным, включая изображения и видео, а также для визуального анализа, OCR, пространственного рассуждения, STEM-задач и взаимодействия с графическими интерфейсами. Доступны варианты языковой части FP16, Q8_0 и Q4_K_M, а vision encoder — FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Формат совместим с llama.cpp, Ollama и другими GGUF-инструментами, поддерживает CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Для семейства Qwen3-VL заявлены контекст до 256K токенов с возможностью расширения до 1M, улучшенное понимание длительных видео, OCR на 32 языках, распознавание объектов и документов, визуальное кодирование, 2D- и 3D-заземление, а также механизмы Interleaved-MRoPE, DeepStack и временного выравнивания текста с событиями видео. Сильными сторонами являются сочетание текстовых и визуальных возможностей, поддержка видео, расширенный контекст, работа с документами и возможность локального запуска на разнообразном оборудовании. Ограничения включают зависимость требований к ресурсам и качества от выбранной точности квантования, необходимости использовать актуальную версию совместимого ПО и наличия подходящего оборудования; конкретные языки, точные результаты бенчмарков и детальные ограничения именно версии 8B в README не указаны. Лицензия — Apache-2.0.

Sarvam-30B — языковая модель, разработанная командой Sarvam Foundation Models. Это модель класса Mixture-of-Experts (MoE), ориентированная на практическое развертывание, мультиязычные диалоги и голосовые вызовы на индийских языках, включая выполнение вызовов инструментов. Она также предназначена для задач рассуждения, генерации кода и общего текстового общения. Модель содержит 30 млрд параметров, из которых 2,4 млрд активируются для отдельного запроса, и представлена в виде FP8-квантизированных весов в формате FP8 E4M3. Архитектура включает 19 слоёв, 128 экспертов с общим экспертом, маршрутизацию top-6, grouped KV attention с четырьмя KV-головами, dense FFN размером 8192 и MoE-FFN размером 1024. Высокое значение rope_theta, равное 8e6, предназначено для стабильной работы с длинным контекстом без дополнительного RoPE scaling, однако точный размер контекстного окна в README не указан. Заявлена передовая производительность для своего размера в 22 индийских языках; также заявлена поддержка английского языка. К сильным сторонам относятся эффективность по памяти и пропускной способности, сниженные требования к ресурсам благодаря MoE и FP8-квантизации, а также сочетание рассуждения, программирования, диалогового взаимодействия и поддержки индийского языкового контекста. Ограничением является необходимость специальной настройки инфраструктуры: для запуска рекомендуются SGLang или модифицированная версия либо hot-patch для vLLM, а точная производительность зависит от оборудования и конфигурации. Модель распространяется по лицензии Apache 2.0.

Spark-X2.5-4B-GGUF — набор общественных GGUF-квантизаций компактной универсальной языковой модели Spark-X2.5-4B, разработанной SparkLLM и опубликованной в исходном виде XHToken. Репозиторий ngquocvinh содержит только квантизированные файлы для локального запуска; обучение и дообучение в рамках этого выпуска не выполнялись. Модель предназначена для диалогов, написания текстов, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Исходная модель имеет 4B параметров, поддерживает английский, китайский и, по заявлению авторов, более 200 языков. Заявлено контекстное окно до 1 млн токенов и гибридное внимание: один слой с полным вниманием и три слоя со скользящим окном, что должно способствовать эффективной обработке длинного контекста. Квантизации представлены в форматах GGUF и совместимы с llama.cpp; также заявлена поддержка экосистем llama.cpp, vLLM, SGLang, MLX, Ollama и LM Studio. Основное преимущество — возможность локального запуска при разных ограничениях по памяти: Q8_0 ближе всего к исходному BF16 по результатам измерений, Q4_K_M предлагает компромисс между размером и качеством, а Q2_K требует меньше ресурсов ценой заметной потери точности. Ограничения включают снижение fidelity у низкобитных вариантов и отсутствие в README подробных сведений о точных требованиях к памяти, скорости, обучающих данных и результатах прикладных бенчмарков. Производные файлы распространяются по Apache License 2.0 с сохранением атрибуции исходной модели; это неофициальный community-релиз и не подтверждение со стороны XHToken или SparkLLM.