II.8Инженерия данных и аналитика

ZuzeTt/Qwen3.5-9B-imatrix-GGUF — мультимодальная каузальная языковая модель с vision-энкодером из семейства Qwen, разработанного командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Указана лицензия Apache-2.0. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для квантования использовался llama.cpp; при подготовке указано вычисление более чем 400 фрагментов с n_ctx=1024, однако конкретный уровень квантования в README не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, высокая заявленная эффективность архитектуры, большой контекст и широкая языковая поддержка. Ограничения заключаются в отсутствии подробных сведений о фактических характеристиках именно данной квантованной сборки, включая точный формат и уровень квантования, требования к памяти и результаты независимого тестирования. README также описывает совместимость с Transformers, vLLM, SGLang и KTransformers.

Qwen3.8-Flash-Next-FP8 — экспериментальная модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, генерации ответов и решения мультимодальных задач. FP8-вариант содержит квантизированные веса и конфигурацию в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и TokenSpeed. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при обработке, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибрид Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и активацией 10 маршрутизируемых экспертов плюс одного общего. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. Для повышения эффективности на длинном контексте используется разреженное внимание на уровне микроблоков. Ключевые сильные стороны модели — высокая вычислительная эффективность, сниженная задержка при работе с длинным контекстом, поддержка мультимодальных сценариев и экономичное FP8-квантизирование с заявленной близостью характеристик к исходной модели. Ограничения включают экспериментальный статус архитектуры, отсутствие в представленном README сведений о поддерживаемых языках, подробных результатах бенчмарков и требованиях к оборудованию. Модель распространяется по лицензии qwen-community-1.0; условия следует уточнять в файле LICENSE.

lovedheart/Qwen3.8-Flash-Next-NVFP4-FP8 — квантованная версия мультимодальной модели Qwen3.8-Flash-Next, разработанной Qwen и обработанной с помощью NVIDIA Model Optimizer. Это частный кандидатный релиз для разработчиков, оценивающих запуск Qwen3.8-Flash-Next в агентных системах, чат-ботах, задачах программирования и мультимодального рассуждения. Модель использует гибридную архитектуру Transformer с сочетанием GDN и разреженного QSA-внимания, multi-hyperconnection streams и PLE n-gram injection. Это MoE-модель примерно на 180 млрд параметров с 48 декодерными слоями, 512 маршрутизируемыми экспертами на слой, выбором top-10 экспертов, общим экспертом и одним MTP-слоем. Она принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Квантование выполнено по смешанной схеме: маршрутизируемые эксперты используют NVFP4, а отдельные проекции внимания — FP8 E4M3 с блочной схемой 128×128. Сильные стороны модели — мультимодальность, MoE-архитектура, снижение требований к памяти по сравнению с исходной BF16-версией и поддержка длинного контекста. Ограничения включают необходимость патченной версии SGLang: стандартные сборки могут выдавать некорректный текст. Модель проверена на NVIDIA Blackwell, включая RTX PRO 6000 Blackwell, GB300 и B300, и ориентирована на Linux; совместимость с другими платформами не указана. Лицензия обозначена как other, а условия использования следует уточнять по лицензии исходной модели Qwen3.8-Flash-Next.

QuantTrio/Qwen3-VL-30B-A3B-Thinking-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3-VL-30B-A3B-Thinking, разработанной командой Qwen. Модель распространяется в формате для генерации текста и предназначена для локального инференса, в частности через vLLM. Размер набора файлов указан как 17 ГБ, а базовая модель использует MoE-архитектуру с обозначением 30B-A3B. Точный создатель самой квантизированной сборки в README явно не указан; репозиторий связан с идентификатором QuantTrio. Модель предназначена для обработки текста, изображений и видео, включая визуальное распознавание, OCR, анализ документов, пространственное рассуждение, STEM- и математические задачи, понимание видеосцен и взаимодействие с графическими интерфейсами и инструментами. Заявлены генерация Draw.io, HTML, CSS и JavaScript по изображениям или видео, а также поддержка длинного контекста: базово 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Ключевые архитектурные особенности базовой модели включают Interleaved-MRoPE для работы с временными и пространственными измерениями, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Сильными сторонами являются мультимодальное рассуждение, детальное восприятие изображений, обработка длинных документов и видео, а также возможность более экономичного запуска благодаря AWQ-квантизации. Ограничения включают зависимость от совместимого ПО и аппаратной конфигурации; приведённый пример vLLM рассчитан на использование двух GPU, а показатели производительности в README представлены только изображениями без числовой расшифровки. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-VL-8B-Instruct-AWQ-8bit — мультимодальная vision-language модель семейства Qwen3, разработанная командой Qwen; базовая модель — Qwen/Qwen3-VL-8B-Instruct. Вариант предназначен для генерации текста по текстовым и визуальным входным данным, включая изображения и видео, а также для задач визуального понимания, распознавания текста, анализа документов, STEM- и математического рассуждения, пространственного анализа и взаимодействия с графическими интерфейсами. Модель также заявлена для генерации Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру с 8 млрд параметров и использует мультимодальные механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Заявлена нативная длина контекста 256 тысяч токенов с возможностью расширения до 1 миллиона, что подходит для длинных документов и продолжительных видеоматериалов. OCR поддерживает 32 языка, однако полный перечень языков модели в README не приведён. Идентификатор указывает на 8-битную AWQ-квантизацию, но подробности её конфигурации не указаны. К сильным сторонам относятся расширенное визуальное и пространственно-временное понимание, обработка длинного контекста, распознавание текста в сложных условиях и возможности visual agent для работы с GUI и инструментами. README не содержит количественных результатов тестирования, поэтому производительность в конкретных сценариях оценить по нему нельзя. Модель распространяется по лицензии Apache-2.0.

Darwin-35B-A3B-Opus — мультимодальная модель типа mixture-of-experts, разработанная командой FINAL-Bench и опубликованная в GGUF-квантизациях пользователем bartowski. Модель предназначена для генерации текста, сложных рассуждений, работы с мультиязычными запросами, задачами программирования, агентскими сценариями и вызовами инструментов. Заявлена поддержка обработки изображений и текста, а также длинного контекста до 262 тысяч токенов. Модель содержит 35 миллиардов параметров, из которых около 3 миллиардов активируются на один запрос, однако конкретные архитектурные детали в README не указаны. Заявлена поддержка 201 языка; среди явно перечисленных — английский, китайский, корейский, японский, немецкий, французский, испанский, русский и арабский. В качестве ориентиров приведены непроверенные результаты: 90% на GPQA Diamond и 85% на MMMLU. Доступны варианты от BF16 и Q8_0 до более компактных IQ4 и Q4, причём README рекомендует ряд Q4–Q6-квантизаций как компромисс между качеством и размером. Сильными сторонами модели являются заявленные продвинутые способности к рассуждению, мультимодальность, многоязычность, поддержка длинного контекста и широкий выбор квантизаций для локального запуска через llama.cpp и совместимые приложения. Ограничения включают крупные требования к дисковому пространству и вычислительным ресурсам, зависимость возможностей от используемого варианта квантизации и отсутствие подтверждённых в README результатов тестирования. Модель и её квантизации распространяются по лицензии Apache-2.0.

Карточка модели RichardHuu/gemma-4-12B-it-assistant на Hugging Face совпадает с карточкой google/gemma-4-12B-it-assistant, поэтому описание составлено по ней. Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

GLM-5.3-Flash — мультимодальная языковая модель, размещённая и поддерживаемая AMAImedia в составе платформы автоматизации профессионального мультиязычного дубляжа NOESIS. В README также указано имя основателя AMAImedia Ильи Болотникова. Модель относится к серии GLM-5 и выпущена 27 августа 2026 года. Модель предназначена для задач генерации текста, программирования, работы с агентами, обработки длинного контекста и мультимодальных сценариев с изображениями. Заявлена поддержка английского и китайского языков. GLM-5.3-Flash имеет 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса, что ориентировано на повышение эффективности. Архитектура сочетает разреженное и линейное внимание, Manifold-Constrained Hyper-Connections (mHC), а обучение проводилось на мультимодальном корпусе. Модель можно запускать локально через Transformers, vLLM, SGLang, TokenSpeed и KTransformers; для развёртывания рекомендуются bfloat16 или поддерживаемые фреймворком квантованные варианты. В README указана лицензия MIT. К ограничениям относятся высокая вычислительная требовательность из-за общего размера модели, необходимость уточнять совместимость версий библиотек, требования к видеопамяти, конфигурацию tensor parallelism и фактически поддерживаемую длину контекста. Заявлены контекстные режимы до 131 072 токенов в примере развёртывания, а в отдельных оценках использовались контексты до 300 000 и 1 000 000 токенов, но это не следует считать гарантированной рабочей конфигурацией для всех сценариев.

JiRack Ultra 1B — компактная языковая модель от CMSManhattan для генерации текста и диалогов. Она построена на архитектуре Qwen2, содержит около 1,5 млрд параметров и оптимизирована для инференса на CPU. В карточке заявлены переработанная архитектура с поддержкой тернарных BitNet-признаков, обновлённый токенизатор с тегами маршрутизации, вызова инструментов и робототехники, а также контекст до 131 072 токенов. Доступны веса Safetensors и варианты GGUF с разными уровнями квантования. Модель предназначена для локального запуска на малоресурсном оборудовании, диалоговых сценариев, использования как экспертной модели в RAG-системах и интеграции с агентами и инструментами. Карточка также описывает применение в задачах программирования и робототехники, однако метаданные подтверждают только задачу генерации текста, а заявленные возможности токенизатора не доказывают качество этих специализированных сценариев. В метаданных перечислены 14 языков: английский, китайский, японский, корейский, французский, испанский, португальский, немецкий, итальянский, русский, арабский, вьетнамский и тайский. Веса опубликованы по лицензии MIT, разрешающей коммерческое использование и распространение. При этом Docker-образ, готовые Ollama-сборки и клиенты интерфейса, согласно карточке, распространяются на отдельных коммерческих условиях.

Mistral-Nemo-Instruct-2407-GGUF — квантизированная GGUF-версия инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI (mistralai) и подготовленной квантизацией компанией Second State Inc. Модель предназначена для диалоговых приложений, генерации и обработки текста, запуска локально через совместимые инструменты, включая LlamaEdge и llama.cpp. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 4,79 до 24,5 ГБ. Для запуска используется шаблон запросов mistral-instruct, а заявленный размер контекста — 128 000 токенов. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Это текстовая модель без заявленной поддержки других модальностей. Основное преимущество набора — возможность выбрать баланс между размером, требованиями к ресурсам и качеством: Q4_K_M и Q5_K_M отмечены как рекомендуемые варианты, тогда как низкобитные версии сильнее теряют качество. Ограничения включают зависимость качества и производительности от выбранной квантизации и оборудования; архитектура и точное число параметров в README не указаны. Модель распространяется по лицензии Apache-2.0.

Rioky/Mistral-Small-4-119B-2603-heretic-i1-gguf — набор GGUF-квантизаций модели Mistral Small 4 119B 2603 Heretic. Базовая модель разработана Mistral AI, а версия Heretic опубликована darkc0de; данный набор подготовлен Rioky. Модель предназначена для генерации текста, мультимодального анализа изображений и текста, агентских сценариев, вызова функций с JSON-выводом и задач, требующих длинного контекста. Заявлена поддержка режимов быстрого ответа и рассуждений с дополнительными вычислениями во время вывода. Модель использует архитектуру Mistral4 с разреженной Mixture-of-Experts и MLA-вниманием: всего 119 млрд параметров, из которых активируются 6,5 млрд на токен; доступны 128 экспертов, 4 из них активируются для каждого токена. Контекстное окно составляет до 256 тысяч токенов. Поддерживаются текстовый и графический ввод с текстовым выводом. Указана многоязычность, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, корейский, арабский и другие языки. К сильным сторонам относятся большой контекст, мультимодальность, функции для агентских приложений, системные инструкции и несколько вариантов квантизации с importance matrix, которая призвана лучше сохранять качество на низких битностях. Ограничения включают значительные требования к памяти: размер файлов варьируется примерно от 29 до 91 ГиБ, а качество и скорость зависят от выбранного варианта. Показатель отказов Heretic-версии в README составляет 27 из 100 против 98 из 100 у исходной модели, однако независимые оценки качества не приведены. Распространение заявлено по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование.

Muse-Glimmer-30B-OptiQ-4bit — мультимодальная модель для работы с текстом и изображениями, разработанная сообществом mlx-community на базе meta-models/Muse-Glimmer-30B. Она предназначена для локального запуска на компьютерах Apple Silicon через MLX и подходит для анализа изображений, генерации текста, рассуждений, решения математических задач, извлечения информации из длинного контекста, следования инструкциям, вызова инструментов и генерации кода. Модель содержит около 30 млрд параметров и 52 decoder-слоя. Языковая часть использует чувствительно-ориентированное смешанное квантование 4/8-bit: 169 слоёв работают в 4-bit, 248 — в 8-bit. Vision tower сохраняется в формате bf16 в отдельном sidecar-файле. Объём на диске составляет около 18,6 ГБ для языковой части и 3,8 ГБ для визуальной. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Архитектура использует gated attention, sliding window размером 2048 в трёх слоях и NoPE в 13 глобальных слоях. К сильным сторонам относятся локальная работа без PyTorch и облачных сервисов, сохранение визуальной части в bf16, высокая оценка OptiQ Capability Score — 87,36, а также идеальный результат на тесте извлечения из длинного контекста HashHop. Ограничения включают требовательность к объёму памяти и необходимость специального стека mlx-optiq, поскольку стандартный mlx-lm не знает архитектуру модели. Для корректного использования также требуется учитывать раздельные каналы рассуждений и финального ответа. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen2.5-7B-Instruct-quantized.w8a8 — мультиязычная текстовая генеративная модель для диалоговых и ассистентских сценариев. Модель разработана Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud и предназначена для коммерческого и исследовательского использования, включая чат на нескольких языках. Она принимает текст и генерирует текст; заявлены поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского и других языков. Модель использует архитектуру Qwen2 и содержит 7 миллиардов параметров в базовой версии. Вариант w8a8 оптимизирован квантованием весов и активаций до INT8. Для линейных операторов трансформерных блоков применяются симметричное статическое поканальное квантование весов и симметричное динамическое потокенное квантование активаций с использованием комбинации SmoothQuant и GPTQ. Это примерно на 50% снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений. Модель рассчитана на эффективное развертывание с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример максимальной длины контекста 8192 токена, а для отдельных конфигураций указано значение 32768; точное ограничение зависит от среды развертывания. Ограничения включают возможное снижение точности из-за квантования и запрет на использование с нарушением применимого законодательства и экспортных ограничений. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.5-4B-FP8-dynamic — мультимодальная модель RedHatAI, созданная на основе Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст, поэтому предназначена для диалогов, анализа изображений, ответов на вопросы, следования инструкциям и решения задач рассуждения. Указанная конфигурация рассчитана на инференс через vLLM и поддерживает текстовый режим с пониженным потреблением памяти. Модель использует архитектуру Qwen/Qwen3.5-4B и контекст до 262 144 токенов при развертывании с рекомендованными параметрами. Веса и активации линейных операторов внутри трансформерных блоков динамически квантизированы в FP8; для активаций применяется масштабирование на уровне тензора без калибровочных данных. Размер на диске составляет около 8,0 ГБ вместо 9,3 ГБ у версии BF16, что уменьшает требования к памяти примерно на 14%. Языки в README не указаны. По опубликованным оценкам, квантизация в целом сохраняет качество базовой модели: результаты на GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond близки к показателям исходной Qwen/Qwen3.5-4B. Ограничения включают отсутствие подробных сведений о языковой поддержке и аппаратных требованиях; качество также может зависеть от поддержки FP8 и используемого рантайма. Модель распространяется по лицензии Apache-2.0.

jc-builds/Qwen3.5-4B-Q4_K_M-GGUF — это 4-битная квантованная версия базовой модели Qwen/Qwen3.5-4B, разработанной Alibaba Cloud. Квантование Q4_K_M и упаковка в формат GGUF выполнены для запуска на устройствах пользователя, в частности на iPhone, iPad и компьютерах Mac с Apple Silicon, через llama.cpp. Модель распространяется по лицензии Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, следования инструкциям и использования инструментов. Она поддерживает режим reasoning с тегами <think> и ChatML-формат запросов. В README заявлены мультимодальные возможности с ранним объединением зрительных данных, однако vision encoder предоставляется отдельно. Указана поддержка 201 языка и диалекта, включая английский, китайский, японский, корейский, русский и другие языки. Архитектура представляет собой гибрид Gated DeltaNet и полноразмерного softmax-внимания в соотношении 3:1: из 32 слоёв восемь блоков содержат по три слоя DeltaNet и одному attention-слою. Модель имеет около 4 миллиардов параметров, размер файла составляет примерно 2,6 ГБ, а нативное контекстное окно — 262 144 токена; для расширения контекста заявлена совместимость с YaRN. Гибридная архитектура рассчитана на снижение потребления памяти, что делает модель подходящей для локального и мобильного вывода. Ограничениями являются потеря точности из-за 4-битного квантования, высокие требования к оперативной памяти для длинного контекста и то, что заявленные мультимодальные функции требуют отдельного vision encoder.

btbtyler09/Qwen3.8-27B-GPTQ-8bit — квантизированная 8-битная версия мультимодальной модели Qwen/Qwen3.8-27B. Модель разработана на базе семейства Qwen и распространяется пользователем btbtyler09. Она предназначена для обработки текста и изображений, генерации ответов, анализа изображений, программирования и других задач общего назначения, а также поддерживает speculative decoding через модуль MTP. Модель имеет плотную архитектуру примерно на 27 млрд параметров без MoE, 64 слоя, включая 48 слоёв линейного внимания и 16 слоёв полного внимания, скрытый размер 5120 и контекст до 262 144 токенов. Полный vision encoder на базе ViT и MTP-модуль сохранены в формате BF16, а основные квантизируемые линейные слои текстового декодера переведены в INT8 с использованием GPTQ. Размер модели составляет около 31 ГБ против примерно 56 ГБ у исходной BF16-версии. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Ключевое преимущество — существенно меньшее потребление дискового пространства и видеопамяти при заявленной практически неизменной perplexity относительно BF16-оригинала. Модель рассчитана на развёртывание через vLLM и загрузку с помощью GPTQModel или transformers. Ограничения включают высокие требования к ресурсам, необходимость совместимого программного окружения и возможную проблему конфигурации в некоторых версиях vLLM, для которой в README приведён обходной патч. Модель распространяется по лицензии Apache-2.0.

Abiray/Qwen3.8-27B-Q4_K_M-GGUF — это квантизированная версия мультимодальной vision-language модели Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF и предназначена для локального запуска с помощью llama.cpp и совместимых инструментов, включая LM Studio, Ollama и GPT4All. Модель поддерживает текстовые и мультимодальные сценарии: работу с изображениями и видео, программирование, профессиональные задачи, исследования и длительные агентские процессы. Основной файл имеет размер 16,8 ГБ и использует квантизацию Q4_K_M, выполненную с помощью llama.cpp b10430. Для обработки изображений и других мультимодальных входов требуется дополнительный vision adapter mmproj-F16.gguf; без него доступен текстовый режим. Сведения о точной архитектуре, размере контекста и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание возможностей языковой модели и анализа визуального контента, а также возможность локального запуска в широко поддерживаемых форматах. К ограничениям относятся необходимость отдельного vision adapter для мультимодальных задач и потенциальные компромиссы точности, обусловленные квантизацией Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-99B-A5B-Niwaki-3bit-mlx — текстовая Mixture-of-Experts-модель, созданная проектом Niwaki на базе Qwen3.8-Flash-Next от команды Qwen. Модель получена pruning, реконструкцией и distillation экспертов, после чего сохранена в 3-битном формате для MLX. Она предназначена для генерации текста, диалогов, программирования, рассуждений и творческого письма, прежде всего на устройствах Apple Silicon с unified memory. Vision tower в этой версии отсутствует, поэтому модель работает только с текстом. Модель содержит около 99 млрд параметров, из которых примерно 5,2 млрд активны для каждого токена; исходный размер составлял около 177 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов и top-k=10, при этом эксперты используются в 24 слоях. Размер промежуточного слоя экспертов — 448, экспертные веса имеют 3-битную точность с group size 64, n-gram embedding table — 2-битную, а backbone сохранён в 4-битном формате. Размер модели на диске — 36,7 ГБ; она рассчитана на комфортную работу в 48 ГБ unified memory. Для MLX требуются mlx-vlm версии не ниже 0.7.0rc0, mlx не ниже 0.32 и специальный загрузчик из репозитория модели. Главное преимущество — существенное снижение требований к памяти при сохранении заявленных характеристик базовой модели: на опубликованном наборе задач среднее качество составило 96,6% от 4-битного reference-варианта. Модель сохраняет беглость и релевантность ответов, однако сжатие ухудшает perplexity и надёжность числовых и узкоспециализированных технических сведений. На многошаговых арифметических задачах она может рассуждать дольше и более повторно. Оценивание проводилось преимущественно на англоязычных веб-данных, поэтому поведение в редких предметных областях и языках, отличных от английского, исследовано ограниченно. Лицензия указана как other; применимые условия приведены в лицензии базовой модели Qwen3.8-Flash-Next. Доступны также сборки GGUF для llama.cpp, требующие форка neopolita-llama.cpp.

Spark-X2.5-4B-GGUF — компактная языковая модель общего назначения, разработанная XHToken и представленная в формате GGUF. Модель предназначена для диалогов, написания и перевода текстов, рассуждений, программирования, использования инструментов и агентских сценариев. Это текстовая модель размером 4 млрд параметров с гибридной архитектурой внимания, нативной длиной контекста до 1 млн токенов и поддержкой более 200 языков, включая английский и китайский. К сильным сторонам относятся компактный размер, широкий набор прикладных задач, многоязычность и возможность локального запуска через llama.cpp, Ollama, LM Studio и Unsloth. Для работы требуется совместимая версия программного обеспечения с поддержкой архитектуры spark2_5: llama.cpp b10828 или новее, Ollama v0.34.1 или новее либо соответствующая версия LM Studio. README не содержит подробных результатов тестирования, требований к ресурсам и сведений о поддерживаемых модальностях помимо обработки текста. Модель распространяется по лицензии Apache License 2.0.

Arcee Spark — разговорная языковая модель компании Arcee AI на 7,1 млрд параметров, основанная на Qwen2. По README, её обучали на 1,8 млн примеров, объединили с Qwen2-7B-Instruct и дополнительно улучшили с помощью Direct Preference Optimization (DPO). Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, анализ тональности, решение задач и работу с кодом. Модель принимает текст и генерирует текст; в метаданных указан контекст до 32 768 токенов. README заявляет контекст 128 тыс. токенов, поэтому его длина в источниках расходится. В метаданных перечислены английский, немецкий и арабский языки. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Небольшой размер может упростить локальное развёртывание, однако заявленные в README превосходство над другими моделями, скорость и результаты бенчмарков не следует считать гарантией качества для конкретной задачи.

DeepSeek-V4-Flash-0731-CRACK-NVFP4 — дообученная и модифицированная версия deepseek-ai/DeepSeek-V4-Flash-0731, опубликованная Dealign.ai. Это текстовая генеративная MoE-модель для диалогов, рассуждений, программирования, вызова инструментов и многошаговых сценариев. Модель позиционируется как исследовательский артефакт с удалёнными защитными отказами, поэтому требует ответственного и законного применения. Архитектура включает 43 слоя, 256 маршрутизируемых и одного общего эксперта, MLA, sliding-window attention и контекст примерно до 1 млн токенов с YaRN. Сохранены native-квантизация FP8 для attention и общих экспертов, FP4 класса NVFP4 для маршрутизируемых экспертов, DSpark MTP head, управляемое усилие рассуждения и спекулятивное декодирование. Чекпойнт занимает около 167 ГБ и рассчитан на tensor parallel между двумя узлами NVIDIA GB10 или DGX Spark; в README также указана конфигурация обслуживания с контекстом до 393216 токенов. Заявлены английский и китайский языки, интеграция с vLLM и поддержка OpenAI-совместимых инструментальных вызовов. К сильным сторонам относятся сохранённые знания и способности к рассуждению, высокая заявленная точность на MMLU и HumanEval, производительность 45–49 токенов в секунду в однопоточном режиме, prefix caching и высокая ёмкость GPU KV cache. Основное ограничение — отсутствие защитных отказов: модель может согласиться с вредоносными, незаконными или опасными запросами. Для запуска требуются совместимые сборки vLLM, две системы GB10/DGX Spark, tensor parallel и специализированная инфраструктура. Модель распространяется по лицензии MIT с наследованием условий upstream DeepSeek-V4-Flash; перед использованием необходимо проверить применимые условия лицензии.

unsloth/gemma-3-27b-it-GGUF — GGUF-версия instruction-tuned модели Gemma 3 27B, разработанной Google DeepMind и подготовленной для распространения Unsloth. Модель предназначена для генерации текста, диалогов, ответов на вопросы, суммаризации, рассуждений и понимания изображений с выдачей текстового ответа. Она подходит для локального запуска на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре при наличии достаточных ресурсов. Модель мультимодальная: принимает текст и изображения, нормализованные до 896×896 и представленные как 256 токенов каждое, а генерирует текст. Для версии 27B заявлено контекстное окно до 128K токенов и максимальный объём вывода 8192 токена. Gemma 3 поддерживает более 140 языков; в метаданных данного репозитория отдельно указан английский язык. Объём обучения 27B-версии составил 14 триллионов токенов. К сильным сторонам относятся большой контекст, мультимодальность, широкий языковой охват, instruction-tuned формат и возможность использования GGUF в совместимых локальных инструментах. Ограничения включают значительные требования к вычислительным ресурсам из-за размера 27B, а также зависимость совместимости и производительности от конкретного GGUF-квантизированного варианта и среды запуска; сведения о точном уровне квантизации в карточке не указаны. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

WhiskyAKM подготовил конверсию Gemma 4 26B A4B IT QAT в формат GGUF с NVFP4-квантизацией для запуска через llama.cpp и другие совместимые движки. В основе — мультимодальная модель Google DeepMind с архитектурой Gemma4ForConditionalGeneration и 26 млрд параметров; для работы с изображениями и аудио в репозитории также доступен мультимодальный проектор. Модель принимает текст, изображения и аудио, а выдаёт текст; карточка заявляет контекст до 256 тысяч токенов и поддержку более 140 языков. Модель предназначена для диалогов, рассуждений, программирования, анализа изображений и аудио, а также сценариев с вызовом инструментов. Доступны несколько уровней квантования GGUF; для мультимодального ввода требуется использовать mmproj.gguf. Репозиторий распространяется по лицензии Apache-2.0.

AtomicChat/gemma-4-31B-it-GGUF — это квантизированная GGUF-версия мультимодальной модели Google Gemma 4 31B Instruct, подготовленная командой Atomic Chat на основе оригинальных весов google/gemma-4-31B-it. Модель предназначена для локального и полностью автономного применения в чат-ботах, генерации и анализе текста, задачах рассуждения, а также обработки изображений совместно с текстом. Для работы с изображениями в репозитории поставляется vision-проектор mmproj. Модель содержит 30,7 млрд параметров и 60 слоёв. Она использует плотную decoder-архитектуру Gemma4ForConditionalGeneration с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; предусмотрены 32 attention heads и 16 KV heads. Заявленная длина контекста — 256 тысяч токенов, размер словаря — 262 тысячи. Поддерживаются текстовая и визуальная модальности. Доступны варианты квантования от Q2_K до Q8_0; кванты откалиброваны с importance matrix, что должно помогать сохранять качество при уменьшении размера. Рекомендуемым компромиссом между размером, скоростью и качеством указан Q4_K_M. Сильные стороны модели — большой контекст, мультимодальность, возможности рассуждения, автономная работа и широкий выбор вариантов квантования для разных объёмов памяти. Ограничения связаны с высокими требованиями к памяти: размер файлов варьируется примерно от 11,9 до 32,6 ГБ, а низкобитные варианты могут заметно терять качество. Для корректной работы в llama.cpp требуется применять chat template Gemma 4 через параметр --jinja; для изображений необходим vision-проектор и поддержка соответствующих инструментов. Репозиторий распространяется по лицензии Apache-2.0.

cyankiwi/gemma-4-31B-it-qat-AWQ-INT4 — это квантованный вариант мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и опубликованный пользователем cyankiwi. Модель основана на google/gemma-4-31B-it-qat-q4_0-unquantized и предназначена для работы с текстом и изображениями с генерацией текстового ответа. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальный анализ и агентские сценарии с поддержкой вызова функций. Модель относится к семейству Gemma 4 с архитектурой, использующей гибридный механизм внимания, и имеет размер около 20,90 ГБ. Для версии 31B заявлено контекстное окно до 256K токенов. Указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Квантование с использованием Quantization-Aware Training и формата AWQ-INT4 снижает требования к памяти при сохранении качества, близкого к полноформатным вариантам, что упрощает локальное развертывание. Ограничения включают значительные требования к вычислительным ресурсам по сравнению с меньшими моделями, а также возможные потери качества и совместимости, характерные для низкобитного квантования. В README аудио указано только для вариантов Gemma 4 E2B, E4B и 12B, поэтому для данной версии поддержка аудио не подтверждена. Модель распространяется по лицензии Apache 2.0; при использовании необходимо также учитывать условия лицензии Gemma 4.

ente-ai/gemma-4-E2B-it-GGUF — это GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной для распространения в формате GGUF. Модель принимает текст, изображения и аудио, а генерирует текст; поддерживает более 140 языков. Она предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с вызовом функций. Модель имеет 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоёв и контекстное окно до 128K токенов. В архитектуре используется гибридное внимание: локальное sliding window attention с окном 512 токенов чередуется с глобальным вниманием. Поддерживаются настраиваемые режимы рассуждений, системные промпты и native function calling. Небольшой размер и оптимизация для устройств являются сильными сторонами, однако по возможностям и качеству сложных задач модель уступает более крупным вариантам семейства; конкретные характеристики также зависят от используемой GGUF-квантизации. Модель распространяется по лицензии Apache 2.0. README не указывает точный уровень квантизации данного файла и требования к аппаратному обеспечению.

GadflyII/GLM-4.7-Flash-NVFP4 — квантизированная версия GLM-4.7-Flash, разработанная на основе базовой модели Zhipu AI. Модель предназначена для генерации текста и задач общего назначения на английском и китайском языках, включая развёртывание через vLLM и Transformers. Это Mixture-of-Experts-модель архитектуры Glm4MoeLiteForCausalLM с 30 млрд параметров, из которых 3 млрд активируются для каждого токена. Она содержит 64 маршрутизируемых эксперта, 4 активных эксперта и 1 общего эксперта, а также 47 слоёв. Максимальная длина контекста составляет 202 752 токена. Квантизация выполнена в формате compressed-tensors NVFP4 с размером блока 16 и масштабами FP8 E4M3. Для сохранения качества attention-компоненты MLA, нормализация, gates и embeddings оставлены в BF16, тогда как MLP-эксперты и первый dense MLP используют FP4. Размер модели составляет около 20,4 ГБ против 62,4 ГБ у BF16-версии; на тесте MMLU-Pro она показала точность 23,55% против 24,83% у базовой версии, что соответствует снижению на 1,28 процентного пункта. Основные ограничения — необходимость совместимой NVIDIA GPU с поддержкой FP4 tensor cores и актуальных версий vLLM и Transformers. Для запуска рекомендуется vLLM 0.14.0 или новее; на мног GPU-системах Blackwell могут потребоваться дополнительные исправления для P2P и tensor parallelism. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Карточка модели crusoeai/Llama-3.3-70B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.3-70B-Instruct, поэтому описание составлено по ней. Meta Llama 3.3 70B Instruct — мультиязычная генеративная языковая модель Meta для диалогов и следования инструкциям. Это авторегрессионный трансформер на 70 млрд параметров, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель принимает и выдаёт текст, поддерживает контекст до 128 тысяч токенов и оптимизирована для диалоговых сценариев. Модель подходит для создания ассистентов, ответов на вопросы, написания и преобразования текстов, а также генерации синтетических данных. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; русский среди них не указан. Для инференса описана библиотека Transformers, а контрольные точки можно использовать с 8- и 4-битной загрузкой через bitsandbytes для снижения требований к памяти. Модель статична и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года. Она не принимает изображения, аудио или видео; качество и безопасность ответов требуют оценки и мер защиты в конкретном приложении. Использование регулируется пользовательским соглашением Llama 3.3 Community License, включая его ограничения и Acceptable Use Policy.

llm-jp-4-32b-a3b-thinking-gguf — языковая модель на базе Transformer, разработанная Research and Development Center for Large Language Models при National Institute of Informatics в Японии. Это thinking-вариант серии LLM-jp-4, предназначенный для генерации текста, диалогов и решения инструктивных задач на японском и английском языках, а также для работы с программным кодом на распространённых языках программирования. Модель использует архитектуру Mixture-of-Experts: 32 слоя, 128 маршрутизируемых экспертов, из которых для каждого входа активируются 8. Общее число параметров составляет около 32,1 млрд, при этом активируется около 3,83 млрд параметров. Контекстное окно — 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном диалога OpenAI Harmony, однако необходимо использовать токенизатор из этого репозитория. Thinking-модель обучалась с помощью supervised fine-tuning и direct preference optimization без reinforcement learning; предварительное и промежуточное обучение проводилось на 11,7 трлн токенов. К сильным сторонам относятся специализированная поддержка японского языка, длинный контекст, MoE-архитектура с относительно небольшим числом активных параметров и дополнительное обучение для рассуждений и следования инструкциям. Ограничения включают отсутствие заявленных количественных результатов в доступной части README и необходимость специальной версии llama.cpp: стандартная upstream-версия может некорректно обрабатывать токенизацию и чат. Модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.3 — языковая модель Mistral AI, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов, генерации и продолжения текста, а также сценариев с вызовом функций и инструментов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; контекст — до 32 768 токенов. В версии v0.3 расширен словарь до 32 768 токенов, добавлена поддержка токенизатора v3 и вызова функций. Модель принимает текст и генерирует текст, подходит для чат-ботов, выполнения инструкций и интеграции с инструментами. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. По заявлению авторов, это демонстрационная модель, показывающая возможности дообучения базовой версии. У модели нет механизмов модерации, поэтому её ответы требуют соответствующей проверки при использовании. Лицензия — Apache-2.0.