II.8Инженерия данных и аналитика

Qwen2-57B-A14B-Instruct-GGUF — инструкционная языковая модель серии Qwen2, разработанная командой Qwen. Это текстовая модель для генерации и понимания текста, диалоговых приложений, решения задач на естественных языках, программирования, математики и рассуждений. Модель ориентирована на сценарии, где требуется чат-ассистент или локально развёртываемый сервис с совместимым с OpenAI API интерфейсом. Модель построена на декодерной архитектуре Transformer и использует Mixture-of-Experts с 57 млрд параметров, из которых 14 млрд активны (57B-A14B). Среди архитектурных особенностей указаны активация SwiGLU, bias в QKV и Grouped Query Attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования; в карточке явно указан английский язык. Модель прошла дообучение с учителем и Direct Preference Optimization. Доступны GGUF-квантизации от q2_k до q8_0, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами заявлены конкурентоспособность в задачах понимания и генерации текста, многоязычность, программирование, математика и рассуждения, а также возможность запуска через llama.cpp. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели, зависимость характеристик от выбранного уровня квантизации и отсутствие в README данных о максимальной длине контекста, точном наборе поддерживаемых языков и производительности. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3.5-122B-A10B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen и подготовленной компанией Unsloth с использованием улучшенного алгоритма квантования и imatrix-данных. Модель предназначена для локального запуска, диалогов, программирования, рассуждений, вызова инструментов, работы с агентами и визуального понимания изображений. Это авторегрессионная языковая модель с vision encoder и гибридной архитектурой, объединяющей Gated DeltaNet и разреженную Mixture-of-Experts. Всего модель содержит 122 млрд параметров, из которых при обработке активируется около 10 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Модель поддерживает 201 язык и диалект, а также текстовые и визуальные входные данные. К сильным сторонам относятся высокая вычислительная эффективность разреженной архитектуры, поддержка длинного контекста, мультимодальность и оптимизация Unsloth для сценариев общения, программирования, tool calling и агентных задач. GGUF-квантизация позволяет запускать модель локально, однако итоговые требования к памяти, скорость и качество зависят от выбранного варианта квантования и используемого оборудования. README не приводит подробных числовых результатов бенчмарков и не описывает ограничения мультимодальной обработки. Модель распространяется по лицензии Apache-2.0.

prithivMLmods/Qwen3.5-9B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Alibaba Qwen и основанной на Qwen/Qwen3.5-9B. Модель содержит около 9 млрд параметров, использует гибридную архитектуру Gated DeltaNet и Gated Attention, поддерживает контекст до 262 тысяч токенов с возможностью расширения свыше 1 млн токенов посредством RoPE scaling и словарь размером 248 тысяч токенов. Заявлена поддержка 201 языка и раннее объединение текстовых, графических и видеоданных для единого мультимодального понимания. Модель предназначена для генерации текста, мультимодального диалога, анализа изображений и видео, OCR, ответов на вопросы по визуальному содержимому, разбора документов и PDF, разработки программного обеспечения, frontend-разработки, многоязычных чат-ботов и агентских сценариев с вызовом инструментов. Она поддерживает переключаемый режим рассуждений и Multi-Token Prediction (MTP): дополнительные выходные головы прогнозируют несколько будущих токенов за один проход, что может ускорять инференс и спекулятивное декодирование без отдельной draft-модели. Доступны варианты от BF16/F16 до квантований Q2_K–Q8_0, а также отдельные мультимодальные проекционные файлы. Сильными сторонами заявлены большой контекст, мультимодальность, широкий языковой охват, поддержка tool calling и возможность локального запуска через llama.cpp и Ollama, а также развёртывания через vLLM и SGLang. Для BF16 требуется около 18 ГБ видеопамяти, для 4-битных вариантов — около 5 ГБ; качество и требования к ресурсам зависят от выбранного квантования. README не приводит подробностей об ограничениях, систематических рисках или фактической совместимости всех вариантов с указанными средами. Модель распространяется по лицензии Apache 2.0.

NVIDIA Qwen3.6-27B-NVFP4 — квантизированная версия авторегрессионной модели Qwen3.6-27B, разработанной Alibaba и оптимизированной NVIDIA с помощью Model Optimizer. Модель использует архитектуру Transformers с гибридным механизмом внимания Gated DeltaNet и Gated Attention и содержит около 27 млрд параметров. Версия NVFP4 1.0 квантизирована с помощью nvidia-modelopt v0.45.0. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе искусственного интеллекта. Согласно описанию, она принимает текст, изображения и видео, включая RGB-изображения и видео в форматах MP4/WebM, а максимальная длина контекста достигает 262 тысяч токенов. На выходе формирует текст. Возможности оценивались на задачах текстового и мультимодального рассуждения, программирования, использования инструментов, следования инструкциям и работы с длинным контекстом. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных и оптимизация для ускоренного инференса на GPU NVIDIA. Поддерживаются vLLM, Linux и аппаратные платформы NVIDIA Hopper и Blackwell; тестирование проводилось на NVIDIA GB300. Данные о языках, исходных обучающих наборах и их объёмах не раскрыты. Для безопасного и эффективного применения необходимы дополнительные проверки на данных конкретного сценария, а заявленная совместимость ориентирована на GPU-системы NVIDIA. Модель доступна для коммерческого и некоммерческого использования на условиях лицензии Apache 2.0.

async0x42/Qwen3-8B-exl3_4.0bpw — это квантованная версия Qwen3-8B, разработанная на базе модели Qwen/Qwen3-8B. В README разработчик квантованной сборки отдельно не указан; исходная модель относится к серии Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов, следования инструкциям, рассуждений, математики, программирования, перевода и агентских сценариев с интеграцией внешних инструментов. Модель имеет около 8,2 млрд параметров, из которых 6,95 млрд не являются embedding-параметрами, 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для Q и 8 для KV. Она поддерживает переключение между режимами рассуждения и обычной генерации, более 100 языков и диалектов, а также текстовую модальность. Нативная длина контекста составляет 32 768 токенов, с использованием YaRN может достигать 131 072 токенов. Суффикс exl3_4.0bpw указывает на формат квантования примерно до 4 бит на вес, однако подробности реализации квантования в README не приведены. Сильные стороны модели — сочетание рассуждений и быстрой универсальной генерации, поддержка многоязычных задач, диалогов, кода и инструментального взаимодействия. Ограничения и фактические показатели производительности для данной квантованной сборки не указаны; качество может отличаться от исходной модели из-за квантования. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V3.1 — большая языковая модель, разработанная DeepSeek AI. Она поддерживает гибридный режим: может работать в режиме с рассуждением и без него, переключаясь через шаблон чата. Модель предназначена для диалоговых приложений, генерации ответов, задач, требующих сложного рассуждения, а также для использования инструментов и агентских сценариев. Модель содержит 671 млрд параметров, из которых при генерации активируется 37 млрд, и поддерживает контекст длиной до 128 тысяч токенов. Она дообучена на базе DeepSeek-V3.1-Base, использует расширенное обучение на длинных контекстах и формат данных UE8M0 FP8 для весов и активаций. Режим с рассуждением ориентирован на повышение качества решения сложных задач и сопоставим по качеству с DeepSeek-R1-0528, при этом заявлено более быстрое формирование ответов. Поддержка вызова инструментов заявлена для режима без рассуждения. README не содержит сведений о поддерживаемых языках и мультимодальных возможностях, поэтому модель следует рассматривать прежде всего как текстовую языковую модель. Большой общий размер параметров может предъявлять высокие требования к инфраструктуре, несмотря на меньшее число активируемых параметров. Модель распространяется по лицензии MIT.

unsloth/gemma-4-31b-it-UD-MLX-4bit — квантизированная 4-битная MLX-версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для локального запуска и дообучения в среде MLX, а также для генерации текста, программирования, рассуждений, агентских сценариев и мультимодального анализа изображений с выдачей текста. Это плотная модель примерно на 30,7 млрд параметров с 60 слоями, гибридным механизмом внимания, сочетающим локальное sliding-window и глобальное внимание, контекстным окном до 256K токенов и словарём размером 262K. Она поддерживает текст и изображения, а семейство Gemma 4 в целом заявляет многоязычность более чем для 140 языков; аудио для версии 31B не указано. Нативно поддерживаются system-промпты и function calling, а режимы рассуждений можно настраивать. Ключевое преимущество этой версии — 4-битная квантизация, уменьшающая требования к памяти и упрощающая локальное развёртывание на совместимом оборудовании, при этом она сохраняет возможности базовой модели для длинного контекста и мультимодальных задач. Ограничением является возможная потеря качества по сравнению с полноточными вариантами из-за квантизации, а требования к ресурсам всё ещё остаются значительными из-за крупного размера модели. Модель распространяется по лицензии Apache 2.0.

NVIDIA GLM-5.2 NVFP4 — это посттренировочно квантованная версия языковой модели ZAI GLM-5.2, подготовленная NVIDIA с помощью Model Optimizer. Модель предназначена для авторегрессионной генерации текста, рассуждений и программирования, а также для использования в AI-агентах, чат-ботах, RAG-системах и других приложениях на основе искусственного интеллекта. Модель построена на архитектуре Transformer с сетью GLM-5.2 типа GlmMoeDsaForCausalLM. Это разреженная Mixture-of-Experts-модель объёмом 753 млрд параметров, из которых активируется 40 млрд; для поддержки длинного контекста используется sparse attention с индексатором IndexShare. Она принимает и генерирует текст, поддерживает контекст до 1 млн токенов. Веса и активации линейных операторов в MoE-экспертах квантизированы в формат NVFP4, при этом общий эксперт не квантизирован. Сильными сторонами модели являются поддержка длинного контекста, задач рассуждения, научного программирования, следования инструкциям и агентского использования инструментов, а также готовность к ускоренному инференсу. Обучающие данные не раскрыты, а для самой версии Model Optimizer отдельные обучение и тестирование не выполнялись; поэтому качество следует дополнительно проверять на данных конкретного сценария. Модель ориентирована на системы с GPU NVIDIA Blackwell, Linux и движками SGLang или vLLM; заявленное тестовое оборудование — NVIDIA B200 и B300. Лицензия MIT разрешает коммерческое и некоммерческое использование.

RedHatAI/gpt-oss-20b — открытая модель с открытыми весами, разработанная OpenAI и опубликованная Red Hat AI в валидированной сборке для Red Hat OpenShift AI, Red Hat AI Inference Server и vLLM. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, агентных сценариев и вызова инструментов, включая function calling, веб-поиск, выполнение Python-кода и Structured Outputs. Это меньшая версия серии gpt-oss: модель содержит около 21 млрд параметров, из которых около 3,6 млрд активны при обработке запроса. Она использует архитектуру Mixture-of-Experts и посттренировочную MXFP4-квантизацию весов MoE, благодаря чему рассчитана на работу примерно в пределах 16 ГБ памяти и обеспечивает меньшую задержку по сравнению с gpt-oss-120b. Поддерживается английский язык; в карточке указана текстовая модальность и задачи text-to-text, text-generation и tool-calling. Доступна настройка интенсивности рассуждений: low, medium и high. Сильные стороны модели — открытые веса, низкие требования к памяти, возможность локального и специализированного развертывания, тонкой настройки и интеграции с инструментами. Ограничения и важные условия использования: модель должна работать в формате ответов Harmony, иначе она может функционировать некорректно; раскрываемую цепочку рассуждений не следует показывать конечным пользователям. В README не приведены количественные результаты тестов и полный размер контекстного окна. Модель распространяется по лицензии Apache 2.0, допускающей модификацию и коммерческое использование.

cyankiwi/granite-4.1-8b-AWQ-INT4 — квантизированная версия Granite-4.1-8B, разработанной командой Granite компании IBM. Модель представляет собой 8-миллиардную instruct-модель для работы с текстом; вариант в данном репозитории использует квантизацию AWQ с точностью INT4 и имеет размер около 5,43 ГБ. Модель предназначена для создания AI-ассистентов и LLM-агентов, включая бизнес-приложения и сценарии с использованием внешних инструментов и API. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи программирования, function calling, многоязычный диалог и Fill-In-the-Middle-дополнение кода. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; для калибровки этой версии указаны STEM- и агентские сценарии. Модель описана как long-context, но точный размер контекстного окна не указан. Сильными сторонами являются улучшенное обучение после предварительного обучения, включая supervised fine-tuning и reinforcement learning alignment, а также акцент на следовании инструкциям, диалоге и вызове инструментов. Квантизация AWQ INT4 снижает требования к хранению и вычислительным ресурсам, однако может сопровождаться компромиссами по точности по сравнению с полноточной версией; количественные результаты такого сравнения в README не приведены. Модель распространяется по лицензии Apache 2.0.

gratex/Mistral-Small-3.2-24B-Instruct-2506-W4A16-AutoRound — квантизированная версия мультимодальной instruct-модели Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. Модель поддерживает работу с текстом и изображениями благодаря vision-компоненту Pixtral и предназначена для генерации текста, ответов на инструкции, рассуждений, программирования, задач с вызовом функций и сценариев vision-language. Модель содержит около 24 млрд параметров и использует архитектуру Mistral3ForConditionalGeneration: 40 декодерных слоёв, скрытый размер 5120, GQA с 32 query- и 8 key/value-головами, а также контекст до 131 072 токенов. Vision-энкодер Pixtral включает 24 слоя с размером скрытого состояния 1024; используется обработка изображений, но поддержка видео в калибровочных данных не заявлена. Квантизация выполнена методом AutoRound 0.10.2 с оптимизацией SignRound: веса текстового декодера представлены в INT4 с group_size 128, а активации, vision tower, мультимодальный проектор, эмбеддинги, lm_head и layer norms сохранены в BF16. Главное преимущество модели — существенное снижение требований к памяти при сохранении мультимодальных возможностей и широкая совместимость формата с GPU архитектур Ampere, Ada и Blackwell, а также движками vLLM, SGLang и TensorRT-LLM. По приведённому тесту WikiText-2 perplexity составляет 7,2478 против 7,0332 у базовой BF16-модели, то есть ухудшение равно 3,05%; это указывает на умеренную потерю качества из-за 4-битной квантизации. Лицензия — Apache-2.0.

Mistral-Small-4-119B-2603-heretic-gguf — набор GGUF-квантизаций модели Mistral Small 4 119B 2603 Heretic. Базовая модель разработана Mistral AI, а heretic-версия опубликована darkc0de; данный репозиторий содержит варианты для запуска в формате GGUF. Модель построена на архитектуре Mistral4 с разреженной MoE-структурой и MLA attention: всего 119 млрд параметров, из которых 6,5 млрд активируются на каждом токене, используются 128 экспертов, 4 из них активны одновременно. Модель предназначена для диалогов, генерации и анализа текста, агентских сценариев, вызова функций с JSON-выводом, задач рассуждения и обработки изображений с формированием текстового ответа. Поддерживаются быстрый режим и режим рассуждения с дополнительными вычислениями во время вывода, а также контекст до 256 тысяч токенов. Заявлена мультимодальность с входными данными в виде текста и изображений. Указана поддержка множества языков, включая английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский, арабский, украинский, хинди и другие. К сильным сторонам относятся большой контекст, сочетание мультимодальности, рассуждения, function calling и агентских возможностей, а также высокая скорость за счёт MoE-архитектуры. Heretic-версия характеризуется меньшим числом отказов по сравнению с исходной моделью по приведённой статистике, однако конкретное поведение и качество зависят от выбранной квантизации. Доступны варианты от BF16 до Q2_K размером примерно от 221,6 до 40,4 GiB; рекомендуемым обозначен Q4_K_M. Лицензия Apache 2.0 допускает коммерческое и некоммерческое использование.

Qwen3.5-35B-A3B-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий подготовлен ugreen-ai с использованием материалов и методов Unsloth. Модель предназначена для локального запуска и совместима с инструментами экосистемы GGUF; исходная модель также поддерживает Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых активируется около 3 млрд; указаны 40 слоёв, hidden dimension 2048 и словарь размером 248 320 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентские сценарии, вызов инструментов и задачи с длинным контекстом, однако точный максимальный размер контекста для этой версии в README не указан. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разреженной MoE-архитектуры, улучшенные возможности coding и tool calling, а также обновлённые данные и алгоритм квантования Unsloth Dynamic 2.0. GGUF-квантизация упрощает локальный запуск и снижает требования к ресурсам, но конкретные характеристики зависят от выбранного варианта квантизации и могут сопровождаться потерей точности по сравнению с исходными весами. Для управления режимом рассуждений предусмотрена настройка enable_thinking. Модель распространяется по лицензии Apache-2.0.

Карточка модели kongyi/Qwen3.8-Flash-Next на Hugging Face совпадает с карточкой Qwen/Qwen3.8-Flash-Next, поэтому описание составлено по ней. Qwen3.8-Flash-Next — открытая по весам мультимодальная модель семейства Qwen, представленная как первый релиз архитектуры Qwen4-экспериментального семейства. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, работы с изображениями и агентных сценариев, включая задачи программирования и длительные рабочие процессы. В карточке описаны возможности вызова инструментов и режим рассуждения, включённый по умолчанию. Модель имеет разреженную MoE-архитектуру: 125 млрд параметров, из которых активируются 6 млрд, дополнительно 51 млрд параметров приходится на n-граммные эмбеддинги и 4 млрд — на MTP. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention, а также использует Gated Residual. Контекстное окно составляет 262 144 токена и может расширяться до 1 000 000 токенов. В карточке приведены оценки на агентных, программных и визуально-языковых бенчмарках, однако таблицы результатов и таблица языков опущены. Разработчик позиционирует модель для API-интеграции и рекомендует этот способ использования. Репозиторий содержит веса Safetensors; лицензия указана как other, поэтому условия использования следует уточнить в материалах разработчика. В предоставленных данных нет списка поддерживаемых языков и конкретных ограничений по качеству или применению.

ddalcu/Qwen3.8-Flash-Next-MLX-Serve-mixed-4-8bit — это квантованный пакет модели Qwen/Qwen3.8-Flash-Next, подготовленный для mlx-serve. Модель основана на экспериментальной архитектуре Qwen4 с разреженным вниманием, Mixture-of-Experts, GDN, n-gram embedding и встроенной MTP-головой. Пакет также содержит vision tower для обработки изображений и видео. Модель предназначена для генерации текста, включая работу с кодом, длинными контекстами, диалогами, изображениями и видео, а также для сценариев с инструментами через XML-формат вызовов Qwen3.8. Заявлен нативный контекст до 262 000 токенов. Разреженное внимание после первых 2048 токенов выбирает наиболее релевантные блоки, благодаря чему стоимость внимания не растёт линейно с длиной контекста. Механизм MTP может ускорять декодирование, особенно на коде, но включается отдельно и не используется для запросов с изображениями. Полный состав оценивается в 180B параметров: 125B основной части, 51B n-gram embedding и 4B MTP-головы. Эксперты MoE хранятся в 4-bit, большинство остальных компонентов — в 8-bit, а отдельные параметры и vision tower — в bf16. Пакет рассчитан на Mac с 128 GB памяти и занимает около 75 GB резидентной памяти без учёта KV-кэша. Ограничения mlx-serve включают обработку только одного запроса одновременно, отсутствие пакетированного декодирования и возможное замедление холодного prefill длинных запросов из-за чтения n-gram-таблицы с SSD. Модель использует лицензию qwen-community-1.0; дополнительные условия следует уточнять в файле LICENSE.

NobodyWho/Qwen_Qwen3.6-27B-GGUF — GGUF-квантизированная версия плотной модели Qwen3.6-27B, разработанной командой Qwen компании Alibaba Group и подготовленной для библиотеки NobodyWho. Модель предназначена для диалоговой генерации текста, следования инструкциям, рассуждений, агентных сценариев и вызова инструментов. Она также поддерживает анализ изображений при использовании вспомогательной проекционной модели mmproj-BF16.gguf. Модель содержит 27 млрд параметров, использует архитектуру qwen35 и поддерживает контекст до 262 144 токенов. Она мультимодальна, работает с текстом и изображениями, имеет широкое языковое покрытие и режим рассуждений, включённый по умолчанию. Вызов инструментов реализован нативно с грамматически ограниченным форматом вывода; варианты Q3_K_M и Q4_K_M показали результат 14/14 в тестовом наборе NobodyWho. Доступны квантизации Q3_K_M, Q4_K_M и Q8_0, причём Q3_K_M требует около 13,6 ГБ памяти, Q4_K_M — около 16,8 ГБ, а Q8_0 — около 28,6 ГБ. Сильными сторонами модели являются большой контекст, мультимодальность, развитые рассуждения и надёжный вызов инструментов. Ограничения связаны с ресурсными требованиями: Q4_K_M на системе с 24 ГБ памяти работает впритык и может использовать подкачку, а Q8_0 требует не менее 32 ГБ; вариант BF16 в репозитории не представлен. Модель и квантизации распространяются по лицензии Apache 2.0.

alphakek/gemma-4-E4B-it-heretic-mythos-v1 — производная мультимодальная модель на базе Google Gemma 4 E4B Instruct, опубликованная пользователем alphakek. По карточке, Gemma 4 использует плотную архитектуру с чередованием локального скользящего и глобального внимания. Базовая модель рассчитана на контекст до 128K токенов; метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и работы с инструментами. Вариант E4B поддерживает смешанные текстовые и визуальные запросы, видео через последовательности кадров, а также аудиовход для распознавания речи и перевода речи в текст. Gemma 4 описана как многоязычная модель с поддержкой более 35 языков, но какие именно языки и возможности сохранены в этой производной версии, карточка не уточняет. Название и теги указывают на попытку ослабить встроенные ограничения ответов (heretic, uncensored, decensored, abliterated), однако README не описывает конкретную процедуру изменений или их влияние на качество и безопасность. Как и базовая модель, она может допускать фактические ошибки, испытывать трудности с неоднозначными запросами и отражать смещения обучающих данных. Лицензия репозитория — Apache-2.0.

Карточка модели bernquant/Inkling на Hugging Face совпадает с карточкой thinkingmachines/Inkling, поэтому описание составлено по ней. Inkling — мультимодальная модель общего назначения от Thinking Machines. Это авторегрессионный трансформер с 66 слоями, архитектурой decoder-only и разреженным MoE-блоком: из 256 экспертов для каждого токена активируются 6, а ещё 2 общих эксперта участвуют всегда. Всего в модели 975 млрд параметров, активно используется 41 млрд. Поддерживаются форматы BF16 и NVFP4; веса опубликованы в Safetensors. Модель принимает текст, изображения и аудио, обрабатывает их в общем пространстве представлений и выдаёт текст. Она предназначена для диалогов, следования инструкциям, анализа изображений и аудио, программирования, агентных систем с использованием инструментов и RAG-приложений. Основной язык — английский; заявлены также общие многоязычные возможности. Для изображений рекомендуются размеры сторон от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее 20 минут. Модель доступна для интеграции, исследований и дообучения; лицензия — Apache-2.0. Возможны фактические ошибки, неточное следование инструкциям и ухудшение качества в длинных диалогах; качество может различаться между языками и предметными областями. Для важных решений требуется проверка человеком, а для публичных приложений README рекомендует дополнительные меры модерации.

ybelkada/Mixtral-8x7B-Instruct-v0.1-AWQ — это 4-битно квантованная версия Mixtral 8x7B Instruct v0.1, опубликованная пользователем ybelkada на Hugging Face. Исходную модель разработала Mistral AI. Она предназначена для генерации текста, диалоговых сценариев и выполнения инструкций; поддерживает запуск через Transformers, vLLM и SGLang. В основе лежит decoder-only Transformer с разреженной архитектурой Mixture of Experts: восемь experts примерно по 7B параметров, из которых для каждого токена выбираются два. Всего модель содержит около 47B параметров, но во время обработки токена активно используется около 13B. Контекстное окно исходной модели составляет 32K токенов. Модель обучалась на многоязычных данных и демонстрирует сильные результаты в рассуждениях, математике, генерации кода и многоязычных задачах; версия Instruct дополнительно дообучена следовать инструкциям с использованием supervised fine-tuning и Direct Preference Optimization. Ключевое преимущество этой версии — снижение требований к памяти благодаря AWQ-квантизации до 4 бит при сохранении функциональности исходной модели. Ограничения включают значительный общий объём параметров и соответствующие требования к памяти, а также возможные накладные расходы MoE-маршрутизации; эффективность зависит от совместимого программного обеспечения и GPU. Для исходной Mixtral 8x7B Instruct указана лицензия Apache 2.0, допускающая академическое и коммерческое использование; для конкретного квантованного репозитория условия следует проверять отдельно.

qwp4w3hyb/Phi-3-mini-128k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-128K-Instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров и предназначена для генерации текста, диалоговых приложений и использования в условиях ограниченных ресурсов, где важны низкая задержка, компактность и способность решать задачи рассуждения, программирования, математики и логики. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а после предварительного обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель поддерживает контекст до 128 тысяч токенов, словарь размером до 32 064 токенов и ориентирована прежде всего на английский язык, хотя в карточке также указана многоязычность. Это текстовая авторегрессионная модель; сведения о конкретной архитектуре и полном наборе поддерживаемых языков не приведены. Данная сборка включает варианты квантизации от Q8_0 до IQ1_S, выполненные с использованием importance matrix в llama.cpp для снижения потерь точности. Для работы требуется актуальная версия llama.cpp master и совместимый GGUF-инференс. Сильные стороны модели — сочетание небольшого размера с заявленной высокой эффективностью среди моделей менее 13 млрд параметров, длинный контекст и хорошие возможности в коде, математике, логике и общем понимании языка. Ограничения включают возможные ошибки и необходимость отдельно проверять точность, безопасность и справедливость результатов, особенно в сценариях с высокими рисками. Модель выпущена под лицензией MIT; конкретный выбранный уровень квантизации может влиять на качество и требования к ресурсам.

duyntnet/Qwen2.5-7B-Instruct-imatrix-GGUF — набор imatrix-квантизированных версий инструкционно дообученной текстовой модели Qwen2.5-7B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий предназначен для локального запуска и генерации текста через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой авторегрессионную causal language model на базе архитектуры Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами запросов и 4 головами ключей и значений. Модель ориентирована на диалог, следование инструкциям, генерацию длинных текстов, работу со структурированными данными и создание структурированных ответов, включая JSON, а также на задачи программирования и математики. Поддерживается более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. При этом исходная конфигурация рассчитана на 32 768 токенов; для работы с более длинными входами требуется включение расширения YaRN с указанными параметрами. Квантизация снижает требования к ресурсам и упрощает локальный запуск, но конкретные характеристики качества, скорости и потребления памяти зависят от выбранного варианта GGUF. В репозитории указана лицензия other, без подробного описания условий использования.

furiosa-ai/Qwen3-4B-FP8 — это версия модели Qwen3-4B-FP8, подготовленная FuriosaAI для запуска на ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 4 млрд параметров. Разработчик базовой модели — команда Qwen, а FuriosaAI предоставляет исполняемый пакет FXB и интеграцию с собственным программным стеком. Модель предназначена для генерации текста, общего диалога, сложных рассуждений, математических и программных задач, вызова инструментов и агентских сценариев. Она поддерживает гибридный режим: по умолчанию может формировать рассуждение перед ответом, а для отдельных запросов рассуждение можно отключить ради более эффективной работы. Также поддерживается multilingual-использование, однако в карточке явно указан английский язык. Входные и выходные данные — текстовые, доступен OpenAI-совместимый API. Веса статически квантизированы в FP8, активации во время выполнения используют динамическую FP8-квантизацию, а KV-cache сохраняется в 16-битной точности. На FuriosaAI RNGD модель работает с tensor parallelism на 8 вычислительных элементах одной карты. Ограничения связаны с зависимостью данной сборки от Furiosa-LLM и оборудования RNGD; сведения о размере контекста и точном перечне поддерживаемых языков в README не приведены. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3.5-27B-MTP-GGUF — GGUF-версия модели Qwen3.5-27B, подготовленная Unsloth на основе Qwen/Qwen3.5. Это мультимодальная causal language model с vision encoder, предназначенная для диалога, анализа изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Вариант поддерживает MTP speculative decoding для ускорения генерации примерно в 1,5–2 раза при использовании совместимой версии llama.cpp. Модель содержит 27B параметров, 64 слоя и скрытое измерение 4096. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена ранняя интеграция мультимодальных токенов. Поддерживается 201 язык и диалект, а входные данные могут включать текст и изображения. В README не указана длина контекста. GGUF-варианты используют imatrix-данные, оптимизированные для диалога, программирования, длинного контекста и tool calling. Сильные стороны модели — мультимодальность, широкое языковое покрытие, поддержка рассуждений и инструментов, а также ускоренная генерация с MTP. Ограничения связаны с требованиями к совместимому llama.cpp и специальным режимам запуска: для MTP пока не поддерживаются параллельные последовательности с -np > 1 и параметр --mmproj. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.5-397B-A17B-FP8-dynamic — мультимодальная причинная языковая модель архитектуры Qwen3_5MoeForCausalLM, разработанная RedHatAI на основе Qwen/Qwen3.5-397B-A17B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст. Она предназначена для рассуждений, работы с визуально-языковыми запросами, вызова инструментов и решения широкого круга задач обработки текста и кода. Модель содержит 397 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках, тогда как визуальный энкодер, механизм линейного внимания Gated DeltaNet, маршрутизаторы MoE, общие эксперты и эмбеддинги сохраняются в исходной точности. Это уменьшает размер на диске и потребление GPU-памяти примерно на 50% по сравнению с 16-битной версией. Поддерживаются текстовый режим, мультимодальная обработка изображений, вызов инструментов и multi-token prediction для speculative decoding. Модель оптимизирована для инференса с vLLM и валидирована с vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4. FP8-квантизация снижает требования к ресурсам, однако модель остаётся очень крупной и требует мног GPU-инфраструктуры; в README приведена конфигурация с tensor parallelism на 4 устройствах. Данные о поддерживаемых языках, размере контекста и численных результатах бенчмарков в представленном описании отсутствуют. Модель распространяется по лицензии Apache-2.0.

Smoffyy/Qwen3.5-4B-Instruct-Revised-GGUF — переработанная GGUF-квантизация модели Qwen3.5-4B, разработанной командой Qwen. Автор варианта Smoffyy конвертировал исходные веса в формат GGUF с помощью llama.cpp и заменил официальный шаблон чата на собственный исправленный шаблон. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания; это мультимодальная causal language model с vision encoder. Для работы с изображениями требуется отдельный файл mmproj-f16.gguf. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Заявлена поддержка 201 языка и диалекта. Вариант сохраняет возможности исходной модели, но исправляет проблемы шаблона чата, включая управление режимом рассуждений, пустые блоки рассуждений и поддержку роли developer. По умолчанию включён режим без рассуждений; его можно переключать специальными токенами в системном запросе. В README приведён пример использования q4_k_m с контекстом 64k, требующий около 7 ГБ VRAM; рекомендуемые требования к видеопамяти зависят от уровня квантизации. К ограничениям относятся потеря части качества по сравнению с полноразмерными весами при использовании более сильной квантизации, а также необходимость скачивать дополнительный мультимодальный проектор для обработки изображений. Модель и производные работы распространяются по лицензии Apache 2.0.

hikka2515/Qwen3.5-4B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen и подготовленной с использованием инструментов Unsloth. Модель предназначена для локального запуска и генерации текста, рассуждений, программирования, агентских сценариев, вызова инструментов и анализа изображений. Она поддерживает текстово-визуальный ввод и совместима с llama.cpp и другими средствами работы с GGUF. Модель содержит около 4 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками gated attention. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Версия включает обучение для multi-step speculative decoding (MTP), которое при совместимой сборке llama.cpp может ускорять генерацию примерно в 1,5–2 раза, а также улучшения поддержки роли developer и вызова инструментов. Сильные стороны модели — сочетание мультимодальности, большого контекста, компактного размера и возможности эффективного локального запуска в квантованном формате. Ограничения связаны с необходимостью специальной сборки llama.cpp для MTP; при таком режиме не поддерживаются параллельность запросов через параметр -np больше 1 и параметр --mmproj. Точные характеристики конкретного квантования UD-Q4_K_XL в README не приведены. Модель распространяется по лицензии Apache-2.0.

Spark-X2.5-1.7B — компактная языковая модель общего назначения от разработчиков семейства Spark-X2.5. Это постобученная версия базовой модели XHToken/Spark-X2.5-1.7B-Base с плотной архитектурой Spark2_5ForCausalLM; веса доступны в формате Safetensors и рассчитаны на работу через Transformers. Архитектура сочетает полное внимание с окнами скользящего внимания, а заявленная длина контекста составляет до 1 048 576 токенов. Модель предназначена для диалогов, письма, перевода, рассуждений, программирования, вызова инструментов и агентных сценариев. Разработчики заявляют поддержку более 200 языков и обучение примерно на 20 триллионах токенов; карточка приводит результаты сравнительных тестов, но не сами значения таблицы. Модель совместима с несколькими аппаратными платформами и средствами инференса, включая SGLang и vLLM. Модель может подойти для локальных ассистентов, анализа длинных контекстов и агентных рабочих процессов. Большое окно контекста требует достаточной памяти устройства, а при ограниченных ресурсах его рекомендуется уменьшить. Лицензия — Apache-2.0.

EXAONE-4.0-32B-AWQ — квантованная версия языковой модели EXAONE 4.0, разработанная LG AI Research. Это авторегрессионная модель для генерации текста, поддерживающая обычный режим работы и режим рассуждений, а также агентное использование с вызовом инструментов. Модель предназначена для диалоговых систем, решения сложных задач, генерации и обработки текста и сценариев, требующих многошагового рассуждения. Модель содержит 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует архитектуру GQA с 40 attention heads и 8 KV heads. Для 32B-версии применяется гибридное внимание: локальное sliding-window attention и глобальное full attention в соотношении 3:1, а также архитектурный подход QK-Reorder-Norm. Контекстное окно составляет 131 072 токена, размер словаря — 102 400. Поддерживаются английский, корейский и испанский языки. Версия AWQ использует 4-битное группавое weight-only квантование W4A16g128, что снижает требования к памяти по сравнению с полноразмерной моделью. Сильные стороны модели — сочетание общего режима генерации и reasoning mode, поддержка многоязычных сценариев, длинного контекста и tool calling. Ограничения включают необходимость корректной настройки параметров sampling в режиме рассуждений, а также потенциальные потери качества, связанные с 4-битным квантованием. Модель распространяется по лицензии EXAONE; в карточке указано обозначение лицензии other и ссылка на файл LICENSE.

unsloth/gemma-4-26b-a4b-it-UD-MLX-4bit — MLX-совместимая 4-битная версия instruction-tuned модели Gemma 4 26B A4B, подготовленная Unsloth на основе модели Google DeepMind. Это мультимодальная модель с открытыми весами, предназначенная для локального запуска и дообучения в экосистеме MLX. Модель рассчитана на генерацию текста, рассуждения, программирование, мультимодальное понимание изображений, агентские сценарии и вызов функций. Вариант 26B A4B использует архитектуру Mixture-of-Experts (MoE); обозначение A4B указывает на эффективный объём активируемых параметров около 4B при общем размере модели 26B. Для семейства Gemma 4 заявлены поддержка текста и изображений, контекст до 256K токенов, более 140 языков, настраиваемые режимы рассуждения, нативная поддержка system prompt и function calling. Поддержка аудио для этой версии не указана; в README она отмечена только для малых моделей E2B и E4B. К сильным сторонам относятся большой контекст, мультимодальность, возможности рассуждения и программирования, а также эффективность MoE-архитектуры и 4-битной квантизации для локального запуска на совместимом оборудовании Apple Silicon или другом окружении MLX. Ограничения связаны с необходимостью MLX-совместимой инфраструктуры и потенциальными компромиссами 4-битной квантизации, однако количественные характеристики таких компромиссов в README не приведены. Модель распространяется по лицензии Apache 2.0.

Mungert/gemma-4-31B-it-GGUF — это GGUF-версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и преобразованной автором Mungert с использованием llama.cpp. Модель предназначена для локального запуска задач генерации и понимания текста, программирования, рассуждений, агентных сценариев и мультимодального анализа изображений с выдачей текста. Модель имеет плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и контекстным окном до 256 тысяч токенов. Она поддерживает текст и изображения, но не аудио в варианте 31B. Gemma 4 заявлена как мультиязычная модель с поддержкой более 140 языков. В архитектуре используется гибридное внимание: локальное скользящее окно чередуется с глобальным вниманием; размер скользящего окна для 31B составляет 1024 токена. Модель поддерживает режимы рассуждений, системные инструкции и встроенный вызов функций. Главная особенность этой публикации — GGUF-квантизация, подготовленная на основе llama.cpp с выборочным повышением точности важных слоёв сверх стандартной конфигурации IMatrix. Это может улучшать точность при заданном уровне квантизации, особенно у моделей с большим числом параметров, но увеличивает размер файлов. В README нет результатов бенчмарков, конкретных вариантов квантизации или требований к оборудованию, поэтому фактические скорость, качество и потребление памяти зависят от выбранного файла и среды запуска. Лицензия — Apache 2.0.