II.8Инженерия данных и аналитика

HivenetQuant/Qwen3.8-27B-NVFP4 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, опубликованная HivenetQuant. Модель предназначена для работы с текстом и изображениями, включая визуальное понимание, генерацию текста и кода, рассуждения, tool calling и ускоренное авторегрессионное декодирование с помощью MTP speculative decoding. В основе используется модель размером 27B параметров. Квантование выполнено по схеме NVFP4 W4A4: веса и активации основного квантованного слоя представлены в FP4 с блочными масштабами FP8 и group size 16. Чувствительные attention- и recurrent-слои DeltaNet сохранены в FP8, а vision encoder, MTP head, lm_head, нормы и router layers — в BF16. Контекст до 262 144 токенов проверен в конфигурации с vLLM и FP8 KV cache. Модель ориентирована на GPU NVIDIA Blackwell с нативной поддержкой FP4, например RTX 5090. Сильными сторонами являются заметное ускорение по сравнению с FP16, сохранение мультимодальных возможностей и MTP, а также близкие к FP16 результаты на проверенных задачах. В опубликованном сравнении разница обычно составляла менее двух процентных пунктов, однако это оценка деградации на репрезентативных выборках, а не полное измерение абсолютных возможностей базовой модели. Ограничения включают зависимость от совместимого оборудования и настроек vLLM, а также возможное снижение качества из-за квантования, особенно на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

EXAONE-4.0-32B-GGUF — квантизированная версия языковой модели EXAONE 4.0 от LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, агентного использования инструментов и задач, требующих рассуждений. Она поддерживает два режима: Non-reasoning для повседневного взаимодействия и Reasoning для более сложных задач. Заявлена поддержка английского, корейского и испанского языков. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует GQA с 40 attention heads и 8 KV heads. Контекстное окно составляет 131 072 токена, размер словаря — 102 400. Архитектура включает гибридное внимание: local attention и global attention в соотношении 3:1, а также QK-Reorder-Norm. Репозиторий распространяет веса в формате GGUF с вариантами квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS; также доступны веса BF16. Модель официально поддерживается llama.cpp и может запускаться локально или через OpenAI-совместимый сервер. Сильными сторонами являются сочетание обычного и рассуждающего режимов, большой контекст, мультиязычность, поддержка агентных сценариев и несколько вариантов квантизации для выбора между качеством и требованиями к ресурсам. Ограничениями являются значительный размер 32B, высокие требования к памяти и вычислениям, а также необходимость учитывать особенности интеграции с llama.cpp и применения соответствующего chat template. Лицензия обозначена как exaone; точные условия следует уточнять в файле LICENSE.

MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy — дообученная версия мультимодальной инструкционной Gemma 4 12B от Google DeepMind. Автор репозитория применил к базовой модели метод abliteration с инструментом Heretic и настройками Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation; по карточке, доля отказов в указанном тесте снизилась с 522/535 до 34/535. Модель предназначена для диалога, рассуждений и генерации текста, а также для анализа изображений, видео и аудио; семейство Gemma 4 также поддерживает код и вызов инструментов. Для этой версии в карточке названы размер 12B, контекст до 256K токенов и поддержка более 140 языков. Архитектура — плотная Gemma4UnifiedForConditionalGeneration; репозиторий содержит веса safetensors. Карточка описывает её как вариант Gemma с ослабленными отказами, но не приводит отдельной оценки качества этой конкретной модификации. Базовая модель Gemma 4 QAT использует веса, подготовленные с учётом квантования, однако в этом репозитории указан вариант unquantized Q4_0, а формат файлов — safetensors. Лицензия — Apache-2.0.

p-e-w опубликовал вариант Gemma 4 E2B Instruct с изменённым ограничением на генерацию: в карточке модель помечена как uncensored, decensored и abliterated. Это компактная плотная модель семейства Gemma 4 для условной генерации; её исходная архитектура использует сочетание локального скользящего и глобального внимания. В репозитории указаны веса safetensors и лицензия Apache-2.0. Модель предназначена для диалогов и генерации текста, рассуждений, помощи с кодом и мультимодального понимания. Gemma 4 E2B поддерживает обработку текста, изображений и аудио, включая распознавание речи и перевод речи в текст; семейство также заявляет анализ видео, вызов инструментов и контекст до 128 тысяч токенов для E2B. В карточке этой конкретной версии приведены теги any-to-any и image-text-to-text, но отдельные характеристики обучения и проверки именно варианта heretic-ara не описаны. Семейство Gemma 4 заявляет поддержку более 35 языков, однако конкретный перечень языков для этой сборки не приведён. Возможны фактические ошибки, предвзятость и трудности с неоднозначными либо сложными запросами; пометка uncensored указывает на ослабление ограничений, поэтому ответы могут включать нежелательный или вредный контент. Лицензия репозитория — Apache-2.0.

furiosa-ai/gpt-oss-120b — адаптация открытой весовой модели OpenAI gpt-oss-120b, подготовленная для запуска на аппаратных ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая модель на архитектуре Mixture-of-Experts (MoE), предназначенная для универсальной генерации текста и задач, требующих углублённого рассуждения, включая рабочие производственные сценарии. Модель принимает и генерирует текст, поддерживает английский язык и работает в формате harmony response format, отделяющем рассуждения от итогового ответа. Доступна настройка глубины рассуждения с помощью параметра reasoning_effort со значениями low, medium и high. Также поддерживается вызов инструментов и функций через OpenAI-совместимый API. Экспертные веса MoE квантизованы в MXFP4, а компоненты attention, router и embeddings сохраняются в более высокой точности. Для запуска на RNGD используется tensor parallelism с 32 вычислительными элементами, что соответствует четырём картам RNGD. Ключевое ограничение — описанная в README сборка ориентирована на Furiosa-LLM и оборудование FuriosaAI RNGD, хотя исходная модель также может работать с другими фреймворками. Модель распространяется по лицензии Apache 2.0.

unsloth/granite-4.0-h-micro-unsloth-bnb-4bit — 4-битная версия Granite-4.0-H-Micro, разработанная Unsloth на базе модели IBM Granite Team и IBM. Исходная модель представляет собой инструкционную long-context языковую модель примерно на 3 млрд параметров, дообученную с применением supervised fine-tuning, выравнивания с использованием reinforcement learning и объединения моделей. Точная длина контекста для данной версии в README не указана. Модель предназначена для выполнения общих инструкций и создания корпоративных AI-ассистентов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG-сценарии, задачи, связанные с кодом, вызов функций и инструментов, многоязычный диалог, а также Fill-In-the-Middle для дополнения кода. Заявлены улучшенные instruction following и tool-calling возможности. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевое преимущество варианта — 4-битная квантизация BNB, которая может снизить требования к памяти и упростить локальное развертывание, однако README не приводит точные показатели качества, скорости или совместимости с конкретным оборудованием. Ограничения включают отсутствие в предоставленных данных детальных бенчмарков, точного размера в памяти и описания мультимодальных возможностей; по имеющейся информации модель является текстовой. Распространение указано по лицензии Apache 2.0.

unsloth/llama-3-8b-bnb-4bit — это 4-битная квантованная версия 8-миллиардной языковой модели Llama 3, подготовленная Unsloth на базе Meta-Llama-3-8B. Исходную модель разработала Meta. Она предназначена для генерации текста и кода, диалоговых сценариев, текстового автодополнения и последующего дообучения на пользовательских наборах данных. Модель принимает только текст и генерирует текст или код. В основе лежит авторегрессионная архитектура оптимизированного Transformer; заявлены Grouped-Query Attention и контекстное окно 8 тысяч токенов. Модель обучалась на смеси общедоступных онлайн-данных; дата отсечения знаний — март 2023 года. Квантование до 4 бит снижает требования к памяти и делает модель более удобной для локального запуска и тонкой настройки, однако может уменьшать качество по сравнению с полноточной версией. Модель не поддерживает изображения и другие модальности, а качество ответов зависит от исходной Llama 3 и конкретного сценария использования. В README указана лицензия Llama 3 (license: llama3).

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанной Microsoft и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, работу с длинными документами и программным кодом. В README указана поддержка multilingual, однако конкретный перечень языков не приведён. Архитектура и точное число параметров не указаны; модель относится к типу phi-msft и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 5,14 до 27,9 ГБ. Варианты с более сильной квантизацией требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые для баланса между размером и качеством. Модель рассчитана на запуск через совместимые инструменты, включая LlamaEdge, с использованием шаблона phi-3-chat. Лицензия — MIT; дополнительные ограничения или сведения о мультимодальности в README не указаны.

Qwen3-0.6B-FP8 — компактная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия базовой модели Qwen3-0.6B, предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, перевода и мультиязычных сценариев. Модель также поддерживает интеграцию с внешними инструментами и агентские приложения. Модель содержит 0,6 млрд параметров, из них 0,44 млрд не относятся к embedding, и включает 28 слоёв. Она использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений, поддерживает контекст до 32 768 токенов и более 100 языков и диалектов. В одной модели можно переключаться между thinking mode для сложных рассуждений, математики и кода и non-thinking mode для более быстрой генерации и обычного диалога. FP8-квантизация с размером блока 128 снижает требования к ресурсам и подходит для развёртывания через Transformers, SGLang и vLLM. Сильные стороны модели — небольшой размер, поддержка мультиязычности, режимов рассуждения и обычного ответа, а также применимость к диалоговым и агентским задачам. Ограничения включают возможные бесконечные повторы при неподходящих параметрах генерации и известные проблемы fine-grained FP8 в Transformers при распределённом инференсе на нескольких устройствах. Модель распространяется по лицензии Apache 2.0.

AtomicChat/Qwen3.5-9B-GGUF — квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная Atomic Chat. Модель распространяется в формате GGUF для локального и полностью офлайн-использования, в том числе через llama.cpp, Ollama, LM Studio и Jan. Репозиторий содержит текстовые варианты модели без vision projector, поэтому мультимодальные возможности базовой версии здесь недоступны. Модель имеет 9,7 млрд параметров, 32 слоя и заявленный контекст до 262 144 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads; базовая модель поддерживает текст и изображения, а опубликованные файлы предназначены только для генерации текста. Указаны варианты квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0 с размером примерно от 5,6 до 9,5 ГБ. Квантизация выполнена с importance matrix, что помогает сохранить качество при уменьшении требований к памяти; Q4_K_M позиционируется как оптимальный баланс размера, скорости и качества, тогда как Q8_0 обеспечивает почти исходную точность. Модель подходит для диалогов, генерации текста, программирования, рассуждений и агентских сценариев при локальном запуске. Ограничения включают отсутствие поддержки изображений в данном репозитории, зависимость качества и скорости от выбранного уровня квантизации и оборудования, а также необходимость применять chat template Qwen3.5. Исходная модель выпущена под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

DeepSeek-V3-Base — базовая языковая модель семейства DeepSeek-V3, разработанная командой DeepSeek AI. Это Mixture-of-Experts (MoE) модель с 671 млрд общих параметров, из которых 37 млрд активируются для каждого токена. Модель предварительно обучена на 14,8 трлн разнообразных токенов и предназначена для использования в качестве основы для генерации и понимания текста, а также последующей адаптации под прикладные задачи. В архитектуре применяются Multi-head Latent Attention (MLA) и DeepSeekMoE. Для балансировки нагрузки используется стратегия без вспомогательной функции потерь, а обучение дополнено целью Multi-Token Prediction, которая может применяться и для ускорения вывода посредством speculative decoding. Обучение проводилось с использованием смешанной точности FP8; заявлены высокая эффективность обучения и стабильность процесса. Длина контекста в предоставленных данных не указана, как и точный перечень поддерживаемых языков и сведения о мультимодальности. Сильными сторонами модели являются крупный общий объём параметров, высокая вычислительная эффективность за счёт разреженной активации экспертов и заявленная конкурентоспособность среди открытых базовых моделей. Ограничения включают значительные требования к инфраструктуре для запуска и отсутствие в предоставленном описании подробных характеристик инференса, языкового покрытия и результатов по отдельным прикладным сценариям. Код распространяется по лицензии MIT, а сама модель — по Model Agreement.

llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

MoonRide/gemma-4-31B-it-heretic-ara-GGUF — GGUF-версия инструкционной модели MoonRide/gemma-4-31B-it-heretic-ara, созданной на базе Google Gemma 4 31B IT. Модель модифицирована с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm; заявленная цель модификации — уменьшить склонность исходной модели к отказам. Семейство Gemma разработано Google DeepMind. Модель относится к плотной архитектуре с примерно 30,7 млрд параметров, 60 слоями, размером скользящего окна 1024 токена и контекстом до 256K токенов. Она принимает текст и изображения и генерирует текст; для семейства Gemma 4 заявлена поддержка более 140 языков. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также оптимизации для длинного контекста. Файлы представлены в различных вариантах GGUF-квантизации; рекомендуемые README варианты занимают около 12,1 и 12,6 ГБ. Основная сильная сторона модели — сочетание крупного контекста, мультимодального понимания, возможностей генерации текста, рассуждений и программирования с существенно меньшим числом отказов по сравнению с исходной Gemma 4 31B IT: в приведённом сравнении отказов было 11 из 100 против 99 из 100. При этом декенсоринг может изменить поведение и защитные свойства исходной модели; указанная оценка основана на ограниченном внутреннем тесте, а KL divergence относительно оригинала составляет 0,0508. Для загрузки README рекомендует llama.cpp версии b8751 или новее. Модель распространяется по лицензии Apache 2.0. Перед использованием необходимо учитывать, что снижение числа отказов не означает гарантии корректности, безопасности или точности ответов, а качество и потребление памяти зависят от выбранной GGUF-квантизации и аппаратной конфигурации.

lyf/Huihui-gemma-4-31B-it-abliterated-v2-NVFP4 — мультимодальная 31-миллиардная модель, представляющая собой NVFP4-квантизированную версию Huihui-gemma-4-31B-it-abliterated-v2 от huihui-ai, созданную на базе Google Gemma 4 31B IT. Релиз предназначен для диалогов, генерации и анализа текста, следования инструкциям, программирования, структурированного вывода, а также обработки изображений и видео. В README также указана abliteration-интервенция, направленная на удаление отказов модели. Модель поддерживает сценарии «текст—текст», «изображение—текст» и «видео—текст»; аудио не поддерживается, поскольку в 31B-чекпойнте отсутствует аудиоэнкодер. Визуальная башня сохранена в формате BF16, а большинство линейных слоёв текстового стека, включая слои self-attention, квантизированы в NVFP4. Эмбеддинги, lm_head и визуальная часть также остаются в BF16. Размер файлов составляет около 19,5 ГБ, что позволяет запускать модель на одной видеокарте RTX 5090 с 32 ГБ памяти; заявленная скорость декодирования — около 69 токенов в секунду. К сильным сторонам относятся уменьшенный размер, сохранение мультимодальных возможностей исходной модели, улучшенное по сравнению с предыдущей версией значение perplexity и более строгое следование инструкциям по результатам локального тестирования. Ограничения связаны с отсутствием аудиоподдержки, требовательностью к совместимому программному стеку и аппаратному обеспечению, а также возможным влиянием агрессивной NVFP4-квантизации на качество. Для работы рекомендуется vLLM с поддержкой Gemma 4 и NVFP4. Лицензия указана как gemma.

MyAwesomeModel — языковая модель, распространяемая через библиотеку Transformers; разработчик в представленном README не указан. Модель ориентирована на задачи, требующие рассуждений и генерации текста, включая математические и логические задачи, программирование, ответы на вопросы, классификацию текстов, анализ тональности, суммаризацию, перевод, диалог, творческое письмо и следование инструкциям. Также заявлена поддержка function calling, загрузки файлов и генерации с использованием результатов веб-поиска. По данным README, обновлённая версия получила улучшения в глубине рассуждений, возможностях вывода и постобучении, а также сниженный уровень галлюцинаций. На тесте AIME 2025 точность выросла с 70% до 87,5%, при этом среднее число токенов рассуждения увеличилось примерно с 12 тысяч до 23 тысяч на задачу. В сводных оценках модель показывает наиболее заметные результаты в рассуждениях и генерации, однако конкретные архитектура, число параметров, поддерживаемые языки, модальности и размер контекстного окна не указаны. Для использования рекомендуется библиотека Transformers, системный промпт с текущей датой и температура 0,6. Специальные токены в начале ответа для включения определённого режима рассуждений не требуются. README также упоминает вариант MyAwesomeModel-Small, но не приводит его подробных характеристик. Модель распространяется по лицензии MIT.

Карточка модели minjaechoi/nemotron3-nano-30b-a3b-2p03bit-r22 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA Nemotron-3-Nano-30B-A3B-BF16 — языковая модель общего назначения, обученная с нуля NVIDIA Corporation для диалогов, рассуждений и выполнения инструкций. Она предназначена для разработчиков чат-ботов, агентных систем, RAG-приложений и других решений на базе ИИ; также подходит для задач программирования и многоязычного общения. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE и 6 слоёв внимания. Всего в ней 30 млрд параметров, из которых активны 3,5 млрд на токен; веса представлены в BF16. Метаданные указывают 1,9 млрд параметров. Контекст в конфигурации Hugging Face составляет 262 144 токена; README сообщает о поддержке до 1 млн токенов при соответствующих настройках и повышенных требованиях к видеопамяти. Модель принимает текст и выдаёт текст, поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Режим рассуждений настраивается через шаблон чата; также заявлен интерфейс вызова инструментов. Модель заявлена как пригодная для коммерческого использования. В метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Русский язык среди поддерживаемых не указан; возможности рассуждения могут снижаться при отключении промежуточного этапа рассуждений, а использование длинного контекста требует больше видеопамяти.

RedHatAI/phi-4-quantized.w8a8 — квантизированная версия языковой модели phi-4, разработанной Microsoft. Модель подготовлена Red Hat совместно с Neural Magic и предназначена для генерации текста, диалоговых приложений, задач рассуждений, логики, математики и программирования, преимущественно на английском языке. Она принимает текст и генерирует текст, а архитектура указана как Phi3ForCausalLM. Модель использует INT8-квантизацию весов и активаций. Квантизация линейных операторов в трансформерных блоках примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может увеличить пропускную способность матричных вычислений примерно в два раза. Для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема; используются методы SmoothQuant и GPTQ через библиотеку llm-compressor. В README приведён пример развёртывания с vLLM и максимальной длиной контекста 32768 токенов в конфигурации сервера. Модель подходит для сред с ограниченными ресурсами и сценариев, чувствительных к задержке, а также как компонент генеративных AI-систем. Ограничения включают преимущественную ориентацию на английский язык, возможные типичные ошибки языковых моделей и отсутствие оценки для всех прикладных сценариев. Перед использованием в критически важных или высокорисковых задачах необходимо отдельно проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT и валидирована для RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5.

Qwen3-1.7B-MLX-4bit — компактная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Это MLX-версия модели Qwen3-1.7B-Base с 4-битным квантованием, предназначенная для локального запуска и генерации текста. Она подходит для диалогов, следования инструкциям, генерации кода, математических и логических рассуждений, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою, и имеет 28 слоёв. Используется Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов и допускает переключение между режимом рассуждений и нерaссуждающим режимом в рамках одной модели: первый ориентирован на сложные задачи, математику и программирование, второй — на более быструю генерацию и общий диалог. К сильным сторонам относятся сочетание небольшого размера, локального формата MLX и 4-битного квантования, мультиязычность, поддержка диалогов и инструкций, а также гибкое управление режимом рассуждений. Ограничения включают меньшую ёмкость по сравнению с крупными моделями и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3-1.7B-unsloth-bnb-4bit — компактная каузальная языковая модель семейства Qwen3, представленная Unsloth и основанная на базовой модели Qwen/Qwen3-1.7B, разработанной командой Qwen. Данная версия предназначена для запуска и дообучения в формате 4-bit с использованием Transformers, что снижает требования к памяти по сравнению с полноразмерными вариантами. Модель подходит для генерации текста, диалогов, следования инструкциям, математических и логических задач, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между thinking mode для сложного рассуждения и non-thinking mode для более быстрой генерации. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Архитектура — causal language model с 1,7 млрд параметров, из которых 1,4 млрд не являются embedding-параметрами; модель содержит 28 слоёв, использует GQA с 16 головами для Q и 8 для KV, а максимальная длина контекста составляет 32 768 токенов. К сильным сторонам относятся небольшой размер, сниженное потребление памяти благодаря 4-bit-квантизации, мультиязычность, режимы рассуждения и эффективная работа в задачах диалога, инструкций, кода и агентского взаимодействия. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, возможное снижение точности из-за квантизации и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

duyntnet/Qwen3-4B-imatrix-GGUF — набор квантованных версий языковой модели Qwen3-4B, опубликованный пользователем duyntnet и основанный на модели Qwen/Qwen3-4B. Это каузальная текстовая модель с примерно 4 млрд параметров, включая 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и архитектурой Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Модель предназначена для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Qwen3-4B поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Указана поддержка более 100 языков и диалектов, однако для данной карточки в метаданных явно заявлен английский язык. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. Формат GGUF и imatrix-квантизация ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие клиенты. Сильными сторонами модели являются сочетание компактного размера, мультиязычности, развитого следования инструкциям, рассуждений и агентских возможностей, а также возможность локального инференса в квантованном формате. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования, необходимость совместимого инференс-движка и отсутствие в карточке подробных результатов бенчмарков, требований к ресурсам и точных параметров конкретных квантованных файлов. В метаданных указана лицензия other; дополнительных условий лицензирования в README не приведено.

RedHatAI/Qwen3.5-35B-A3B-FP8-dynamic — мультимодальная разреженная MoE-модель, созданная RedHatAI на основе Qwen/Qwen3.5-35B-A3B от Alibaba Cloud. Она принимает текст и изображения, а генерирует текст. Модель ориентирована на рассуждения, вызов инструментов, обработку визуально-текстовых запросов и обычные текстовые сценарии генерации и анализа. Модель содержит 35 млрд параметров, из которых около 3 млрд активируются для отдельного запроса, и использует FP8-квантизацию весов и активаций. Квантизация выполнена с помощью LLM Compressor в формате compressed-tensors и предназначена для эффективного инференса через vLLM. В FP8 преобразованы линейные операторы трансформерных блоков, тогда как визуальный энкодер, некоторые компоненты attention и MoE, маршрутизатор экспертов и эмбеддинги сохранены в исходной точности. Это примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Сильными сторонами модели являются сочетание языковых и визуальных возможностей, поддержка reasoning, tool calling, speculative decoding с Multi-Token Prediction и возможность запуска в текстовом режиме с освобождением памяти под KV-cache. Модель валидирована с vLLM 0.18.0, RHAIIS 3.4 и RHOAI 3.4. В предоставленных данных не указаны поддерживаемые языки, размер контекстного окна и численные результаты тестов, поэтому влияние квантизации на качество и ограничения по отдельным задачам оценить нельзя. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, основанная на варианте HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель преобразована в формат MLX и предназначена для локального запуска, генерации текста, программирования, рассуждений, а также обработки изображений и видео. Вариант Aggressive отличается усиленным удалением отказов от ответов; при этом модель иногда может добавлять стандартные дисклеймеры, не отказываясь от генерации основного содержания. Архитектура включает 35 миллиардов общих параметров и около 3 миллиардов активных параметров на токен благодаря MoE с 256 экспертами, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий эксперт. Используется гибридная схема Gated DeltaNet linear attention и полноформатного softmax-внимания в соотношении 3:1, всего 40 слоёв. Нативное контекстное окно составляет 262 тысячи токенов и может быть расширено до 1 миллиона с помощью YaRN. Модель поддерживает текст, изображения и видео, multi-token prediction, словарь из 248 тысяч токенов и 201 язык, включая русский, английский и китайский. К сильным сторонам относятся мультимодальность, очень длинный контекст, высокая вычислительная эффективность MoE и отсутствие встроенных отказов в Aggressive-варианте. Ограничения включают квантизацию mxfp4 с качеством около 4,402 bpw, зависимость производительности от совместимости с MLX и аппаратных ресурсов, а также потенциально менее предсказуемое поведение из-за снятия ограничений безопасности. В README указана лицензия Apache-2.0.

Qwen3.8-Flash-Next-FP8 — экспериментальная модель семейства Qwen, разработанная командой Qwen. Это каузальная языковая модель с vision encoder, представленная в формате Hugging Face Transformers и предназначенная для генерации и обработки текста, мультимодальных сценариев с изображениями, длинноконтекстного анализа и агентных приложений. Версия FP8 содержит квантизированные веса постобученной модели и совместима с Transformers, vLLM, SGLang и TokenSpeed. Модель имеет 125 млрд параметров, из которых около 6 млрд активируются при обработке запроса, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, Mixture of Experts с 512 экспертами, гибридное внимание на основе Gated DeltaNet и Qwen Sparse Attention, Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. README не указывает точный перечень поддерживаемых языков. К сильным сторонам относятся высокая эффективность при работе с длинным контекстом, сниженная вычислительная и память-затраты благодаря разреженному вниманию, MoE и FP8-квантизации, а также сохранение показателей производительности, близких к исходной модели. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README подробных результатов бенчмарков и неуказанными требованиями к аппаратному обеспечению и профилю мультимодальных возможностей. Модель распространяется по лицензии qwen-community-1.0; дополнительные условия следует проверять в файле LICENSE.

Qwopus3.8-27B-Flash-GGUF — это мультимодальная инструкция-ориентированная модель на 27 миллиардов параметров, представленная в формате GGUF. Она основана на модели Jackrong/Qwopus3.8-27B-Flash, а GGUF-квантизацию выполнил mradermacher. Модель поддерживает обработку текста и изображений, генерацию текста, рассуждения, написание кода, агентские сценарии, использование инструментов и вызов функций. Заявлена поддержка английского, китайского, испанского, русского и японского языков. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для задач conversational AI, text-generation и image-text-to-text. В комплект входят мультимодальные дополнения mmproj, необходимые для работы с изображениями, и несколько вариантов квантизации размером примерно от 11 до 29,1 ГБ. В README наиболее быстрыми и рекомендуемыми названы Q4_K_S и Q4_K_M, а Q8_0 отмечен как вариант с лучшим качеством среди перечисленных. К сильным сторонам относятся мультимодальность, поддержка нескольких языков, возможности рассуждения, генерации кода, агентского взаимодействия и tool use, а также широкий выбор вариантов квантизации для локального запуска. Ограничения включают необходимость значительных вычислительных ресурсов для 27B-модели, возможное снижение качества при сильной квантизации и отсутствие в README сведений о размере контекста, результатах бенчмарков и подробностях архитектуры. Модель распространяется по лицензии Apache-2.0.

MoonRide/gemma-4-26B-A4B-it-heretic-ara-GGUF — GGUF-сборка инструкционной мультимодальной модели Gemma 4 26B A4B, разработанной Google DeepMind и модифицированной MoonRide. Это версия с уменьшенным количеством отказов, полученная из google/gemma-4-26B-A4B-it методом Heretic v1.2.0 с использованием Arbitrary-Rank Ablation (ARA) и сохранением row-norm. Модель предназначена для генерации текста, рассуждений, программирования, работы с агентными сценариями и анализа изображений при локальном запуске через совместимые движки, включая llama.cpp. Модель относится к архитектуре Mixture-of-Experts с 26B общих параметров и 4B эффективных активных параметров; для семейства Gemma 4 заявлена поддержка контекста до 256K токенов, более 140 языков, текстового и графического ввода с генерацией текста. Семейство использует гибридное внимание со скользящим локальным окном и глобальными слоями, что помогает обрабатывать длинный контекст при сниженных затратах памяти. Доступны различные GGUF-квантизации, включая рекомендуемые Q3_K_M размером около 13,3 ГБ и IQ3_M_L размером около 12,6 ГБ. Главная особенность этой версии — существенно сниженная склонность к отказам: в приведённом тесте она отказала в 12 из 100 случаев против 100 из 100 у исходной модели; при этом KL divergence относительно оригинала составляет 0,0513. Такое изменение может быть полезно для исследовательских и экспериментальных сценариев, но одновременно означает более слабые встроенные ограничения безопасности. Для загрузки README рекомендует llama.cpp b8751 или новее. Лицензия указана как Apache 2.0; условия лицензии Gemma 4 могут содержать дополнительные положения.

unsloth/gemma-4-E2B-it-NVFP4 — квантованная версия инструкционно дообученной мультимодальной модели Google Gemma 4 E2B-it, подготовленная Unsloth в формате NVFP4. Gemma 4 разработана Google DeepMind; модель предназначена для запуска и дообучения с использованием современных GPU-инструментов, включая vLLM. Модель принимает текстовые и графические данные, а также аудио, и генерирует текст. Она ориентирована на генерацию текста, рассуждения, программирование, мультимодальное понимание, агентские сценарии и вызов функций. Для Gemma 4 E2B заявлены поддержка более 140 языков, контекстное окно до 128K токенов и конфигурируемый режим рассуждений. Архитектура включает 35 слоёв, гибридное внимание с локальными окнами размером 512 токенов и глобальным вниманием; эффективный объём параметров составляет 2,3 млрд, или 5,1 млрд с учётом embedding-параметров. К сильным сторонам относятся мультимодальность, большой контекст, поддержка системных промптов и нативного function calling, а также компактный размер, подходящий для локального запуска на устройствах и потребительских GPU. NVFP4-квантизация может снизить требования к памяти, однако её влияние на качество и совместимость зависит от используемого программного и аппаратного окружения. README не приводит подробных результатов бенчмарков и не описывает ограничения безопасности или качества модели. Распространение указано по лицензии Apache 2.0.

RedHatAI/Ministral-3-14B-Instruct-2512-FP8-dynamic — текстовая генеративная языковая модель на архитектуре MistralForCausalLM, разработанная Red Hat совместно с Neural Magic. Она основана на mistralai/Ministral-3-14B-Instruct-2512-BF16 и предназначена для генерации текста по инструкциям. Модель ориентирована на рассуждения, вызов функций, многоязычное следование инструкциям, перевод и создание предметно-ориентированных решений посредством дообучения. Она принимает текст и генерирует текст. В README указано использование контекстного окна до 262144 токенов в конфигурации оценки. Поддержка конкретного набора языков не уточняется. Ключевая особенность — динамическое FP8-квантизование весов и активаций линейных операторов внутри transformer-блоков. По сравнению с BF16 это уменьшает число бит на параметр с 16 до 8, размер на диске и требования к GPU-памяти примерно на 50%, что делает модель удобнее для инференса. Рекомендуемый backend развертывания — vLLM, включая OpenAI-совместимый сервер. Ограничения включают возможное снижение точности из-за квантизации и отсутствие в представленном README итоговых числовых результатов бенчмарков. Модель предназначена для законного использования и распространяется по лицензии Apache 2.0.

Phi-4-mini-instruct-GGUF — квантизированная GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового применения, включая задачи обработки естественного языка и работы с кодом. Она распространяется в нескольких вариантах квантизации для запуска с llama.cpp и LlamaEdge. Модель работает с текстовой модальностью, поддерживает контекст размером до 128 000 токенов и заявлена как многоязычная. В README перечислена поддержка арабского, китайского, чешского, датского, нидерландского, английского, финского, французского, немецкого, иврита, венгерского, итальянского, японского, корейского, норвежского, польского, португальского, русского, испанского, шведского, тайского, турецкого и украинского языков. Размер исходной модели и сведения об архитектуре в README не указаны. Основное преимущество представленной версии — выбор между несколькими уровнями квантизации с размером файлов от 1,68 до 7,68 ГБ, что позволяет адаптировать модель к доступной памяти и требованиям к качеству. Варианты с низкой разрядностью экономичнее, но могут заметно снижать качество; наиболее сбалансированными в README названы Q4_K_M, Q5_K_M и Q5_K_S. Для использования требуется совместимый рантайм и шаблон prompt типа phi-4-chat. Модель распространяется по лицензии MIT.

Qwen1.5-4B-Chat-GPTQ-Int4 — диалоговая языковая модель серии Qwen1.5, разработанная командой Qwen. Это decoder-only модель на архитектуре Transformer, предназначенная для генерации текста и взаимодействия в формате чата: ответов на вопросы, ведения диалога, подготовки текстов и других задач обработки естественного языка. Модель содержит около 4 миллиардов параметров и представлена в формате GPTQ с 4-битным квантованием Int4, что снижает требования к памяти при запуске. Она поддерживает текстовую модальность, многоязычную работу и контекст до 32K токенов. В архитектуре заявлены активация SwiGLU, смещения в QKV-внимании и улучшенный токенизатор, адаптированный к естественным языкам и программному коду. Модель была предварительно обучена на большом объёме данных, а затем дообучена с использованием supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактный размер, удобный для локального развертывания квантованный формат, чатовая настройка и поддержка длинного контекста. Ограничения включают статус beta-версии, возможные проблемы при переключении между языками и отсутствие в описании данных о гарантированной точности, безопасности или поддерживаемых языках, кроме заявленной многоязычности. Указана лицензия Tongyi Qianwen Research; подробные условия приведены в файле лицензии репозитория.

Qwen3-4B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-4B, разработанная Red Hat (Neural Magic). Это авторегрессионная текстовая модель архитектуры Qwen3ForCausalLM: принимает текст и генерирует текст. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. В модели применена квантизация весов до INT4, выполненная с использованием алгоритма GPTQ и библиотеки llm-compressor. Квантизируются веса линейных операторов в блоках трансформера; используется асимметричная поканально-групповая схема с размером группы 64. Формат W4A16 снижает число бит на параметр с 16 до 4, что примерно на 75% уменьшает размер на диске и требования к памяти GPU. В README не указаны поддерживаемые языки и точный максимальный контекст, однако при оценке использовалась длина контекста до 40 960 токенов. Модель оптимизирована для эффективного развертывания с backend vLLM, включая OpenAI-совместимый режим обслуживания. Квантизация снижает требования к ресурсам, но может влиять на качество по сравнению с исходной Qwen3-4B; конкретные результаты оценки в представленном README не приведены. Лицензия — Apache 2.0, при этом использование должно соответствовать применимым законам и нормативным требованиям.