II.8Инженерия данных и аналитика

GLM-5.3-Int4-Int8Mix — это квантизированная версия большой языковой модели GLM-5.3, разработанной организацией zai-org. Модель предназначена для генерации текста, решения математических и программных задач, следования инструкциям и работы через chat-интерфейсы. Она рассчитана на развёртывание в vLLM с tensor parallelism и поддерживает speculative decoding через MTP, автоматический выбор инструментов и prefix caching. Исходная модель содержит 743 млрд параметров и использует архитектуру с 78 слоями, скрытым размером 6144, 256 маршрутизируемыми экспертами MoE и компонентами DSA. В этой версии применена статическая симметричная weight-only-квантизация без калибровочных данных: эксперты в основном квантизированы до Int4, линейные слои и MTP — до Int8, а критические компоненты, включая router, DSA indexer и lm_head, сохранены в BF16. Размер весов сокращён до 377,4 GiB в 282 shards; при TP4 на один ранг приходится около 94,6 GiB. Заявленный максимальный контекст — 200 000 токенов, при этом в конфигурации модели указано значение 1M. Модель демонстрирует высокую производительность на конфигурации из четырёх NVIDIA DGX Spark: до 26,3 токена в секунду при одной параллельной сессии и 89,2 токена в секунду при восьми, с TTFT около 0,6 секунды для промпта примерно на 780 токенов. Проверки показали отсутствие повреждений генерации на английском, корейском и русском языках, а также корректное извлечение данных из 34 996-токенного контекста. Среди ограничений — очень высокие требования к памяти и инфраструктуре, необходимость распределённого развёртывания, вариативность результатов производительности и некоторое отставание от сравниваемой hosted GLM-5.2 в IFEval. Лицензия указана как other; дополнительные условия в README не раскрыты.

Llama-3.1-Nemotron-70B-Instruct-HF — текстовая модель NVIDIA на архитектуре Llama 3.1 с 69,5 млрд параметров. Это версия в формате Hugging Face Transformers, преобразованная из Llama-3.1-Nemotron-70B-Instruct; исходная модель Meta Llama-3.1-70B-Instruct была дообучена NVIDIA методом RLHF, включая REINFORCE, на предпочтениях из HelpSteer2 и данных модели Nemotron-70B-Reward. Модель предназначена для диалогов и выполнения общих инструкций: она генерирует ответы на пользовательские запросы и ориентирована на их полезность, связность и соответствие предпочтениям. Принимает текст, выдаёт текст, поддерживает контекст до 128 тысяч токенов и интерфейс вызова инструментов. В карточке приведены высокие результаты на Arena Hard, AlpacaEval 2 LC и MT-Bench; показатели могут отличаться от оценки исходной версии в NeMo-Aligner. Модель общего назначения, не настроенная специально для математики или узкопрофильных областей. Для запуска через Transformers в README указаны две или более видеокарты с 80 ГБ памяти каждая и не менее 150 ГБ свободного места на диске. Лицензия — Llama 3.1; применяются условия лицензии Meta Llama 3.1.

casperhansen/llama-3-8b-instruct-awq — квантизированная AWQ-версия Meta Llama 3 8B Instruct, опубликованная пользователем casperhansen на Hugging Face на основе модели Meta. Это авторегрессионная языковая модель для генерации текста и кода, прежде всего для диалоговых ассистентов, следования инструкциям и локального инференса. Модель принимает текст и генерирует текст; мультимодальность не заявлена. Модель содержит около 8 млрд параметров и использует оптимизированную Transformer-архитектуру Llama с Grouped-Query Attention. В репозитории указана 4-битная AWQ-квантизация с group size 128, а максимальная длина контекста в конфигурации составляет 8192 токена. Исходная Meta Llama 3 8B Instruct предназначена главным образом для английского языка, коммерческого и исследовательского применения. Квантизация ориентирована на более экономичное по памяти развертывание, однако может снижать точность по сравнению с полной точностью; стандартные ограничения языковых моделей, включая ошибки и остаточные риски безопасности, сохраняются. Использование регулируется кастомной Meta Llama 3 Community License и Acceptable Use Policy, условия которых необходимо соблюдать при применении и распространении модели или производных работ.

Meta-Llama-3.1-8B-Instruct-quantized.w8a8 — языковая модель для генерации текста и ассистентского диалога, созданная Neural Magic на основе Meta-Llama-3.1-8B-Instruct от Meta. Модель поддерживает текстовый ввод и вывод, предназначена для коммерческого и исследовательского использования в многоязычных сценариях. В заявленной языковой поддержке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Архитектура — LlamaForCausalLM, размер базовой модели — 8 млрд параметров. Ключевая особенность — INT8-квантизация весов и активаций линейных слоёв Transformer-блоков с использованием GPTQ и библиотеки llm-compressor. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций. По приведённым оценкам, модель сохраняет качество, близкое к неквантизированной версии: результаты составляют 105,4% для Arena-Hard, 100,3% для OpenLLM v1, 101,5% для OpenLLM v2, 99,7% для HumanEval pass@1 и 98,8% для HumanEval+ pass@1 относительно соответствующих базовых показателей. Для развёртывания рекомендуется vLLM; ограничения включают возможные последствия потери точности из-за квантизации и запрет использования с нарушением применимого законодательства. Лицензия — Llama 3.1.

MiMo-V2.5 — нативная омнимодальная модель, разработанная Xiaomi MiMo. Она объединяет обработку текста, изображений, видео и аудио в единой архитектуре и предназначена для мультимодального понимания, рассуждений в длинном контексте, программирования и агентских сценариев, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель построена на разреженной архитектуре Mixture of Experts: всего 310 млрд параметров, из которых активируется 15 млрд. Она использует гибридное внимание с чередованием Sliding Window Attention и Global Attention, 729-миллионный Vision Transformer для изображений и видео и аудиоэнкодер на 261 млн параметров. Поддерживается контекст до 1 млн токенов, а Multi-Token Prediction ускоряет инференс посредством speculative decoding. В заявленных языках указаны английский и китайский. К сильным сторонам относятся широкий набор модальностей, большой контекст, эффективная работа с длинными последовательностями и развитые агентские возможности. Модель крупная и, вероятно, требует значительных вычислительных ресурсов для развёртывания; README не приводит точных требований к оборудованию и количественных результатов benchmark-тестов. Модель распространяется по лицензии MIT.

SanctumAI/Mistral-7B-Instruct-v0.3-GGUF — это квантизированная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и подготовленной в формате GGUF командой SanctumAI. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая использование через локальные приложения, поддерживающие GGUF. Она также поддерживает function calling. Модель основана на Mistral-7B-v0.3 и использует расширенный словарь размером 32 768 токенов и tokenizer v3. В репозитории доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размер файлов составляет примерно от 2,72 до 14,50 ГБ. Для полного контекста до 32 000 токенов заявленные требования к памяти варьируются от 6,78 до 17,74 ГБ в зависимости от варианта. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Ключевое преимущество — возможность запускать модель локально с выбором компромисса между размером, требованиями к памяти и сохранением качества. Ограничения связаны с потерями качества при низкой степени квантизации и с тем, что это сравнительно компактная 7-миллиардная модель, поэтому её возможности уступают более крупным моделям в сложных задачах. Модель распространяется по лицензии Apache-2.0.

SillyTilly/mistralai_Mistral-Nemo-Instruct-2407 — разговорная instruct-модель, созданная на основе Mistral-Nemo-Base-2407 совместно Mistral AI и NVIDIA. Это трансформер Mistral с плотной архитектурой и 12,1 млрд параметров, дообученный следовать инструкциям и вести диалог. Модель предназначена для генерации ответов, выполнения инструкций и вызова функций. Она обучалась на многоязычных данных и коде; карточка заявляет окно контекста 128 тыс. токенов, тогда как метаданные указывают 1 024 000 нативных токенов. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Модель задумана как замена Mistral 7B и может применяться в чат-ботах и текстовых помощниках. Модель выпущена по лицензии Apache 2.0. В карточке она названа демонстрацией возможностей дообучения базовой модели; указано, что у неё нет встроенных механизмов модерации, поэтому её ответы могут требовать отдельной проверки и фильтрации.

RedHatAI/Mistral-Small-24B-Instruct-2501-FP8-dynamic — текстовая instruct-модель на базе Mistral-Small-24B-Instruct-2501. Модель разработана Neural Magic и распространяется в каталоге Red Hat AI. Она принимает текст и генерирует текст, поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для диалоговых приложений, генерации и преобразования текста, работы через text-generation и text-to-text интерфейсы. Это FP8-квантованная версия с квантизацией весов и активаций линейных операторов в блоках Transformer. По сравнению с представлением в FP16 такая оптимизация примерно вдвое уменьшает размер на диске и требования к памяти GPU, что делает модель более удобной для инференса. README указывает готовность к работе с vLLM; пример развертывания допускает максимальную длину контекста 32768 токенов. Средний результат на OpenLLM Leaderboard v1 составляет 78,88 против 79,45 у неквантованной версии, поэтому основное ограничение — небольшое снижение качества после квантизации. Для запуска требуется совместимая инфраструктура инференса, например vLLM, а поддержка и производительность зависят от используемого GPU и программного окружения. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w4a16 — квантизированная версия Mistral-Small-24B-Instruct-2501. Базовую модель разработала Mistral AI, а представленную оптимизированную сборку подготовила Neural Magic. Модель принимает текст и генерирует текст, предназначена для диалоговых приложений, ответов на вопросы и других задач text-to-text и text-generation. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Архитектура основана на Mistral-Small-24B-Instruct-2501 и содержит около 24 миллиардов параметров. Выполнена квантизация весов линейных операторов в трансформерных блоках до INT4; активации не квантизированы. По данным README, это снижает число бит на параметр с 16 до 4, а требования к дисковому пространству и памяти GPU — примерно на 75%. Модель оптимизирована для инференса через vLLM; в конфигурации развертывания указан максимальный контекст 32768 токенов. Ключевое преимущество сборки — уменьшенные требования к памяти при сохранении назначения исходной instruct-модели, что упрощает запуск на GPU. Ограничение заключается в том, что квантизация может влиять на качество генерации по сравнению с полной точностью, однако конкретные результаты бенчмарков в README не приведены. Модель проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. Лицензия — Apache-2.0.

Nex-N2.5-mini-Uncensored-APEX-GGUF — набор GGUF-квантизаций модели Nex-N2.5-mini от Nex-AGI, подготовленный на базе варианта orcarouter/Nex-N2.5-mini-Uncensored с использованием llama.cpp и localai-org/apex-quant. Модель позиционируется как abliterated, то есть с уменьшенной склонностью к отказам. Формат предназначен для локального запуска через llama.cpp и совместимые интерфейсы. Модель поддерживает текстовые и визуальные сценарии, включая анализ изображений, работу с английским и китайским языками, генерацию текста, программирование и задачи, требующие длинного контекста. Архитектура — Mixture-of-Experts примерно на 34 млрд параметров: 40 слоёв, 256 маршрутизируемых экспертов, выбор 8 экспертов на токен и один общий эксперт в каждом слое. Используется гибрид gated-delta-net и полноразмерного внимания, максимальный контекст заявлен до 262 144 токенов. Основное преимущество — MoE-архитектура и APEX-квантизация со смешанной точностью, которая позволяет выбирать разные уровни точности для слоёв и групп тензоров, обеспечивая несколько вариантов баланса между размером и качеством. Доступны профили Mini, I-Compact, I-Quality и I-Balanced, однако конкретные файлы могут присутствовать не все. Для работы с изображениями требуется отдельный F16-проектор mmproj. Реальное качество зависит от выбранного профиля, аппаратных ресурсов и клиента; приведённые в README внешние результаты APEX нельзя считать измерениями именно этих файлов. Для запуска рекомендуется современная версия llama.cpp, при этом возможна частичная выгрузка слоёв на GPU. Лицензия модели — Apache-2.0.

RedHatAI/Qwen3-30B-A3B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-30B-A3B, разработанная Red Hat (Neural Magic). Это авторегрессионная текстовая модель на архитектуре Qwen3ForCausalLM: принимает текст и генерирует текст. Она предназначена для рассуждений, вызова функций, дообучения под предметные области, многоязычного следования инструкциям и перевода. Модель использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ, реализованный в библиотеке llm-compressor; веса имеют формат W4A16. По сравнению с 16-битным представлением это примерно на 75% уменьшает размер на диске и требования к памяти GPU. Доступно эффективное развертывание через vLLM, включая OpenAI-совместимый сервер. В README конкретно не указаны языки, точное окно контекста и результаты оценок. К сильным сторонам относятся существенная экономия памяти и дискового пространства при сохранении назначения базовой модели, а также поддержка сценариев рассуждения и многоязычной работы. Ограничения связаны с возможными потерями качества из-за 4-битной квантизации и зависимостью рекомендованного развертывания от совместимого стека, включая vLLM. Модель выпущена под лицензией Apache-2.0; использование не должно нарушать применимое законодательство и требования экспортного контроля.

JunLee88999/Qwen3.5-35B-A3B-heretic-v2-GGUF — GGUF-квантизации модели Qwen3.5-35B-A3B, разработанной командой Qwen. Это децензурированная версия, созданная на основе llmfan46/Qwen3.5-35B-A3B-heretic-v2 с применением Heretic v1.2.0, Magnitude-Preserving Orthogonal Ablation и Self-Organizing Map Abliteration. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений и текста. Архитектура исходной Qwen3.5 включает гибридные Gated Delta Networks и разреженную Mixture-of-Experts; размер модели — 35B с конфигурацией A3B. Указана поддержка 201 языка и диалекта. Для мультимодальной работы требуется отдельный vision projector в формате GGUF; доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Главная особенность версии — значительно меньшее количество отказов по сравнению с оригинальной моделью: 4 из 100 против 91 из 100, при заявленном KL divergence 0,0411, что указывает на относительно хорошее сохранение исходных возможностей. При этом снятие ограничений может повысить риски генерации нежелательного или небезопасного контента. README не содержит сведений о длине контекста и подробных результатах независимого тестирования. Лицензия — Apache-2.0.

FastFlowLM/Qwen3.5-9B-NPU2 — мультимодальная каузальная языковая модель с vision encoder, основанная на Qwen/Qwen3.5-9B. Модель предназначена для обработки текста и изображений, включая задачи рассуждения, программирования, работы с агентами и визуального понимания. Она поставляется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Модель содержит 9 млрд параметров, 32 слоя и использует гибридную архитектуру Gated Delta Networks со sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта, однако подробные сведения о распределении качества между языками в README не приведены. Сильными сторонами являются мультимодальность, длинный контекст, высокая эффективность архитектуры и ориентация на производительный инференс с низкой задержкой. Ограничения, требования к аппаратному обеспечению и характеристики варианта NPU2 отдельно не описаны; приведённые результаты тестов относятся к базовой Qwen3.5-9B и не обязательно отражают поведение FastFlowLM/Qwen3.5-9B-NPU2. Модель распространяется по лицензии Apache-2.0.

OptimizeLLM/Qwen3.8-27B-heretic-MTP-FP8 — мультимодальная языковая модель, разработанная OptimizeLLM на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации и анализа текста, технических и диалоговых сценариев, работы с инструментами, а также обработки изображений и видео. Она ориентирована на использование через vLLM и поддерживает спекулятивное декодирование MTP. В основе лежит плотная модель размером 27,8 млрд параметров с 64 слоями и гибридной архитектурой, объединяющей линейное и полное внимание. Веса квантизированы в FP8 E4M3 с блочным масштабированием 128×128, при этом vision tower, MTP-головы, lm_head, embed_tokens и некоторые проекции сохранены в BF16. Размер модели составляет около 30 ГБ; используются официальный токенизатор Qwen3.8-27B и мультимодальные входы изображений и видео. Длина контекста в README не указана. Ключевая особенность — abliteration с помощью HERETIC, удаляющая склонность базовой модели отказывать в ответах. Поэтому модель подходит для сценариев, где требуется отвечать на технические вопросы, включая темы информационной безопасности, которые исходная модель могла бы отклонять. При этом abliteration не делает модель нейтральной: она может сохранять исходные мировоззренческие и политические склонности, а отсутствие отказов повышает требования к контролю применения. Для запуска рекомендуется GPU с достаточным объёмом памяти; заявлено размещение на одной карте 96 ГБ, а в vLLM требуется ограничить max-num-seqs до 32. Производительность измерялась на RTX PRO 6000 Blackwell и составляла около 122 токенов в секунду при MTP=4, но зависит от нагрузки. Модель распространяется по лицензии Apache-2.0. README не содержит полного перечня поддерживаемых языков и точного размера контекста.

RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead — мультимодальная плотная модель семейства Qwen3.8-27B, разработанная Qwen и подвергнутая квантованию RadixArk с помощью NVIDIA Model Optimizer. Это производный чекпойнт без дополнительного обучения или дообучения RadixArk: почти все тензоры используют смешанную NVFP4 W4A4-квантизацию, веса внимания — FP8, а lm_head, MTP и визуальные тензоры сохранены в исходной точности BF16. Размер модели — 27 млрд параметров. Модель предназначена для диалоговых систем, AI-агентов, чат-ботов, RAG-систем и других приложений с поддержкой текста, изображений и видео. Она принимает текст и визуальные данные, генерирует текст и поддерживает нативный контекст до 262 144 токенов. Для запуска заявлена интеграция с SGLang на Linux и совместимость с GPU NVIDIA Blackwell; чекпойнт проверен на GB300. В README приведены результаты на GSM8K — 96,13% — и Terminal-Bench 2.1 — 69,4% в одном из протоколов. Ключевое преимущество модели — предварительное квантование, рассчитанное на эффективное развертывание, при сохранении lm_head в BF16; заявленные результаты близки к результатам варианта с квантованным lm_head. Ограничения включают зависимость от совместимой инфраструктуры NVIDIA Blackwell и SGLang, а также типичные для базовой модели риски неточных, неполных, нерелевантных или предвзятых ответов. Лицензия — Apache License 2.0; возможности, обучение, ограничения и условия использования унаследованы от исходной модели Qwen3.8-27B.

NVIDIA Qwen3.8-Flash-Next NVFP4 — квантизированная версия модели Alibaba Qwen3.8-Flash-Next, подготовленная с помощью NVIDIA Model Optimizer. NVIDIA не является разработчиком исходной модели. Это авторегрессионная мультимодальная модель для работы с текстом, изображениями и видео, предназначенная для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers с гибридным вниманием Gated DeltaNet и Qwen Sparse Attention, Mixture-of-Experts, gated residual streams, vision encoder и n-gram embeddings. Общий объём составляет 125 млрд параметров, из них активируется 6 млрд; дополнительно заявлены 51 млрд параметров n-gram embeddings и 4 млрд MTP. Поддерживаются текстовые, RGB- и видео-входы, а также контекст до 262 тысяч токенов с возможностью расширения до 1 миллиона токенов. Выход представлен текстовыми последовательностями. README не содержит сведений о поддерживаемых языках. NVFP4-квантизация обеспечивает готовый к развёртыванию вариант модели с сохранением сопоставимой с FP8 точности по указанным тестам; модель ориентирована на NVIDIA GPU, в частности Blackwell B200 и B300, и поддерживает vLLM в Linux. Ограничения включают зависимость от совместимого оборудования и программного стека, а также необходимость дополнительного тестирования на данных конкретного сценария перед безопасным внедрением. Указаны лицензия NVIDIA Open Model License и дополнительная применимость Qwen Community License 1.0.

unsloth/Qwen3-VL-32B-Thinking-GGUF — GGUF-версия мультимодальной модели Qwen3-VL-32B-Thinking, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для обработки текста, изображений и видео, включая визуальный вопросно-ответный диалог, анализ документов, распознавание текста, STEM- и математическое рассуждение, пространственный анализ, понимание длительных видеосцен и взаимодействие с графическими интерфейсами через инструменты. Модель относится к reasoning-ориентированной версии Qwen3-VL и содержит 32B параметров в базовой конфигурации. Заявлена поддержка контекста длиной 256K токенов с возможностью расширения до 1M, а также видео с временной привязкой событий. Среди архитектурных особенностей указаны Interleaved-MRoPE для позиционного кодирования по времени, ширине и высоте, DeepStack для объединения многоуровневых визуальных признаков и Text–Timestamp Alignment для временного анализа видео. OCR поддерживает 32 языка; при этом полный перечень языков в README не приведён. Сильные стороны модели — объединённое понимание текста и визуальных данных, расширенные возможности рассуждения, детальное восприятие объектов и пространственных отношений, анализ длинных документов и видео, а также генерация кода и разметки по визуальным материалам. Ограничения включают высокие требования к вычислительным ресурсам, характерные для модели такого размера, возможные потери качества из-за GGUF-квантизации и отсутствие в README точных сведений о конкретном варианте квантизации, системных требованиях и результатах бенчмарков. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-4B-Instruct-1M-GGUF — GGUF-версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Это инструкционная vision-language модель с архитектурой Dense, предназначенная для понимания и генерации текста на основе текстовых и визуальных данных, включая изображения и видео. Модель подходит для описания и анализа изображений, OCR, обработки длинных документов, визуального и математического рассуждения, пространственного анализа, понимания видеосцен, генерации HTML/CSS/JS и Draw.io по изображениям или видео, а также взаимодействия с графическими интерфейсами и инструментами. Заявлены контекст Native 256K с расширением до 1M токенов, поддержка OCR на 32 языках и улучшения для временной привязки событий в видео. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и Text-Timestamp Alignment. К сильным сторонам относятся сочетание текстового и визуального понимания, работа с длинным контекстом, расширенные возможности OCR, пространственного и видеоанализа, а также относительно компактный размер 4B параметров. README не содержит точных результатов бенчмарков, сведений о конкретном формате или уровне GGUF-квантизации, требованиях к оборудованию и полном перечне поддерживаемых языков, поэтому производительность и ресурсоёмкость в конкретной конфигурации требуют проверки. Для llama.cpp рекомендуется использовать параметр --jinja. Модель распространяется по лицензии Apache-2.0.

OnlyTextLLMs выпустила текстовую версию Gemma 4 31B IT, полученную из google/gemma-4-31B-it удалением компонентов обработки изображений и аудио, а также связанных мультимодальных токенов. Текстовая часть модели и языковая голова сохранены; это плотная авторегрессионная модель Gemma4ForCausalLM с 27,4 млрд параметров по метаданным и весами bfloat16. Модель предназначена для диалогов и генерации текста. Она поддерживает контекст длиной до 262 144 токенов и работает через библиотеку Transformers. Обучение не проводилось: репозиторий содержит производную версию весов Google, из которой удалены мультимодальные компоненты. Модель распространяется по лицензии Apache 2.0. После удаления аудио- и визуальных компонентов она принимает текст и выдаёт текст; возможности исходной мультимодальной модели для анализа изображений и аудио здесь недоступны.

MaziyarPanahi/Mistral-Small-Instruct-2409-GGUF — это набор квантованных файлов в формате GGUF для Mistral-Small-Instruct-2409, опубликованный MaziyarPanahi. Исходную модель разработала Mistral AI; она представляет собой instruct-дообученную языковую модель для диалогов, генерации и обработки текста, включая сценарии с function calling. Репозиторий предназначен для запуска через llama.cpp и совместимые локальные приложения и библиотеки. Модель имеет около 22 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантования от низкой разрядности до 8-bit, что позволяет уменьшить требования к памяти и запускать модель на совместимом CPU или GPU, однако более сильное квантование может снизить качество по сравнению с исходными весами; для полной модели требуются значительные вычислительные ресурсы. Исходная Mistral-Small-Instruct-2409 распространяется по Mistral Research License (MRL). Указанные условия разрешают использование в некоммерческих исследовательских целях; для коммерческого использования модели, производных версий или их предоставления требуется отдельная коммерческая лицензия Mistral AI.

NVIDIA MiniMax-M2.5-NVFP4 — квантизированная версия авторегрессионной языковой модели MiniMax-M2.5, разработанной MiniMax и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генерации текста. Модель использует архитектуру Transformers с сетевой архитектурой MiniMaxM2ForCausalLM и содержит 229 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемый контекст составляет до 196 608 токенов. Языки явно не указаны. Квантизация весов и активаций линейных операторов внутри трансформерных блоков до формата NVFP4 уменьшает число бит на параметр с 8 до 4, а также примерно в 1,65 раза сокращает требования к дисковому пространству и видеопамяти. Модель ориентирована на развёртывание на NVIDIA GPU, прежде всего на системах с микроархитектурой Blackwell, и интегрируется с SGLang и vLLM под Linux. К сильным сторонам относятся большой контекст, поддержка задач рассуждения и программирования, а также сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого оборудования NVIDIA и необходимость дополнительного тестирования на данных конкретного сценария; характеристики исходной MiniMax-M2.5, включая детальные языковые возможности, в предоставленных данных не раскрыты. Использование регулируется NVIDIA Open Model License; дополнительно указана Modified MIT License исходной модели MiniMax-M2.5. Версия квантизации создана с использованием NVIDIA Model Optimizer 0.43.0.

nvidia/Qwen3-32B-NVFP4 — текстовая авторегрессионная языковая модель на базе Qwen3-32B, разработанной Alibaba. NVIDIA подготовила её квантованную версию с использованием TensorRT Model Optimizer v0.35.0; при этом модель не является собственной разработкой NVIDIA. Она предназначена для коммерческого и некоммерческого применения, включая AI Agent-системы, чат-боты, RAG-системы и другие приложения на основе генеративного ИИ. Модель использует архитектуру Transformers и содержит 32,8 млрд параметров. Она принимает и генерирует текстовые последовательности, поддерживает контекст длиной до 131 тысячи токенов. В рамках посттренировочной квантования веса и активации линейных операторов в трансформерных блоках преобразованы в формат FP4, что ориентировано на эффективный инференс. Указанная конфигурация предназначена для запуска с TensorRT-LLM на GPU NVIDIA, включая архитектуру Blackwell, преимущественно в среде Linux. К сильным сторонам относятся большой контекст, высокая ёмкость базовой модели и оптимизация FP4 для аппаратно ускоренного инференса. По приведённым результатам, относительно эталонной версии BF16 качество на MMLU Pro и AIME 2024 немного ниже, на SciCode сопоставимо или немного выше, а на MATH-500 совпадает; однако результаты не охватывают все сценарии применения. README не содержит сведений о поддерживаемых естественных языках, полном наборе ограничений, данных обучения и характеристиках производительности вне тестовой конфигурации. Лицензия — Apache License 2.0.

apolo13x/Qwen3.5-27B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen и опубликованной пользователем apolo13x. Модель принимает текст и изображения, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа визуального и текстового контента, а также общих задач рассуждения и следования инструкциям. Веса сжаты до формата INT4 W4A16 с использованием GPTQ и инструмента llm-compressor. Для калибровки использовано 512 образцов из датасета HuggingFaceH4/ultrachat_200k. Размер модели уменьшен с 51,8 до 17,3 ГБ, примерно в 3 раза, при заявленном среднем восстановлении точности 100,3% относительно исходной модели. В README не указаны точное количество контекстных токенов и поддерживаемые языки. Модель демонстрирует высокие результаты в GPQA Diamond, IFEval и MMLU-Redux: средняя оценка составила 90,05% против 89,76% у исходной Qwen3.5-27B. Ключевые ограничения связаны с 4-битным квантованием и зависимостью от совместимой инфраструктуры; на 27 февраля 2026 года заявлена поддержка в nightly-версии vLLM. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-2B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-2B, основанной на Qwen/Qwen3.5-2B и подготовленной Unsloth. Модель предназначена для локального запуска, прототипирования, исследовательских задач, специализированного дообучения, программирования, агентских сценариев, вызова инструментов и работы с текстом и изображениями. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и поддерживает контекст до 262 144 токенов. Она содержит около 2 млрд параметров, 24 слоя, скрытую размерность 2048 и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Поддерживается 201 язык и диалект. Вариант включает обучение для multi-step speculative decoding (MTP), заявленное ускорение генерации составляет примерно 1,5–2 раза при совместимом запуске через llama.cpp. К сильным сторонам относятся мультимодальность, большой контекст, компактный размер, возможность локального запуска и поддержка ускоренного декодирования, дообучения и улучшенного tool calling. Ограничения связаны с необходимостью совместимого ПО и сборки llama.cpp с поддержкой MTP; при таком режиме не поддерживаются параллельность запросов через -np > 1 и параметр --mmproj. В README также указано, что из-за масштаба модели она ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Распространение осуществляется по лицензии Apache 2.0.

RedHatAI/Qwen3.5-9B-FP8-dynamic — это квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе Qwen/Qwen3.5-9B. Модель принимает текст и изображения, генерирует текст и предназначена для задач диалога, следования инструкциям, рассуждений и обработки визуально-текстовых запросов. Для развёртывания предусмотрена интеграция с vLLM; доступен также режим только языковой модели с меньшими требованиями к памяти. В модели применена динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Активации квантизуются во время вывода с использованием масштабирования по тензору, без калибровочных данных. Размер модели на диске сокращён с 19,3 до 14,0 ГБ, примерно на 27%. В README указана возможность запуска через vLLM с параметром максимальной длины контекста 262144 токена, однако отдельные сведения о языках модели не приведены. По опубликованным оценкам, квантованная версия сохраняет около 98,4–99,9% результатов исходной модели на тестах GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond. Основные преимущества — уменьшенный объём хранения и потенциально более эффективный инференс при сохранении близкого к исходному качества. Ограничение заключается в небольшом снижении показателей на всех приведённых тестах; фактические требования к аппаратному обеспечению и производительность зависят от конфигурации. Модель распространяется по лицензии Apache-2.0.

RadixArk Qwen3.8-Flash-Next-NVFP4 — кандидатный релиз RadixArk, представляющий квантованную версию мультимодальной модели Qwen3.8-Flash-Next. Это гибридная архитектура Transformer с Mixture-of-Experts, объединяющая GDN и разреженное QSA-внимание, multi-hyperconnection streams и PLE n-gram injection. Модель содержит около 180 млрд параметров, 48 декодерных слоёв, до 512 маршрутизируемых экспертов на MoE-слой с маршрутизацией top-10, общий эксперт и один MTP-слой. Модель принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста — до 262 тысяч токенов. Она предназначена для оценки инференса Qwen3.8-Flash-Next в задачах агентных систем, диалогов, программирования и мультимодального рассуждения. Квантование выполнено с помощью NVIDIA Model Optimizer по схеме NVFP4 W4A4 преимущественно для маршрутизируемых экспертов; размер контрольной точки уменьшен примерно с 360 до 135 ГБ. Для запуска указана интеграция с SGLang и поддержка GPU NVIDIA Blackwell, включая GB300 и B300, в Linux. По приведённым оценкам, квантование сохраняет качество в однопроходных задачах GSM8K и AIME, однако длительные агентные генерации могут выполняться дольше, чем в BF16-версии. Модель может порождать неточные, неполные, избыточные или токсичные ответы и воспроизводить предвзятость обучающих данных. Лицензия обозначена как other; условия использования необходимо смотреть у исходной модели Qwen3.8-Flash-Next.

NobodyWho/Qwen_Qwen3-4B-GGUF — это квантизированная версия текстовой instruction-following модели Qwen3-4B, разработанной командой Qwen. Репозиторий предоставляет модель в формате GGUF, адаптированном прежде всего для инференса через библиотеку NobodyWho; GGUF-квантизации подготовлены bartowski. Модель предназначена для генерации текста, диалоговых приложений, выполнения инструкций и сценариев с вызовом инструментов или функций. Она поддерживает режим рассуждений с явным выводом пошагового решения и работает более чем со 100 языками. Указана только текстовая модальность. Модель содержит около 4 миллиардов параметров и поддерживает контекст длиной до 32 768 токенов. В README приведён вариант Q4_K_M, однако характеристики других вариантов квантизации могут отличаться. К сильным сторонам относятся сравнительно небольшой размер, переносимый формат GGUF, поддержка мультиязычной генерации, инструментальных вызовов и режима рассуждений. Ограничения включают неизвестную дату отсечения знаний и отсутствие опубликованных бенчмарков в данном README; также квантизация может влиять на качество и скорость по сравнению с исходной моделью. Лицензия — Apache 2.0.

Agents-A1-4B-Fable-Preview-heretic-GGUF — это GGUF-квантизированная vision-language модель, разработанная hotdogs на основе Agents-A1-4B от InternScience. Модель предназначена для диалогов, понимания изображений, агентских сценариев, пошагового рассуждения, вызова инструментов и function calling, а также выполнения задач с кодом и shell-командами. Поддерживаются английский и тайский языки, формат ChatML и инференс через llama.cpp с использованием vision-проектора mmproj. Модель содержит около 4,29 млрд параметров и использует гибридную архитектуру Qwen3.5 с линейным и полным вниманием. Для обработки изображений применяется 24-слойный ViT-энкодер, контекст поддерживает до 128K токенов. Обучение включало 3 500 примеров Fable-style reasoning traces в течение трёх эпох; заявлена поддержка многошаговых агентских траекторий и блоков рассуждений <think>. Доступны варианты GGUF с разными уровнями квантизации, включая рекомендуемый IQ4_NL размером около 2,61 ГБ. К сильным сторонам относятся мультимодальность, поддержка инструментов, двуязычность, большой контекст и возможность запуска на видеокартах с ограниченной памятью. Abliteration с использованием heretic снизила заявленный уровень отказов примерно до 11%, однако модель может генерировать вредный, оскорбительный или неподходящий контент, поэтому требует осторожного применения. Лицензия — AGPL-3.0.

dranger003/c4ai-command-r-plus-iMat.GGUF — это набор GGUF-квантизаций модели C4AI Command R+, разработанной CohereForAI. Репозиторий предназначен для локального запуска модели через llama.cpp и совместимые инструменты; веса используют importance matrix для улучшения соотношения качества и размера при низкоразрядном квантовании. Базовая модель содержит около 104 млрд параметров, имеет 64 слоя и контекст до 131 072 токенов. Это текстовая autoregressive-модель для генерации текста, диалогов, рассуждений, суммаризации и ответов на вопросы. Она оптимизирована для Retrieval Augmented Generation (RAG) и многошагового использования инструментов. Модель оценивалась на английском, французском, испанском, итальянском, немецком, бразильском португальском, японском, корейском, арабском и упрощённом китайском языках. Главное преимущество репозитория — широкий выбор квантизаций с разным компромиссом между размером файлов и качеством: от IQ1_S примерно на 21,59 ГиБ до FP16 примерно на 193,38 ГиБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; для запуска полноразмерных вариантов необходимы значительные вычислительные ресурсы. Для работы с моделью требуется актуальная основная ветка llama.cpp с поддержкой этой архитектуры. Лицензия — CC BY-NC 4.0, предусматривающая некоммерческое использование с соблюдением условий лицензии.

Gemma-4-31B-it 4-bit W4A16 AWQ — это квантизированная версия мультимодальной instruction-tuned модели Google Gemma-4-31B-it, опубликованная ebircak. Модель предназначена для генерации текста, диалоговых приложений, программирования, вызова инструментов и обработки задач, требующих работы с текстом и изображениями. Она оптимизирована для развертывания через vLLM. Модель использует архитектуру Gemma4ForConditionalGeneration с 60 декодерными слоями и размером скрытого представления 5376. Текстовый декодер квантизирован до 4-битных асимметричных весов W4A16 с активациями FP16 или BF16, размером группы 128 и форматом compressed-tensors. Vision tower на базе SigLIP и мультимодальный проектор сохранены в BF16 и не квантизированы. Заявлено контекстное окно до 262 тысяч токенов, при этом работа с контекстом 128 тысяч токенов подтверждена. Поддерживаемые языки в README не указаны. Ключевые преимущества — существенно сниженные требования к памяти по сравнению с полноразмерной моделью, сохранение мультимодальных компонентов и поддержка длинного контекста. Для работы рекомендуется vLLM с параметром --quantization compressed-tensors; указание режима awq несовместимо с используемой схемой сериализации. Для коротких контекстов требуется около 24 ГБ VRAM, для 128K токенов — около 48 ГБ, а для производственного использования с длинным контекстом рекомендуется 48 ГБ и более. Ограничения включают зависимость от совместимых сборок vLLM и GPU, а также отсутствие в README данных о качестве, бенчмарках и влиянии квантизации на точность. Модель распространяется по лицензии Apache-2.0.