II.8Инженерия данных и аналитика

NVIDIA-Nemotron-3-Super-120B-A12B-FP8 — большая языковая модель, разработанная NVIDIA Corporation. Она предназначена для агентных рабочих процессов, рассуждений, диалоговых приложений, использования инструментов, систем RAG и высоконагруженных сценариев, включая автоматизацию ИТ-заявок. Модель поддерживает английский, французский, немецкий, итальянский, японский, испанский и китайский языки, а режим рассуждений можно включать или отключать через шаблон чата. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями Attention и механизмом Multi-Token Prediction для ускорения генерации. Она содержит 120 млрд параметров, из которых 12 млрд активны при обработке запроса, поддерживает контекст до 1 млн токенов и поставляется в формате FP8. Встроенная MTP-голова поддерживает speculative decoding. Для работы требуется минимум две видеокарты H100 с 80 ГБ памяти. К сильным сторонам относятся большой контекст, поддержка многоязычных и агентных сценариев, конфигурируемое рассуждение, высокая эффективность разреженной архитектуры и возможность применения в коммерческих системах. Ограничениями являются значительные требования к аппаратным ресурсам, а также необходимость учитывать особенности лицензии и настройки инференса; в README рекомендуется использовать temperature 1.0 и top_p 0.95. Использование модели регулируется NVIDIA Nemotron Open Model License; заявлена готовность к коммерческому применению.

cyankiwi/Qwen3.5-122B-A10B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Общее число параметров составляет 122 млрд, из которых при обработке активируется около 10 млрд. Архитектура включает 48 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. К сильным сторонам относятся мультимодальность, большой контекст, высокая вычислительная эффективность разреженной архитектуры и возможность локального запуска благодаря AWQ-квантизации. Ограничения включают потенциальные потери качества и точности, характерные для 4-битного представления, а также повышенные требования к памяти и инфраструктуре по сравнению с меньшими моделями. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-122B-A10B-NVFP4 — это NVFP4-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, подготовленная Unsloth на базе модели Qwen. Она относится к классу каузальных языковых моделей с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts. Всего заявлено 122 млрд параметров, из которых при обработке активируется около 10 млрд; архитектура включает 48 слоёв и 256 экспертов, из которых маршрутизируются 8, дополнительно используется один общий эксперт. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии NVFP4 — снижение требований к памяти и стоимости инференса при сохранении возможностей исходной модели, однако качество и скорость могут зависеть от особенностей квантизации и совместимого программно-аппаратного окружения. В README рекомендуется запуск через vLLM с NVFP4-ядром; использование Marlin не рекомендуется из-за более низкой производительности. Модель распространяется по лицензии Apache 2.0. README не содержит подробных результатов бенчмарков для этой конкретной квантизованной версии, поэтому её фактические показатели качества следует проверять отдельно.

cyankiwi/Qwen3.5-27B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 27 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; в языковой части заявлены 64 слоя и скрытая размерность 5120. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить практическую эффективность инференса, но потенциально сопровождается некоторой потерей качества по сравнению с полной точностью. Модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers. README указывает лицензию Apache 2.0. Конкретные требования к аппаратному обеспечению, ограничения безопасности и подробные результаты для данной AWQ-версии не приведены.

duolaf/Qwen3.5-27B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen; репозиторий подготовлен с использованием инструментов и вариантов квантования Unsloth. Модель предназначена для локального запуска и поддерживает задачи работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии, работу с длинным контекстом и вызов инструментов. Модель представляет собой каузальную языковую модель с vision encoder и содержит 27 млрд параметров. В её основе лежит гибридная архитектура, объединяющая Gated DeltaNet и разреженную Mixture-of-Experts; указаны 64 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступно отключение режима рассуждений через параметр chat-template. Сильными сторонами модели являются мультимодальность, большой контекст, поддержка широкого набора языков и оптимизация для эффективного локального вывода. Ограничения конкретных GGUF-вариантов, включая требования к памяти, скорость и степень потери качества, зависят от выбранного уровня квантования и используемого программного обеспечения; в README они подробно не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-2B-MTP-GGUF — набор GGUF-файлов, подготовленный prithivMLmods на основе Qwen3.5-2B от команды Qwen компании Alibaba. Это компактная плотная мультимодальная модель примерно на 2 млрд параметров с поддержкой текста, изображений и видео. Модель ориентирована на локальный запуск на потребительском оборудовании и доступна в вариантах от Q2_K до BF16, а также с отдельными мультимодальными проекторами mmproj. Архитектура включает 24 слоя с гибридным сочетанием Gated DeltaNet и Gated Attention, скрытым размером 2048, 8 Q-heads и 2 KV-heads с размерностью головы 256. Заявлены словарь на 248 тысяч токенов, поддержка 201 языка и нативное контекстное окно 262 тысячи токенов с возможностью расширения свыше 1 млн токенов через YaRN. Формат MTP добавляет несколько выходных голов для предсказания будущих токенов и может ускорять спекулятивное декодирование без отдельной draft-модели. Модель предназначена для мультиязычных чат-ботов, визуальных вопросов и ответов, OCR, разбора документов, агентских сценариев, вызова инструментов и генерации кода для интерфейсов. Среди заявленных характеристик — режим пошагового рассуждения, поддержка vLLM, Ollama и llama.cpp, а также показатели 78,6% на IFEval, 66,5% на MMLU-Pro с включённым режимом рассуждения, 84,5% на OCRBench и 75,6% на VideoMME. Преимуществами являются малый размер, мультимодальность и широкий контекст; итоговое качество, скорость и требования к памяти зависят от выбранного типа квантизации, а для работы с изображениями и видео требуются соответствующие файлы mmproj. Распространяется по лицензии Apache 2.0.

unsloth/Qwen3.5-397B-A17B-GGUF — квантованная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen; GGUF-файлы подготовлены Unsloth. Модель предназначена для локального запуска и совместима с экосистемами, поддерживающими GGUF, а исходная модель также работает с Hugging Face Transformers, vLLM и SGLang. Это каузальная языковая модель с vision encoder для работы с текстом и изображениями. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts: всего 397 млрд параметров, из которых активируется 17 млрд; используется 512 экспертов, 10 маршрутизируемых и один общий. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, диалоговые и агентские сценарии, а также обработку длинного контекста. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разреженной архитектуры, поддержка длинного контекста и улучшенная квантование с imatrix-данными Unsloth. Ограничения включают очень большой общий размер модели и, как следствие, высокие требования к памяти и инфраструктуре; конкретные требования зависят от выбранного уровня квантования. Доступна по лицензии Apache 2.0.

unsloth/Qwen3.5-4B-MTP-GGUF — квантованный GGUF-вариант мультимодальной модели Qwen3.5-4B, подготовленный Unsloth на базе модели Qwen/Qwen3.5-4B. Это причинная языковая модель с энкодером изображений, предназначенная для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и вызов инструментов. Модель поддерживает developer role и улучшенный разбор вложенных объектов при tool calling. Модель содержит около 4 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts, а также механизм MTP (multi-token prediction или многошагового предсказания), рассчитанный на ускорение генерации. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для ускоренной генерации предусмотрено speculative decoding через MTP, потенциально дающее ускорение примерно в 1,5–2 раза при использовании совместимой ветки llama.cpp. Сильными сторонами модели являются сочетание текстовых и визуальных возможностей, большой контекст, относительно небольшой размер и возможность локального запуска, дообучения и интеграции с Transformers, vLLM, SGLang и другими инструментами. Ограничения включают необходимость совместимого программного обеспечения для MTP; при таком режиме не поддерживаются параллельные последовательности с -np > 1 и параметр --mmproj. Лицензия — Apache-2.0.

surogate/Qwen3.5-9B-FP8 — FP8-квантизированный вариант мультимодальной модели Qwen3.5-9B, разработанной командой Qwen; модель основана на Qwen/Qwen3.5-9B-Base и подготовлена для использования в Surogate. Она предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель представляет собой авторегрессионную языковую модель с vision encoder, содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Веса квантизированы методом fine-grained FP8 с размером блока 128; согласно README, показатели близки к исходной модели. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. Сильными сторонами являются сочетание мультимодальности, длинного контекста, высокой эффективности инференса и широкого языкового охвата. Ограничения конкретных аппаратных требований, качества на отдельных языках и результаты полного набора тестов в предоставленных данных не описаны. Модель распространяется по лицензии Apache-2.0.

Apertus-70B-Instruct-2509-GGUF — GGUF-версия 70-миллиардной языковой модели Apertus-70B-Instruct-2509, разработанной Swiss National AI Institute (SNAI) при участии ETH Zurich и EPFL. Это авторегрессионный decoder-only Transformer для генерации и обработки текста, диалоговых сценариев и агентского использования с поддержкой инструментов. Модель обучена с нуля на 15 триллионах токенов, включая веб-данные, код и математические материалы. Она поддерживает длинный контекст до 65 536 токенов и 1811 языков, ориентирована на полностью открытые, прозрачные и многоязычные применения. В архитектуре используются функция активации xIELU, оптимизатор AdEMAMix, а последующее дообучение включало supervised fine-tuning и выравнивание методом QRPO. Формат GGUF предназначен для совместимого локального запуска, однако конкретный уровень квантования в представленных данных не указан. Сильными сторонами модели являются широкий языковой охват, длинный контекст, открытость весов, обучающих данных и сведений о процессе обучения, а также заявленное соблюдение требований к согласию владельцев данных. Ограничения включают высокие требования к вычислительным ресурсам, типичные для модели такого размера, возможные ошибки и неточности при генерации, а также отсутствие данных о характеристиках конкретной GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, но её использование также связано с отдельной политикой допустимого использования Apertus; разработчики рекомендуют применять регулярно обновляемый фильтр для удаления персональных данных из результатов.

A.X K2 — крупная языковая модель класса Mixture-of-Experts, разработанная SK Telecom в рамках южнокорейского государственного проекта Sovereign AI. Это преемник A.X K1 и агентная foundation-модель, обученная с нуля для понимания корейского языка и культуры, а также работы с многоязычными и программными данными. Модель предназначена для генерации текста, следования инструкциям, сложного рассуждения, решения задач и агентных сценариев. Она поддерживает управляемые режимы Think для многошагового рассуждения и Non-Think для кратких ответов с низкой задержкой. Используются английский, корейский, китайский, японский и испанский языки. Архитектура представляет собой decoder-only Transformer с 688 млрд параметров, из которых 33 млрд активируются на каждом токене: 256 маршрутизируемых экспертов, один общий эксперт и выбор восьми экспертов для токена. Модель содержит 61 слой, 64 attention heads и поддерживает контекст до 262 144 токенов; длина 256K достигнута расширением с 128K с помощью YaRN. Ключевые особенности A.X K2 — Multi-head Latent Attention со Sparse Gated Attention для более эффективной работы с длинным контекстом, Gated Norm для стабильного обучения и подавления выбросов активаций, а также нативное обучение в FP8. Чекпойнт предоставляется в block-scaled FP8 E4M3, что уменьшает требования к памяти и подходит для эффективного FP8-инференса без отдельной постквантизации. Ограничения включают высокие системные требования, обусловленные общим объёмом параметров, а также потенциальные риски и ограничения качества, свойственные большим языковым моделям; конкретные результаты бенчмарков в представленном README не указаны. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-4-E4B-it-GGUF — это квантизированная в формате GGUF instruction-tuned версия мультимодальной модели Gemma 4 E4B, основанная на google/gemma-4-E4B-it. Семейство Gemma 4 разработано Google DeepMind, а данный вариант подготовлен Unsloth. Модель распространяется с открытыми весами и предназначена для локального запуска, в том числе на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и совместимых инструментах GGUF. Модель принимает текст и изображения, а также аудио для малых моделей Gemma 4, включая E4B, и генерирует текст. Она подходит для генерации текста, рассуждений, анализа изображений, программирования, агентских сценариев и вызова функций. Для семейства заявлены поддержка более 140 языков, настраиваемые режимы рассуждения, native function calling и поддержка системных сообщений. E4B имеет 4,5 млрд эффективных параметров, около 8 млрд параметров с учётом embedding-слоёв, 42 слоя, окно контекста 128K токенов и размер словаря 262K. Визуальный энкодер содержит около 150 млн параметров, аудиоэнкодер — около 300 млн. Архитектура использует гибридное внимание, сочетающее локальное sliding-window attention с глобальным вниманием; размер локального окна E4B составляет 512 токенов. Это позволяет снизить требования к памяти и ускорить обработку длинных контекстов, сохраняя глобальное представление информации. Квантизация GGUF может уменьшать требования к ресурсам и упрощать локальное развертывание, однако конкретные характеристики скорости, качества и потребления памяти зависят от варианта квантизации и используемого рантайма. Лицензия — Apache 2.0.

NVIDIA-Nemotron-3-Super-120B-A12B-AWQ-4bit — квантизированная 4-битная версия большой языковой модели NVIDIA Nemotron-3-Super, разработанной NVIDIA Corporation. Модель предназначена для агентных сценариев, рассуждений, диалоговых приложений, использования инструментов, RAG и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Она поддерживает настраиваемый режим рассуждений, который можно включать или отключать через шаблон чата. Архитектура основана на гибридном подходе LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, а также отдельными слоями Attention. Модель содержит 120 млрд параметров, из которых активно используется 12 млрд, и применяет Multi-Token Prediction для ускорения генерации и повышения качества. Максимальная длина контекста составляет до 1 млн токенов. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Для исходной модели указано минимальное требование в 8 GPU H100 с 80 ГБ памяти; AWQ-квантизация снижает требования к памяти, однако точные требования для данной сборки не приведены. К сильным сторонам относятся большой контекст, эффективность разреженной MoE-архитектуры, поддержка рассуждений, инструментального взаимодействия и агентных рабочих процессов. Ограничениями являются значительный общий размер модели и высокие требования к инфраструктуре, а также отсутствие в README подробных результатов тестирования именно для версии AWQ-4bit. Использование регулируется лицензией NVIDIA Nemotron Open Model License; в README указана готовность модели к коммерческому применению.

Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и работы в агентных системах. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-приложений, включая автоматизацию IT-заявок, сложное следование инструкциям и анализ длинных контекстов. Модель использует гибридную архитектуру LatentMoE на основе Mamba-2, смеси экспертов и слоёв внимания, а также Multi-Token Prediction для ускорения генерации. Всего в ней 120 млрд параметров, из которых активны 12 млрд; заявленная длина контекста — до 1 млн токенов. Веса представлены в NVFP4, при этом репозиторий содержит файлы Safetensors и рассчитан на работу с Transformers. Модель поддерживает английский, французский, немецкий, итальянский, японский, испанский и китайский языки; в карточке также заявлены сценарии с кодом. NVIDIA указывает, что модель готова к коммерческому использованию; метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с лицензией репозитория. К возможным ограничениям относятся потребность в мощном оборудовании для обслуживания модели и зависимость качества ответов от задачи и контекста.

RedHatAI/Qwen2.5-7B-Instruct-FP8-dynamic — инструкционная языковая модель архитектуры Qwen2, разработанная Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud. Модель принимает текст и генерирует текст, предназначена для диалоговых ассистентов, генерации текста и исследовательского и коммерческого применения в многоязычных сценариях. Модель содержит около 7 миллиардов параметров и поддерживает широкий набор языков, включая китайский, английский, русский, французский, немецкий, испанский, японский, корейский, арабский и другие. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: веса используют статическую симметричную поканальную схему, а активации — динамическую симметричную потокенную схему. Это примерно вдвое снижает требования к памяти и размер на диске, а также может увеличить пропускную способность матричных операций примерно вдвое. Контекст до 8192 токенов указан в примере развертывания; в другом примере используется длина 32768, поэтому точный поддерживаемый предел следует уточнять для конкретной конфигурации. Сильные стороны модели — сниженное потребление GPU-памяти, компактное хранение и эффективное развертывание через vLLM, включая OpenAI-совместимый сервер. Ограничения, связанные с влиянием FP8-квантизации на качество ответов, в README не приведены; как и любая языковая модель, она может генерировать неточные или нежелательные результаты. Модель распространяется по лицензии Apache-2.0. Использование не должно нарушать применимые законы и нормативные требования.

RedHatAI/Qwen3-14B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-14B. Это причинно-следственная трансформерная модель архитектуры Qwen3ForCausalLM с текстовыми входами и выходами. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель использует FP8-квантизацию весов и активаций, что примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций по сравнению с представлением FP16. Квантизации подвергнуты линейные операторы в трансформерных блоках: веса квантизированы статически по каналам, а активации — динамически по токенам. Размер модели — 14 миллиардов параметров; точный максимальный контекст в README не указан, хотя для оценки использовались длины до 40960 токенов. К сильным сторонам относятся поддержка рассуждений и многоязычных инструкций при более низких требованиях к ресурсам, а также эффективное развертывание через vLLM с OpenAI-совместимым сервером. Возможным ограничением является потенциальное влияние FP8-квантизации на качество по сравнению с исходной моделью, однако количественная оценка этого влияния в README не приведена. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

unsloth/Qwen3.5-122B-A10B-MTP-GGUF — это GGUF-квантование мультимодальной модели Qwen3.5-122B-A10B, разработанное Unsloth на базе модели Qwen/Qwen3.5-122B-A10B от команды Qwen. Модель предназначена для локального запуска и совместима с llama.cpp, а исходная модель также поддерживает Transformers, vLLM, SGLang и KTransformers. Модель использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts: при общем размере 122 млрд параметров активируется около 10 млрд параметров. Она работает с текстом и изображениями, поддерживает задачи рассуждения, программирования, визуального понимания, агентных сценариев и вызова инструментов. Заявлена поддержка 201 языка и диалекта. Вариант MTP поддерживает speculative decoding, что может ускорять генерацию примерно в 1,5–2 раза. К сильным сторонам относятся мультимодальность, высокая эффективность разреженной архитектуры, улучшенные квантование и данные imatrix, а также оптимизации для диалогов, длинного контекста, программирования и tool calling. Ограничения связаны с необходимостью использовать совместимую версию llama.cpp с поддержкой draft-mtp; при MTP не поддерживаются параллельные последовательности через -np > 1 и параметр --mmproj. Конкретный размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-4B-AWQ-INT8-INT4 — квантованная версия мультимодальной модели Qwen3.5-4B, основанная на Qwen/Qwen3.5-4B. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Архитектура включает каузальную языковую модель с vision encoder и предназначена для обработки текста и изображений, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Идентификатор указывает на применение квантования AWQ с форматами INT8 и INT4, что ориентировано на снижение требований к памяти и ускорение инференса; README не приводит точных характеристик качества именно этой квантованной сборки. Модель подходит для локального и серверного инференса, мультимодальных приложений, анализа документов и изображений, генерации текста и кода, а также задач с длинным контекстом. К сильным сторонам относятся сочетание языковых и визуальных возможностей, большой контекст, многоязычность и компактный размер. Ограничения квантованной версии, включая возможное снижение точности по сравнению с полной моделью, в README не описаны. Лицензия — Apache-2.0.

Mungert/Qwen3.5-4B-GGUF — это GGUF-квантованная версия мультимодальной модели Qwen3.5-4B, опубликованная Mungert на основе базовой модели Qwen/Qwen3.5-4B-Base, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, визуально-языковых задач, рассуждений, программирования, работы с агентами и анализа изображений. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp. Модель представляет собой авторегрессионную языковую модель с vision encoder и поддерживает обработку текста и изображений. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; размер языковой части составляет около 4 млрд параметров, число слоёв — 32, размер скрытого состояния — 2560. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — кастомная стратегия квантования: отдельные важные слои переводятся в более высокую точность сверх стандартной конфигурации IMatrix, что, по данным автора, может улучшать точность при сохранении преимуществ квантования. Ограничения зависят от выбранного варианта квантования и аппаратного обеспечения; снижение точности по сравнению с полной моделью возможно, а конкретные требования к памяти, результаты бенчмарков и доступные уровни квантования в представленном фрагменте не указаны. Лицензия — Apache 2.0.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT8 — производная версия модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; модель предназначена для совместного использования с Transformers, vLLM, SGLang и KTransformers. По идентификатору это вариант с представлением AWQ-BF16-INT8, однако подробности процедуры квантования в предоставленных данных не описаны. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Она рассчитана на рассуждения, программирование, агентские сценарии, визуальное понимание, обработку документов и другие мультимодальные задачи. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Размер языковой части — 9 млрд параметров, используется 32 слоя, размер скрытого представления — 4096, а нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Сильными сторонами являются мультимодальность, большой контекст, высокая заявленная эффективность инференса и широкая языковая поддержка. Ограничения конкретной квантованной сборки, требования к оборудованию, точные характеристики vision encoder и результаты именно этой версии в предоставленном README не указаны. Модель распространяется по лицензии Apache-2.0.

Lorbus/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанная на базе Qwen/Qwen3.6-27B с использованием Intel AutoRound. Модель предназначена для обработки текста и изображений, включая диалоговые сценарии, генерацию текста, объяснение сложных тем, программирование и задачи с визуальным вводом. Она совместима с Transformers и vLLM, поддерживает OpenAI-совместимый интерфейс, вызов инструментов и reasoning-сценарии. Модель представляет собой плотную VLM с 27 млрд параметров. Используется схема W4A16: веса хранятся в INT4, активации обрабатываются в FP16; размер группы — 128, квантование симметричное. Объём модели составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Мультитокенная предсказательная голова MTP сохранена в BF16, что позволяет применять нативное speculative decoding в vLLM и получать примерно двукратное ускорение генерации в указанных тестах. Максимальная длина контекста в README демонстрируется до 262144 токенов. Сильные стороны модели — существенно сниженные требования к памяти, высокая скорость инференса и сохранение качества благодаря неквантизированным нормализующим слоям, router-слоям, отдельным проекциям и MTP-компоненту. Ограничения связаны с компромиссом INT4-квантования между точностью и эффективностью; заявленные показатели производительности получены на RTX 5090 и зависят от версии vLLM, аппаратного обеспечения и настроек KV-кэша. Визуальный энкодер MoonViT оставлен в исходной точности, поэтому выигрыш от квантования в основном относится к языковой части. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-235B-A22B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия модели Qwen3-VL-235B-A22B-Thinking с мелкозернистым квантованием и размером блока 128; согласно README, её показатели почти идентичны оригинальной версии BF16. Модель предназначена для понимания и генерации текста с учётом изображений и видео, визуального восприятия и рассуждений, анализа документов, OCR, пространственного анализа, STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Она может использоваться для распознавания содержимого изображений, понимания длительных видеоматериалов, генерации HTML/CSS/JS и Draw.io по визуальным примерам, а также для задач визуального агента. Ключевые характеристики включают архитектуру Qwen3-VL с Thinking-режимом, мультимодальную обработку текста, изображений и видео, нативный контекст до 256K токенов с возможностью расширения до 1M, улучшенное временное и пространственное рассуждение, механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильными сторонами являются визуальное рассуждение, понимание пространственных и временных связей, обработка длинного контекста и близкая к BF16 производительность при FP8-представлении. Ограничение — прямую загрузку весов через Transformers README не поддерживает; рекомендуется развёртывание с помощью vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

cyankiwi/gemma-4-26B-A4B-it-qat-AWQ-INT4 — инструкцияно дообученная мультимодальная модель семейства Gemma 4, разработанного Google DeepMind, в формате AWQ INT4 с использованием Quantization-Aware Training. Модель основана на google/gemma-4-26B-A4B-it-qat-q4_0-unquantized и предназначена для локального и серверного развёртывания с уменьшенными требованиями к памяти; размер файлов модели составляет около 17,19 ГБ. Модель принимает текст и изображения с переменным соотношением сторон и разрешением и генерирует текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии, включая нативный вызов функций и поддержку системных инструкций. Для варианта 26B заявлено контекстное окно до 256K токенов. Семейство поддерживает более 140 языков; в карточке явно указаны английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Ключевые преимущества — мультимодальность, режимы настраиваемого рассуждения, улучшенные возможности программирования и агентов, а также снижение потребления памяти благодаря QAT и INT4-квантизации при стремлении сохранить качество, близкое к bfloat16. Ограничения включают возможные потери качества из-за квантизации, требования к совместимому ПО и оборудованию, а также отсутствие в README конкретных результатов бенчмарков и детальных требований к ресурсам. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-26B-A4B-it-qat-GGUF — инструкционная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF. Она принимает текст и изображения и генерирует текст, поэтому подходит для диалоговых приложений, анализа визуального содержимого, генерации текста, программирования и задач рассуждения. Модель имеет размер 26B параметров с архитектурой Mixture-of-Experts и обозначением A4B. Это QAT-чекпойнт с квантизацией Q4_0, рассчитанный на снижение требований к памяти при сохранении качества, близкого к bfloat16. Семейство Gemma 4 поддерживает контекст до 256K токенов и более 140 языков; для данной версии README отдельно не уточняет полный перечень языков и поддерживаемые помимо текста и изображений модальности. В комплекте также доступен Multi-Token Prediction drafter для speculative decoding в llama.cpp, который может ускорять генерацию без изменения проверяемого моделью результата. Сильные стороны модели — мультимодальность, большой контекст, поддержка многоязычных сценариев, возможности рассуждения и совместимость GGUF с широким спектром инструментов локального запуска. Ограничения связаны с требованиями к вычислительным ресурсам, обусловленными размером 26B, а также с возможными особенностями качества и точности, возникающими при квантизации. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-E4B-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия мультимодальной модели Gemma 4 E4B. Базовую модель разработала Google DeepMind, а текущую оптимизированную сборку подготовила Unsloth с использованием квантования bitsandbytes в формате 4-bit. Модель предназначена для локального запуска и дообучения на совместимом оборудовании. Модель поддерживает обработку текста, изображений и аудио с генерацией текстовых ответов. Она рассчитана на задачи рассуждения, генерации текста, программирования, мультимодального анализа, вызова функций и агентских сценариев. Для E4B заявлены около 4,5 млрд эффективных параметров, 42 слоя, контекстное окно до 128K токенов и словарь размером 262K токенов. Семейство Gemma 4 поддерживает более 140 языков. Архитектура использует гибридное внимание с локальными скользящими окнами и глобальными слоями. Ключевые преимущества модели — мультимодальность, большое контекстное окно, поддержка режимов рассуждения, системных инструкций и нативного function calling, а также сниженные требования к памяти благодаря 4-битному представлению. Квантование может повлиять на точность по сравнению с полноразмерной версией, однако конкретные показатели такого влияния в README не приведены. Модель распространяется по лицензии Apache 2.0.

cyankiwi/GLM-5.3-Flash-AWQ-INT4 — квантизированный чекпойнт модели GLM-5.3-Flash, разработанной Z.ai и опубликованный пользователем cyankiwi. Модель является нативно мультимодальной и предназначена для обработки текста и изображений, включая диалоговые сценарии, программирование, агентные задачи и работу с длинным контекстом. В карточке указаны английский и китайский языки, а README дополнительно заявляет поддержку хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. GLM-5.3-Flash использует гибридную архитектуру с разреженным и линейным вниманием, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 320 млрд параметров, из которых активно используется около 18 млрд; точный максимальный размер контекста в карточке не указан, но модель оптимизирована для длинных контекстов. Данный вариант сочетает схемы compressed-tensors INT4, FP8-block и BF16 в разных модулях, его размер — около 197,19 ГБ. Сильными сторонами модели являются мультимодальность, эффективность инференса, поддержка многоязычных сценариев, программирования и агентных рабочих процессов, а также возможность управления интенсивностью рассуждений через параметр reasoning_effort. Ограничением является необходимость специальной версии форка vLLM для загрузки этого чекпойнта; стандартный vLLM его не поддерживает. Лицензия — MIT.

RedHatAI/Qwen3-32B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-32B. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под специализированные предметные области посредством дообучения. Модель работает с текстом на входе и выходе и построена на архитектуре Qwen3ForCausalLM. Модель использует FP8-квантизацию весов и активаций линейных операторов внутри transformer-блоков. Веса квантизуются статически по каналам, активации — динамически по токенам; слой lm_head не квантуется. По заявлению разработчиков, это примерно вдвое снижает требования к памяти GPU и размер на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Модель рассчитана на эффективное развертывание с vLLM, включая OpenAI-совместимую подачу. К сильным сторонам относятся сочетание возможностей базовой Qwen3-32B с уменьшенными требованиями к памяти и поддержка рассуждений, многоязычных инструкций и function calling. При этом FP8-квантизация может влиять на точность по сравнению с исходной моделью, а README не содержит подробностей о поддерживаемых языках, длине контекста и количественных результатах оценки. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

AxionML/Qwen3.5-4B-NVFP4 — мультимодальная модель для работы с текстом и изображениями, разработанная AxionML на основе Qwen/Qwen3.5-4B. Модель предназначена для открытого использования, развёртывания и высокопроизводительного inference-сервинга, включая сценарии визуального понимания, рассуждений, программирования и агентских задач. Это causal language model с vision encoder и архитектурой, сочетающей Gated Delta Networks и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя, скрытую размерность 2560 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют NVFP4-квантизацию весов и активаций с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер хранения и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся сочетание мультимодальности, длинного контекста и сниженные требования к памяти, что делает модель подходящей для эффективного локального и серверного развёртывания на совместимом оборудовании. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и необходимость аппаратной и программной поддержки NVFP4, в частности соответствующих GPU и средств инференса. Модель распространяется по лицензии Apache 2.0 и разрешена для коммерческого и некоммерческого использования.

Qwen3-8B-GGUF — это квантизированная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель подготовлена в формате GGUF пользователем bartowski на основе llama.cpp, релиз b5200, и предназначена для генерации текста и локального использования через совместимые инструменты, включая LM Studio. Модель ориентирована на творческое письмо, ролевые сценарии, многошаговые диалоги, следование инструкциям, математику, программирование, рассуждения и агентские задачи. Она поддерживает более 100 языков и диалектов, а также режимы с рассуждением и без него; режим рассуждения можно отключить, добавив в запрос параметр /no_think. Заявлена поддержка контекста до 131 072 токенов с использованием YaRN, при этом стандартное значение составляет 32 000 токенов. Ключевое ограничение — это квантизированная сборка, поэтому фактические требования к ресурсам и качество могут зависеть от выбранного варианта квантизации и используемого программного обеспечения. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Лицензия модели — Apache-2.0.

Gemma-4-26B-A4B-it-NVFP4 — community-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, опубликованная пользователем или организацией bg-digitalservices. Это мультимодальная модель для генерации текста, обработки изображений и видео, предназначенная для диалоговых приложений, следования инструкциям, рассуждений и работы с длинным контекстом. Модель использует архитектуру Mixture-of-Experts с 25,2 млрд параметров, из которых 3,8 млрд активны для каждого токена. В ней 128 экспертов, одновременно выбираются 8. Поддерживается контекст до 256K токенов и мультиязычный режим. Квантизация выполнена в формате W4A4: веса представлены в FP4, активации — в FP16. Размер модели на диске составляет около 16,5 ГБ вместо примерно 49 ГБ у версии BF16, что обеспечивает примерно двукратное ускорение генерации в протестированной конфигурации. Сильной стороной модели является существенное сокращение требований к памяти при сохранении около 97,6% среднего качества относительно BF16-версии в указанных тестах. Следование инструкциям почти не ухудшается, однако задачи математического рассуждения теряют около 4 процентных пунктов из-за накопления ошибок округления. Для запуска рекомендуется совместимая сборка vLLM с поддержкой Gemma 4 и NVIDIA Model Optimizer; тестирование проводилось на NVIDIA DGX Spark с GPU GB10 Blackwell. Веса vision encoder оставлены в BF16. Модель распространяется по лицензии Apache-2.0.