I.5Создание и редактирование текста

maldv/Meta-Llama-3-8B-Instruct-hf — чат-модель семейства Llama 3, разработанного Meta. Это авторегрессионный плотный трансформер LlamaForCausalLM с 7,5 млрд параметров и Grouped-Query Attention; репозиторий содержит веса в формате safetensors. Модель принимает текст и генерирует текст, включая код, а версия Instruct настроена для диалогов и помощнических сценариев. Модель подходит для ответов на вопросы, ведения диалога и генерации текста или кода на английском языке. Метаданные указывают контекст до 8192 токенов. README описывает настройку инструкционной версии с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи людей. Для языков помимо английского может потребоваться дополнительное дообучение. Условия использования определяются лицензией Meta Llama 3 с коммерческими условиями и политикой допустимого использования. Модель статична и обучена на офлайн-данных; для конкретного приложения разработчикам следует самостоятельно настраивать меры безопасности.

Meta-Llama-3-8B-Instruct-llamafile — это инструкционная версия языковой модели Llama 3, разработанная Meta и упакованная в исполняемый формат llamafile проектом Mozilla Ocho. Версия содержит около 8 млрд параметров и предназначена для локального запуска на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64. Указанный вариант связан с квантованием, выполненным jartine, и основан на meta-llama/Meta-Llama-3-8B-Instruct. Модель принимает только текст и генерирует текст и код. Она ориентирована прежде всего на англоязычные диалоговые сценарии, работу в формате ассистента и задачи генерации естественного языка. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention; модель дообучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Длина контекста составляет 8k токенов, данные обучения включают более 15 трлн токенов общедоступных онлайн-данных, дата отсечения знаний — март 2023 года. Сильными сторонами являются возможность автономного локального запуска без отдельной сложной инфраструктуры, поддержка распространённых настольных операционных систем и оптимизация для диалогового взаимодействия. Ограничения включают работу преимущественно с английским языком, текстовую модальность, статичность обученной версии и возможные потери качества или рост галлюцинаций при использовании более агрессивных форматов квантования. Модель распространяется по пользовательской коммерческой лицензии Llama 3; применение должно соответствовать условиям Llama 3 Community License, Acceptable Use Policy и действующему законодательству.

MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6 от Xiaomi, обученная с помощью масштабного обучения с подкреплением и последующей дистилляции на основе траекторий учителей и самой модели. Это разреженная MoE-модель с 1,02 трлн параметров, из которых активируются 42 млрд; в метаданных репозитория указано 27,7 млрд параметров. Модель принимает текст, изображения, видео и аудио, а контекстное окно составляет до 1 млн токенов. Модель предназначена для генерации текста в диалоге, агентных сценариев с вызовом инструментов, программирования и анализа мультимодальных данных. В обучении смешивались задачи кодирования, работы агентов, визуальные задачи и кибербезопасность; групповая оценка траекторий направляет модель к более качественным решениям. Архитектура включает MiMo ViT для изображений, аудиокодировщик и пятислойный спекулятивный декодер. Карточка приводит результаты на отдельных бенчмарках, но не гарантирует качество для конкретных задач. Для работы с длинным контекстом и мультимодальными входами требуются ресурсы для крупной модели; опубликованный репозиторий содержит веса в формате safetensors FP8. Лицензия — MIT.

PyrTools/Ministral-8B-Instruct-2410-AWQ — это AWQ-квантизированная 4-битная версия языковой instruct-модели Ministral-8B-Instruct-2410, разработанной Mistral AI и опубликованной пользователем PyrTools. Модель предназначена для локального и периферийного запуска, диалогов, следования инструкциям, генерации кода и работы с function calling. Основа модели — плотный Transformer примерно на 8 млрд параметров: 36 слоёв, 32 attention heads, 8 KV heads с GQA, размерность скрытого состояния 4096 и словарь из 131 072 токенов с токенизатором V3-Tekken. Модель обучалась на многоязычных и кодовых данных, поддерживает контекст до 128k токенов и использует interleaved sliding-window attention. Репозиторий содержит AWQ-представление с 4-битной квантизацией, что ориентировано на более экономичный локальный инференс. К сильным сторонам относятся компактный размер, поддержка длинного контекста, многоязычность, задачи программирования и function calling; исходная модель показывала высокие результаты среди моделей сопоставимого размера. Ограничения включают возможное снижение точности из-за квантизации и зависимость от поддержки AWQ конкретным inference-стеком. В vLLM для исходной модели заявлено ограничение контекста 32k из-за отсутствия необходимых attention kernels, поэтому полный контекст 128k требует другого совместимого инструментария. Лицензия — Mistral Research License; для коммерческого использования Mistral AI указывает необходимость получения коммерческой лицензии.

RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w8a8 — это квантизированная версия инструкционной мультимодальной модели Mistral-Small-3.1-24B-Instruct-2503, разработанная Red Hat совместно с Neural Magic на базе модели Mistral AI. Архитектура обозначена как Mistral3ForConditionalGeneration. Модель принимает текст и изображения и генерирует текст; заявлена поддержка языков, включая английский, французский, немецкий, испанский, итальянский, португальский, хинди, арабский, китайский, японский, корейский, русский, украинский и другие языки из указанного перечня. Модель предназначена для быстрых диалоговых агентов, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Она также подходит для локального развертывания, включая сценарии обработки чувствительных данных, и для адаптации под предметные области посредством дообучения. Максимальный контекст в README явно не указан, однако в примере развертывания используется ограничение 32768 токенов. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8. Для весов применяется статическая симметричная поканальная схема, для активаций — динамическая симметричная потокенная схема; используются методы SmoothQuant и GPTQ. По данным README, это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных умножений. Компромиссом являются возможные потери точности по сравнению с исходной моделью, при этом конкретные результаты бенчмарков не приведены. Модель распространяется по лицензии Apache 2.0 и валидирована с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.

Это GGUF-версия Mistral-Small-4-119B-2603, подготовленная noctrex с квантизацией MXFP4 для тензоров MoE и BF16 для остальных тензоров. Для работы автор рекомендует использовать актуальную версию llama.cpp; для файла mmproj рекомендует вариант F32 для наилучшего качества. Основа — мультимодальная модель Mistral AI для диалогов, рассуждений, программирования, агентных задач и анализа изображений и документов; в карточке репозитория основной pipeline указан как генерация текста. BF16 для неквантизированных тензоров сохраняет их исходную точность и может давать более высокое качество, чем вариант с Q8, но на некоторых архитектурах работает медленнее. Репозиторий создан 17 марта 2026 года. Лицензия в предоставленных данных не указана.

Nemotron-Cascade-2-30B-A3B-NVFP4 — квантизированная версия модели Nemotron-Cascade-2-30B-A3B, разработанной NVIDIA. Модель использует гибридную архитектуру MoE и Mamba; в ней 30 млрд параметров всего и около 3 млрд активных параметров на токен. Данный вариант создан сообществом chankhavu с применением NVIDIA ModelOpt и посттренировочной квантизации NVFP4 без Quantization-Aware Distillation. Модель предназначена для задач генерации текста, математического рассуждения, программирования, работы с терминалом и агентских сценариев, следования инструкциям, диалога и научных запросов. Для калибровки использовались данные NVIDIA Nemotron-Cascade-2-SFT-Data, включая примеры по математике, software engineering, терминальным агентам, науке, безопасности и общению. README не указывает полный набор поддерживаемых языков и модальностей; по представленным данным это текстовая модель. MoE-эксперты и часть Mamba-вычислений представлены в NVFP4 с форматом E2M1 и иерархическим блочным масштабированием, чувствительные компоненты сохранены в BF16, маршрутизаторы — в FP32, а KV-кэш — в FP8. Модель рассчитана прежде всего на GPU Blackwell, где доступно нативное вычисление FP4 и максимальное ускорение; на Hopper выполняется деквантизация весов во время работы, а Ampere в README обозначен как неподдерживаемый. По опубликованным тестам качество обычно на 1–2% ниже исходной BF16-модели, но при этом снижаются требования к памяти. Лицензия — NVIDIA Open Model License.

Nemotron-Cascade-8B — языковая модель общего назначения от NVIDIA, дообученная на базе Qwen3-8B-Base. Модель имеет плотную архитектуру Qwen3 и около 7,6 млрд параметров; поддерживает контекст до 32 768 токенов и работает через Transformers в формате safetensors. Модель предназначена для диалогов и генерации текста, включая рассуждения, следование инструкциям, математические задачи, программирование, инженерные задачи в ПО и использование инструментов. Доступны режимы рассуждения и обычного ответа, переключаемые тегами /think и /no_think. В карточке описано последовательное дообучение с многоэтапным SFT и обучением с подкреплением по разным областям. Для длинного контекста NVIDIA рекомендует RoPE scaling с YaRN; это требует соответствующей настройки конфигурации. Метаданные указывают лицензию как other, поэтому конкретные права использования следует сверить с условиями репозитория.

Nemotron-H-47B-Reasoning-128K — большая языковая модель NVIDIA для диалогов, рассуждений и обычных задач генерации текста. Она сочетает слои Mamba-2 и MLP с пятью слоями Attention, содержит 47 млрд параметров и поддерживает контекст до 128 тыс. токенов. В зависимости от системной инструкции модель может сначала сформировать рассуждение, а затем ответ, либо выдать ответ без видимого рассуждения. Модель принимает и генерирует текст. Заявлена поддержка английского, немецкого, испанского, французского, итальянского, корейского, португальского, русского, японского и китайского языков. Подходит для диалогов, ответов на вопросы, задач по математике, науке, программированию и другим темам. Доступны контрольные точки BF16 для Transformers и TensorRT-LLM, а также FB8 для TensorRT-LLM; модель рассчитана на запуск с ускорением NVIDIA GPU. Модель может выдавать неточные, неполные, нерелевантные или избыточные ответы, а также воспроизводить токсичность и предвзятость из обучающих данных. В README также отмечена уязвимость к некоторым вариантам косвенной prompt injection. Лицензия указана как other; README ограничивает назначение исследованиями и разработкой.

Карточка модели Karmation/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой baseten/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

Карточка модели nasooh1/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой baseten/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

NVIDIA Nemotron Nano 9B v2 — языковая модель NVIDIA для диалогов, следования инструкциям и задач с рассуждением. Она генерирует текстовый ответ и позволяет управлять режимом и бюджетом рассуждения. Архитектура Nemotron-Hybrid сочетает Mamba-2 и MLP-блоки с четырьмя слоями Attention; заявленная длина контекста — до 128 тыс. токенов. Модель рассчитана на чат-боты, RAG-системы и агентные приложения, а также на программирование и типовые задачи по инструкциям. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский; в README также перечислены русский, корейский, португальский и китайский. Она принимает и выдаёт текст. В карточке указана коммерческая применимость, но метаданные обозначают лицензию как other, поэтому точные условия следует проверять в файлах лицензии репозитория. Для корректного вывода при запуске через vLLM README рекомендует тип кэша Mamba SSM float32; без него качество может снижаться.

Locutusque/Orca-2-13b-SFT-v6 — плотная языковая модель семейства LLaMA, созданная полным дообучением microsoft/Orca-2-13b на наборах инструкций и диалогов, включая No Robots, EverythingLM, Capybara, Pure-Dove, LessWrong-Amplify-Instruct, Verified-Camel, Guanaco и OpenAssistant. Модель содержит 12,9 млрд параметров, использует архитектуру LlamaForCausalLM, распространяется в формате safetensors и рассчитана на контекст до 4096 токенов. Для запросов применяется шаблон ChatML. Модель предназначена для генерации ответов на инструкции и вопросы, рассуждений, суммаризации и программирования. В README приведены результаты оценивания на бенчмарках AI2 Reasoning Challenge и HellaSwag, а также значение test loss на Verified-Camel; эти показатели характеризуют отдельные тесты и не гарантируют качество во всех сценариях. В метаданных отмечена поддержка английского, французского, испанского, хинди и китайского языков. Использование регулируется лицензией Microsoft Research; перед применением следует учитывать её условия.

Phi-3.5-MoE-instruct — языковая модель Microsoft для диалоговых и генеративных приложений. Она использует архитектуру смеси экспертов (MoE), обучена на синтетических данных и отфильтрованных общедоступных документах с акцентом на данные для рассуждений, а затем дообучена с помощью supervised fine-tuning, PPO и DPO. В метаданных указано 4 млрд параметров; README отдельно сообщает о 6,6 млрд активных параметров. Модель принимает текстовые запросы в формате чата и генерирует текст, включая код. Карточка заявляет поддержку нескольких языков и контекст до 128 тыс. токенов, тогда как метаданные каталога указывают 4096 токенов. Модель предназначена для общих генеративных систем и сценариев с ограничениями по памяти, вычислениям или задержке; особо отмечены рассуждения, код, математика и логика. Она выпущена под лицензией MIT. Результаты требуют проверки для конкретных задач: модель может ошибаться, а многошаговые jailbreak-запросы могут снижать устойчивость защитных механизмов.

Это конвертированная в ONNX модель Phi-3 Medium-128K-Instruct, подготовленная Microsoft для ускоренного инференса через ONNX Runtime на видеокартах NVIDIA с CUDA. В основе — плотная авторегрессионная архитектура Phi-3 с 13,8 млрд параметров; исходная модель обучена на синтетических данных и отфильтрованных общедоступных веб-данных, а затем прошла дообучение с учителем и оптимизацию предпочтений DPO для следования инструкциям и мер безопасности. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, рассуждения, математические задачи и код. Карточка исходной модели описывает варианты контекста 4K и 128K токенов, однако метаданные этого репозитория указывают native_context_tokens=4096, поэтому для данной версии подтверждён контекст до 4096 токенов. Репозиторий содержит варианты FP16 и INT4; INT4 использует квантизацию RTN. В README приведены замеры скорости на NVIDIA A100 и указано требование CUDA GPU с Compute Capability не ниже 7.0. Модель разработана Microsoft и распространяется по лицензии MIT. Это конверсия исходных весов для ONNX Runtime, а не самостоятельное дообучение; использование CUDA-варианта требует совместимой NVIDIA GPU, а характеристики и скорость зависят от конфигурации инференса.

Qwen2.5-14B-YOYO-V4 — объединённая языковая модель от YOYO-AI на архитектуре Qwen2, с плотной авторегрессионной моделью Qwen2ForCausalLM и 14 млрд параметров. По описанию автора, в состав объединения входят модели Qwen2.5, кодовая модель и дистиллят DeepSeek-R1; заявлены улучшенное следование инструкциям, генерация кода и рассуждения. Модель предназначена для диалогов, генерации текста и структурированных ответов, а также для работы с длинным контекстом до 1 010 000 токенов. Модель принимает текст и выдаёт текст. Карточка указывает английский и китайский языки. Файлы опубликованы в формате safetensors, лицензия — Apache-2.0. Указанный в карточке этап объединения описан частично, поэтому подробности итоговой процедуры и её влияние на качество оценить нельзя.

dnotitia/Qwen3-4B-Instruct-2507 — вариант Qwen3-4B, опубликованный Dnotitia с изменённым шаблоном чата; веса совпадают с официальным выпуском Qwen3. Шаблон вынесен в отдельный файл и дополнен тегами для совместимости с обучением через TRL и режимом assistant_only_loss. Модель имеет плотную причинную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и нативный контекст до 262 144 токенов. Модель предназначена для диалогов и генерации текста по инструкциям: она помогает отвечать на вопросы, рассуждать, решать математические и научные задачи, писать код и вызывать инструменты. Это режим без пошагового thinking-вывода; в карточке также заявлены улучшенное понимание длинного контекста и многоязычные знания. Для запуска рекомендуется актуальная версия Transformers, а для агентных сценариев — Qwen-Agent. Модель распространяется по лицензии Apache-2.0. Карточка не приводит конкретный список поддерживаемых языков, поэтому нельзя определить основной язык; качество может зависеть от языка, запроса и длины входного текста. Для обычных запросов авторы рекомендуют ограничивать генерацию примерно 16 384 токенами, хотя нативное окно контекста значительно длиннее.

Qwen3.5-122B-A10B-44GB-GPT5.6Sol-SFT-LynnStyle-GGUF — GGUF-сборка модели Qwen3.5-122B-A10B, опубликованная пользователем nerkyor. Модель предназначена для текстовой генерации, рассуждений, ответов на вопросы и программирования в среде llama.cpp. В репозитории также доступен опциональный мультимодальный vision projector для обработки визуального ввода; основной GGUF может использоваться отдельно для текстовых задач. Модель использует архитектуру qwen3next и содержит 807 тензоров. Это слойно-смешанная imatrix-assisted квантизация LynnStyle: наиболее важные компоненты сохранены в Q8_0, Q6_K или Q5_K, а значительная часть маршрутизируемых экспертных слоёв сжата до IQ2_XS. Основной файл занимает 44,61 ГБ, а вместе с mmproj — 45,23 ГБ. Указаны языки English и Chinese. Проверенный режим рассчитан на общий контекст 131 072 токена, Q4 K/V cache и полную выгрузку на GPU; пиковое потребление VRAM составило 45 551 МиБ. К сильным сторонам относятся сохранение высокой точности для attention, shared-expert и ключевых управляющих структур при существенном уменьшении размера, а также хорошие заявленные результаты без MTP: MMLU 91,6%, GPQA 86,4% и LiveCodeBench 82,0%. Ограничения — высокая требовательность к памяти, отсутствие MTP sidecar и необходимость использовать llama.cpp с рекомендуемыми настройками. LoRA step64 уже объединён с основным файлом и отдельно не требуется. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-35B-A3B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen; конвертацию, квантизацию и публикацию сборки выполнила Unsloth. Модель предназначена для локального запуска и совместима с llama.cpp, а исходная модель также поддерживается Transformers, vLLM, SGLang и KTransformers. Архитектура относится к MoE-линейке Qwen3.5; обозначение A3B указывает на модель с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров на токен, однако точные характеристики в представленном README не приведены. Модель ориентирована на диалоговые сценарии, генерацию текста и кода, работу с длинным контекстом, вызов инструментов и использование developer role. Доступна поддержка мультимодальных задач с изображениями, но при использовании MTP некоторые возможности ограничены: режим не поддерживает параллельные последовательности с параметром -np > 1 и работу с --mmproj. MTP speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки или версии llama.cpp. Доступно включение и отключение режима рассуждений. К сильным сторонам относятся улучшенные послеобучение и квантизация, заявленные улучшения качества диалогов, программирования, длинного контекста и tool calling, а также возможность эффективного локального запуска в разных вариантах GGUF. Ограничения включают зависимость от совместимого программного обеспечения и специальных настроек для MTP, а также отсутствие в README точных сведений о поддерживаемых языках, максимальной длине контекста и полном наборе мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.5-397B-A17B-FP8-dynamic — мультимодальная причинная языковая модель архитектуры Qwen3_5MoeForCausalLM, разработанная RedHatAI на основе Qwen/Qwen3.5-397B-A17B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст. Она предназначена для рассуждений, работы с визуально-языковыми запросами, вызова инструментов и решения широкого круга задач обработки текста и кода. Модель содержит 397 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках, тогда как визуальный энкодер, механизм линейного внимания Gated DeltaNet, маршрутизаторы MoE, общие эксперты и эмбеддинги сохраняются в исходной точности. Это уменьшает размер на диске и потребление GPU-памяти примерно на 50% по сравнению с 16-битной версией. Поддерживаются текстовый режим, мультимодальная обработка изображений, вызов инструментов и multi-token prediction для speculative decoding. Модель оптимизирована для инференса с vLLM и валидирована с vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4. FP8-квантизация снижает требования к ресурсам, однако модель остаётся очень крупной и требует мног GPU-инфраструктуры; в README приведена конфигурация с tensor parallelism на 4 устройствах. Данные о поддерживаемых языках, размере контекста и численных результатах бенчмарков в представленном описании отсутствуют. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-397B-A17B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen и подготовленной для локального запуска компанией Unsloth. Модель предназначена для работы с текстом и изображениями, включая диалоговые сценарии, рассуждения, программирование, визуальное понимание, агентские задачи и вызов инструментов. В основе лежит гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts; обозначение 397B-A17B указывает на общий размер 397 млрд параметров и около 17 млрд активных параметров. Заявлена поддержка 201 языка и диалекта. Вариант MTP поддерживает speculative decoding, что может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки или версии llama.cpp. Доступны настройки для включения и отключения режима рассуждений, а также улучшения для tool calling и coding. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разрежанной архитектуры, широкое языковое покрытие и возможность локального запуска в формате GGUF. Ограничения связаны с очень большим размером модели и требованиями к ресурсам, необходимостью совместимого ПО и специальной настройки MTP; при этом режиме не поддерживаются параллельные запросы с np > 1 и использование mmproj. README не указывает максимальную длину контекста. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-4B-MTP-GGUF — квантованный GGUF-вариант мультимодальной модели Qwen3.5-4B, подготовленный Unsloth на базе модели Qwen/Qwen3.5-4B. Это причинная языковая модель с энкодером изображений, предназначенная для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и вызов инструментов. Модель поддерживает developer role и улучшенный разбор вложенных объектов при tool calling. Модель содержит около 4 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts, а также механизм MTP (multi-token prediction или многошагового предсказания), рассчитанный на ускорение генерации. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для ускоренной генерации предусмотрено speculative decoding через MTP, потенциально дающее ускорение примерно в 1,5–2 раза при использовании совместимой ветки llama.cpp. Сильными сторонами модели являются сочетание текстовых и визуальных возможностей, большой контекст, относительно небольшой размер и возможность локального запуска, дообучения и интеграции с Transformers, vLLM, SGLang и другими инструментами. Ограничения включают необходимость совместимого программного обеспечения для MTP; при таком режиме не поддерживаются параллельные последовательности с -np > 1 и параметр --mmproj. Лицензия — Apache-2.0.

Qwen3.5-9B-GGUF — это квантизированная в формате GGUF версия модели Qwen3.5-9B, подготовленная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель имеет около 9 миллиардов параметров и поддерживает работу с текстом и изображениями, включая сценарии vision-language. Она предназначена для локального запуска и задач генерации текста, программирования, рассуждений, следования инструкциям и function calling; в README также указаны оценки на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K, IFEVAL и MMLU. Репозиторий предлагает варианты для GPU и CPU с разными компромиссами между размером, скоростью и качеством: от 2.81 до 5.10 bits per weight и примерно от 3.15 до 5.72 ГБ. Для запуска рекомендуются llama.cpp и LM Studio; llama.cpp автоматически загружает vision projector. Ollama на момент публикации README эту модель не поддерживает. Доступны оптимизированные варианты для различных аппаратных платформ, однако конкретный размер контекста, список поддерживаемых языков и подробные результаты тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Qwen3.5-9B-MTP-MXFP4-GGUF — мультимодальная модель семейства Qwen, представленная в формате GGUF с квантизацией MXFP4. Репозиторий содержит веса модели размером 5,18 ГБ и мультимодальный проектор SigLIP в формате F16 размером 875 МБ. Указаны 32 трансформерных блока, гибридная архитектура с attention, FFN и SSM, дополнительная голова Multi-Token Prediction и контекст до 262 144 токенов. Модель предназначена для генерации текста на нескольких языках, понимания изображений и видео, рассуждений и вызова инструментов. Вариант из карточки включает режим рассуждений по умолчанию; его можно отключить параметром генерации. В метаданных базовой моделью указана Qwen/Qwen3.5-9B; лицензия — Apache-2.0. Квантизация уменьшает требования к хранению и вычислениям, но может влиять на точность относительно исходных весов.

mlx-community/Qwen3.5-9B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.5-9B, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с инструментами и агентских сценариев. Модель использует смешанную точность: большинство слоёв представлены в 4-битном формате, а чувствительные к квантизации слои — в 8-битном. Всего квантизировано 248 слоёв: 132 в 8-битном и 116 в 4-битном формате; размер группы — 64. Калибровка выполнена на данных из шести доменов: проза, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,6 ГБ. В комплект входит MTP-голова для спекулятивного декодирования, обеспечивающая примерно 1,4-кратное ускорение генерации при использовании mlx-optiq. По приведённым тестам, смешанная квантизация немного превосходит стандартную равномерную 4-битную версию по совокупному Capability Score, а наиболее заметное преимущество показано в HumanEval. При этом она уступает равномерной квантизации в BFCL и тесте длинноконтекстного извлечения HashHop, а размер файла примерно на 1,1 ГБ больше. README не указывает архитектурные детали, длину контекста или языковой охват базовой модели. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

brian-learns/Qwen3.6-27B-NVFP4-GGUF — квантизированная модель семейства Qwen, основанная на Qwen3.6-27B от Alibaba и подготовленная с помощью NVIDIA Model Optimizer. Это авторегрессионный трансформер с гибридным механизмом внимания Gated DeltaNet и Gated Attention, содержащий 27 млрд параметров; веса и активации линейных слоёв сведены к формату NVFP4, что сокращает требования к дисковому пространству и памяти GPU примерно в 2,5 раза относительно 16-битного варианта. Модель предназначена для диалоговых приложений, AI-агентов, чат-ботов, RAG-систем и других приложений с генерацией текста. Она принимает текст, изображения и видео, выдаёт текст и поддерживает контекст до 262 тысяч токенов. В карточке заявлена интеграция с vLLM и оптимизация для GPU NVIDIA Hopper и Blackwell; метаданные репозитория указывают формат GGUF и интерфейс вызова инструментов. Модель может отвечать неточно, пропускать важные сведения или выдавать нерелевантный и повторяющийся текст; унаследованные от обучающих данных предубеждения могут приводить к токсичным ответам. Разработчик указывает лицензию Apache-2.0 и допускает коммерческое и некоммерческое применение.

AtomicChat/Qwen3.6-35B-A3B-GGUF — это набор самостоятельно квантованных версий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный командой Atomic Chat в формате GGUF для локального и полностью офлайн-запуска. Модель предназначена для генерации текста, диалоговых сценариев, агентного программирования, работы с frontend-задачами и рассуждений на уровне репозитория. Модель можно использовать через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Базовая модель содержит 36 млрд параметров и построена на архитектуре Mixture-of-Experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Архитектура использует 16 attention heads и 2 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Исходная модель поддерживает текст и изображения, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Репозиторий включает варианты Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0; размеры файлов составляют примерно от 21,2 до 36,9 ГБ. Квантование выполнено с importance matrix, что позволяет сохранить большую часть качества исходной модели, при этом Q4_K_M рекомендуется как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся большой контекст, MoE-архитектура, возможность автономного запуска и несколько уровней квантования с разным компромиссом между качеством и требованиями к памяти. Ограничения — высокая потребность в оперативной или видеопамяти, отсутствие обработки изображений в данных версиях и необходимость применять шаблон чата Qwen3.6 через параметр --jinja. Лицензия исходной модели — Apache 2.0; квантованные файлы подготовлены Atomic Chat.

unsloth/Qwen3.6-35B-A3B-MTP-GGUF — GGUF-квантизированная версия модели Qwen3.6-35B-A3B. Базовую модель разработала команда Qwen, а данный вариант опубликован Unsloth. Это причинная языковая модель с vision encoder, ориентированная на генерацию текста, программирование, агентные сценарии, работу с репозиториями и frontend-задачами, а также вызов инструментов с вложенными объектами. Модель использует архитектуру Mixture of Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке каждого токена; в составе 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Поддерживаются многошаговое предсказание MTP, сохранение контекста рассуждений из предыдущих сообщений и обработка изображений благодаря vision encoder. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Точный набор поддерживаемых языков в README не указан. MTP заявлен как способ ускорить инференс примерно в 1,5–2 раза без потери точности. Модель рассчитана на запуск через llama.cpp, Unsloth Studio и совместимые инструменты; доступны режимы для GPU, CPU и Metal. В README указано ограничение: при использовании MTP параметры -np > 1 и --mmproj пока не поддерживаются. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели RedHatAI/Qwen3.8-2.4T-A95B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.

Карточка модели vll1addd/Qwen3.8-2.4T-A95B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.