I.5Создание и редактирование текста

Qwen3-235B-A22B-Instruct-2507 — большая языковая модель, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это каузальная модель для генерации текста, дообученная для выполнения инструкций. Она предназначена для диалогов, следования указаниям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и работы с открытыми субъективными запросами. Модель поддерживает широкий спектр языков и рассчитана на приложения, требующие высокого качества ответов и обработки длинных документов. Модель построена на архитектуре Mixture of Experts: содержит 235 млрд параметров, из которых 22 млрд активируются при обработке токена, 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 64 головами Q и 4 головами KV; контекстное окно составляет 262 144 токена. Модель работает только в нережиме рассуждений и не генерирует блоки <think></think>. К сильным сторонам относятся улучшенные знания, многоязычность, следование инструкциям, математическое и логическое рассуждение, программирование, работа с инструментами и понимание длинного контекста. Ограничения включают отсутствие режима рассуждений и высокие требования к вычислительным ресурсам, характерные для модели такого размера; точные требования к оборудованию в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. Указанный репозиторий содержит GGUF-представление, подготовленное Unsloth; базовая модель — Qwen/Qwen3-235B-A22B-Instruct-2507.

QuixiAI/Qwen3-30B-A3B-AWQ — квантизированная в формате AWQ версия Qwen3-30B-A3B, разработанная командой Qwen и опубликованная Eric Hartford. Модель основана на causal language model с архитектурой mixture-of-experts (MoE) и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математики, программирования, перевода и агентских сценариев с интеграцией внешних инструментов. Модель поддерживает переключение между режимами рассуждения и обычной генерации, обучена на этапах pretraining и post-training и поддерживает более 100 языков и диалектов. Всего она содержит около 30,5 млрд параметров, из которых при обработке активируется около 3,3 млрд; в составе 48 слоёв, 128 экспертов, одновременно активируются 8, используется Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. К сильным сторонам относятся сочетание высокой ёмкости MoE с меньшим числом активных параметров, развитые возможности рассуждения, программирования, многоязычного общения и работы в агентских задачах, а также наличие эффективного режима без рассуждений. AWQ-квантизация может снизить требования к памяти и упростить локальное развёртывание, однако конкретные требования к оборудованию и влияние квантизации на качество в карточке не указаны. Для работы рекомендуется использовать актуальные версии Transformers, SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

BCCard/Qwen3-30B-A3B-FP8-Dynamic — текстовая языковая модель, разработанная BC Card на основе Qwen/Qwen3-30B-A3B. Она предназначена для генерации текста, рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. Модель принимает текст на вход и генерирует текст на выходе; поддержка других модальностей не указана. Архитектура модели — Qwen3MoeForCausalLM. Веса и активации линейных операторов в блоках Transformer квантизированы в FP8: для весов используется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокеновая схема. Квантизация примерно вдвое снижает требования к GPU-памяти и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений. По данным оценки OpenLLM v1, средний результат составляет 67,56 против 67,62 у исходной модели, что указывает на почти полное сохранение качества. Для эффективного развёртывания рекомендуется использовать vLLM, включая OpenAI-совместимый режим сервинга. Точный размер контекста и перечень поддерживаемых языков в README не указаны. Модель выпущена 5 мая 2025 года, версия 1.0. Лицензия — Apache-2.0; использование не должно нарушать применимое законодательство и торговые ограничения.

unsloth/Qwen3-30B-A3B-GGUF — GGUF-версия модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Unsloth. Это причинная языковая модель архитектуры Mixture-of-Experts (MoE), предназначенная для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и быстрого ответа с помощью инструкций /think и /no_think. Она обучалась на этапах предварительного обучения и постобучения, содержит 30,5 млрд параметров, из которых активируется 3,3 млрд, 48 слоёв, 128 экспертов и 8 активируемых экспертов. Использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель ориентирована более чем на 100 языков и диалектов; в метаданных README отдельно указан английский язык. К сильным сторонам относятся сочетание качества рассуждений и экономичности MoE-архитектуры, поддержка многоязычного следования инструкциям, широкий спектр прикладных задач и возможность запуска в GGUF-совместимых инструментах, включая llama.cpp и Ollama. Ограничения включают зависимость характеристик от конкретной GGUF-квантизации и программного окружения; точные параметры квантизации, требования к памяти и результаты бенчмарков в предоставленном README не указаны. Лицензия — Apache-2.0.

Qwen3-30B-A3B-GPTQ-Int4 — квантизированная 4-битная версия генеративной языковой модели Qwen3-30B-A3B, разработанной командой Qwen. Это авторегрессионная causal language model на архитектуре mixture-of-experts (MoE), предназначенная для генерации и обработки текста, диалогов, следования инструкциям, математического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит 30,5 млрд параметров, из которых при обработке одного токена активируется около 3,3 млрд; число неэмбеддинговых параметров составляет 29,9 млрд. Она включает 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений, а также 128 экспертов, из которых активируются 8. Нативная длина контекста — 32 768 токенов, с использованием YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов. Ключевая особенность Qwen3 — переключение между режимом рассуждения и обычным режимом без рассуждения в рамках одной модели. Режим рассуждения подходит для сложных логических задач, математики и кода, а обычный режим — для более эффективного общего диалога. GPTQ-квантизация Int4 снижает требования к памяти и облегчает развёртывание, однако может сопровождаться потерей качества по сравнению с полноразмерной версией; конкретные аппаратные требования и производительность зависят от среды запуска. Для работы рекомендуется актуальная версия Transformers, также заявлена совместимость с SGLang и vLLM. Модель распространяется по лицензии Apache-2.0. README не содержит подробных результатов бенчмарков, полного перечня поддерживаемых языков или точных требований к оборудованию.

ELVISIO/Qwen3-30B-A3B-Instruct-2507-AWQ — это квантизированная версия Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая рассуждения, понимание текста, математику, научные задачи, программирование, использование инструментов и работу с многоязычными запросами. Модель использует архитектуру причинной языковой модели MoE с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке токена. Она содержит 48 слоёв, 128 экспертов и активирует 8 экспертов; применяется GQA с 32 головами запросов и 4 ключей/значений. Нативная длина контекста составляет 262 144 токена. Это текстовая модель без мультимодальных возможностей, работающая только в non-thinking режиме и не формирующая блоки <think></think>. Основные сильные стороны — улучшенное следование инструкциям, качество открытой генерации, логическое и математическое рассуждение, программирование, использование инструментов, многоязычное понимание и обработка длинного контекста. Модель подвергнута AWQ int4-квантизации с использованием ms-swift, что снижает требования к памяти, но может сопровождаться некоторой потерей качества по сравнению с полной версией. README не содержит подробных сведений о языках, аппаратных требованиях и ограничениях производительности. Модель распространяется по лицензии Apache 2.0.

stelterlab/Qwen3-30B-A3B-Instruct-2507-AWQ — квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen AI. Это авторегрессионная языковая модель на базе архитектуры Mixture-of-Experts с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке одного токена. Модель содержит 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 KV-головами, а также 128 экспертов, из которых активны 8. Контекст поддерживается до 262 144 токенов. Модель предназначена для генерации и понимания текста, следования инструкциям, логического рассуждения, математики, научных и технических задач, программирования, использования инструментов, творческого письма и работы с длинными документами. Она поддерживает множество языков и ориентирована на улучшенное покрытие редких знаний и более качественное выполнение субъективных и открытых заданий. Модель работает только в режиме без рассуждений и не формирует блоки <think></think>. В данном репозитории веса преобразованы в формат AWQ с INT4 GEMM с использованием llm-compressor; квантизацию выполнила stelterlab. Это экспериментальная сборка, протестированная с vLLM 0.9.2, поэтому совместимость и качество инференса могут зависеть от используемого программного стека. Квантизация снижает требования к памяти по сравнению с полноточными весами, но может приводить к некоторой потере качества. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-AWQ-4bit — 4-битная AWQ-квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, опубликованная пользователем cyankiwi и основанная на модели Qwen/Qwen3. Исходная модель разработана командой Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов и выполнения инструкций. Модель предназначена для следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и открытых текстовых запросов. Она поддерживает многоязычные сценарии и контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из которых 3,3 млрд активируются на запрос; 48 слоёв, 128 экспертов, 8 активируемых экспертов, Grouped Query Attention с 32 головами Q и 4 головами KV. Модель работает только в режиме non-thinking и не формирует блоки <think></think>. Сильные стороны включают улучшенное следование инструкциям, качество рассуждений, программирование, творческое письмо, работу с длинным контекстом и многоязычными данными. Ограничения связаны с использованием только non-thinking режима, возможными ошибками генерации и потерей качества из-за 4-битной квантизации; конкретные требования к аппаратному обеспечению в предоставленных данных не указаны. Лицензия — Apache-2.0.

NVFP4/Qwen3-30B-A3B-Instruct-2507 — квантизированная версия причинной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen; формат NVFP4 создан для оптимизированного развертывания. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и открытых диалоговых задач. Она поддерживает многоязычные сценарии и контекст до 262 144 токенов, работает только в нережиме рассуждений и не генерирует блоки <think></think>. Архитектура представляет собой causal language model на основе Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются при обработке запроса; 48 слоев, 128 экспертов, 8 активных экспертов, Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. К сильным сторонам относятся улучшенные instruction following, качество открытых ответов, покрытие редких знаний, программирование и работа с длинным контекстом. К ограничениям относятся отсутствие режима пошагового рассуждения и потенциальные требования к совместимому программному и аппаратному стеку для запуска NVFP4-квантизации. Лицензия — Apache 2.0.

Qwen3-30B-A3B-Instruct-2507-FP8 — причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-30B-A3B-Instruct-2507, предназначенная для генерации текста в режиме без скрытого рассуждения и без блоков <think></think>. Модель ориентирована на следование инструкциям, логическое рассуждение, понимание текста, математику, естественные науки, программирование, использование инструментов, открытые и субъективные текстовые задачи, а также работу с длинным контекстом и несколькими языками. Она поддерживает контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются на запрос; модель содержит 48 слоёв, 128 экспертов и активирует 8 экспертов, использует GQA с 32 головами Q и 4 головами KV. К сильным сторонам относятся улучшенные instruction following, качество генерации, математические и кодовые способности, расширенное покрытие редких знаний на разных языках и повышенное качество работы с длинным контекстом. Ограничение модели — поддержка только нерassуждающего режима, поэтому она не предназначена для генерации явных цепочек рассуждений в формате <think></think>. Для использования рекомендуются актуальные версии transformers, а для развёртывания — SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-30B-A3B-Instruct-2507-GPTQ-Int4 — это квантизированная версия Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель относится к причинным языковым моделям и предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и многоязычных сценариев. Она работает только в non-thinking режиме и не формирует блоки <think></think>. В основе используется MoE-архитектура: всего 30,5 млрд параметров, из которых активируется 3,3 млрд; 48 слоёв, 128 экспертов, 8 активируемых экспертов, а также GQA с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. Данная версия сжата до 4 бит с group size 128 и настройкой desc_act=False, что, согласно README, повышает эффективность по числу токенов в секунду по сравнению с предыдущими квантизированными версиями. Для запуска рекомендуется vLLM версии 0.9.2 или новее. Модель подходит для чат-систем, генерации и обработки текста, анализа длинных документов, программирования, математических и исследовательских задач, а также агентских сценариев с использованием инструментов. К сильным сторонам относятся длинный контекст, улучшенные instruction following, reasoning, coding, alignment и многоязычные возможности базовой модели. Ограничения включают работу только в non-thinking режиме и возможные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Apache-2.0.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter143 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter15 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter159 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter175 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter239 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter31 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

unsloth/Qwen3-32B-128K-GGUF — это GGUF-версия большой языковой модели Qwen3-32B, разработанной командой Qwen и опубликованной в формате GGUF командой Unsloth. Модель представляет собой причинную языковую модель с 32,8 млрд параметров, из которых 31,2 млрд не относятся к эмбеддингам. Архитектура включает 64 слоя и групповое обобщённое внимание (GQA) с 64 головами для Q и 8 для KV. Модель предназначена для диалогов, следования инструкциям, генерации и анализа кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, многошаговых диалогов, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Заявлена поддержка более 100 языков и диалектов. Базовая длина контекста составляет 32 768 токенов, а с использованием YaRN она увеличена до 131 072 токенов. Модель сочетает широкий набор языковых и рассуждательных возможностей с поддержкой длинного контекста и локального запуска в GGUF-экосистеме. Ограничения включают значительный размер, потенциально высокие требования к памяти и вычислительным ресурсам, а также зависимость качества и скорости от конкретной GGUF-квантизации и настроек запуска. В README не приведены точные параметры квантизации, требования к оборудованию или результаты бенчмарков. Модель распространяется по лицензии Apache-2.0.

Qwen3-32B-AWQ — квантизированная 4-битная AWQ-версия причинной языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимом рассуждения для сложных задач и нерезультирующим режимом для более эффективного общего диалога в рамках одной модели. Модель содержит 32,8 млрд параметров, из них 31,2 млрд без учёта embedding, и имеет 64 слоя. Используется Grouped Query Attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на многоязычное следование инструкциям и перевод. AWQ-квантизация снижает требования к памяти, однако может влиять на качество по сравнению с полноразмерной версией; README также не содержит подробных результатов бенчмарков и требований к аппаратному обеспечению. Для режима рассуждения модель формирует промежуточное содержимое в блоке <think>...</think>; в README рекомендованы определённые параметры генерации и не рекомендуется жадное декодирование. Указанная лицензия — Apache 2.0.

Qwen3-32B-f16-GGUF — размещённая Geoff Munn версия модели Qwen/Qwen3-32B в формате GGUF с весами F16 для запуска через llama.cpp и совместимые приложения. Это плотная языковая модель на 32 млрд параметров, предназначенная для диалога, генерации текста, рассуждений, математики, программирования и многоязычных задач; её также можно подключать к RAG-системам и агентным сценариям. Карточка описывает несколько вариантов квантования семейства и приводит результаты сравнения их качества, но репозиторий обозначен как F16. Указанные в README оценки производительности и качества относятся к конкретным вариантам и настройкам квантования, а не гарантируют такие же результаты для каждого файла. Для запуска нужны совместимое ПО и аппаратные ресурсы, соответствующие размеру 32B модели; вариант Q5_K_HIFI требует специальной сборки llama.cpp. Лицензия — Apache-2.0.

Qwen3-32B-FP8 — языковая модель серии Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это плотная causal transformer-модель с 32,8 млрд параметров и grouped-query attention, предназначенная для генерации текста, диалогов, сложных рассуждений, решения математических задач, программирования, вызова инструментов и построения агентных сценариев. Модель работает с текстом на входе и выходе, поддерживает многоязычное использование и предоставляет OpenAI-совместимый API через сервер Furiosa-LLM. Ключевая особенность — гибридный режим работы: по умолчанию модель может формировать рассуждение перед итоговым ответом, а для более быстрых общих диалогов рассуждение можно отключить отдельно для запроса или задать как режим по умолчанию. Поддерживается вызов функций через tool-call parser hermes. Веса статически квантизированы в FP8 с размером блока 128, активации используют динамическую FP8-квантизацию, а KV-кэш сохраняется в 16-битной точности. Для запуска на RNGD требуется тензорный параллелизм на 32 вычислительных элементах, соответствующий четырём картам RNGD. Сильные стороны модели — сочетание рассуждений и эффективного диалога в одной модели, поддержка многоязычности, программирования, инструментов и агентных задач, а также снижение требований к памяти благодаря FP8-квантизации. Ограничения README не раскрывает: не указаны длина контекста, конкретный перечень языков, результаты бенчмарков и требования к ресурсам для других платформ. Данная сборка ориентирована на Furiosa-LLM и FuriosaAI RNGD, хотя исходная модель также может запускаться через vLLM, SGLang и Transformers. Лицензия — Apache 2.0.

lmstudio-community/Qwen3-32B-GGUF — квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b5200. LM Studio распространяет эту модель в рамках общественной программы, но не является её разработчиком. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математических задач и рассуждений общего назначения. Поддерживаются режимы с рассуждением и без него; режим /no_think позволяет отключить рассуждения добавлением соответствующего параметра в конец запроса. Заявлена поддержка более 100 языков и диалектов, а также агентских сценариев. Модель имеет 32 млрд параметров и поддерживает контекст до 131 072 токенов с использованием YaRN; значение по умолчанию составляет 32 000 токенов. К ключевым преимуществам относятся расширенные возможности рассуждения, программирования, математики, диалогового взаимодействия и следования инструкциям. Ограничения включают возможные неточные, вредные или неподходящие ответы, а также отсутствие в README сведений о точном уровне квантизации, требованиях к оборудованию и характеристиках производительности. Модель распространяется по лицензии Apache 2.0.

mlx-community/Qwen3-4B-bf16 — конверсия модели Qwen/Qwen3-4B в формат MLX, выполненная сообществом mlx-community; веса представлены в bf16. Это плотная авторегрессионная языковая модель Qwen3 с примерно 3,7 млрд параметров, предназначенная для генерации текста и диалогов. Она поддерживает контекст до 40 960 токенов, а метаданные также указывают интерфейс для вызова инструментов. Модель можно применять для ответов в чате, рассуждений, генерации кода и многоязычных текстовых задач. Для запуска используется библиотека MLX и пакет mlx-lm; карточка README описывает преобразование исходной модели Qwen/Qwen3-4B в формат MLX. Лицензия — Apache-2.0.

unsloth/Qwen3-4B-GGUF — GGUF-версия языковой модели Qwen3-4B, разработанной Alibaba Cloud и подготовленной Unsloth для запуска и дообучения в совместимых инструментах, включая llama.cpp, Ollama и Open WebUI. Модель предназначена для диалогов, следования инструкциям, генерации и анализа текста, математических и программных задач, многошагового рассуждения, творческого письма, ролевых сценариев, перевода и интеграции с внешними инструментами. Это авторегрессионная causal language model с 4,0 млрд параметров, из которых 3,6 млрд приходятся на нелучевые параметры, 36 слоями и архитектурой Grouped-Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, однако в карточке отдельно указан английский язык. Она умеет переключаться между режимами рассуждения и нерссуждения, что позволяет выбирать между качеством решения сложных задач и более быстрым ответом. К сильным сторонам относятся компактный размер, поддержка мультиязычных сценариев, рассуждения, программирования, агентных задач и гибкое переключение режимов работы. Ограничения включают неизвестные из этой карточки точные требования к ресурсам, результаты бенчмарков, перечень поддерживаемых языков с оценкой качества и особенности конкретной квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen3-4B-Instruct-2507-GGUF — GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen и преобразованной с использованием llama.cpp. Это авторегрессионная causal language model с 4 млрд параметров, из которых 3,6 млрд не относятся к эмбеддингам; модель содержит 36 слоёв и использует grouped-query attention с 32 головами для Q и 8 для KV. Модель предназначена для генерации текста по инструкциям, понимания текста, логических рассуждений, математики, науки, программирования, работы с инструментами, творческого письма и агентских сценариев. Она поддерживает многоязычные задачи и контекст длиной до 262 144 токенов. Модель работает только в non-thinking mode и не формирует блоки <think></think>. К сильным сторонам относятся улучшенные следование инструкциям, открытые и субъективные задачи, покрытие редких знаний, мультиязычность и обработка длинного контекста. GGUF-формат подходит для локального запуска в совместимых инструментах llama.cpp, а применённый автором подход selective layer bumping повышает точность отдельных важных слоёв при выбранном уровне квантизации, хотя увеличивает размер файла. Ограничения конкретного варианта зависят от используемого уровня квантизации и аппаратных ресурсов; сведения о точном размере файла, битности и требованиях к памяти в README не указаны. Лицензия — Apache-2.0.

p-e-w/Qwen3-4B-Instruct-2507-heretic-v4 — разговорная языковая модель на архитектуре Qwen3, созданная на основе Qwen3-4B-Instruct-2507. Модель с примерно 3,7 млрд параметров предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики, программирования, ответов на вопросы и работы с инструментами. Вариант heretic получен методом abliteration: в README указано, что в тесте отказов он отказал в 9 случаях из 100, тогда как исходная модель отказала во всех 100. Модель работает только в non-thinking mode и поддерживает контекст до 262 144 токенов. README заявляет улучшения исходной Qwen3-4B-Instruct-2507 в многоязычных задачах, понимании длинного контекста и использовании инструментов; эти характеристики относятся к описанной в карточке базовой модели. Модель принимает текст и генерирует текст. Лицензия — Apache-2.0.

unsloth/Qwen3-4B-unsloth-bnb-4bit — 4-бillionная причинная языковая модель, представляющая 4-битную версию Qwen3-4B, подготовленную Unsloth на базе модели Qwen/Qwen3-4B. Она предназначена для генерации текста, диалогов, следования инструкциям, математических и логических рассуждений, написания кода, творческих задач, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель имеет 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, и 36 слоёв. Архитектура использует Grouped Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает более 100 языков и диалектов, включая английский; модальность README не указывает, поэтому модель следует считать текстовой. Ключевые особенности — переключение между режимами reasoning и обычного, не требующего рассуждений, ответа в рамках одной модели, улучшенные возможности следования инструкциям, многоязычность и работа в агентских сценариях. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может сопровождаться потерей точности по сравнению с полноразмерными версиями. Для работы рекомендуется актуальная версия библиотеки Transformers; конкретные требования к оборудованию в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-FP8 — мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это постобученная версия с причинной языковой моделью и vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель содержит 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Она использует гибридную архитектуру Gated Delta Networks и разреженную Mixture-of-Experts с 256 экспертами, из которых активируются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Данная версия содержит fine-grained FP8-квантизированные веса с размером блока 128; производительность заявлена близкой к исходной модели. Сильными сторонами являются сочетание мультимодальности, большого контекста, разреженной архитектуры для более эффективного вывода и широкого языкового охвата. Ограничения, зависящие от конкретной задачи, аппаратной конфигурации и используемого программного стека, в README не раскрыты; FP8-формат также требует совместимой поддержки. Модель распространяется по лицензии Apache-2.0 и совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers.

Qwen3.5-122B-A10B-GPTQ-Int4 — мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это causal language model с vision encoder, предназначенная для работы с текстом и изображениями. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентские сценарии и универсальные задачи обработки контента. Модель использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Общее число параметров составляет 122 млрд, при этом во время работы активируется около 10 млрд. Архитектура включает 48 слоёв и 256 экспертов, из которых активируются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживаются 201 язык и диалект. Данная версия содержит GPTQ-квантизацию до 4 бит и распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Сильными сторонами модели являются сочетание текстовых и визуальных возможностей, большой контекст, высокая вычислительная эффективность разреженной архитектуры и широкое языковое покрытие. Ограничения включают необходимость совместимого программного и аппаратного окружения для запуска крупной MoE-модели, а также возможные потери качества из-за 4-битной квантизации; конкретные требования к ресурсам в README не указаны. Лицензия — Apache-2.0.

Qwen3.5-35B-A3B-GPTQ-Int4 — мультимодальная причинная языковая модель с vision encoder, разработанная командой Qwen. Это GPTQ-квантованная до 4 бит версия постобученной модели Qwen3.5-35B-A3B, предназначенная для локального и серверного инференса в Hugging Face Transformers, vLLM, SGLang, KTransformers и совместимых инструментах. Модель ориентирована на генерацию и понимание текста и изображений, рассуждение, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируется около 3 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Ключевые преимущества — мультимодальность, высокая вычислительная эффективность благодаря разреженной архитектуре и 4-битному квантованию, а также широкий языковой охват и поддержка длинного контекста. Ограничения включают возможные потери качества и точности, характерные для низкобитного квантования, а также зависимость производительности от используемого движка и аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.