I.5Создание и редактирование текста

RedHatAI/Qwen2.5-32B-Instruct-FP8-dynamic — это опубликованная Red Hat AI FP8-квантизованная версия Qwen2.5-32B-Instruct, исходная модель разработана командой Qwen компании Alibaba. Она предназначена для диалогов, следования инструкциям, генерации текста и структурированных ответов, а также задач программирования, математики и работы с длинными текстами. Модель относится к causal language models и поддерживает только текстовые входы и выходы. В основе используется архитектура Qwen2ForCausalLM с 64 слоями, 40 attention heads для Q и 8 для KV по схеме GQA; размер исходной модели составляет около 32,5 млрд параметров. Репозиторий RedHatAI содержит формат compressed-tensors с FP8-представлением весов и динамическим квантованием активаций; в конфигурации указано максимальное положение на 32 768 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский и другие. Сильные стороны — сочетание крупного размера, улучшенных возможностей следования инструкциям, программирования, математики и более экономичного инференса благодаря FP8-квантизации. Ограничения включают возможные потери качества по сравнению с полной точностью, необходимость совместимого ПО для compressed-tensors и отсутствие отдельной карточки модели с подробными бенчмарками и описанием ограничений. Для исходной Qwen2.5-32B-Instruct указана лицензия Apache 2.0; отдельная лицензия производного репозитория RedHatAI в найденных материалах явно не указана.

Qwen2.5-32B-Instruct-GGUF — квантованная в формате GGUF версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантование подготовлено bartowski на основе llama.cpp, а распространение модели осуществляется в рамках Community Model Program LM Studio. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, работу со структурированными данными и создание структурированного контента. Она поддерживает более 29 языков, среди которых английский, китайский, французский, испанский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Заявлена поддержка контекста до 128 000 токенов с использованием настроек YaRN RoPE и генерацией до 8 000 токенов. Ключевые характеристики включают размер 32B параметров, текстовую модальность и обучение на наборе данных объёмом 18 триллионов токенов. Формат GGUF и совместимость с llama.cpp делают модель подходящей для локального запуска в поддерживаемых приложениях, однако требования к вычислительным ресурсам зависят от конкретного уровня квантования. Модель может генерировать неточные, вредные или непреднамеренные ответы. Лицензия — Apache 2.0.

duyntnet/Qwen2.5-32B-Instruct-imatrix-GGUF — набор квантованных GGUF-версий инструкционно дообученной языковой модели Qwen2.5-32B-Instruct. Репозиторий содержит производные квантования исходной модели Qwen, разработанной командой Qwen; конкретный автор квантований в README не указан. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, работы с кодом и математикой, обработки структурированных данных и формирования структурированных ответов, включая JSON. Это causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-attention. Модель содержит 32,5 млрд параметров, из них 31 млрд — без учёта embedding, имеет 64 слоя и Grouped-Query Attention с 40 головами Q и 8 головами KV. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов, однако текущая конфигурация репозитория настроена на 32 768 токенов; для более длинных входов требуется YaRN. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенные способности в программировании и математике, следование инструкциям, генерация длинного текста, понимание таблиц и устойчивость к разнообразным системным промптам. К ограничениям относятся высокая вычислительная требовательность базовой модели и возможные компромиссы квантования по качеству, скорости и точности, зависящие от конкретного варианта GGUF. Использование поддерживается через llama.cpp, KoboldCPP, text-generation-webui и Ollama. В README указана лицензия other, без дополнительных условий лицензирования.

Qwen2.5-32B-Instruct-MLX-4bit — языковая instruction-tuned модель для генерации текста и диалоговых сценариев, основанная на Qwen2.5-32B-Instruct, разработанной командой Qwen. Данная версия подготовлена сообществом LM Studio: MLX-квантизацию в формате 4-bit выполнил bartowski с использованием mlx-examples. Модель предназначена для работы на компьютерах Mac с Apple Silicon. Модель поддерживает обработку и генерацию текста, понимание структурированных данных и работу с длинным контекстом до 32 тысяч токенов; заявленный максимальный объём генерации составляет 8 тысяч токенов. Поддерживается более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся большой размер модели, многоязычность, поддержка длинного контекста и оптимизация для запуска на Apple Silicon благодаря MLX и 4-bit квантизации. Ограничения включают зависимость от совместимого оборудования и возможное снижение точности по сравнению с исходной моделью из-за квантизации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-3B-Instruct-bnb-4bit — 4-битная версия инструкционно дообученной языковой модели Qwen2.5-3B-Instruct, опубликованная в экосистеме Unsloth на базе модели Qwen от Alibaba Cloud. Это авторегрессионная causal language model для диалогов, генерации и обработки текста, выполнения инструкций, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит около 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура использует transformers, RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов; применяется Grouped Query Attention с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, работа с длинными текстами, таблицами и другими структурированными данными, а также относительно низкие требования к памяти благодаря 4-битному квантованию. Ограничения включают меньший размер по сравнению с крупными моделями и возможное снижение точности из-за квантования; конкретные показатели качества для этой версии в README не приведены. Для работы рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 могут быть несовместимы. Лицензия модели — Apache-2.0.

Alignment Lab AI выпустила дообученную на инструкциях плотную языковую модель Qwen2.5 на 71,5 млрд параметров. Она предназначена для диалогов и генерации текста, включая ответы на инструкции, длинные тексты, структурированные данные и вывод в формате JSON; метаданные также отмечают интерфейс вызова инструментов. Архитектура — Qwen2ForCausalLM с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Модель принимает текст и генерирует текст. Карточка заявляет поддержку более 29 языков, включая русский и английский. Контекст в конфигурации репозитория составляет 32 768 токенов; для обработки до 131 072 токенов README описывает расширение контекста с помощью YaRN. Генерация может достигать 8 192 токенов. Модель подходит для многоязычных чат-ботов, работы с кодом и математикой, длинных текстов и структурированных ответов. Для контекстов свыше 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество или производительность на коротких текстах. Лицензия указана как other, поэтому условия использования следует проверять в файлах репозитория.

Qwen2-57B-A14B-Instruct-GGUF — инструкционная языковая модель серии Qwen2, разработанная командой Qwen. Это текстовая модель для генерации и понимания текста, диалоговых приложений, решения задач на естественных языках, программирования, математики и рассуждений. Модель ориентирована на сценарии, где требуется чат-ассистент или локально развёртываемый сервис с совместимым с OpenAI API интерфейсом. Модель построена на декодерной архитектуре Transformer и использует Mixture-of-Experts с 57 млрд параметров, из которых 14 млрд активны (57B-A14B). Среди архитектурных особенностей указаны активация SwiGLU, bias в QKV и Grouped Query Attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования; в карточке явно указан английский язык. Модель прошла дообучение с учителем и Direct Preference Optimization. Доступны GGUF-квантизации от q2_k до q8_0, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами заявлены конкурентоспособность в задачах понимания и генерации текста, многоязычность, программирование, математика и рассуждения, а также возможность запуска через llama.cpp. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели, зависимость характеристик от выбранного уровня квантизации и отсутствие в README данных о максимальной длине контекста, точном наборе поддерживаемых языков и производительности. Модель распространяется по лицензии Apache 2.0.

AIArchiveInfo публикует побайтовую архивную копию Qwen2.5-7B-Instruct, созданную из репозитория Qwen/Qwen2.5-7B-Instruct; веса не изменялись, обучение или дообучение в этом репозитории не проводились. Это инструкционно настроенная причинная языковая модель семейства Qwen2.5 с архитектурой Qwen2ForCausalLM, примерно 7,1 млрд параметров и контекстом 32 768 токенов по метаданным. README описывает архитектуру на базе трансформера с RoPE, SwiGLU, RMSNorm и смещениями QKV; для более длинного контекста предлагается YaRN, но он может снижать производительность на коротких запросах. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов, работу с таблицами и структурированными ответами JSON, а также задачи программирования и математики. Указана поддержка более 29 языков, включая русский и английский. Использовать можно через Transformers; README рекомендует актуальную версию библиотеки. Лицензия Apache-2.0 распространяется на архивную копию согласно карточке.

mlx-community/Qwen2.5-7B-Instruct-4bit — преобразованная в формат MLX 4-битная версия Qwen2.5-7B-Instruct, подготовленная сообществом mlx-community с помощью mlx-lm 0.18.1. Это плотная авторегрессионная языковая модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалоговой генерации текста и запуска на устройствах Apple Silicon через MLX. Модель принимает текстовые запросы и выдаёт текст; метаданные указывают контекстное окно 32 768 токенов и интерфейс для вызова инструментов. Модель подходит для диалоговых помощников, ответов на вопросы, написания и преобразования текстов. Карточка подтверждает английский язык; других языков по предоставленным сведениям определить нельзя. Репозиторий указывает лицензию Apache-2.0. Ограничения качества и оценки модели в карточке не описаны.

RedHatAI/Qwen2.5-7B-Instruct-FP8-dynamic — инструкционная языковая модель архитектуры Qwen2, разработанная Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud. Модель принимает текст и генерирует текст, предназначена для диалоговых ассистентов, генерации текста и исследовательского и коммерческого применения в многоязычных сценариях. Модель содержит около 7 миллиардов параметров и поддерживает широкий набор языков, включая китайский, английский, русский, французский, немецкий, испанский, японский, корейский, арабский и другие. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: веса используют статическую симметричную поканальную схему, а активации — динамическую симметричную потокенную схему. Это примерно вдвое снижает требования к памяти и размер на диске, а также может увеличить пропускную способность матричных операций примерно вдвое. Контекст до 8192 токенов указан в примере развертывания; в другом примере используется длина 32768, поэтому точный поддерживаемый предел следует уточнять для конкретной конфигурации. Сильные стороны модели — сниженное потребление GPU-памяти, компактное хранение и эффективное развертывание через vLLM, включая OpenAI-совместимый сервер. Ограничения, связанные с влиянием FP8-квантизации на качество ответов, в README не приведены; как и любая языковая модель, она может генерировать неточные или нежелательные результаты. Модель распространяется по лицензии Apache-2.0. Использование не должно нарушать применимые законы и нормативные требования.

AtomicChat/Qwen2.5-7B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, подготовленная Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального офлайн-использования через совместимые инструменты, включая llama.cpp, Ollama, LM Studio и Jan. Модель имеет 7,6 млрд параметров, 28 слоёв и архитектуру плотного декодера Qwen2ForCausalLM с гибридным вниманием: sliding-window attention и глобальным вниманием. Заявленная длина контекста составляет 32 768 токенов, размер словаря — 152 064 токена. Поддерживается только текстовый ввод и вывод; заявлена многоязычная работа более чем с 29 языками, включая китайский, английский, французский, испанский, немецкий, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты GGUF-квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0. Квантизация с importance matrix помогает сохранить качество исходной модели при уменьшении размера; Q4_K_M рекомендуется как компромисс между размером, скоростью и качеством, а Q8_0 обеспечивает практически исходную точность, но требует около 8,1 ГБ. Ограничения связаны с потерями качества у низкобитных вариантов и необходимостью применять шаблон чата Qwen2.5; в llama.cpp следует использовать параметр --jinja. Исходная модель распространяется по лицензии Apache 2.0; квантизация выполнена Atomic Chat.

ThomasBaruzier/Qwen2.5-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-7B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix; исходная модель разработана командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, структурированными данными и JSON. Модель является авторегрессионной causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами для Q и 4 для KV. Поддерживаются контексты до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Основное преимущество репозитория — выбор вариантов квантизации с разным компромиссом между размером файла, качеством и требованиями к ресурсам: от IQ1_S размером около 1,8 ГБ до F16 размером около 14,5 ГБ. Более лёгкие варианты удобны для локального запуска, но могут сильнее терять качество; по приведённой таблице, F16 сохраняет базовый уровень качества, а Q6_K, Q8_0 и варианты Q5 обеспечивают близкие показатели при меньшем размере. Для использования необходима совместимая среда, например llama.cpp. Модель и производные квантизации распространяются по лицензии Apache-2.0.

duyntnet/Qwen2.5-7B-Instruct-imatrix-GGUF — набор imatrix-квантизированных версий инструкционно дообученной текстовой модели Qwen2.5-7B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий предназначен для локального запуска и генерации текста через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой авторегрессионную causal language model на базе архитектуры Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами запросов и 4 головами ключей и значений. Модель ориентирована на диалог, следование инструкциям, генерацию длинных текстов, работу со структурированными данными и создание структурированных ответов, включая JSON, а также на задачи программирования и математики. Поддерживается более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. При этом исходная конфигурация рассчитана на 32 768 токенов; для работы с более длинными входами требуется включение расширения YaRN с указанными параметрами. Квантизация снижает требования к ресурсам и упрощает локальный запуск, но конкретные характеристики качества, скорости и потребления памяти зависят от выбранного варианта GGUF. В репозитории указана лицензия other, без подробного описания условий использования.

Theros/Qwen2.5-ColdBrew-R1-test2 — объединённая автором модель на основе языковых моделей Qwen2.5. Она создана методом Model Stock с помощью mergekit; в объединение вошли Theros/Qwen2.5-ColdBrew-R1-test, Theros/Qwen2.5-CyberMix-7B и bunnycore/Qwen-2.5-7B-Deep-Stock-v4. Модель предназначена для диалогов и генерации текста, а также поддерживает интерфейс общения с инструментами. Архитектура — плотная Qwen2ForCausalLM, размер — 7,1 млрд параметров, максимальный контекст — 131 072 токена. Репозиторий содержит веса в формате safetensors и рассчитан на Transformers. Лицензия в предоставленных данных не указана.

Theros/Qwen2.5-ColdBrew-R1-test4 — объединённая авторами модель генерации текста на архитектуре Qwen2, созданная с помощью mergekit методом SLERP из Theros/Qwen2.5-ColdBrew-R1-test2 и bunnycore/Qwen-2.5-7B-Stock-Deep-Bespoke-v2. Она предназначена для диалогов и генерации текста; в метаданных также указана возможность chat. Модель содержит 7,1 млрд параметров, принимает текст и выдаёт текст. Родной контекст составляет 131 072 токена. Репозиторий использует формат safetensors, библиотека — Transformers. В карточке не указаны специальные отраслевые сценарии или перечень поддерживаемых естественных языков. Лицензия в предоставленных данных не приведена.

bartowski/Qwen2-72B-Instruct-GGUF — набор квантизированных вариантов языковой модели Qwen2-72B-Instruct, разработанной командой Qwen (Tongyi Qianwen) и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в чат-интерфейсах и локальный запуск через llama.cpp. Поддерживается специальный шаблон промпта с ролями system, user и assistant. Модель имеет 72 миллиарда параметров, работает с текстом и ориентирована как минимум на английский язык. Доступны варианты GGUF с разными уровнями квантизации: от Q8_0 размером около 77,26 ГБ до IQ1_M размером около 23,74 ГБ. Наиболее рекомендуются Q5_K_M, Q4_K_M и IQ4_XS как компромисс между качеством и требованиями к памяти; варианты с более низкой точностью занимают меньше места, но заметно теряют в качестве. Квантизация выполнена с использованием imatrix и llama.cpp. Сильная сторона набора — возможность выбрать подходящий баланс качества, скорости и потребления RAM или VRAM для локального запуска. Для работы на GPU рекомендуется, чтобы файл помещался в доступную видеопамять; также возможно комбинировать системную RAM и VRAM. Для CUDA указано ограничение: offloading может работать некорректно без включения flash attention. I-quant варианты не совместимы с Vulkan, а на CPU и Apple Metal могут работать медленнее K-quant вариантов. Модель распространяется по лицензии tongyi-qianwen; README также содержит ссылку на лицензию исходной модели Qwen2-72B-Instruct.

Qwen2-72B-Instruct-GGUF — крупная языковая модель с 72 миллиардами параметров, разработанная командой Qwen. Это instruction-tuned версия Qwen2, предназначенная для диалогов, генерации и понимания текста, многоязычных задач, программирования, математики и рассуждений. Модель относится к семейству decoder-only языковых моделей и распространяется в формате GGUF для запуска с помощью llama.cpp. Модель построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV-внимании и group query attention. В README указана улучшенная токенизация для нескольких естественных языков и языков программирования, однако точный список языков и размер контекстного окна не приведены. Доступны варианты квантования q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать компромисс между качеством, размером модели и требованиями к памяти. Поддерживается локальный запуск через llama.cpp и совместимый с OpenAI API сервер. К сильным сторонам относятся заявленная конкурентоспособность с проприетарными моделями и высокое качество на задачах понимания, генерации, многоязычности, кодинга, математики и рассуждений. Основные ограничения — очень большой размер, высокие требования к вычислительным ресурсам и возможная потеря качества при агрессивном квантовании. В метаданных указана лицензия other; конкретные условия использования в README не описаны.

qwp4w3hyb/Qwen2-72B-Instruct-iMat-GGUF — это квантованная GGUF-версия инструкционно дообученной языковой модели Qwen2-72B-Instruct, разработанной командой Qwen/Tongyi Qianwen. Модель предназначена для диалогов, генерации и понимания текста, решения задач рассуждения, программирования, математики и работы с многоязычными запросами. Модель основана на архитектуре Transformer с активацией SwiGLU, смещениями в QKV внимания, group query attention и токенизатором, адаптированным к естественным языкам и коду. Размер модели — 72 миллиарда параметров. Указана поддержка контекста до 131 072 токенов с применением YARN для обработки длинных текстов. Модель работает в текстовой модальности; в карточке явно указан английский язык, при этом оригинальная модель заявляет многоязычные возможности. Доступен широкий набор квантований от Q8_0 до IQ1_S, выполненных с использованием importance matrix для снижения потерь точности при квантовании. Сильные стороны модели — большой размер, расширенный контекст, широкий выбор уровней квантования и заявленная конкурентоспособность в понимании и генерации текста, кодировании, математике и рассуждениях. Ограничения включают высокие требования к вычислительным ресурсам для крупных вариантов квантования и возможное снижение точности у более агрессивных вариантов. Для развёртывания длинного контекста рекомендуется vLLM с настройкой YARN. Лицензия указана как other; в качестве лицензионного соглашения приведена Tongyi Qianwen.

Qwen3-128k-30B-A3B-NEO-MAX-Imatrix-gguf — набор GGUF-квантизаций модели Qwen3-30B-A3B, разработанной командой Qwen. Это разреженная Mixture-of-Experts-модель с 30 млрд общих параметров и 128 экспертами, из которых обычно активируются 8 в зависимости от содержания запроса; эффективный объём активных параметров составляет около 3 млрд. Автор сборки применил собственный NEO Imatrix-процесс и модификации, ориентированные на работу с различными уровнями квантования. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, рассуждений, решения задач и использования инструментов. Заявлена поддержка контекста до 131072 токенов, расширенного с 32768 с применением YaRN. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Ключевое преимущество сборки — возможность запуска всех вариантов на GPU, CPU или в режиме CPU с оперативной памятью благодаря MoE-архитектуре и активации только части параметров. NEO Imatrix-квантизация призвана сохранить пригодное качество даже у компактных вариантов, однако более низкие уровни квантования уступают старшим по качеству и могут требовать более подробных промптов. Скорость и качество зависят от конкретного варианта квантизации и оборудования; приведённые в README оценки производительности ограничены описанной конфигурацией. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-14B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-14B. Это причинно-следственная трансформерная модель архитектуры Qwen3ForCausalLM с текстовыми входами и выходами. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель использует FP8-квантизацию весов и активаций, что примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций по сравнению с представлением FP16. Квантизации подвергнуты линейные операторы в трансформерных блоках: веса квантизированы статически по каналам, а активации — динамически по токенам. Размер модели — 14 миллиардов параметров; точный максимальный контекст в README не указан, хотя для оценки использовались длины до 40960 токенов. К сильным сторонам относятся поддержка рассуждений и многоязычных инструкций при более низких требованиях к ресурсам, а также эффективное развертывание через vLLM с OpenAI-совместимым сервером. Возможным ограничением является потенциальное влияние FP8-квантизации на качество по сравнению с исходной моделью, однако количественная оценка этого влияния в README не приведена. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Qwen3-14B-GGUF — квантизированная версия языковой модели Qwen3-14B, разработанной Qwen и подготовленной в формате GGUF пользователем bartowski на основе llama.cpp. Модель предназначена для генерации текста, следования инструкциям, многошаговых диалогов, творческого письма, ролевых сценариев, программирования, математических и общеинтеллектуальных задач, а также для агентских сценариев. Модель поддерживает режимы рассуждения и без рассуждения; режим /no_think позволяет отключить рассуждение, добавив эту команду в конец запроса. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов с YaRN, при этом значение по умолчанию — 32 000 токенов. Формат GGUF удобен для локального запуска через совместимые инструменты, включая llama.cpp и LM Studio. К сильным сторонам относятся улучшенные способности к математике, программированию, здравому смыслу и работе с инструкциями, а также поддержка различных режимов генерации и широкого набора языков. Ограничения связаны с возможными неточностями, вредным или неподходящим содержанием, а также с тем, что квантизация и локальная среда выполнения могут влиять на качество и скорость. В README лицензия модели не указана, поэтому условия использования необходимо уточнять по лицензии оригинальной Qwen3-14B и конкретной сборки.

Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

Qwen3-1.7B-MLX-4bit — компактная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Это MLX-версия модели Qwen3-1.7B-Base с 4-битным квантованием, предназначенная для локального запуска и генерации текста. Она подходит для диалогов, следования инструкциям, генерации кода, математических и логических рассуждений, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою, и имеет 28 слоёв. Используется Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов и допускает переключение между режимом рассуждений и нерaссуждающим режимом в рамках одной модели: первый ориентирован на сложные задачи, математику и программирование, второй — на более быструю генерацию и общий диалог. К сильным сторонам относятся сочетание небольшого размера, локального формата MLX и 4-битного квантования, мультиязычность, поддержка диалогов и инструкций, а также гибкое управление режимом рассуждений. Ограничения включают меньшую ёмкость по сравнению с крупными моделями и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen/Qwen3-1.7B-MLX-bf16 — языковая модель семейства Qwen3, представленная в формате MLX и весах BF16. По метаданным, это производная Qwen/Qwen3-1.7B-Base; модель плотная, с архитектурой Qwen3ForCausalLM и 1,7 млрд параметров. Она предназначена для генерации текста и диалогов, выполнения инструкций, рассуждений, математических и программных задач, а также интеграции с инструментами. Модель переключается между режимом рассуждений и обычным режимом диалога. README указывает поддержку более 100 языков и диалектов, а метаданные задают контекст до 40 960 токенов. Разработчик рекомендует MLX для запуска; веса опубликованы в формате safetensors. Лицензия Apache-2.0 разрешает свободное использование на её условиях. Компактный размер упрощает запуск по сравнению с крупными моделями семейства, а интерфейс вызова инструментов подходит для агентных сценариев. Как модель на 1,7 млрд параметров, она может уступать более крупным моделям в сложных задачах; в режиме рассуждений не рекомендуется жадное декодирование, поскольку оно может ухудшать ответы и приводить к повторениям.

QuantTrio/Qwen3-235B-A22B-Instruct-2507-AWQ — это AWQ-квантизированная версия Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и опубликованной QuantTrio. Модель предназначена для генерации текста и диалоговых сценариев, следования инструкциям, логического и математического рассуждения, научных задач, программирования, использования инструментов, обработки длинного контекста и многоязычных запросов. Это причинная языковая MoE-модель с 235 млрд параметров, из которых при обработке каждого токена активируются 22 млрд. Она содержит 94 слоя, 128 экспертов, 8 активных экспертов, 64 attention heads для Q и 4 для KV в схеме GQA. Нативная длина контекста составляет 262 144 токена. Модель работает только в non-thinking mode и не формирует блоки <think></think>. В репозитории указана интеграция с vLLM версии 0.9.2 и выше; размер файлов модели составляет около 116 ГБ, поэтому для запуска требуется мощная GPU-инфраструктура. Сильные стороны модели — улучшенные instruction following, понимание текста, знания, рассуждения, программирование, tool usage, открытые и субъективные задачи, а также работа с длинным контекстом и несколькими языками. Ограничения включают отсутствие thinking mode, высокие требования к памяти и необходимость учитывать особенности распределения MoE-экспертов при запуске на восьми GPU. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3-235B-A22B-Instruct-2507-NVFP4 — квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507 от Alibaba, подготовленная с помощью TensorRT Model Optimizer. NVIDIA указывает, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели для соответствующих сценариев применения. Модель предназначена для генерации текста и может использоваться в AI Agent системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Это авторегрессионная текстовая модель с архитектурой Transformers и сетевой архитектурой Qwen3MoeForCausalLM. Она принимает текстовые строки и генерирует текст; число параметров не раскрыто. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Ключевое преимущество версии NVFP4 — квантизация весов и активаций линейных операторов внутри transformer-блоков с 16 до 4 бит, что примерно в 3,4 раза снижает требования к дисковому пространству и памяти GPU. Модель оптимизирована для инференса через TensorRT-LLM и систем на базе NVIDIA Blackwell, предпочтительно под Linux. Ограничения включают неизвестное количество параметров, отсутствие раскрытых сведений о тренировочных и тестовых данных, а также необходимость дополнительного тестирования на данных конкретного сценария. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-версия каузальной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель преобразована с использованием llama.cpp; сборка и экспериментальная схема квантования опубликованы пользователем Mungert. Она предназначена для локального запуска и генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных и программных задач, работы с инструментами и открытых диалоговых сценариев. Модель использует архитектуру Mixture of Experts: всего 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; в составе 48 слоёв, 128 экспертов и 8 активируемых экспертов. Применяется Grouped Query Attention с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена. Модель поддерживает несколько языков, но конкретный перечень в предоставленных данных не указан. Это режим без рассуждений: модель не формирует блоки <think></think>. К сильным сторонам относятся улучшенные instruction following, логическое рассуждение, кодирование, использование инструментов, субъективные и открытые задачи, мультиязычное понимание и работа с длинным контекстом. GGUF-квантизация облегчает локальный инференс, а ручное повышение точности отдельных важных слоёв может улучшать качество при заданном уровне квантования. Ограничения связаны с компромиссом между размером файла, требованиями к ресурсам и точностью; конкретные характеристики зависят от выбранного варианта квантования. Лицензия — Apache 2.0.

igriv/Qwen3-32B-heretic — разговорная языковая модель семейства Qwen3, созданная изменением Qwen3-32B методом abliteration, чтобы существенно снизить частоту отказов. В приведённом сравнении модель отказывает в 3 случаях из 100 против 99 у исходной модели; это оценка из карточки, а не гарантия поведения во всех запросах. Модель предназначена для генерации текста и диалогов, в том числе для рассуждений, программирования, перевода и следования инструкциям. Архитектура — плотная авторегрессионная Qwen3ForCausalLM; в метаданных указаны 29,7 млрд параметров, контекст 40 960 токенов и формат safetensors. README приписывает семейству Qwen3 поддержку более 100 языков, но не приводит отдельную оценку языков именно этой производной модели. Модель разработана автором репозитория igriv на основе Qwen3-32B. Лицензия — Apache-2.0. Снижение отказов может означать меньшую защиту от небезопасных запросов; опубликованная таблица не раскрывает полный протокол оценки, а качество и безопасность ответов требуют самостоятельной проверки.

duyntnet/Qwen3-4B-imatrix-GGUF — набор квантованных версий языковой модели Qwen3-4B, опубликованный пользователем duyntnet и основанный на модели Qwen/Qwen3-4B. Это каузальная текстовая модель с примерно 4 млрд параметров, включая 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и архитектурой Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Модель предназначена для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Qwen3-4B поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Указана поддержка более 100 языков и диалектов, однако для данной карточки в метаданных явно заявлен английский язык. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. Формат GGUF и imatrix-квантизация ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие клиенты. Сильными сторонами модели являются сочетание компактного размера, мультиязычности, развитого следования инструкциям, рассуждений и агентских возможностей, а также возможность локального инференса в квантованном формате. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования, необходимость совместимого инференс-движка и отсутствие в карточке подробных результатов бенчмарков, требований к ресурсам и точных параметров конкретных квантованных файлов. В метаданных указана лицензия other; дополнительных условий лицензирования в README не приведено.

Eslzzyl/Qwen3-4B-Instruct-2507-AWQ — квантованная версия instruct-модели Qwen3-4B-Instruct-2507, разработанной командой Qwen и опубликованной пользователем Eslzzyl. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и агентских сценариев. Это каузальная языковая модель примерно с 4 млрд параметров, из которых 3,6 млрд не относятся к embedding-слою. Она содержит 36 слоёв и использует Grouped-Query Attention с 32 головами Q и 8 головами KV. Поддерживает контекст до 262 144 токенов, работает только в non-thinking-режиме и не формирует блоки <think></think>. Модель ориентирована на многоязычные задачи и показывает улучшения в следовании инструкциям, открытой генерации, знаниях, рассуждениях, кодировании и tool calling. Версия AWQ квантизована с помощью AutoAWQ, что может снизить требования к памяти и облегчить развёртывание. Она совместима с NVIDIA Turing GPU с SM 75 и может использоваться через lmdeploy; для исходной модели также указана поддержка современных Transformers, vLLM и SGLang. Ограничениями являются отсутствие режима пошагового рассуждения и потенциально высокие требования к памяти при максимальном контексте, которые можно уменьшить сокращением длины контекста. Лицензия — Apache 2.0.