I.5Создание и редактирование текста

legraphista/Qwen2-7B-IMat-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen2-7B, разработанной командой Qwen. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В репозитории представлены варианты с разной степенью квантизации — от BF16 и FP16 до 1–8-битных форматов, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. В метаданных указан английский язык. Квантизация выполнена legraphista с использованием llama.cpp версии b3091. Для ряда низко- и среднебитных вариантов применена IMatrix, предназначенная для улучшения сохранения качества при уменьшении разрядности; для некоторых вариантов доступны статические квантизации без IMatrix. Размер файлов варьируется примерно от 2,60 до 15,24 ГБ. Контекстное окно, точная архитектура базовой модели, мультимодальные возможности и результаты сравнительных тестов в предоставленных данных не указаны. Главное преимущество набора — широкий выбор форматов для запуска модели на оборудовании с различным объёмом памяти и возможность локального использования. Ограничения связаны с компромиссом квантизации: более компактные варианты могут уступать полноточным по качеству, стабильности и точности ответов, однако конкретные потери не измерены. Модель распространяется по лицензии Apache-2.0.

maywell разработал мультиязычную разговорную модель Qwen2 с 7,1 млрд параметров для генерации текста в формате диалога ChatML. Она рассчитана на контекст до 32 768 токенов и поддерживает английский, корейский, японский, китайский и испанский языки. В карточке указано, что модель частично ориентирована на ERP-контент; примеры включают корейский диалог. Модель подходит для чат-ботов и генерации ответов на нескольких языках. Весовые файлы опубликованы в формате safetensors. Лицензия — Apache-2.0.

mlx-community/Qwen3-0.6B-bf16 — конвертированная в формат MLX модель семейства Qwen3, созданная mlx-community на основе Qwen/Qwen3-0.6B. Это плотная авторегрессионная модель с 507,9 млн параметров, предназначенная для генерации текста и диалогов; метаданные также указывают интерфейс для вызова инструментов. Нативная длина контекста — 40 960 токенов, библиотека для работы — MLX. Модель подходит для компактных локальных чат-приложений, генерации текста и экспериментов с языковыми моделями на устройствах, поддерживающих MLX. Карточка README подтверждает конвертацию исходной модели для MLX и приводит Apache-2.0 в метаданных как лицензию. Языковые коды в предоставленных метаданных отсутствуют; базовая модель описана каталогом как многоязычная.

DQN-Labs выпустила дообученную языковую модель на архитектуре Qwen3 для генерации текста и диалогового общения. В основе лежит unsloth/qwen3-0.6b-base-unsloth-bnb-4bit; модель дообучали с использованием Unsloth и библиотеки TRL от Hugging Face. Модель принимает текст и генерирует текст. Она поддерживает английский язык, имеет контекстное окно 32 768 токенов и содержит 507,9 млн параметров. В репозитории указаны веса в формате safetensors и лицензия Apache-2.0. Карточка не описывает специализацию дообучения, обучающие данные или результаты оценки качества, поэтому пригодность для конкретных предметных областей не установлена.

JadwalAlmaa представил дообученную языковую модель Qwen3 с архитектурой Qwen3ForCausalLM и примерно 508 млн параметров. Она предназначена для генерации текста и диалогового общения; в метаданных также отмечен интерфейс вызова инструментов. Модель дообучена на основе unsloth/qwen3-0.6b-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL от Hugging Face. Модель принимает текст и генерирует текст, поддерживает контекст длиной до 40 960 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-14B-4bit — это 4-битная квантованная версия языковой модели Qwen3-14B, разработанная сообществом mlx-community и преобразованная из исходной модели Qwen/Qwen3-14B в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска на устройствах и в окружениях, совместимых с MLX. Модель ориентирована на задачи текстовой генерации, включая диалоговые сценарии при использовании chat template, поскольку README содержит пример передачи сообщений с ролями user и assistant. Известный размер базовой модели — 14 миллиардов параметров; представление использует 4-битную квантование, что потенциально снижает требования к памяти по сравнению с полной точностью. Данные о поддерживаемых языках, архитектурных деталях, размере контекста, дополнительных модальностях, точности и результатах тестирования не указаны. К сильным сторонам относятся формат MLX, интеграция с библиотекой mlx-lm и уменьшенный объём памяти благодаря 4-битному представлению. Ограничения связаны с отсутствием в README подробных сведений о качестве, производительности, языковом покрытии и совместимости за пределами MLX-окружений. Модель распространяется по лицензии Apache 2.0.

lmstudio-community/Qwen3-14B-MLX-8bit — это 8-битная версия модели Qwen3-14B, разработанная сообществом lmstudio-community и преобразованная в формат MLX из исходной модели Qwen/Qwen3-14B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в сценариях локального инференса на совместимом оборудовании Apple MLX. В README указаны архитектура Qwen3-14B, размер 14B параметров, формат MLX и 8-битное представление весов. Модель поддерживает диалоговый режим через chat template, если он доступен в токенизаторе. Данные о языках, размере контекста, поддерживаемых модальностях, производительности и конкретных требованиях к оборудованию не приведены. Ограничения также отдельно не описаны; практические характеристики зависят от исходной модели, реализации MLX и используемой системы. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README приводит пример загрузки модели и генерации текста через Python API.

dnotitia/Qwen3-1.7B — версия Qwen3, подготовленная Dnotitia для более удобного обучения. Веса совпадают с официальной моделью Qwen3, а шаблон чата вынесен в отдельный файл и дополнен тегами TRL для режима assistant_only_loss. Это плотная причинная языковая модель с 1,7 млрд параметров на архитектуре Qwen3ForCausalLM, рассчитанная на генерацию текста и диалог. Модель подходит для прототипирования диалоговых помощников, генерации и продолжения текста, а также экспериментов с дообучением. Семейство Qwen3 поддерживает переключение между режимами рассуждения и обычного ответа, работу с инструментами и более чем 100 языками; эти возможности описаны для семейства в целом. Метаданные указывают контекст до 40 960 токенов, тогда как README приводит 32 768 токенов. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. README предупреждает о возможных бесконечных повторах и рекомендует при их появлении настроить параметры генерации, в частности presence_penalty=1.5.

Dajumon/Qwen3-1.7B-base-MED-ChatVector — языковая модель для генерации текста на базе семейства Qwen3, опубликованная на Hugging Face пользователем dajumon. В метаданных указаны размер 1,7 млрд параметров, библиотека Transformers и задача text-generation; архитектура и сведения о разработчике в доступных материалах подробно не описаны. Модель поддерживает контекст до 40 960 токенов и может использоваться как основа для генерации и продолжения текста, а также для создания прикладных решений после дополнительной настройки.

make1love/Qwen3-1.7B-base-MED-ChatVector — языковая модель семейства Qwen3 для генерации текста и диалогового взаимодействия. Модель доступна через библиотеку Transformers и использует формат Safetensors; заявленный размер составляет 1,7 млрд параметров, а нативное контекстное окно — 40 960 токенов. Поддерживается конвейер Hugging Face text-generation и conversational-режим. По доступным данным, разработчик, лицензия и перечень естественных языков не установлены. Модель может применяться для генерации ответов, продолжения текста и создания диалоговых приложений, однако назначение, обучение и качество в медицинской или иной специализированной области не подтверждены карточкой модели.

Модель ertghiu256/qwen3-1.7b-mixed-thought — дообученная авторами ertghiu256 версия Qwen3-1.7B для генерации текста и диалогов. Она основана на unsloth/qwen3-1.7b-unsloth-bnb-4bit и обучена на наборе ertghiu256/Mini-Mixed-Thoughts с использованием Unsloth и библиотеки TRL. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 1,7 млрд параметров и поддерживает контекст до 40 960 токенов. Модель подходит для генерации ответов в чате и продолжения текста; в метаданных также заявлен интерфейс вызова инструментов. Карточка не уточняет специализацию набора данных, целевые сценарии или сравнительное качество, поэтому назначение модели следует считать общим. Лицензия — Apache-2.0.

Карточка модели SamMikaelson/Qwen3-1.7B-Nous на Hugging Face совпадает с карточкой SamMikaelson/Qwen3-1.7B-APIGEN-Full, поэтому описание составлено по ней. SamMikaelson дообучил Qwen3-1.7B на базе unsloth/qwen3-1.7b-unsloth-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная языковая модель с 1,7 млрд параметров для генерации текста и диалогового взаимодействия; в метаданных также указана возможность интерфейса вызова инструментов. Модель принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно до 40 960 токенов. Модель подходит для текстовых диалогов и генерации ответов на английском языке. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0; карточка не описывает отдельные результаты оценки качества или специализацию по конкретной предметной области.

Qwen3-1.7B-reas-int-065-3-epochs — дообученная модель генерации текста на основе Qwen/Qwen3-1.7B. Репозиторий указывает, что дообучение выполнено на неизвестном наборе данных; дополнительных сведений о специализации модели нет. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 1,7 млрд параметров и принимает текст для генерации текста. Доступны диалоговые возможности, а длина контекста составляет до 40 960 токенов. Модель подходит для текстовых диалогов и других задач генерации, которые поддерживает базовая модель, однако конкретные улучшения от дообучения не описаны. Языки и результаты оценки именно этой версии не приведены. Весовые файлы представлены в формате safetensors. Лицензия — Apache-2.0.

Модель t-firefly/qwen3-1.7b-rknn3-rk1828 — адаптация Qwen3-1.7B, разработанной командой Qwen, для запуска на устройстве RK1828 через LlamaPi. Это плотная причинная языковая модель с 1,7 млрд параметров; репозиторий содержит веса в формате GGUF. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования и рассуждений. Поддерживает режимы с рассуждением и без него, а также более 100 языков и диалектов. Контекстное окно составляет 40 960 токенов. Модель подходит для локальных сценариев на периферийных устройствах, где нужны компактный диалоговый помощник, ответы на инструкции или помощь с кодом. Метаданные отмечают интерфейс вызова инструментов, однако подробности его использования в карточке не приведены. Лицензия — Apache-2.0.

mlx-community/Qwen3-235B-A22B-4bit — это 4-битная версия модели Qwen3-235B-A22B, преобразованная в формат MLX сообществом mlx-community с использованием mlx-lm 0.24.0. Исходную модель разработала команда Qwen; README указывает базовую модель Qwen/Qwen3-235B-A22B. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm, в том числе в диалоговом режиме с применением chat template. Указаны общий размер 235B параметров и обозначение A22B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекста в README не приведены. Ключевое преимущество этой версии — 4-битное представление и адаптация к MLX, что ориентировано на запуск в совместимой MLX-среде; ограничения производительности, качества и требований к оборудованию не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-MLX-8bit — это 8-битная квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507, подготовленная в формате MLX для эффективной работы на устройствах с Apple Silicon. Исходную модель разработала команда Qwen, а квантизацию выполнила команда LM Studio с использованием инструмента mlx_lm. Модель предназначена для генерации текста и работы с инструкциями в сценариях, поддерживаемых исходной instruct-моделью. В README указаны общий размер исходной модели — 235B параметров — и обозначение A22B, однако дополнительные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях не приведены. Формат MLX ориентирован на локальный запуск на компьютерах Apple Silicon, а 8-битное представление снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. Модель распространяется по лицензии Apache-2.0. README не содержит подробностей о результатах тестирования, производительности, ограничениях безопасности или качестве на отдельных языках и задачах, поэтому эти характеристики требуют дополнительной проверки.

Это пакет слоёв GGUF для модели Qwen3-235B-A22B-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого запуска на локальном кластере. Он получен из unsloth/Qwen3-235B-A22B-GGUF и сохраняет исходное распределение весов, разбитое на артефакты по слоям. Вариант UD-Q4_K_XL использует квантизованный формат GGUF; исходная модель относится к семейству Qwen3 и содержит 235 млрд параметров общей ёмкости с архитектурой MoE на 22 млрд активных параметров. Пакет предназначен для локального приватного чата и генерации текста, когда веса нужно распределить между несколькими машинами. Mesh LLM предоставляет OpenAI-совместимый интерфейс для запросов chat/completions. В метаданных указана библиотека mesh-llm и лицензия Apache-2.0. Языки и длина контекста в предоставленных данных не установлены; подробности архитектуры и поведения следует сверять с карточкой исходной модели.

Карточка модели localized-ft/Qwen3-32B-target-only-no-hallucination-ip-20260920-seed1 на Hugging Face совпадает с карточкой localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1, поэтому описание составлено по ней. Модель localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1 разработана localized-ft как дообученная версия Qwen/Qwen3-32B. Это плотная причинная языковая модель семейства Qwen3 с 29,7 млрд параметров, предназначенная для диалога и генерации текста; каталог также отмечает интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL. Модель принимает текст и выдаёт текст. Её контекстное окно составляет 40 960 токенов; в метаданных указан английский язык. Карточка не раскрывает состав обучающих данных и конкретную специализацию, поэтому название репозитория само по себе не позволяет надёжно установить назначение оценки «хорошего» и «плохого» или многозадачного обучения. Лицензия — Apache-2.0.

Это пакет слоёв GGUF модели Qwen3-32B-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса на локальном кластере. Он получен из unsloth/Qwen3-32B-GGUF и сохраняет исходное распределение GGUF в виде отдельных артефактов по слоям; вариант модели — UD-Q4_K_XL, библиотека запуска — mesh-llm. Пакет предназначен для приватного локального чата и генерации текста, в том числе с распределением вычислений между несколькими машинами, когда полной модели не хватает места на одном узле. Через локальный API Mesh LLM поддерживаются совместимые с OpenAI запросы к chat completions. Данные о размере модели, длине контекста, поддерживаемых языках и лицензии следует сверять с карточкой исходной модели unsloth/Qwen3-32B-GGUF; доступные сведения здесь их не приводят.

DavidAU/Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored — текстовая MoE-модель для генерации ответов и творческого письма. По карточке автора, это объединение 12 дистиллированных моделей Qwen3 по 4 млрд параметров, включая модели с рассуждением; пользователь может выбирать экспертов, указывая их имена в запросе. В метаданных указаны архитектура Qwen3 MoE, 3,7 млрд параметров, библиотека Transformers и контекст до 262 144 токенов; автор заявляет об активации двух экспертов по умолчанию и возможности задействовать до 12. Модель предназначена для диалогов, рассуждений, математики, программирования и создания художественных текстов, в том числе хоррора и романтики. Сильная сторона — переключение между экспертами для разных запросов; результат и скорость зависят от выбранных экспертов и их числа. Автор предупреждает, что модели нужно явно задавать желаемый стиль и уровень откровенности, а чрезмерное квантование может заметно ухудшить работу. По README, модель аблитерирована для уменьшения отказов и рассчитана на генерацию откровенного, в том числе NSFW-контента. Лицензия в метаданных — Apache-2.0.

AtomicChat/Qwen3-4B-DFlash-GGUF — это текстовая генеративная модель в формате GGUF, созданная Atomic Chat на основе оригинальных весов z-lab/Qwen3-4B-DFlash-b16. Модель предназначена для локального и полностью офлайн-использования в llama.cpp, Ollama, LM Studio, Jan и приложении Atomic Chat, включая диалоговые сценарии и генерацию текста. Согласно README, модель имеет плотную decoder-архитектуру DFlashDraftModel, 5 слоёв, 32 attention heads и 8 KV heads, словарь из 151 936 токенов и контекст до 40 960 токенов. Поддерживается только текстовая модальность. В карточке указано 0,5 млрд параметров, а доступный квант Q8_0 занимает около 0,6 ГБ; при этом название базовой модели содержит обозначение 4B, поэтому размер следует трактовать с осторожностью. Ключевая особенность репозитория — самостоятельная квантизация Atomic Chat с использованием importance matrix для каждого варианта, что должно сохранять качество исходной модели при низкой разрядности. Ограничения включают отсутствие мультимодальности и необходимость применять шаблон чата Qwen3 через параметр --jinja; без него возможны некорректно сформированные диалоговые ходы. В README также рекомендована temperature 0.0. Исходная модель выпущена Z Lab по лицензии MIT, квантизированная версия подготовлена Atomic Chat.

Qwen3-4b-feedback-one-shot — диалоговая языковая модель с архитектурой Qwen3ForCausalLM, разработанная автором репозитория VladShash. Это дообученная версия formalmathatepfl/qwen3-4b-cpt на наборе данных SFT; карточка не раскрывает состав данных или конкретную специализацию дообучения. Модель содержит 3,7 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. В репозитории представлены веса Safetensors для библиотеки Transformers. Лицензия указана как other, поэтому условия использования следует проверять в файлах репозитория. Подробных результатов оценки и описания известных ограничений автор не предоставил.

DavidAU/Qwen3-4B-Gemini-TripleX-High-Reasoning-Thinking-Heretic-Uncensored-GGUF — текстовая генеративная модель для задач диалога, ролевого взаимодействия, написания художественных текстов, программирования, математики, обучения и ответов на вопросы. Она создана DavidAU на основе объединения трёх дистиллированных моделей TeichAI, производных от Qwen3-4B-Thinking-2507 и ориентированных на reasoning-возможности Gemini 3 Pro Preview, Gemini 2.5 Flash и Gemini 2.5 Flash Lite Preview. Модель предназначена для генерации текста, включая связную прозу, развитие сюжетов и сцен, научную фантастику, романтические произведения, хоррор и другие жанры. В README заявлены сжатое рассуждение, контекст до 256K токенов и поддержка английского языка. Модель распространяется в формате GGUF; для работы с некоторыми интерфейсами требуется совместимая конфигурация, а автор рекомендует использовать smoothing factor 1.5 или альтернативно repetition penalty в диапазоне 1.1–1.15. К заявленным особенностям относятся сниженный уровень отказов и отсутствие обычных ограничений на содержание, включая NSFW-материалы, однако эти характеристики основаны на описании автора и могут зависеть от конкретной задачи и настроек. README не содержит подробных сведений о точной архитектуре объединения, количестве параметров сверх обозначения 4B, доступных квантизациях и объективных результатах тестирования. Лицензия модели — Apache 2.0.

6block/Qwen3-4B-GGUF — набор GGUF-квантизированных версий модели Qwen3-4B, разработанной Qwen и подготовленной 6block с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантования от Q8_0 до Q2_K размером примерно от 4,28 до 1,67 ГБ. Квантизация выполнена с imatrix на калибровочном наборе данных, содержащем английский и китайский языки, а также большое количество программного кода, что должно помогать сохранять качество китайского языка и задач программирования в низкобитных версиях. Для большинства сценариев рекомендуются Q6_K, Q5_K_M и Q4_K_M; варианты IQ ориентированы на уменьшение размера с компромиссом по скорости или качеству. Модель подходит для локальных чат-приложений, генерации текста и программирования при ограниченных ресурсах. Основные ограничения связаны с потерями качества, зависящими от выбранного уровня квантования, а также с отсутствием в README сведений об архитектурных деталях и размере контекста. Лицензия — Apache 2.0.

MaziyarPanahi/Qwen3-4B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-4B, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. В репозитории представлены варианты с квантованием 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp и рядом клиентских приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и candle. Это позволяет использовать модель с аппаратным ускорением, локальным пользовательским интерфейсом или OpenAI-совместимым сервером, в зависимости от выбранного инструмента. К сильным сторонам относятся несколько уровней квантования и широкая совместимость с экосистемой локального инференса, что помогает выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. README не содержит сведений о точной архитектуре, размере контекста, поддерживаемых языках, модальностях, результатах оценки и ограничениях исходной Qwen3-4B. Лицензия в предоставленных данных не указана.

Qwen3-4B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Квантование выполнено с использованием MLX командой LM Studio на базе инструментов mlx_lm. Модель оптимизирована для работы на устройствах Apple Silicon, что делает её подходящей для локального запуска при ограниченных ресурсах. Известно, что она содержит около 4 миллиардов параметров и использует 4-битное представление, однако сведения о поддерживаемых языках, длине контекста и точной архитектуре в README не указаны. К сильным сторонам относятся компактный размер, сниженные требования к памяти и оптимизация под Apple Silicon. К ограничениям относятся возможное снижение качества по сравнению с полноразмерной или менее агрессивно квантованной версией, а также отсутствие в предоставленных данных подробных характеристик производительности и языкового покрытия. Модель распространяется по лицензии Apache-2.0.

Heatw4ve/Qwen3-4B-Instruct-2507-rewriter-gguf — англоязычная модель, дообученная Heatw4ve на базе unsloth/Qwen3-4B-Instruct-2507 для переписывания текста, созданного ИИ, более естественным и похожим на человеческий стилем. Она предназначена для локального запуска через LM Studio, Ollama или llama.cpp и подходит для редактирования коротких фрагментов примерно от 15 до 150 слов, сохраняя исходный смысл и фактическое содержание. В основе лежит Qwen3-4B-Instruct-2507; модель обучена методом SFT с LoRA и распространяется в формате GGUF с квантизацией Q4_K_M. Карточка указывает английский язык. Базовая модель имеет контекст до 262 144 токенов, однако отдельная длина контекста этой версии не указана. Лицензия — Apache-2.0. Модель ориентирована на локальный инференс, исследования и эксперименты.

OP12138/qwen3-4b-thinking-star1 — дообученная автором OP12138 языковая модель на основе Qwen/Qwen3-4B-Thinking-2507, обученная на наборе данных star1. Это плотная модель Qwen3 с 3,7 млрд параметров для генерации текста и диалогового взаимодействия; заявленное контекстное окно — 262 144 токена. Карточка не уточняет специализацию датасета star1, поэтому назначение модели можно определить только как общее текстовое общение и генерацию. Модель принимает и выдаёт текст. Репозиторий содержит веса в формате safetensors, используется библиотека Transformers. Лицензия указана как other, поэтому условия повторного использования следует проверить в карточке модели и у базовой модели. Сведения о языках и результаты оценки качества не приведены.

aufklarer подготовил текстовую чат-версию Qwen3.5-0.8B для локального запуска на устройствах Apple Silicon через MLX. Это плотная гибридная архитектура Qwen3.5 с 24 слоями: 18 слоёв DeltaNet с линейным вниманием и 6 слоёв GatedAttention. В репозитории опубликованы варианты квантования INT4, INT5 и INT8; размер модели в карточке указан как 752 млн параметров, а файлы занимают от 424 до 800 МБ. Модель принимает текст и генерирует текст, поддерживает языки, перечисленные в метаданных, включая русский, английский и китайский. Модель предназначена для локального чата и генерации текста, в том числе структурированных ответов в формате JSON. По измерениям автора, INT8 близок к bf16 по качеству; INT4 заметно чаще нарушает формат JSON, поэтому для таких ответов рекомендуется INT5 или INT8. Vision tower и голова многотокенного предсказания исключены, поэтому эта сборка не обрабатывает изображения. Для INT5 и INT8 требуется совместимый runtime, который читает параметры квантования из config.json; имена весов также несовместимы напрямую с mlx-lm. Лицензия — Apache-2.0.

Qwen3.5-122B-A10B-abliterated-NVFP4 — производная версия модели wangzhang/Qwen3.5-122B-A10B-abliterated, основанной на Qwen/Qwen3.5-122B-A10B. Репозиторий поддерживается автором bjk110 и предназначен для локального запуска и сервинга текстовой генерации. Модель использует архитектуру Qwen3.5 MoE с 256 маршрутизируемыми экспертами, из которых активно 10 млрд параметров. Она поддерживает английский, корейский, китайский и японский языки. Контекстное окно может достигать 131 072 токенов при использовании указанной конфигурации vLLM. Это текстовая версия мультимодальной архитектуры: в данном чекпойнте присутствуют только текстовые веса, поэтому мультимодальные сценарии не поддерживаются. Основное изменение — квантизация NVFP4 с использованием compressed-tensors. Квантизированы маршрутизируемые и общие эксперты, а также self-attention; linear attention, эмбеддинги, нормализации и гейты сохранены в BF16. Размер уменьшен с 228 ГБ в BF16 до 71,2 ГБ, формат хранения — safetensors в двух шардах. Сильными сторонами являются существенное снижение требований к памяти и совместимость с NVFP4 MoE-ядром vLLM. Ограничения включают необходимость специального патча vLLM, зависимость от совместимого оборудования NVIDIA и отсутствие мультимодальных возможностей; заявленные показатели производительности проверены на NVIDIA DGX Spark и не гарантируются для других конфигураций. Модель распространяется по лицензии Apache-2.0.