I.6Перевод и языковая адаптация

psx7/llama4B — текстовая модель семейства Llama, представленная в формате MLX; README указывает, что её преобразовали из rasyosef/Llama-3.1-Minitron-4B-Chat с помощью mlx-lm 0.18.1. По метаданным, модель содержит 3,9 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Каталог связывает её с базовой моделью nvidia/Llama-3.1-Minitron-4B-Width-Base и датасетом OpenHermes-2.5; модель предназначена для генерации текста и диалогового использования. Репозиторий содержит веса в GGUF и safetensors, а README описывает использование через mlx-lm. Указана лицензия «other», поэтому точные условия использования следует проверять в файлах лицензии репозитория.

MeliodasPercival_01_T3qm7xStrangemerges_32 — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная слиянием automerger/MeliodasPercival_01-7B и automerger/T3qm7xStrangemerges_32-7B. Она предназначена для генерации текста и диалогов; принимает текстовые запросы и выдаёт текст. Контекст составляет до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Mengzi3-8B-Chat — диалоговая языковая модель Langboat для генерации текста. В метаданных указаны плотная архитектура семейства Llama, класс LlamaForCausalLM и 7,5 млрд параметров; модель распространяется в формате safetensors и рассчитана на контекст до 8192 токенов. Модель предназначена для чат-общения и генерации ответов на китайском и английском языках. В карточке приведены результаты оценок MMLU, GSM8k и MATH, указывающие на проверку общих знаний и математических задач. Лицензия — Apache-2.0. Разработчики предоставляют модель без гарантий и призывают соблюдать требования закона и проводить необходимые проверки перед использованием в интернет-сервисах.

Meta-Llama-3-120B-Instruct-GGUF — GGUF-квантизированная версия community-модели Meta-Llama-3-120B-Instruct, созданной Maxime Labonne (mlabonne) с использованием self-merge через MergeKit на базе Meta-Llama-3-70B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp. Модель предназначена для генерации текста общего назначения и диалогового взаимодействия, включая работу в LM Studio. Модель относится к семейству Llama 3, имеет заявленный размер 120B параметров и поддерживает текстовую модальность. Точные сведения о контексте, языках и конфигурации архитектуры в README не указаны. Для корректного взаимодействия рекомендуется использовать шаблон запросов Llama 3 и системный промпт помощника. Self-merge направлен на расширение возможностей без дополнительных затрат на обучение, однако README не содержит независимых результатов оценки качества. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Лицензия обозначена как other; конкретные условия использования в README не раскрыты, их следует уточнять на странице исходной модели.

Это 4-битная версия Meta-Llama-3.1-405B-Instruct, преобразованная сообществом mlx-community из формата исходной модели в формат MLX с помощью mlx-lm 0.16.0. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 408 млрд параметров; она предназначена для генерации текста и диалогового использования на устройствах Apple Silicon, поддерживающих MLX. Модель принимает текстовые запросы и выдаёт текст. Контекстное окно составляет до 131 072 токенов. В карточке указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Качество и удобство локального запуска зависят от доступных вычислительных ресурсов; 4-битное представление снижает требования к памяти по сравнению с полной точностью. Модель распространяется по лицензии Llama 3.1, условия которой следует соблюдать при использовании.

mlx-community/MiniCPM5-2B-bf16 — конвертированная в формат MLX версия языковой модели MiniCPM5-2B от OpenBMB. Это плотная авторегрессионная модель архитектуры LlamaForCausalLM с 2,2 млрд параметров; веса сохранены в safetensors и представлены в bf16 без квантизации. Модель предназначена для диалоговой генерации текста, а базовая модель рассчитана на локальных ассистентов, длинный контекст и вызов инструментов. Модель поддерживает английский и китайский языки и имеет контекстное окно до 131 072 токенов. Репозиторий рассчитан на запуск через mlx-lm на устройствах с MLX. Лицензия — Apache-2.0. README описывает преобразование весов в MLX, а не отдельное дообучение; метаданные связывают её с openbmb/MiniCPM5-2B как finetune.

unsloth/MiniMax-M2.5-GGUF — это GGUF-версия языковой модели MiniMax-M2.5, подготовленная Unsloth на основе модели MiniMaxAI/MiniMax-M2.5. Она предназначена для локального запуска и генерации текста, включая использование через совместимые инструменты и библиотеки экосистемы Transformers. В README указано, что модель относится к классу text-generation и распространяется в формате GGUF с применением метода квантования Unsloth Dynamic 2.0. Заявляется, что этот метод обеспечивает высокую точность по сравнению с другими вариантами квантования. Архитектура, количество параметров, поддерживаемые языки, размер контекста и дополнительные модальности в предоставленных данных не указаны; по доступной информации модель является текстовой и не описана как мультимодальная. Основные преимущества — возможность локального запуска и наличие оптимизированных квантованных вариантов, потенциально снижающих требования к ресурсам по сравнению с полноразмерной моделью. Ограничения, результаты тестирования и рекомендуемые аппаратные требования в README не приведены. Лицензия обозначена как modified-MIT; подробные условия следует проверять в файле лицензии MiniMax-AI по указанной в карточке ссылке.

MoNeuTrix-7B-v1 — слитая языковая модель CultriX на архитектуре Mistral с 7,1 млрд параметров. Она создана методом DARE-TIES с помощью LazyMergekit на основе нескольких моделей, включая Kukedlc/NeuralMaxime-7B-slerp, mlabonne/Monarch-7B и eren23/ogno-monarch-jaskier-merge-7b; конфигурация также указывает CultriX/MonaTrix-v4 как базовую модель слияния. Модель предназначена для генерации текста и общих языковых задач, а контекст поддерживает до 32 768 токенов. Репозиторий содержит веса в формате safetensors, в конфигурации слияния указан bfloat16. Лицензия — Apache-2.0.

Neuron-V1-Distill-Qwen2-14B-i1-GGUF — это GGUF-квантизация 14-миллиардной инструкционной модели Neuron-V1-14B-Instruct, разработанной Neura-Tech-AI и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста и работы с инструкциями, а также может использоваться в локальных приложениях и средах, поддерживающих формат GGUF. В карточке указаны поддерживаемые языки английский и хинди. Модель относится к семейству Qwen2 и рассчитана на текстовый ввод и вывод; сведения о мультимодальности и размере контекстного окна отсутствуют. Доступно множество вариантов квантизации i1, отличающихся размером, скоростью и качеством. Среди них i1-Q4_K_M обозначен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Некоторые варианты с низкой разрядностью имеют заметно сниженное качество. Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимое программное обеспечение, поддерживающее GGUF; конкретные требования к оборудованию и рекомендуемый объём оперативной памяти в карточке не указаны.

Orion-14B-Base — базовая мультиязычная большая языковая модель, разработанная OrionStarAI и обученная с нуля. Она содержит 14,1 млрд параметров и обучена на корпусе объёмом 2,5 трлн токенов. Модель использует плотную архитектуру OrionForCausalLM и доступна в формате PyTorch. Модель предназначена для генерации текста и служит основой для прикладных систем и последующего дообучения. По описанию разработчика, она рассчитана на работу с китайским, английским, японским и корейским языками, а также демонстрирует сильные результаты в многоязычных оценках. Заявленная длина контекста — 4096 токенов; возможность обработки сверхдлинных текстов относится к отдельной версии Orion-14B-LongChat. Карточка также отмечает возможности в задачах, связанных с кодом. Ограничения и условия лицензии в предоставленном фрагменте README не описаны; результаты из таблиц оценки не позволяют сделать вывод о качестве для конкретной задачи.

Ornith-1.5-35B-A3B-abliterated-NVFP4 — квантованная версия языковой модели Ornith-1.5-35B-A3B, разработанной ornith-ai, с изменёнными весами от pottokao. Из модели удалено направление, связанное с отказами в ответах, поэтому она не реализует стандартное защитное поведение и предназначена для исследовательских и прикладных сценариев генерации текста, где требуется меньше ограничений на содержание. Модель работает только с текстом: в сборке отсутствуют vision tower и MTP head. Это MoE-модель с заявленным размером 35B и активной частью около 3B параметров; архитектура сочетает слои линейного внимания Mamba-типа и обычного self-attention. Основная часть весов использует NVFP4 W4A16 с group size 16, отдельные проекции — FP8 W8A8, а некоторые компоненты сохранены в BF16. Поддерживается запуск через Transformers и vLLM; автор проверял работу на двух GPU RTX 5070 Ti по 16 ГБ, с контекстом до 131 072 токенов в указанной конфигурации и FP8 KV-кэшем. Для ускорения генерации предусмотрено использование speculative decoding с DFlash. К сильным сторонам относятся относительно небольшое потребление памяти для модели такого класса, возможность запуска на двух потребительских GPU, большой доступный контекст и интеграция с vLLM. Ограничения включают текстовую модальность, отсутствие защитных отказов, зависимость производительности от специализированных NVFP4/FP8-ядер и настроек vLLM, а также ограниченный бюджет KV-кэша при нескольких параллельных запросах. Модель распространяется по лицензии MIT; лицензия включённых компонентов и черновой модели DFlash может регулироваться отдельно.

Piyola-v1 — модель автоматического распознавания речи на узбекском языке, созданная дообучением Whisper Large V3 Turbo. Она принимает аудио и преобразует речь в текст; подходит для транскрибации узбекских записей. Модель основана на архитектуре Whisper, содержит около 905,2 млн параметров и опубликована в формате safetensors с точностью BF16. Лицензия — Apache-2.0.

Карточка модели DdaanZzubb/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели DongfuJiang/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

MaziyarPanahi/Qwen3-14B-GGUF — это набор файлов модели в формате GGUF для Qwen3-14B. Исходную модель разработала команда Qwen, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. В репозитории представлены варианты с квантованием от 2 до 8 бит, что позволяет выбирать компромисс между качеством, размером файлов и требованиями к памяти. Формат GGUF поддерживается, в частности, llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другими решениями. Это делает модель подходящей для локальных чат-интерфейсов, серверов генерации текста и приложений с OpenAI-совместимым API. README не содержит подробных сведений об архитектуре, поддерживаемых языках, размере контекста, модальностях, результатах оценки или сравнении качества вариантов квантования. Поэтому сильные стороны модели можно связывать с разнообразием уровней квантования и широкой поддержкой локальных инструментов, однако возможное снижение качества на более компактных вариантах следует учитывать. Лицензия в представленном README не указана; условия использования исходной Qwen3-14B и опубликованных квантованных файлов необходимо проверять отдельно.

Qwen3-14B-MLX-4bit — это 4-битная версия языковой модели Qwen3-14B, разработанная Qwen и преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и запуска локальных сценариев на устройствах, совместимых с MLX, включая применение через библиотеку mlx-lm. Модель основана на Qwen/Qwen3-14B и содержит 14 миллиардов параметров. Она относится к моделям text-generation и поддерживает работу с текстовыми запросами; в README не указаны точные языки, длина контекста, дополнительные модальности или подробности архитектуры. При наличии chat template модель может использоваться в формате диалога с ролями пользователя и ассистента. Ключевые преимущества — компактное 4-битное представление, адаптация к экосистеме MLX и возможность локального запуска через стандартные инструменты mlx-lm. Ограничения связаны с потерями качества, возможными для квантизированной версии, а также с отсутствием в README подробных данных о производительности, поддерживаемых языках и требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

k1nto/Qwen3-14B-Q5_K_M-GGUF — это квантизированная версия базовой модели Qwen/Qwen3-14B, преобразованная пользователем k1nto в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и запуска локального вывода через llama.cpp, включая режим командной строки и серверный режим. Известно, что модель содержит около 14 миллиардов параметров и использует квантизацию Q5_K_M, которая уменьшает требования к памяти по сравнению с полноразмерной версией, сохраняя значительную часть качества. Поддерживаются сценарии диалога, дополнения текста и другие задачи генерации, совместимые с базовой моделью Qwen3-14B. Точные архитектурные особенности, список языков и размер контекстного окна в представленном README не указаны. Преимуществами являются компактный GGUF-формат, совместимость с llama.cpp и возможность локального запуска на подходящем CPU или GPU. Ограничения включают потенциальную потерю качества из-за квантизации, зависимость от настроек и аппаратных ресурсов, а также отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Это пакет слоёв GGUF-модели Qwen3-30B-A3B-Thinking-2507-UD-Q4_K_XL для распределённого запуска в Mesh LLM. Его подготовил Mesh LLM на основе unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF; веса исходной модели разбиты на артефакты по слоям для распределённого инференса. Пакет предназначен для локального приватного общения с моделью, запуска на нескольких машинах, если целая модель не помещается на одном узле, и работы через локальный API Mesh LLM, совместимый с OpenAI Chat Completions. Это разговорная модель семейства Qwen3 в формате GGUF, вариант UD-Q4_K_XL. Репозиторий использует библиотеку mesh-llm и распространяется по лицензии Apache-2.0. Архитектурные детали, число параметров, контекстное окно и языки в доступных сведениях о пакете не приведены; за ними README отсылает к карточке исходной модели.

enacimie/Qwen3-4B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-4B, преобразованная в формат GGUF с использованием llama.cpp через сервис GGUF-my-repo. Исходная модель разработана командой Qwen, а данный репозиторий предназначен для запуска в экосистеме llama.cpp. Модель относится к классу text-generation и работает с текстовыми входными и выходными данными. Ключевая характеристика этой версии — квантизация Q4_K_M, уменьшающая требования к памяти по сравнению с полноразмерной моделью. Размер базовой модели составляет 4B параметров. Модель можно использовать локально через llama-cli или llama-server, в том числе для генерации текста и развёртывания локального сервера inference. В README приведён пример контекста длиной 2048 токенов, однако максимальный размер контекста, поддерживаемые языки и подробности архитектуры не указаны. Лицензия — Apache-2.0.

Qwen3.5-35B-A3B RAMP v2 — GGUF-квантизация модели Qwen/Qwen3.5-35B-A3B, подготовленная независимым ML-исследователем Кевином Ремондером. Это генеративная MoE-модель для диалогов; сборка оптимизирована для запуска на видеокарте RTX 5060 Ti с 16 ГБ памяти и занимает около 15,2 ГБ. В README описана схема RAMP: точность квантизации выбирается отдельно для тензоров с учётом их чувствительности, а калибровочная imatrix создавалась на англо- и франкоязычных текстах, коде и клинических данных. Модель предназначена для локального текстового диалога и генерации, в том числе на английском, французском и китайском языках. В качестве основы использована Qwen3.5-35B-A3B; метаданные каталога указывают поддержку чата. Для запуска автор приводит инструкции с llama.cpp и рекомендует ik_llama.cpp для видеокарт sm_120. README сообщает о функциональной проверке 30 из 30 тестов, но не приводит подробных результатов бенчмарков. Репозиторий распространяется по лицензии Apache-2.0.

CodeShield/Qwen3.5-9B-Instruct — инструкционная текстовая генеративная модель семейства Qwen, опубликованная на Hugging Face под организацией CodeShield. Модель предназначена для диалогового взаимодействия и генерации текста по инструкциям; для работы предполагается использование библиотеки Transformers. Из идентификатора модели следует размер порядка 9 млрд параметров и ориентация на instruction-tuning, однако подробности архитектуры, обучения и состава данных в доступных материалах не описаны. Модель может применяться для ответов на вопросы, ведения диалога, создания и преобразования текстов, а также в составе приложений на базе conversational AI. Лицензия, поддерживаемые естественные языки и длина контекста в предоставленных данных не указаны. README содержит шаблонную автоматически созданную карточку без результатов оценки и конкретных рекомендаций по использованию, поэтому модель следует дополнительно проверять на качество, безопасность и соответствие задачам перед применением.

Это квантованная в формате NVFP4 сборка Qwen3.5-9B, подготовленная FreedomAISVR для запуска через GGUF и llama.cpp. Она сохраняет поддержку Multi-Token Prediction (MTP): модель предсказывает дополнительный токен на шаге генерации, что, по данным карточки, может увеличить пропускную способность на 30–40%. В README указаны 9 млрд параметров у базовой модели, гибридная архитектура с Attention и Mamba-2, механизм Multi-Head Latent Attention и контекст до 262 144 токенов. Модель предназначена для генерации текста и мультимодального диалога с анализом изображений; для визуального ввода в репозитории предусмотрен отдельный проектор SigLIP в формате F16. NVFP4 рассчитан прежде всего на ускорение инференса на видеокартах NVIDIA Blackwell, а для запуска через llama.cpp приведены текстовый и мультимодальный сценарии. Базовая Qwen3.5-9B описана как мультиязычная; в метаданных явно указаны английский и китайский. Сборка опубликована по лицензии Apache-2.0. NVFP4 может быть неудобен для видеокарт до Blackwell и для запуска на CPU; README рекомендует для таких систем другие варианты квантования. Утверждение о приросте скорости MTP приведено в карточке модели и зависит от оборудования и условий инференса.

Qwen3.6-35B-A3B-Q6_K-GGUF — это квантизированная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с использованием llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в сценариях с высокой нагрузкой на CPU; использовать её можно через llama.cpp и совместимые инструменты. Модель имеет архитектуру mixture-of-experts (MoE), что отражено в обозначении 35B-A3B: общий размер составляет около 35 млрд параметров, а активными при обработке, предположительно, являются около 3 млрд параметров. Вариант Q6_K использует 6-битное квантизирование и позиционируется как версия с очень высоким качеством при меньшем размере по сравнению с полной моделью. В метаданных указано назначение image-text-to-text, однако сведения о поддерживаемых языках, точном размере контекста, визуальном модуле и фактических мультимодальных возможностях отсутствуют. Сильными сторонами являются локальный запуск, совместимость с экосистемой GGUF и llama.cpp, а также компромисс между качеством и требованиями к ресурсам. Ограничения связаны с потерями качества, возможными для квантизированной версии, потребностью подобрать параметры потоков и контекста под конкретное оборудование и отсутствием подробных данных о производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-REAM-192-heretic-APEX-GGUF — предварительная серия смешанных по точности GGUF-квантизаций модели keithnull/Qwen3.6-35B-A3B-REAM-192-heretic, основанной на архитектуре Qwen3.6 и разработанной сообществом вокруг Qwen. Модель распространяется в формате, совместимом с llama.cpp, и использует APEX (Adaptive Precision for EXpert Models) для MoE-aware квантизации экспертных слоёв. Доступны варианты размером примерно 12–19 ГБ с эффективной точностью около 3,80–5,91 BPW. Названия файлов с суффиксами Q3_K или Q5_K являются только подсказкой для каталогов и не отражают единственный тип квантизации: внутри используются комбинации K- и IQ-форматов, включая Q3_K, Q4_K, Q5_K, Q6_K, IQ2_S, IQ4_XS и Q8_0. Модель предназначена для локального текстового диалога и генерации текста, а также может использовать изображения при подключении совместимого vision-проектора mmproj-REAP-26B-F16.gguf через llama-server и OpenAI-совместимый chat-completions API. Архитектура сохраняет vision tower Qwen3.6-VL, совместимые скрытое пространство и токенизатор, однако опубликованные GGUF-файлы содержат только текстовые веса. Вариант Mini рассчитан на видеокарты с 16 ГБ VRAM, а I-Compact позиционируется как вариант для повседневного использования в классе размера стандартной Q4_K_M. Сильные стороны серии — MoE-ориентированная смешанная точность, наличие вариантов с imatrix-калибровкой и разные компромиссы между качеством, размером и скоростью декодирования. При этом релиз является preview: для этой APEX-рецептуры ещё не опубликованы измерения perplexity, KL-divergence и академических бенчмарков; проверка ограничивалась оценкой Heretic, качественной проверкой пяти промптов на BF16-весах и базовыми тестами связности генерации. Модель распространяется по лицензии Apache-2.0.

Brooooooklyn/Qwen3.8-27B-MXFP4-mlx — это квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX для Apple Silicon. Модель предназначена для генерации текста, работы с изображениями и текстом, а также задач программирования. Она относится к семейству Qwen3.5 и использует плотную языковую архитектуру из 64 слоёв: 48 слоёв с линейным вниманием и 16 слоёв с полным вниманием. В составе также есть BF16 vision tower и один слой MTP для ускоренного спекулятивного декодирования. Веса используют смешанную weight-only квантизацию: MXFP4 с группами по 32 элемента для части FFN-слоёв и MXFP8 с группами по 32 элемента для остальных основных модулей, включая attention, lm_head и последние восемь FFN-слоёв. Эмбеддинги, нормализации, vision tower, MTP-подсистема и другие исключённые тензоры сохранены в BF16. Контекстное окно и полный список поддерживаемых языков в представленном описании не указаны. Модель рассчитана на локальный запуск в экосистеме MLX и требует @mlx-node/lm и @mlx-node/core версии 0.0.10 или новее. К преимуществам относятся существенное уменьшение размера весов и совместимость с Apple Silicon, однако README не содержит результатов оценки качества, производительности, работы с длинным контекстом или изображениями, поэтому эти характеристики не подтверждены. Квантизация не использует калибровочные данные и не гарантирует эквивалентность NVIDIA NVFP4 или калиброванным схемам W4A4/W8A8. Исходная модель распространяется по лицензии Apache-2.0; вклад в возможности и обучение принадлежит Qwen Team, рецепт квантизации разработан Unsloth.

unsloth/Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, представленная Unsloth как версия с оптимизацией Dynamic 2.0. Это базовая модель на этапе предварительного обучения, предназначенная для генерации текста и дальнейшей адаптации под прикладные задачи. Архитектура — причинная языковая модель Qwen3ForCausalLM; в метаданных указано 7,6 млрд параметров, в README — 8,2 млрд параметров и 6,95 млрд без эмбеддингов. Контекст составляет 32 768 токенов. Базовая модель Qwen3 обучалась на многоязычном корпусе, включавшем 119 языков, а также данные по программированию, STEM, рассуждениям и общим знаниям. Модель подходит как основа для дообучения и экспериментов с генерацией текста; карточка отдельно рекомендует актуальную версию Transformers. Указана лицензия Apache-2.0. README сообщает о преимуществе точности Dynamic 2.0 относительно других квантованных версий, однако формат репозитория в метаданных — safetensors, поэтому не следует считать эту копию квантованной.

Qwen3.8-Flash-Next-W4A16 — это 4-битная версия модели Qwen3.8-Flash-Next, опубликованная aixiaoma и предназначенная для запуска на потребительских GPU NVIDIA Ampere. Модель использует INT4-квантизацию W4A16 с группами по 128 элементов, симметричными масштабами и форматом compressed-tensors. Архитектурно это мультимодальная модель image-text-to-text с MoE-компонентом: квантифицированы основные экспертные и attention-матрицы, тогда как чувствительные компоненты, включая vision encoder, эмбеддинги, маршрутизатор, GDN/linear attention, PLE-таблицы и MTP-модуль, сохранены в BF16. Точные размеры, список поддерживаемых языков и параметры контекстного окна в README явно не приведены, однако указано, что исходная BF16-модель имеет около 335 ГБ, а квантифицированная версия занимает около 168 ГБ на диске. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку изображений и текста, а также инференс с длинным контекстом. Она запускается через специальную сборку vLLM с поддержкой qwen4_exp, Marlin kernels и PLE offload. На конфигурации из 4 RTX 3090 поддерживается контекст до 96 тысяч токенов, а на 8 RTX 3090 — полный заявленный контекст до 262 тысяч токенов. MTP-модуль сохранён в BF16, поэтому доступно speculative decoding; по данным авторов, для однопоточного декодирования это даёт прирост примерно на 57 процентов. К сильным сторонам относятся возможность запуска на широко распространённых GPU Ampere без поддержки FP8, сохранение качества на заявленном наборе greedy-тестов на уровне базовой модели и существенное сокращение объёма GPU-памяти за счёт выгрузки 102 ГБ PLE-таблиц в оперативную память. Ограничения включают высокие требования к оборудованию и минимум около 110 ГБ свободной оперативной памяти, обязательное использование expert parallelism, специальные параметры Docker и vLLM, а также необходимость отключить torch.compile из-за проблем с компиляцией на Ampere. Лицензия указана как qwen-community-1.0; также отмечена связь с базовой моделью Qwen3.8-Flash-Next.

Sarashina2.2-Vision-3B — мультимодальная языковая модель с изображениями от японской компании SB Intuitions. Она основана на Sarashina2.2-3B-Instruct и использует визуальный энкодер SigLIP; размер модели — 3,8 млрд параметров. Для работы предусмотрена библиотека Transformers, веса опубликованы в формате safetensors. Модель принимает изображения и текстовые запросы и предназначена для описания изображений, ответов на вопросы по ним, а также чтения и анализа документов, с особым вниманием к японским изображениям и тексту. Карточка приводит результаты тестов на японских и англоязычных наборах задач, включая вопросы по документам и слайдам. Модель дообучена в несколько этапов, включая настройку следования инструкциям и оптимизацию предпочтений. Модель распространяется по лицензии MIT. По данным карточки, её обучение на безопасность ограничено: ответы могут быть неточными, бессмысленными, предвзятыми или нежелательными; для практического применения разработчикам рекомендуется дополнительная настройка с учётом предпочтений людей и требований безопасности.

SauerkrautLM-Qwen-32b — диалоговая языковая модель, совместно разработанная VAGO solutions и Hyperspace.ai на базе Qwen/Qwen1.5-32B. Модель дообучена методом SFT и выровнена с помощью DPO; архитектура Qwen2, плотная причинная языковая модель с 31,7 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста на немецком и английском языках. Её можно применять для ответов на вопросы, написания текстов и работы с длинными запросами в формате помощника. В карточке приведены результаты оценки на Open LLM Leaderboard, но они не гарантируют качество для конкретной задачи. Использование регулируется лицензией tongyi-qianwen-research. Разработчики предупреждают, что модель может выдавать неподходящий или неотфильтрованный контент; её поведение не гарантированно всегда уместно.

Spaetzle-v12-7b — объединённая автором карточки модель на архитектуре Mistral с 7,1 млрд параметров, созданная с помощью LazyMergekit на основе NeuDist-Ro-7B, discolm-mfto-7b-german-v0.1 и Flora_DPO_7B; в README также указана Wiedervereinigung-7b-dpo-laser как основа слияния. Модель предназначена для генерации текста и диалоговых ответов, с акцентом на немецкий язык. По результатам, приведённым в карточке, версия немного уступает Spaetzle-v8-7b в общих англоязычных тестах и немного превосходит её в отдельных немецких задачах; например, указан результат EQ-Bench (de) 64,81. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Опубликована в формате Safetensors и распространяется по лицензии CC BY-SA 4.0.