II.4Отладка, тестирование и качество ПО

Kryton Muse v1 — плотное текстовое генеративное семейство Qwen2, созданное Kryton-Protocol как линейное слияние весов в формате SafeTensors: 90% Qwen2.5-1.5B-Instruct и 10% Qwen2.5-1.5B. Модель содержит 1,5 млрд параметров, использует токенизатор и конфигурацию генерации инструкционной версии и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом и инструкционном формате; в метаданных также отмечен интерфейс вызова инструментов. Она прошла детерминированную проверку загрузки через Transformers на CPU и тест генерации текста. Для практического применения следует оценить следование инструкциям, качество промптов, достоверность, безопасность и регрессии. Лицензия — Apache-2.0.

DS-Archive/L3.3-70B-Magnum-v4-SE-Cirrus-x1 — диалоговая языковая модель, созданная объединением моделей Sao10K и Doctor-Shotgun с помощью SLERP и mergekit. Она построена на архитектуре Llama 3.3 с плотной конфигурацией и содержит 69,5 млрд параметров; модель предназначена для генерации текста в формате диалога и поддерживает интерфейс вызова инструментов. Нативная длина контекста — до 131 072 токенов. Модель подходит для диалоговых приложений и генерации ответов с большим контекстом. В README указаны объединённые модели и метод слияния, но не приведены результаты оценки качества, сведения о поддерживаемых языках или специальные ограничения применения. Файлы опубликованы в формате safetensors; лицензия в предоставленных данных не указана.

L3-NotCrazy-8B — языковая модель bunnycore, полученная слиянием трёх моделей семейства Llama 3 с помощью mergekit. Она предназначена для генерации текста в диалогах и сочетает способности к рассуждению и решению задач, творческой ролевой игре и точному следованию инструкциям. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. В репозитории представлены веса safetensors; лицензия — Llama 3 Community License.

Abiray/LFM2.5-2.6B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели LFM2.5-2.6B, разработанной Liquid AI, с изменениями Heretic (abliterated). Модель предназначена для локального запуска, агентских сценариев, многошагового выполнения инструкций и вызова инструментов. Версия Heretic снижает склонность исходной модели к отказам на ограниченные, спорные и явные запросы, сохраняя заявленные возможности базовой модели. Модель имеет плотную архитектуру LFM2.5 с 30 слоями: 22 блока коротких свёрток с двойным управлением и 8 слоёв GQA. Она содержит около 2,69 млрд параметров, поддерживает контекст до 131 072 токенов, словарь размером 128 000 токенов и нативный вызов инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, итальянского, японского, корейского, португальского, испанского, вьетнамского, тайского, индонезийского, хинди, русского и польского языков. Доступны квантизации от Q3_K_M до Q8_0 размером примерно от 1,37 до 2,87 ГБ. Q4_K_M позиционируется как оптимальный вариант для мобильных и периферийных устройств, а Q8_0 — как вариант с минимальными потерями качества для сложных задач и интенсивного использования инструментов. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Abliteration уменьшает защитные отказы, однако README не приводит независимой оценки безопасности, качества или стабильности поведения модели. Модель распространяется по лицензии Apache-2.0. Предусмотрен полностью офлайн-запуск на CPU или GPU через llama.cpp; для корректного диалогового режима рекомендуется использовать соответствующий шаблон чата.

LiquidAI/LFM2.5-8B-A1B-MLX-4bit — 4-битная версия модели LFM2.5-8B-A1B, разработанной Liquid AI и преобразованной в формат MLX с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста, работы в качестве персонального ассистента на локальном устройстве и сценариев, требующих поддержки function calling. Она поддерживает ChatML-подобный шаблон диалога и явное рассуждение перед финальным ответом. Модель имеет архитектуру Mixture of Experts (MoE); согласно названию базовой модели, она относится к конфигурации 8B-A1B, однако подробные архитектурные характеристики и размер контекста в карточке не указаны. Квантование выполнено до 4 бит на вес с размером группы 64 и affine-режимом, при этом routing gates MoE сохранены в 8 бит. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Сильными сторонами являются уменьшенный объём модели благодаря квантованию, пригодность для запуска через MLX и поддержка function calling. Ограничения включают возможное снижение качества из-за 4-битного квантования, а также отсутствие в предоставленной карточке подробных данных о производительности, контексте и аппаратных требованиях. Модель распространяется по лицензии LFM Open License v1.0; условия следует уточнять в файле LICENSE или карточке базовой модели.

LiquidAI/LFM2.5-8B-A1B-MLX-8bit — языковая text-generation модель, разработанная Liquid AI и преобразованная в формат MLX из базовой модели LiquidAI/LFM2.5-8B-A1B с использованием mlx-lm 0.31.3. Она предназначена для запуска локально, в том числе в качестве персонального ассистента на ноутбуке, генерации текста, диалогового взаимодействия и сценариев с function calling. Модель использует архитектуру Mixture of Experts (MoE); обозначение 8B-A1B указывает на конфигурацию базовой модели, однако подробности архитектуры в README не приведены. Веса квантизированы до 8 бит с group size 64 и affine mode, а MoE-gates сохранены в 8-битном формате. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Модель работает через mlx-lm, использует ChatML-подобный шаблон и поддерживает явные рассуждения перед итоговым ответом, а также вызов функций. К сильным сторонам относятся оптимизация для MLX, 8-битная квантизация, возможность локального использования и поддержка многоязычного диалога и инструментов. Ограничения связаны с отсутствием в README сведений о размере контекста, точных характеристиках производительности, требованиях к памяти и результатах оценивания; модель также ориентирована на экосистему MLX. Условия использования определяются лицензией LFM Open License v1.0.

Ling-2.6-flash-JANGTQ — квантованная версия модели inclusionAI Ling-2.6-flash, подготовленная Jinho Jang (JANGQ-AI) для запуска через MLX на компьютерах Apple Silicon. Это гибридная MoE-модель семейства Bailing-V2.5: в README указаны около 103 млрд общих параметров и 8 млрд активируемых, 32 слоя с MLA и Lightning Linear Attention, 256 маршрутизируемых экспертов и контекст до 131 072 токенов. Заявленный размер набора весов — около 30 ГБ. Модель предназначена для диалоговой генерации текста, рассуждений, вызова инструментов и многошаговых агентных задач. Квантование JANGTQ2 использует 2-битное представление для маршрутизируемых экспертов, 8-битное для ряда остальных весов и FP16 для отдельных компонентов; конфигурация рассчитана на запуск в MLX на Apple Silicon с 64 ГБ или более памяти. Метаданные указывают библиотеку MLX и лицензию MIT. README описывает шаблон чата и формат вызова инструментов, но не перечисляет поддерживаемые естественные языки.

Llama-3.1-Tulu-3-70B — англоязычная диалоговая модель Allen Institute for AI (AI2), основанная на архитектуре Llama 3.1 и дообученная на модели allenai/Llama-3.1-Tulu-3-70B-DPO. Это плотная causal language model с 69,5 млрд параметров; карточка указывает контекст до 131 072 токенов и загрузку через Transformers. Модель входит в семейство Tülu 3, для которого AI2 публикует данные, код и рецепты постобучения. Модель предназначена для диалогов и следования инструкциям, генерации текста, математических задач и проверки выполнения сложных инструкций. В карточке упомянуты MATH, GSM8K и IFEval. Основной язык — английский. Лицензия — Llama 3.1 Community License Agreement. У модели ограничено обучение безопасности; она может выдавать проблемные ответы, особенно при соответствующих запросах. Для надёжного применения в пользовательских сценариях следует учитывать необходимость фильтрации ответов. README рекомендует для запуска через vLLM ограничивать длину модели до 8192 токенов из-за длинного шаблона диалога, хотя метаданные указывают нативный контекст 131 072 токена.

allenai/Llama-3.1-Tulu-3-8B-DPO — англоязычная диалоговая модель AI2 из семейства Tülu 3, дообученная методом DPO на основе allenai/Llama-3.1-Tulu-3-8B-SFT. Это плотная авторегрессионная модель архитектуры Llama с 7,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для следования инструкциям и общения.

unsloth/Llama-3.2-1B-bnb-4bit — 4-битная версия модели Meta Llama 3.2 с базовой моделью meta-llama/Llama-3.2-1B, подготовленная Unsloth для эффективного запуска и дообучения. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с поддержкой библиотеки Transformers. Модель работает в режиме текст-ввод — текст-вывод и предназначена для генерации текста, диалоговых приложений, суммаризации и агентных сценариев поиска информации. Модель имеет размер 1B параметров и использует квантование bnb 4-bit, что снижает требования к памяти по сравнению с полноразмерными вариантами. Для семейства Llama 3.2 заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; модель обучалась на более широком наборе языков, однако качество для языков вне официально поддерживаемых может отличаться. Контекстное окно и другие архитектурные параметры в предоставленных данных не указаны. Сильные стороны модели — компактный размер, экономичное использование памяти и удобство последующего дообучения с помощью инструментов Unsloth. Ограничения включают статичный характер обучения на офлайн-данных, возможное снижение качества из-за 4-битного квантования и отсутствие в карточке подробных результатов бенчмарков, параметров контекста и сведений о конкретной версии дообучения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy Meta; лицензия является специальной коммерческой лицензией.

Shenzhi Wang и соавторы разработали Llama3-8B-Chinese-Chat — диалоговую модель на базе Meta-Llama-3-8B-Instruct, дообученную методом ORPO для китайско- и англоязычных пользователей. Этот репозиторий содержит веса GGUF в формате F16; модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста, включая ролевые сценарии, использование инструментов и решение математических задач. По сравнению с базовой моделью авторы отмечают меньше случаев, когда на китайский запрос следует английский ответ, и меньше смешения китайского и английского в китайских ответах. В README описана версия v2.1 с улучшениями в ролевых диалогах, вызове функций и математике. Известное ограничение: модель не дообучали на сохранение своей идентичности, поэтому ответы о том, кто она и кем создана, могут быть случайными. Для использования действуют условия лицензии Llama 3.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и работу в приложениях на базе GaiaNet. Для взаимодействия используется шаблон llama-3-chat, а запуск поддерживается llama.cpp. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный размер контекста составляет 128 000 токенов. Квантизация выполнена с использованием llama.cpp b4466, что делает модель более подходящей для запуска в средах с ограниченными ресурсами, однако README не уточняет конкретный формат квантизации, требования к оборудованию и возможные компромиссы между скоростью, качеством и потреблением памяти. Модель распространяется по лицензии llama3.1. README не содержит подробностей о дополнительных ограничениях лицензии и не приводит результаты оценки качества, поэтому её преимущества и ограничения можно описать только на общем уровне: это компактная инструкционная модель с широкой поддержкой языков и большим контекстом, но без подтвержденных характеристик производительности для отдельных задач.

SanctumAI/Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная версия текстовой instruction-tuned модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и опубликованной командой meta-llama. Квантизацию в формате GGUF выполнила SanctumAI. Модель предназначена для генерации текста и многоязычных диалоговых сценариев, включая использование в локальных приложениях и системах, совместимых с GGUF. Модель содержит 8 млрд параметров, работает по схеме «текст на входе — текст на выходе» и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размер файлов составляет примерно от 3,18 до 16,07 ГБ, а оценочная потребность в RAM или VRAM — от 7,20 до 19,21 ГБ. Квантизация позволяет выбирать компромисс между требованиями к памяти и качеством работы, но более низкая точность может снижать качество по сравнению с исходной моделью. Контекст модели в README не указан. Модель распространяется по лицензии Llama 3.1; дополнительные условия следует уточнять в прилагаемом файле LICENSE. Она подходит для чат-ботов, локальных ассистентов и других задач генерации текста, однако README не содержит подробностей о результатах на конкретных бенчмарках, ограничениях безопасности или гарантиях точности.

MetaMath-Tulpar-7b-v2-Slerp-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/MetaMath-Tulpar-7b-v2-Slerp. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст; метаданные указывают на диалоговые возможности. Лицензия — Apache-2.0. В карточке не приведены оценки качества или отдельные ограничения, поэтому пригодность для конкретных сценариев стоит проверять на собственных примерах.

Карточка модели axolotl-ai-co/Mistral-Nemo-Base-2407-chatml на Hugging Face совпадает с карточкой mistralai/Mistral-Nemo-Base-2407, поэтому описание составлено по ней. Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.

Mixtral SlimOrca 8X7B — языковая модель для генерации текста, разработанная OpenOrca и представленная TheBloke в формате GGUF с квантованием. Модель основана на Mixtral-SlimOrca-8x7B и обучена с использованием набора данных Open-Orca/SlimOrca. Она предназначена для диалоговых сценариев и других задач генерации текста, включая локальный запуск через совместимые инструменты. Модель относится к архитектуре Mixtral и имеет конфигурацию 8x7B; точный размер активируемой части, поддерживаемые языки и максимальная длина контекста в README не указаны. Для взаимодействия используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти и качеством; рекомендован вариант Q4_K_M как сбалансированный. К сильным сторонам относятся возможность запуска на CPU и совместимых GPU, несколько уровней квантования и поддержка llama.cpp, KoboldCpp, LM Studio и llama-cpp-python при указанных в README версиях. Ограничения включают заметную потерю качества у наиболее агрессивных вариантов квантования, высокие требования к оперативной памяти у старших вариантов и ограниченную совместимость с другими клиентами. Лицензия модели — Apache 2.0.

Jackrong/MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-4bit — это языковая модель для генерации текста и задач, требующих рассуждений. Модель разработана Jackrong и представляет собой версию Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled, преобразованную в формат MLX с использованием mlx-lm 0.30.7. Модель предназначена для диалоговой генерации и reasoning-сценариев на английском и китайском языках. Она основана на архитектуре Qwen3.5 с размером 9 млрд параметров и использует 4-битное представление, что уменьшает требования к памяти по сравнению с полноразмерной версией. В метаданных также указаны обучение или настройка на наборах Jackrong/Qwen3.5-reasoning-700x и nohurry/Opus-4.6-Reasoning-3000x-filtered. К сильным сторонам относятся специализация на рассуждениях, поддержка английского и китайского языков и совместимость с экосистемой MLX через библиотеку mlx-lm. Ограничения включают неизвестную длину контекста и отсутствие сведений о мультимодальности; по назначению это текстовая модель. Использование распространяется на условиях лицензии Apache-2.0.

OsaurusAI подготовила для Apple Silicon сборку JANG_6M модели Nanbeige4.2-3B — диалоговой языковой модели с архитектурой Looped Transformer. В README указаны 22 слоя, выполняемые дважды с общими весами, что даёт эффективную глубину 44 слоя; размер весов — 4,17 млрд параметров. Контекст составляет 256K токенов. Модель дообучена на базе Nanbeige/Nanbeige4.2-3B и представлена в формате MLX safetensors с 6-битными аффинными весами и 8-битным attention; метаданные указывают библиотеку MLX и лицензию Apache-2.0. Модель предназначена для диалогов, генерации текста, рассуждений и агентных сценариев с вызовом инструментов на английском и китайском языках. README приводит результаты проверки близости к исходной версии bf16 и скорости генерации на M5 Max, но они относятся к описанной аппаратной конфигурации и тестам автора. Для корректной работы требуется загрузчик, поддерживающий архитектуру Nanbeige с циклическим выполнением слоёв и 44 слотами KV-кэша; общий загрузчик или один только mlx_lm.generate без соответствующего класса модели может выдавать неверные ответы. Сборка предназначена для Apple Silicon и распространяется по лицензии Apache-2.0.

Это экспериментальный внутренний чекпойнт r19 модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленный разработчиком minjaechoi на основе nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16. В README указано, что средняя точность маршрутизируемых экспертов составляет 2,0217 бита, тогда как остальные веса имеют формат BF16; веса хранятся в BF16-тензорах после деквантизации и загружаются через стандартные Transformers и vLLM. Метаданные указывают архитектуру Nemotron H, задачу генерации текста, контекст до 262 144 токенов и интерфейс для вызова инструментов. Модель подходит для диалогов и генерации текста, включая сценарии с вызовом инструментов; описание базовой модели также относит семейство к рассуждениям, программированию и агентным приложениям. Метаданные базовой модели указывают поддержку шести языков, но сами языки в предоставленных данных не перечислены. Чекпойнт обозначен как внутренний исследовательский и не содержит отдельных сведений о качестве или ограничениях его низкой точности экспертов. Лицензия наследуется от базовой модели.

Nemotron-Mini-4B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Nemotron-Mini-4B-Instruct, разработанной NVIDIA и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локального инференса, в том числе через LM Studio. Указан английский язык; поддерживается текстовая модальность. Формат запроса требует специальных маркеров для системных, пользовательских и ассистентских сообщений. Доступны варианты от исходных весов F16 размером 8,39 ГБ до компактных квантизаций IQ3_M размером 2,18 ГБ. Предлагаются форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие, включая варианты, оптимизированные для ARM-процессоров. Некоторые сборки используют Q8_0 для embedding- и output-весов, что может улучшать сохранение качества. Ключевое преимущество набора — выбор между качеством, размером и требованиями к памяти; ограничение — снижение качества при более агрессивной квантизации. Сведения о размере контекста и архитектуре базовой модели в README не указаны. Модель распространяется по лицензии NVIDIA Community Model License; условия следует уточнять в документе лицензии NVIDIA.

OpenHermes-2.5-Mistral-7B-GGUF — квантизированная версия инструкционной языковой модели OpenHermes-2.5-Mistral-7B, разработанной Teknium и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mistral и содержит около 7 млрд параметров. В метаданных указан английский язык; модель предназначена для текстового диалогового взаимодействия и обработки инструкций с использованием шаблона ChatML. Модель подходит для локального запуска чат-ботов и LLM-сервисов, включая использование через LlamaEdge версии 0.2.8 и выше. Заявленный размер контекста составляет 4096 токенов. Доступны варианты квантизации от 2 до 8 бит с размером файлов примерно от 3,08 до 7,7 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S рекомендованы как сбалансированные по качеству и размеру, тогда как варианты с более низкой разрядностью экономят память, но заметно снижают качество. Основные преимущества модели — возможность локального развертывания, широкий выбор уровней квантизации и совместимость с экосистемой LlamaEdge. Ограничения включают относительно небольшой контекст в 4096 токенов и потери качества при использовании низкоразрядных вариантов; README не содержит подробных результатов оценки, сведений о других языках или мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

OpenThinker3-7B-GGUF — это квантизированная версия текстовой генеративной модели OpenThinker3-7B, разработанной проектом open-thoughts и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Модель содержит 7 миллиардов параметров и поддерживает различные варианты представления весов: от BF16 до квантизаций Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов варьируется примерно от 3,5 до 15,2 ГБ, поэтому можно выбрать баланс между качеством, скоростью и требованиями к памяти. Для взаимодействия используется шаблон сообщений с ролями system, user и assistant. Сведения о контекстном окне, языках, мультимодальности и точной архитектуре в README не указаны; по доступным данным это текстовая, а не мультимодальная модель. Сильной стороной являются многочисленные варианты квантизации, включая версии, оптимизированные для экономии памяти и локального запуска, а также применение imatrix при квантизации на базе llama.cpp. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать полноразмерной или высокоточной квантизации по качеству. Модель распространяется по лицензии Apache-2.0. Датасет, указанный для исходной модели, — open-thoughts/OpenThoughts3-1.2M.

bunsenfeng/parti_19_full — языковая модель для генерации текста и диалогового взаимодействия, опубликованная на Hugging Face. По метаданным она относится к семейству Qwen2, содержит около 7,1 млрд параметров и предназначена для использования через библиотеку Transformers с форматом safetensors. Модель подходит для чат-ботов, генерации ответов, продолжения текста и других сценариев, где требуется autoregressive text generation. Она поддерживает контекст до 32 768 токенов, что позволяет обрабатывать относительно длинные запросы и фрагменты переписки. README не содержит сведений о разработчике, языках, обучающих данных, результатах оценки, лицензии и рекомендуемых ограничениях использования. Поэтому модель следует предварительно проверять на качество, безопасность, устойчивость к галлюцинациям и соответствие требованиям конкретного применения.

Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 — диалоговая decoder-only языковая модель на базе Transformer с архитектурой Mixture of Experts (MoE), разработанная командой Qwen. Модель предназначена для генерации текста и взаимодействия в формате чата, включая ответы на вопросы, краткие объяснения и другие сценарии использования языкового ассистента. В README указана поддержка английского языка и конвейер text-generation. Модель содержит 14,3 млрд параметров, из которых во время работы активируются 2,7 млрд; она создана на основе Qwen-1.8B и дообучена с применением supervised fine-tuning и direct preference optimization. Версия GPTQ-Int4 использует 4-битное квантование. По заявлению разработчиков, при сопоставимой с Qwen1.5-7B производительности она требует около 25% ресурсов для обучения и обеспечивает примерно в 1,74 раза большую скорость вывода. Размер контекста в README не указан. Среди ограничений отмечена возможность переключения языков и другие нежелательные случаи генерации, для снижения которых рекомендуется использовать параметры из generation_config.json. Модель распространяется по лицензии tongyi-qianwen; точные условия следует уточнять по указанной в README лицензии.

TheRains/Qwen2.5-32B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с использованием llama.cpp и предназначена для локального запуска через llama.cpp в задачах генерации текста и диалогового взаимодействия. Модель имеет 32 миллиарда параметров в варианте квантизации Q4_K_M. В карточке указана поддержка английского языка и текстовая модальность; сведения о размере контекстного окна и других языках отсутствуют. Модель можно использовать через llama-cli или llama-server, в том числе на совместимом CPU и GPU-оборудовании при соответствующей сборке llama.cpp. Основные преимущества — локальное выполнение, совместимость с экосистемой llama.cpp и уменьшенные требования к памяти по сравнению с полноразмерной версией. Ограничения связаны с квантизацией, а также с отсутствием в карточке подробных данных о качестве, производительности и поддерживаемых сценариях. Лицензия — Apache-2.0.

unsloth/Qwen2.5-7B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-7B, разработанной командой Qwen. Модель предназначена для генерации и продолжения текста, а также для последующего дообучения методами SFT, RLHF или continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Модель относится к классу causal language models и содержит 7,61 млрд параметров, из которых 6,53 млрд не являются параметрами эмбеддингов. Архитектура включает 28 слоёв, RoPE, SwiGLU, RMSNorm и attention с GQA: 28 голов для Q и 4 для KV. Контекстное окно — до 131 072 токенов. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии — 4-битное представление, снижающее требования к памяти; конкретные показатели качества и производительности для этой сборки в README не приведены. Модель распространяется под лицензией Apache-2.0 и предназначена для использования с библиотекой Transformers.

Qwen3-0.6B-MLX-4bit — компактная 4-битная версия причинной языковой модели Qwen3, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, перевода, решения математических и логических задач, написания кода и сценариев с использованием внешних инструментов. Вариант MLX ориентирован на запуск через библиотеку mlx_lm. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding-слои. Архитектура включает 28 слоёв и Grouped Query Attention с 16 головами запросов и 8 головами ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов. Модель позволяет переключаться между режимом рассуждений, генерирующим содержимое в блоке <think>, и более быстрым нерешающим режимом для повседневного диалога. К сильным сторонам относятся небольшой размер, 4-битное представление, поддержка многоязычных задач, следования инструкциям и двух режимов работы. Ограничением является существенно меньший масштаб по сравнению с крупными моделями Qwen3, поэтому для сложных задач качество может быть ниже; в README также не приведены конкретные результаты тестов и требования к оборудованию. Для режима рассуждений рекомендуются вероятностные параметры генерации, а жадное декодирование не рекомендуется из-за возможного ухудшения качества и повторов. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Qwen3-14B-NVFP4 — квантизированная версия языковой модели Qwen3-14B, разработанная RedHatAI на базе Qwen/Qwen3-14B. Модель принимает текст и генерирует текст, предназначена для задач text generation и развёртывания в среде vLLM версии 0.9.1 и выше. В модели применена FP4-квантизация весов и активаций линейных операторов в блоках Transformer. По сравнению с представлением FP16 это сокращает число битов на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно на 75%. Квантизация выполнена с использованием LLM Compressor, с калибровкой на данных UltraChat; параметры включают групповой размер 16. Модель имеет размерность 14B, работает с текстовой модальностью, однако размер контекста в представленном README не указан. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, при этом отдельно указано ограничение на использование в языках, отличных от английского. Основное преимущество модели — снижение требований к дисковой и GPU-памяти при сохранении совместимости с эффективным инференсом через vLLM и OpenAI-compatible serving. Ограничения включают возможное снижение качества из-за квантизации, зависимость от подходящей аппаратной и программной поддержки FP4, а также языковое ограничение на использование только английского языка согласно README. Модель распространяется по лицензии Apache-2.0; также указано ограничение на использование с нарушением применимых законов и нормативных требований.

onnx-community/Qwen3.5-0.8B-ONNX — это ONNX-версия постобученной мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования, исследовательских задач и специализированного дообучения. Веса и конфигурация совместимы с Hugging Face Transformers.js и ONNX Runtime. Модель представляет собой авторегрессионную языковую модель с vision encoder и содержит около 0,8 млрд параметров. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть включает 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. Заявлена поддержка 201 языка и диалекта. Благодаря небольшому размеру модель ориентирована на относительно эффективный запуск и разработку, но по возможностям и качеству уступает более крупным моделям, а заявленные мультимодальные и языковые характеристики требуют проверки на конкретных задачах. Модель распространяется по лицензии Apache-2.0. README не содержит полного описания ограничений, требований к аппаратному обеспечению и подробных результатов именно для всех поддерживаемых сценариев.

Qwen3.5-0.8B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная Principled Intelligence. Из контрольной точки удалены веса визуального энкодера; плотная авторегрессионная языковая модель содержит около 581 млн параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Контекстное окно составляет 262 144 токена. Модель подходит для диалоговых приложений и генерации текста, когда обработка изображений не нужна. По данным карточки, она сохраняет токенизатор, шаблон чата и поведение генерации исходной Qwen3.5, а контрольная точка занимает меньше места и требует меньше видеопамяти. Проверена работа с Transformers версии 5.2.0 и выше; другие движки инференса в карточке не заявлены как поддерживаемые. Лицензия — Apache-2.0.