I.3Извлечение и структурирование данных

NeuralKrishna-7B-v3 — объединённая модель для генерации текста, созданная Kukedlc с помощью LazyMergekit. В конфигурации указана база mlabonne/Monarch-7B и слияние методом DARE-TIES с NeuralGlitch-Yam-Peleg-7B-DT, Fasciculus-Arcuatus-7B-slerp и Neural4gsm8k; веса сохранены в формате bfloat16. Метаданные указывают архитектуру Mistral с плотной сетью из 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и может быть полезна для диалогов и решения задач на рассуждение, включая математические вопросы, благодаря включённой в слияние Neural4gsm8k. Поддерживаемый язык в источниках не указан. Модель распространяется по лицензии Apache-2.0.

NeuralPipe-7B-ties — слитая модель для генерации текста, созданная mlabonne с помощью mergekit на основе OpenPipe/mistral-ft-optimized-1218 и mlabonne/NeuralHermes-2.5-Mistral-7B. В конфигурации слияния TIES также указана mistralai/Mistral-7B-v0.1 как базовая модель; параметры включают нормализацию и маску int8, итоговый тип данных — float16. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Заявленная длина контекста — 32 768 токенов. Она предназначена для генерации текста; README приводит результаты оценок на AI2 Reasoning Challenge и HellaSwag. Репозиторий распространяется по лицензии Apache-2.0.

NMTOB-7B — слитая языковая модель, созданная paulml с помощью LazyMergekit на основе Kukedlc/NeuTrixOmniBe-7B-model-remix и paulml/OmniBeagleSquaredMBX-v3-7B-v2. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и предназначена для генерации текста; контекст составляет до 32 768 токенов. Модель подходит для диалогов, написания и продолжения текста, а также для задач генерации, где полезен длинный контекст. В README описано слияние методом slerp с настройками для слоёв self-attention и MLP. Репозиторий распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

NVIDIA Nemotron 3.5 Lightning 30B A3B — языковая модель NVIDIA, представленная сообществом mlx-community в конвертированном формате MLX для запуска на устройствах Apple Silicon. Это гибридная архитектура Mamba-2 и attention с механизмом Mixture-of-Experts: около 31 млрд параметров всего и примерно 3 млрд активных на токен. В репозитории указана версия bf16 без квантизации; модель преобразована из nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 с помощью mlx-lm 0.31.3. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают контекст до 262 144 токенов. В карточке перечислены английский, испанский, французский, немецкий, итальянский и японский языки. Репозиторий использует библиотеку MLX и формат safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой исходной модели NVIDIA.

RedHatAI/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-FP8 — квантизированная языковая модель для генерации текста и диалоговых сценариев, разработанная RedHatAI на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 от NVIDIA. Модель принимает текст и возвращает текст, поддерживает использование в conversational-приложениях и может разворачиваться с помощью Transformers и vLLM. Архитектура модели обозначена как NemotronHForCausalLM. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8 по статической схеме с использованием LLM Compressor и калибровочных примеров UltraChat. Такое сжатие уменьшает требования к GPU-памяти и дисковому пространству примерно на 50% по сравнению с BF16 и может примерно вдвое повысить пропускную способность матричных умножений на оборудовании с поддержкой FP8. В идентификаторе указаны 30B параметров и конфигурация A3B, однако другие характеристики, включая языки и максимальную длину контекста, в README не приведены. Сильными сторонами модели являются сниженные требования к ресурсам и оптимизация для быстрого инференса на совместимом оборудовании. Ограничения связаны с тем, что FP8-квантизация может зависеть от аппаратной и программной поддержки, а README не содержит результатов оценки качества, подробностей о поддерживаемых языках и условий лицензирования. Данные о лицензии отсутствуют.

Это GGUF-квантизация языковой модели gpt-oss-20b, разработанной OpenAI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В репозитории представлены варианты квантизации MXFP4, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ, размером примерно от 11,56 до 12,1 ГБ. Во всех вариантах feed-forward сети сохранены в формате MXFP4, поскольку, согласно описанию, они плохо работают при использовании других форматов. Рекомендуется файл gpt-oss-20b-MXFP4.gguf размером 12,1 ГБ; квантизация выполнена с использованием imatrix и набора данных combined_all_medium. README не содержит сведений о числе параметров архитектуры, поддерживаемых языках, модальностях и размере контекста. Также не указана лицензия этой квантизированной версии; условия использования следует уточнять по карточке исходной модели OpenAI. Шаблон чата в README не задан и может требовать проверки по оригинальной карточке модели.

Карточка модели ff670/openbuddy-mixtral-7bx8-v17.3-32k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-mixtral-7bx8-v16.3-32k, поэтому описание составлено по ней. OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

Карточка модели OpenBuddy/openbuddy-qwq-32b-v24.2-200k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-qwq-32b-v24.1-200k, поэтому описание составлено по ней. OpenBuddy/openbuddy-qwq-32b-v24.1-200k — дообученная диалоговая языковая модель OpenBuddy на архитектуре Qwen2, основанная на Qwen/QwQ-32B-Preview. Модель содержит 32 млрд параметров и рассчитана на контекст до 200 000 токенов; она принимает текст и генерирует текстовые ответы в формате чат-бота. Модель предназначена для многоязычного общения и генерации текста. Карточка указывает поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Лицензия — Apache 2.0. Для работы с форматом подсказок рекомендуется быстрый токенизатор Transformers; карточка также упоминает развёртывание через vLLM. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Её не следует применять для критических решений в медицине, финансах и праве, а также для управления потенциально опасным программным или аппаратным обеспечением.

MaziyarPanahi/openbuddy-zephyr-7b-v14.1-Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия текстовой языковой модели OpenBuddy Zephyr 7B v14.1 на базе Mistral-7B-Instruct-v0.1. Модель подготовил и квантизировал MaziyarPanahi. Файлы распространяются в формате GGUF, предназначенном для локального запуска с llama.cpp и совместимыми приложениями и библиотеками. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через локальные графические интерфейсы, серверы и Python-библиотеки. В метаданных указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством вывода. К сильным сторонам относятся компактность 7B-модели, возможность локального использования и широкий выбор уровней квантизации. К ограничениям относятся потенциальная потеря качества при низкой разрядности, зависимость производительности от используемого клиента и оборудования, а также отсутствие в README данных о размере контекстного окна, результатах тестирования и мультимодальных возможностях; по представленным данным модель является текстовой. Лицензия — Apache 2.0.

OrcaAgent-llama3.2-8b-GGUF — это набор GGUF-квантизаций модели OrcaAgent-llama3.2-8b, разработанной Isotonic и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и агентских сценариев; обучение связано с наборами данных microsoft/orca-agentinstruct-1M-v1 и Isotonic/agentinstruct-1Mv1-combined. Указан английский язык. В основе лежит 8-миллиардная модель семейства Llama 3.2. Доступны варианты от F16 до Q2_K_L, различающиеся размером файла, требованиями к памяти и качеством: от 16,07 ГБ для F16 до примерно 3,69 ГБ для Q2_K_L. Наиболее сбалансированным вариантом README называет Q4_K_M размером 4,92 ГБ; варианты Q5 и Q6 обеспечивают более высокое качество, а Q3 и Q2 подходят для систем с ограниченным объёмом оперативной памяти. Формат GGUF поддерживается llama.cpp и приложением LM Studio. Сильная сторона модели — наличие множества уровней квантизации для локального запуска и выбора компромисса между качеством и потреблением памяти. Ограничения включают снижение качества в наиболее компактных вариантах, отсутствие сведений о размере контекста, мультимодальности и точных архитектурных характеристиках, а некоторые ARM-оптимизированные варианты требуют поддержки специальных инструкций и не рекомендуются для Mac. Лицензия — Apache-2.0.

Ornith-1.0-9B-Heretic-Uncensored — производная модель DeepReinforce/Ornith-1.0-9B, подготовленная методом направленной абляции: из весов удалено направление отказа, без дополнительного обучения. Это плотная мультимодальная модель семейства Qwen 3.5 с примерно 9 млрд параметров, гибридной архитектурой из 32 слоёв линейного и полного внимания, обработкой изображений и текста. Выпущена в формате bf16 Safetensors для Transformers; для работы README требует transformers версии 5.8.1 или новее. Модель предназначена для диалогов, визуальных вопросов и задач рассуждения и агентного программирования. Удаление направления отказа снижает вероятность отказов на запросы, на которые базовая модель отказывала, однако не гарантирует точность или безопасность ответов и может облегчить получение вредоносного контента. README описывает англоязычную модель; лицензия — MIT.

Ornith-1.5-35B-A3B-PrismaQuant-AQUA-25GB-vllm — это смешанно-квантизированная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста и запуска через Transformers и vLLM. К checkpoint применяется формат compressed-tensors, поэтому он поддерживается стандартным vLLM без модифицированного runtime и пользовательских CUDA-ядер. Модель имеет MoE-архитектуру с 35 млрд параметров, из которых 3 млрд активируются на токен. PrismaQuant назначает отдельным линейным слоям форматы BF16, FP8 или NVFP4: большинство маршрутизируемых экспертов используют NVFP4, тогда как важные компоненты плотного пути сохраняются в FP8 или BF16. Размер артефакта составляет 24,68 ГБ против 71,90 ГБ у исходной BF16-версии, что даёт сокращение примерно в 2,91 раза. Базовая модель поддерживает контекст до 262 144 токенов, однако полный контекст требует значительного объёма памяти под KV-кэш. На WikiText-2 квантизированная версия показала perplexity 11,7067 против 11,4181 у BF16-источника, то есть ухудшение составило 2,53%. Сильная сторона модели — существенная экономия памяти при относительно небольшом падении качества; смешанное распределение точности также снижает расхождение с BF16 по сравнению с равномерной NVFP4-квантизацией. Ограничения включают потенциальную зависимость производительности от совместимого оборудования и версии vLLM, а приведённые метрики получены на конкретном наборе данных и конфигурации. Модель распространяется по лицензии MIT.

RedHatAI/Phi-3-medium-128k-instruct-quantized.w4a16 — это квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанная Neural Magic на базе модели Microsoft. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычных ассистентских диалогов, чат-ботов и задач генерации ответов, а также для коммерческого и исследовательского использования. Модель использует архитектуру Phi-3 и поддерживает контекст размером до 128 тысяч токенов. Веса линейных операторов в трансформерных блоках квантизированы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией и размером группы 128; для квантизации применён GPTQ через библиотеку llm-compressor. Оптимизация сокращает объём хранения и требования к GPU-памяти примерно на 25% по сравнению с 16-битной версией. Указанный результат на OpenLLM Leaderboard v1 составляет 72,38 против 74,46 у неквантизированной модели. К сильным сторонам относятся большой контекст и сниженные требования к памяти, что упрощает эффективное развёртывание через vLLM или Transformers. Ограничения включают специализацию на английском языке, возможное снижение качества из-за квантизации и недопустимость использования в языках, отличных от английского, согласно README. В README указана лицензия MIT, однако в метаданных также присутствует обозначение llama2; перед использованием следует проверить применимые лицензионные условия.

Xenova/Phi-3-mini-4k-instruct — оптимизированная ONNX-версия инструкционной языковой модели Phi-3 Mini, подготовленная для запуска через Transformers.js и onnxruntime-web. Модель предназначена для генерации текста и диалогового взаимодействия в браузерных и JavaScript-приложениях, включая ответы на вопросы, решение задач и выполнение инструкций. Модель содержит 3,7 млрд параметров и поддерживает контекст длиной до 4096 токенов. Веса представлены в формате FP16 с блочным квантованием INT4; выход logits имеет формат FP32. Для совместимости с onnxruntime-web используется архитектурная модификация с MHA вместо GQA, а файлы модели ограничены размером менее 2 ГБ для кэширования в Chromium. Модель распространяется через библиотеку Transformers.js и использует ONNX Runtime. Лицензия MIT разрешает свободное использование при соблюдении её условий. Квантование INT4 может снижать точность по сравнению с полноразмерной версией, а ограничение контекста в 4096 токенов не позволяет эффективно работать с очень длинными документами. Возможности модели зависят от ресурсов устройства и производительности браузерной среды.

Pinkstack/Phi-4-mini-6b-merge — объединённая языковая модель, созданная на основе microsoft/Phi-4-mini-instruct с использованием слоёв microsoft/Phi-4-mini-reasoning: слои 18–22 взяты из reasoning-модели, остальные — из instruct-модели. По метаданным, модель использует плотную архитектуру семейства Phi-3 с классом Phi3ForCausalLM, содержит 6,3 млрд параметров, принимает текст и рассчитана на контекст до 4096 токенов. Она предназначена для диалогов и генерации текста; в интерфейсе модели также заявлена поддержка вызова инструментов. Карточка предполагает, что увеличенное число слоёв даёт модели потенциал для дообучения, но не приводит результатов оценки качества или подробностей применения. Модель распространяется в формате safetensors по лицензии MIT.

Progenitor-LLaMa-70B — объединённая модель генерации текста, созданная автором TareksGraveyard из нескольких предварительно обученных моделей семейства Llama с помощью mergekit. В качестве базовой модели использована nbeerbower/Llama-3.1-Nemotron-lorablated-70B; в объединение также вошли модели Hanami, Negative LLAMA, Anubis, EVA-LLaMA и Cirrus. Архитектура — плотная LlamaForCausalLM, размер — 69,5 млрд параметров, формат весов — safetensors; контекст — до 131 072 токенов. Модель предназначена для диалога и генерации текста. Автор описывает её как более консервативное слияние и сообщает о хорошем результате, но считает свою более агрессивную версию Progenitor-V1.1-LLaMa-70B удачнее. Модель использует лицензию Llama 3.3; перед применением следует учитывать её условия.

Quasar-10B — языковая модель SILX AI для генерации текста и работы с длинным контекстом. Она основана на Qwen3.5-9B-Base, но её архитектура переработана: часть механизмов внимания заменена на Gated Linear Attention (GLA), а позиционные эмбеддинги RoPE удалены. Модель имеет около 10 млрд параметров и нативное контекстное окно 2 097 152 токена. Модель предназначена прежде всего для генерации синтетических рассуждений и передачи знаний при подготовке Quasar 22B MoE. Заявленные направления применения включают задачи с длинным контекстом, математику, STEM и код; метаданные также отмечают чат-возможности и языки английский и арабский. GLA обеспечивает линейную сложность обработки последовательностей, однако заявленная возможность работы за пределами обучающего контекста не подтверждена отдельными данными об оценке качества. Для запуска указана библиотека Transformers, веса представлены в формате safetensors. Лицензия Apache-2.0.

AtomicChat/Qwen3-4B-DFlash-GGUF — это текстовая генеративная модель в формате GGUF, созданная Atomic Chat на основе оригинальных весов z-lab/Qwen3-4B-DFlash-b16. Модель предназначена для локального и полностью офлайн-использования в llama.cpp, Ollama, LM Studio, Jan и приложении Atomic Chat, включая диалоговые сценарии и генерацию текста. Согласно README, модель имеет плотную decoder-архитектуру DFlashDraftModel, 5 слоёв, 32 attention heads и 8 KV heads, словарь из 151 936 токенов и контекст до 40 960 токенов. Поддерживается только текстовая модальность. В карточке указано 0,5 млрд параметров, а доступный квант Q8_0 занимает около 0,6 ГБ; при этом название базовой модели содержит обозначение 4B, поэтому размер следует трактовать с осторожностью. Ключевая особенность репозитория — самостоятельная квантизация Atomic Chat с использованием importance matrix для каждого варианта, что должно сохранять качество исходной модели при низкой разрядности. Ограничения включают отсутствие мультимодальности и необходимость применять шаблон чата Qwen3 через параметр --jinja; без него возможны некорректно сформированные диалоговые ходы. В README также рекомендована temperature 0.0. Исходная модель выпущена Z Lab по лицензии MIT, квантизированная версия подготовлена Atomic Chat.

litert-community/Qwen3.5-2B — это версия модели Qwen3.5-2B от Alibaba, преобразованная сообществом LiteRT в формат LiteRT-LM для локального вывода на мобильных и периферийных устройствах с использованием runtime Google LiteRT-LM. Модель предназначена для генерации текста, диалогов и многошаговых взаимодействий на устройствах без обязательной передачи данных в облако; для работы требуется litert-lm версии 0.15 или новее. Модель использует гибридную архитектуру с чередованием 18 блоков GatedDeltaNet с линейным вниманием и 6 блоков полного внимания. Линейные блоки хранят состояние постоянного размера, поэтому потребление памяти слабо растёт с длиной контекста, а полное внимание использует KV-кэш с бюджетом 4096 токенов. Доступны текстовая int8-версия размером около 1,97 ГБ и мультимодальная версия для работы с текстом и изображениями размером около 3,15 ГБ, включающая 24-слойную ViT-модель; обработка изображений рассчитана на статический размер 512×512. Языки явно не указаны, но модель основана на Qwen3.5. Сильными сторонами являются проверенная близость результатов к исходной PyTorch-модели, поддержка CPU и GPU, относительно стабильное потребление памяти при увеличении контекста и возможность многоходовых диалогов. Ограничения включают необходимость совместимого LiteRT-LM, отсутствие встроенной поддержки вызова инструментов и специальных vision-секций в шаблоне чата, а также неподтверждённую работу GPU на устройствах Qualcomm Adreno. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled — текстовая генеративная модель, разработанная Jackrong на базе плотной архитектуры Qwen3.5-4B. Модель дообучена методом supervised fine-tuning с применением LoRA и библиотеки Unsloth; в качестве обучающих материалов использовались дистиллированные данные рассуждений, главным образом на основе взаимодействий с Claude-4.6 Opus, а также наборы nohurry/Opus-4.6-Reasoning-3000x-filtered и Jackrong/Qwen3.5-reasoning-700x. Модель предназначена для генерации ответов с последовательным структурированным рассуждением, решения сложных задач, планирования, следования инструкциям, а также задач в областях науки и математики. Обучение ориентировано на формат с рассуждением внутри тегов <think> и последующим итоговым ответом; заявленная цель — повысить структурированность и сократить избыточные повторения при сохранении аналитичности. Поддерживаются текстовые запросы; в карточке указаны языки English, Chinese и Korean. Размер модели составляет около 4 миллиардов параметров. Размер контекстного окна и точные показатели качества не указаны. Сильными сторонами заявлены компактный размер, структурированное пошаговое рассуждение и возможность локального запуска и воспроизведения процесса дообучения. Ограничения включают отсутствие в карточке независимых бенчмарков, подробных характеристик производительности и информации о контекстном окне; заявленные преимущества не следует считать подтверждёнными сравнительным тестированием. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизация модели Qwen3.5-4B-Instruct от Alibaba Cloud в формате MXFP4 — четырёхбитном формате с плавающей точкой по спецификации OCP Microscaling Formats. В репозитории есть файл весов модели и отдельный проектор зрения SigLIP в F16; для обработки изображений требуется подключить проектор. По карточке исходная модель использует гибридную архитектуру Gated DeltaNet и Gated Attention, принимает текст, изображения и видео и поддерживает 201 язык. Контекст исходной модели — 262 тысячи токенов с возможностью расширения до миллиона. Модель предназначена для генерации текста и диалогов по инструкциям; также README показывает сценарий описания изображений. По умолчанию режим рассуждений отключён, его можно включить параметром. README заявляет совместимость формата MXFP4 с CPU и GPU разных производителей, но фактическая поддержка зависит от используемого ПО. Модель распространяется по лицензии Apache 2.0.

Это квантованная в формате NVFP4 сборка Qwen3.5-9B, подготовленная FreedomAISVR для запуска через GGUF и llama.cpp. Она сохраняет поддержку Multi-Token Prediction (MTP): модель предсказывает дополнительный токен на шаге генерации, что, по данным карточки, может увеличить пропускную способность на 30–40%. В README указаны 9 млрд параметров у базовой модели, гибридная архитектура с Attention и Mamba-2, механизм Multi-Head Latent Attention и контекст до 262 144 токенов. Модель предназначена для генерации текста и мультимодального диалога с анализом изображений; для визуального ввода в репозитории предусмотрен отдельный проектор SigLIP в формате F16. NVFP4 рассчитан прежде всего на ускорение инференса на видеокартах NVIDIA Blackwell, а для запуска через llama.cpp приведены текстовый и мультимодальный сценарии. Базовая Qwen3.5-9B описана как мультиязычная; в метаданных явно указаны английский и китайский. Сборка опубликована по лицензии Apache-2.0. NVFP4 может быть неудобен для видеокарт до Blackwell и для запуска на CPU; README рекомендует для таких систем другие варианты квантования. Утверждение о приросте скорости MTP приведено в карточке модели и зависит от оборудования и условий инференса.

Это конверсия модели RedHatAI/Qwen3.6-35B-A3B-NVFP4 в формат GGUF, подготовленная для запуска через llama.cpp и совместимые среды. В основе лежит мультимодальная модель Qwen3.6-35B-A3B от Qwen: архитектура Mixture of Experts с 256 экспертами, из которых активируются 8 на токен, чередует линейные Mamba-подобные SSM-слои и полное внимание; зрительный энкодер основан на подходе Qwen2.5-VL. Веса линейных слоёв упакованы в NVFP4, вспомогательные параметры сохранены в BF16/F32. Модель предназначена для диалогов и генерации текста, а в комплекте с мультимодальным проектором mmproj-BF16.gguf может принимать изображения для зрительных задач. Конверсия ориентирована на llama.cpp и требует версии с поддержкой NVFP4 и соответствующего оборудования для этого режима. В приведённых измерениях NVFP4 быстрее обрабатывает длинные промпты, но медленнее генерирует токены, чем Q4_K_XL на модели того же размера. Контекст в карточке не указан. Лицензия Apache-2.0.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-3.4bpw — компактная векторно-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, предназначенная для генерации текста и обработки изображений на устройствах Apple Silicon через MLX. Модель содержит vision tower и рассчитана на работу с mlx-lm для текста и mlx-vlm для изображений. В README явно указан английский язык; другие языки и размер контекстного окна не заявлены. Размер артефакта составляет 13,8 GiB, пиковое потребление памяти — около 13,1 GiB. Эксперты модели квантизованы методом vector quantization с параметрами d=4 и K=2048, примерно до 3 бит на вес, а неэкспертные тензоры представлены в 8-битном формате. Заявлена скорость около 66 токенов в секунду на совместимом оборудовании; модель запускается на машинах с 16 GiB памяти при коротком контексте и более комфортно — от 24 GiB. Главное преимущество — существенно меньший размер по сравнению с 4-битной сборкой при лучшем показателе perplexity: 13,8 GiB против 19 GiB, при этом измеренная perplexity составляет 1,029x относительно bf16-версии против 1,041x у 4-битной модели. Ограничение — заметная потеря качества относительно parity-сборки размером 18,7 GiB: top-1 agreement составляет 87,33%, поэтому при наличии достаточного объёма памяти рекомендуется более крупная версия. Для работы с изображениями требуется mlx-vlm версии 0.6.16 или новее, а поддержка model_file обязательна. Лицензия — Apache 2.0.

trymirai/Qwen3.8-27B-L — это 8-битная квантизированная версия Qwen3.8-27B, подготовленная Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для локального вывода в задачах генерации текста; оценочная смесь данных включала публичные агентские данные, наборы для supervised fine-tuning и работы с длинным контекстом, а также частные диалоговые данные. Квантизация выполнена после обучения с использованием симметричного 8-битного целочисленного представления, масштабов bfloat16 и размера группы 64. Для уменьшения выбросов активаций и весов применены блочно-диагональные случайные преобразования Хадамара с размером блока 32. По размеру и параметрам квантизации модель сопоставима с Unsloth UD-Q8_K_XL для GGUF. Заявлено, что чекпойнт находится на компромиссной границе между размером и KL-дивергенцией, однако конкретные показатели качества, архитектурные детали исходной модели, поддерживаемые языки и размер контекста в карточке не приведены. Основное преимущество модели — уменьшенные требования к памяти при сохранении качества, близкого к исходной Qwen3.8-27B, что делает её подходящей для локального использования на Apple silicon. Ограничение — официально поддерживается только инференс на Apple silicon; сведения о работе на других аппаратных платформах отсутствуют. Для запуска на macOS рекомендуется пакет mirai. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-MTPLX-bf16 — конвертированная в формат MLX версия плотной мультимодальной модели Qwen3.8-27B, подготовленная автором johninthepool для компьютеров Apple Silicon. Это полноточная сборка bf16 без квантизации: сохранена голова multi-token prediction (MTP), необходимая для спекулятивного декодирования через mtplx. Модель рассчитана на диалоговую генерацию текста; базовая модель также поддерживает анализ изображений и видео, программирование и многошаговые задачи. Сборка предназначена для запуска на Mac с чипом Apple M-серии. Для весов объёмом около 55 ГБ автор рекомендует не менее 64 ГБ объединённой памяти; для работы с нативным путём MTP требуется mtplx. Полноточная версия сохраняет точность исходных весов, но требует больше памяти, чем варианты с квантизацией. Лицензия — Apache-2.0.

Qwen3.8-2B-Distill-GGUF — набор GGUF-квантизаций модели Qwen3.8-2B, разработанной компанией Empero. Исходная модель представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-2B; опубликованный вариант предназначен для запуска через llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и другие совместимые GGUF-рантаймы. Модель предназначена для генерации текста, диалоговых сценариев и задач рассуждения. В README указаны английский язык и текстовая модальность. Доступны варианты Q4_K_M, Q5_K_M, Q6_K, Q8_0 и BF16 размером примерно от 1,312 до 3,897 ГБ. Архитектура использует гибрид Qwen3.5 с тремя слоями Gated DeltaNet на каждый слой full attention. Контекстное окно в предоставленных данных не указано. К сильным сторонам относятся небольшой размер, возможность работы на телефонах, одноплатных компьютерах и обычных ноутбуках, а также заметное улучшение результатов относительно базовой Qwen3.5-2B на тестах MMLU и GSM8K. Модель является reasoning-моделью и формирует рассуждения в блоке <think>, который при необходимости следует удалять перед показом пользователю. Для загрузки требуется свежая версия llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet; старые версии могут не распознать архитектуру. На длинном контексте основную дополнительную нагрузку создаёт KV-кэш. Весовые файлы распространяются по лицензии Apache-2.0. Квантизации унаследованы от базовой модели Qwen и опубликованы компанией Empero.

cygnal/Qwen3.8-Flash-Next-Heretic2-IQ4XS-Halogen — это квантованная GGUF-сборка Qwen3.8-Flash-Next, подготовленная для Halogen Flash Server разработчиком cygnal. Исходные веса модели прошли abliteration методом direction-removal в Heretic v1.3.0, затем были переквантованы в смешанном формате: преимущественно IQ4_XS для экспертных весов, Q8_0 для плотных слоёв и IQ4_NL для per_layer_token_embd.weight. Архитектура qwen4exp использует гибрид DeltaNet, SSM и attention; заявлено около 166 млрд параметров всего и 27 млрд активных на токен. Модель предназначена для диалоговой генерации текста и может принимать изображения при подключении отдельного vision tower. Сборка оптимизирована для Halogen Flash Server и AMD Strix Halo с ROCm; в README приведены измерения производительности на Radeon 8060S и требования примерно к 117 ГБ объединённой памяти. Видео не поддерживается. Для использования нужны совместимые сервер и аппаратное обеспечение; vision tower и MTP head поставляются отдельно. Лицензия — Apache-2.0.

Qwen3.9-245B-A29B — текстовая генеративная модель семейства Qwen3, опубликованная аккаунтом QwennAI. Карточка показывает использование через Transformers и чат-шаблон Qwen с режимом рассуждений; также приведены примеры запуска через vLLM и SGLang. Метаданные указывают архитектуру Qwen3ForCausalLM, формат safetensors и поддержку чата. Модель предназначена для диалогов и генерации текста, включая задачи, требующие пошагового рассуждения, например объяснение математического доказательства. В README для сервинга приведён параметр контекста 65 536 токенов, тогда как метаданные указывают native context 1 024 токена; доступные сведения о размере противоречивы: имя модели содержит 245B-A29B, а total_parameters указано как 798.7K. Метаданные указывают английский и китайский языки. Лицензия — Apache-2.0.

QuantFactory/Qwen3-Reranker-4B-GGUF — это квантизированная версия модели Qwen3-Reranker-4B, созданная QuantFactory на основе Qwen/Qwen3-4B-Base с использованием llama.cpp. Модель предназначена для переранжирования текстовых результатов: оценки релевантности документов поисковому запросу и улучшения порядка выдачи. Она может применяться в системах текстового и кодового поиска, retrieval-augmented generation, классификации и других сценариях, где требуется выбрать наиболее подходящие фрагменты среди найденных кандидатов. Модель содержит около 4 млрд параметров, имеет 36 слоёв и поддерживает контекст длиной до 32K токенов. Она работает с текстом, поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычный, кросс-языковой и кодовый поиск. Модель поддерживает пользовательские инструкции, позволяющие адаптировать ранжирование под конкретную задачу, язык или сценарий; для многоязычных задач рекомендуется формулировать инструкции на английском языке. Квантизация в формате GGUF и использование llama.cpp могут снизить требования к ресурсам и упростить локальный запуск, однако конкретные характеристики производительности зависят от варианта квантизации и оборудования. README не содержит точных данных о формате квантизации, аппаратных требованиях, скорости инференса и результатах бенчмарков. Модель распространяется по лицензии Apache-2.0.