I.3Извлечение и структурирование данных

unsloth/Kimi-K2-Instruct-GGUF — это GGUF-квантизированная версия Kimi-K2-Instruct, разработанного Moonshot AI и подготовленная Unsloth. Модель предназначена для общего диалога, решения задач на знания и рассуждения, программирования, использования инструментов и агентских сценариев. Версия Instruct ориентирована на готовое применение без длительного режима пошагового размышления. Модель использует архитектуру Mixture-of-Experts (MoE): 1 триллион общих параметров, из которых 32 миллиарда активируются для каждого токена. Архитектура включает 61 слой, 384 эксперта с выбором 8 экспертов на токен, один общий эксперт, 64 головы внимания, механизм MLA, активацию SwiGLU и словарь размером 160 тысяч токенов. Длина контекста составляет 128 тысяч токенов. В README языки и дополнительные модальности не указаны. GGUF-версии предназначены для локального запуска, в частности через актуальную версию llama.cpp. Для небольших квантов рекомендуется не менее 128 ГБ объединённой оперативной памяти; при наличии 16 ГБ VRAM и 256 ГБ RAM ожидается скорость свыше 5 токенов в секунду. Для наилучшего качества рекомендуются 2-битные XL-кванты или более высокие варианты, а температура 0,6 помогает снизить повторения и несвязность. Ограничениями являются очень высокие требования к памяти и возможные потери качества, зависящие от выбранного уровня квантования. Лицензия указана как modified MIT; также приведена ссылка на файл LICENSE.md.

MiMo-V2.5-Pro-GGUF — GGUF-версия открытой языковой модели MiMo-V2.5-Pro, разработанной Xiaomi MiMo. Модель предназначена для агентных сценариев, сложной разработки программного обеспечения, генерации текста и кода, а также длительных задач, требующих согласованности на протяжении тысяч вызовов инструментов. В карточке указаны поддерживаемые языки английский и китайский. Это Mixture-of-Experts (MoE) модель с 1,02 трлн общих параметров и 42 млрд активных параметров. Она использует гибридную архитектуру внимания, чередующую Sliding Window Attention и Global Attention в соотношении 6:1, а также три слоя Multi-Token Prediction (MTP). Заявлен контекст до 1 млн токенов; гибридное внимание снижает объём KV-кэша, а MTP может ускорять генерацию. Модель обучалась на 27 трлн токенов с применением FP8 и поддерживает шаблон чата с исправлениями Unsloth. Сильные стороны модели — большой контекст, высокая эффективность MoE-архитектуры и ориентация на агентные и программные задачи. Ограничения включают значительный общий размер модели и соответствующие требования к ресурсам, а также отсутствие в представленных данных подробностей о фактических требованиях к оборудованию и качестве работы на других языках или модальностях. Распространяется по лицензии MIT.

MiMo-V2-Flash — большая языковая модель Xiaomi для генерации текста, диалогов, рассуждений и агентных сценариев, включая работу с инструментами. В README она описана как MoE-модель с гибридным вниманием, многотокенным предсказанием и 309 млрд параметров, из которых активно используются 15 млрд. Метаданные Hugging Face указывают архитектуру MiMoV2FlashForCausalLM, 12 млрд параметров и файлы Safetensors в формате FP8; это расходится с характеристиками размера в README. Модель принимает текст и рассчитана на контекст до 262 144 токенов. Модель предназначена для быстрых ответов, сложных рассуждений и агентных рабочих процессов; карточка также сообщает о результатах на SWE-Bench и других тестах. Для развёртывания README рекомендует SGLang и описывает вариант запуска с выгрузкой MoE-экспертов на CPU через KTransformers. Языки в предоставленных данных не перечислены. Лицензия — MIT. Реальное качество зависит от задачи и конфигурации развёртывания; заявленные в README результаты бенчмарков являются оценками разработчика.

OpenHermes-2.5-DPO-No-Robots — диалоговая языковая модель на архитектуре Mistral, разработанная OpenAccess AI Collective. Это версия OpenHermes-2.5-Mistral-7B, дополнительно обученная методом DPO на датасете предпочтений, созданном на основе наборов HuggingFace No Robots. Модель содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; контекст составляет до 32 768 токенов. Модель предназначена для диалога, следования инструкциям, генерации текста и помощи с кодом. Доступна в формате Safetensors. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Phi-3-Medium-128K-Instruct — языковая модель Microsoft из семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и 13,8 млрд параметров. Это версия с настройкой для следования инструкциям и диалогового формата; постобучение включало supervised fine-tuning и direct preference optimization. Модель предназначена для генерации текста, ответов на вопросы и задач, требующих рассуждений, в частности программирования, математики и логики. Вариант рассчитан на контекст до 128 тысяч токенов согласно карточке модели. Он ориентирован прежде всего на английский язык; карточка также отмечает многоязычность, но качество на языках помимо английского может быть ниже. Модель поддерживает сценарии генерации кода, однако её обучающие данные для кода в основном охватывают Python и распространённые библиотеки. Модель может генерировать недостоверные ответы, воспроизводить стереотипы и выдавать оскорбительный или неподходящий контент даже после настройки безопасности. Результаты, особенно код и ответы для чувствительных областей, следует проверять. Лицензия — MIT.

Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

Qwen3.5-9B-Opus-OpenClaw-Distilled-GGUF — дообученная модель, разработанная ykarout на базе Qwen3.5-9B и производных CoPaw-Flash-9B. Она объединяет агентные возможности OpenClaw и CoPaw с дистиллированным стилем структурированного рассуждения, вдохновлённым Claude Opus. Обучение выполнялось с использованием Unsloth и TRL методом LoRA SFT на унифицированных наборах рассуждений, включая Opus-4.6 reasoning datasets. Модель предназначена для аналитических вопросов и ответов, помощи в программировании, планирования рабочих процессов, многошаговой декомпозиции задач, логически сложных диалогов и сценариев, связанных с инструментами, терминалом и агентными средами. Она ориентирована на стиль «сначала рассуждение, затем ответ» и сохраняет формат с блоком <think> перед итоговым ответом. Модель относится к семейству Qwen3.5, имеет размер около 9 миллиардов параметров и поставляется в формате GGUF для локального запуска. Для LM Studio и llama.cpp заявлена поддержка текста и изображений, а специальная vision-merged версия предназначена для использования с Ollama. Заявленные языки включают английский, арабский, испанский, латынь, турецкий, немецкий, чешский и китайский. К сильным сторонам относятся агентное поведение, планирование, инструментальная направленность, структурированное рассуждение и совместимость с локальными средами развёртывания. Ограничения заключаются в том, что точные характеристики контекстного окна и полный состав мультимодальных возможностей в README не указаны; кроме того, описанная процедура обучения была text-only, поэтому качество работы с изображениями может зависеть от конкретного GGUF-файла и среды запуска. Модель распространяется по лицензии Apache-2.0.

Карточка модели TreezzZ/r2s-webshop-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Ternary-Bonsai-2-27B-mlx-2bit — производная от Qwen/Qwen3.8-27B модель Prism ML для генерации текста, диалогов и рассуждений. Это плотная гибридная трансформерная архитектура с 27,36 млрд параметров: языковая часть использует линейное и полное внимание, SwiGLU, RoPE и RMSNorm; в комплект также входит башня зрения. Весы языковой модели представлены значениями −1, 0 и +1 с групповым масштабированием и вращением Адамара, тогда как башня зрения не квантизирована. Репозиторий весит 8,60 ГБ и предназначен для запуска через MLX на устройствах Apple, включая локальные сценарии без сети; заявленная длина контекста — 262 тысячи токенов. Модель рассчитана на локальных диалоговых и агентных помощников, анализ длинных документов и репозиториев кода, математические рассуждения и вызов инструментов. Разработчик сообщает о сохранении 98,2% среднего результата FP16 на 14 тестах и скорости около 47 токенов в секунду на ноутбуке с Apple M5 Max; показатели производительности зависят от оборудования и runtime. Основное ограничение — небольшая потеря качества по сравнению с полной точностью, а низкобитные ядра могут работать медленнее на некоторых GPU. Лицензия — Apache-2.0.

AriannaV4 — мультимодальная модель-ассистент, созданная SurgeFF на базе google/gemma-4-12B с объединёнными весами Aria v4. Это самостоятельная модель для локального запуска; доступны веса в формате safetensors и варианты GGUF разной точности для llama.cpp, Ollama и LM Studio. Архитектура относится к Gemma 4 Unified, размер базовой модели — 12 млрд параметров. Модель предназначена для диалогов, рассуждений, работы с текстом и кодом, математических задач, выбора инструментов, а также понимания изображений, аудио и видео. Для голосового ввода и вывода в реальном времени, генерации изображений и видео и получения эмбеддингов README описывает отдельные подключаемые компоненты: эти возможности не встроены в веса AriannaV4. Репозиторий предназначен для локального развертывания и позиционируется автором как production-ассистент. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные работы на тех же условиях и запрещает коммерческое использование.

jondurbin/bagel-dpo-34b-v0.5 — диалоговая языковая модель, созданная дообучением Yi-34B-200K с помощью supervised fine-tuning и Direct Preference Optimization (DPO). Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров и контекстным окном до 200 000 токенов. Модель предназначена для чата и широкого круга текстовых инструкций. Модель обучалась на данных для вопросов и ответов, рассуждений, программирования, математики, естественных наук, суммаризации, ролевого диалога и вызова функций. В карточке заявлены наборы данных для английских и многоязычных задач, однако основной язык модели отдельно не обозначен. Поддерживаются несколько форматов запросов: Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию — Llama 2. DPO-настройка направлена на улучшение предпочтительности ответов, а дополнительные данные охватывают творческое письмо, следование контексту, код и правдивость. Среди обучающих данных также есть примеры токсичного контента и offensive cybersecurity. Это может отражаться на генерируемых ответах; модель может ошибаться и не гарантирует достоверность или безопасность. Лицензия указана как other, поэтому условия использования следует уточнить на странице модели.

casperhansen/deepseek-r1-distill-qwen-7b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-7B, опубликованная пользователем casperhansen. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-7B и дообучена на синтетических данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для текстовой генерации, диалогов и задач, требующих пошагового рассуждения, включая математику, программирование и ответы на вопросы. Это decoder-only модель архитектуры Qwen2ForCausalLM примерно с 7 млрд параметров, 28 слоями, 28 attention heads и контекстом до 131072 токенов. Она работает только с текстом; сведения о гарантированном наборе поддерживаемых языков в карточке этой версии не указаны. Ключевое преимущество версии casperhansen — снижение требований к памяти благодаря 4-битной AWQ-квантизации с group size 128 и размеру файлов около 5,58 ГБ, что упрощает локальный запуск. Ограничения включают возможную потерю качества из-за квантизации, зависимость результатов от используемого inference-движка и промпта, а также отсутствие в карточке подробных бенчмарков, описания безопасности и заявленных гарантий качества для разных языков. Репозиторий распространяется по лицензии MIT; для производных моделей также следует учитывать условия лицензии исходной модели Qwen.

QuantFactory/dolphin-2.9.1-yi-1.5-9b-GGUF — это квантизированная с помощью llama.cpp версия модели cognitivecomputations/dolphin-2.9.1-yi-1.5-9b, разработанной и обученной Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Yi-1.5-9B. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, математических задач, начальных агентских сценариев и function calling. Модель относится к классу авторегрессионных текстовых моделей с архитектурой LlamaForCausalLM и использует формат промптов ChatML. Указан размер базовой модели — 9 миллиардов параметров; исходная модель имеет контекст 4K, а дообучение выполнялось на последовательностях длиной 12K с использованием RoPE theta 1000000.0. README не указывает поддерживаемые языки и точный вариант квантизации GGUF. Сильными сторонами заявлены широкий набор инструкционных, разговорных и кодовых навыков, поддержка function calling и результат 70,9 на MMLU для версии 9B. Модель описывается как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть чрезмерно послушной и генерировать небезопасный или неэтичный контент. Перед использованием в сервисах рекомендуется добавить собственный слой выравнивания и фильтрации. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование.

Dolphin-2.9.2-Phi-3-Medium-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Dolphin 2.9.2 на базе unsloth/Phi-3-mini-4k-instruct. Оригинальную модель разработала команда cognitivecomputations, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, следования инструкциям, программирования, математических задач и агентских сценариев. В README указана поддержка английского языка и текстовая модальность. Доступны варианты от Q8_0 до Q2_K и IQ-квантизаций размером примерно от 4,19 до 14,83 ГБ. Для запуска используется шаблон чата с ролями system, user и assistant. Точное число параметров и размер контекста в README явно не указаны, однако базовая модель идентифицируется как Phi-3-mini-4k-instruct. Более высокие квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q4–Q6 и Q5_K_M указаны как рекомендуемые, тогда как низкобитные варианты экономят память ценой снижения качества. Модель распространяется по лицензии MIT.

Карточка модели omegaT4224/Emulator.exe на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

GLM-5.2-NVFP4 — квантизированная версия языковой модели GLM-5.2 от zai-org, опубликованная lukealonso. Модель предназначена для генерации текста, диалоговых сценариев, программирования, многошагового агентного взаимодействия, вызова инструментов и function calling. Она поддерживает английский и китайский языки и работает через библиотеку Transformers. В основе лежит Mixture-of-Experts-модель с 744 млрд параметров, из которых 40 млрд активируются для каждого токена. В каждом MoE-слое используются 256 экспертов, восемь из которых выбираются для обработки токена; также применяется архитектура DeepSeek Sparse Attention (DSA). Неквантизированная часть модели включает attention-веса, плотные MLP-слои и общие эксперты в формате BF16. MLP-проекции необщих MoE-экспертов квантизированы в NVFP4 — 4-битный формат с блочными FP8-масштабами для групп по 16 элементов. Ключевое преимущество модели — существенное снижение требований к памяти при сохранении специализированных экспертных весов и калибровке по естественной маршрутизации токенов. Калибровочные данные включали программирование, вызов инструментов, реальные пользовательские диалоги на разных языках и длинные последовательности свыше 8 тысяч токенов. Ограничения — необходимость мощной инфраструктуры: рекомендована конфигурация из восьми RTX PRO 6000 Blackwell по 96 ГБ с b12x MoE runner. Лицензия MIT.

Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

Карточка модели RedHatAI/granite-4.2-3b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-3b, поэтому описание составлено по ней. Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q8_0 — это квантованная в формате GGUF версия инструкционной модели Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций, включая задачи программирования и ассистирования, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Контекстное окно составляет 131 072 токена. Представленная версия применяет 8-битное квантование Q8_0, занимает около 12,9 ГБ и сохраняет близкое к BF16 качество: KL-дивергенция составляет примерно 0,016, а наиболее вероятный токен совпадает с BF16 в 95,2% случаев. В README явно указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Модель формирует ответы напрямую, без внешнего отображения цепочки рассуждений. Сильные стороны версии — существенно меньший размер по сравнению с BF16 при небольших потерях качества, длинный контекст и широкая совместимость с локальными GGUF-рантаймами. Ограничения включают повышенные требования к памяти по сравнению с более агрессивными вариантами квантования и отсутствие в данном README подробных результатов оценки, описания полного набора языков и характеристик базовой модели. Модель распространяется по лицензии Apache 2.0.

MiniCPM5-2B — компактная плотная языковая модель с причинной архитектурой Transformer, разработанная командой OpenBMB. Модель содержит 2,2 млрд параметров по метаданным; в карточке указано точное число 2 516 756 480. Архитектура реализована как LlamaForCausalLM, модель поддерживает контекст до 131 072 токенов и предназначена для локального запуска на устройствах с ограниченными ресурсами. Модель подходит для локальных ассистентов, генерации текста, написания и анализа кода, математических рассуждений, работы с длинным контекстом, вызова инструментов и агентных сценариев. В карточке заявлены конкурентные результаты среди моделей сопоставимого размера, в частности в коде, математике, длинном контексте и использовании инструментов. Поддерживаемые языки по метаданным — английский и китайский. Для запуска описаны Transformers, vLLM и SGLang; указаны форматы BF16 и FP16. Модель выдаёт текст и не описана как мультимодальная. Ответы могут содержать ошибки, предвзятость или оскорбительный контент; выводы по чувствительным темам не являются профессиональной консультацией. Лицензия — Apache-2.0.

MiniMax-M3 — мультимодальная модель семейства MiniMax M3, разработанная MiniMax. Она предназначена для диалогов с текстом и изображениями, анализа видео, программирования и выполнения длительных агентных задач. Модель имеет около 428 млрд параметров, из которых активируется около 23 млрд; заявлена поддержка контекста до 1 млн токенов. Архитектура использует разреженное внимание MiniMax Sparse Attention (MSA), призванное снизить вычислительные затраты и расход памяти при обработке длинного контекста. Модель обучалась одновременно на разных модальностях и рассчитана на семантическую работу с текстом, изображениями и видео. В карточке заявлены высокие результаты на длительных агентных сценариях, включая программирование и совместную работу; количественные показатели бенчмарков не приведены. Для использования указаны MiniMax Agent и MiniMax API, а также локальное развёртывание через Transformers и веса safetensors. Лицензия обозначена как other, поэтому перед применением следует проверить её условия в репозитории модели.

Карточка модели minjaechoi/nemotron3-nano-30b-a3b-2p03bit-r22 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA Nemotron-3-Nano-30B-A3B-BF16 — языковая модель общего назначения, обученная с нуля NVIDIA Corporation для диалогов, рассуждений и выполнения инструкций. Она предназначена для разработчиков чат-ботов, агентных систем, RAG-приложений и других решений на базе ИИ; также подходит для задач программирования и многоязычного общения. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE и 6 слоёв внимания. Всего в ней 30 млрд параметров, из которых активны 3,5 млрд на токен; веса представлены в BF16. Метаданные указывают 1,9 млрд параметров. Контекст в конфигурации Hugging Face составляет 262 144 токена; README сообщает о поддержке до 1 млн токенов при соответствующих настройках и повышенных требованиях к видеопамяти. Модель принимает текст и выдаёт текст, поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Режим рассуждений настраивается через шаблон чата; также заявлен интерфейс вызова инструментов. Модель заявлена как пригодная для коммерческого использования. В метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Русский язык среди поддерживаемых не указан; возможности рассуждения могут снижаться при отключении промежуточного этапа рассуждений, а использование длинного контекста требует больше видеопамяти.

NeoHorse-1-4B-GGUF — текстовая GGUF-версия причинной языковой модели NeoHorse-1-4B, разработанной TokenRhythm и переобученной на базе Qwen3.5-4B. В репозитории prithivMLmods представлены варианты квантования от BF16 до Q3_K_S, предназначенные для запуска через llama.cpp и совместимые с экосистемой Transformers. Модель рассчитана на генерацию текста, следование инструкциям, программирование, рассуждения, работу в агентных сценариях и использование инструментов. Её ключевая особенность — routing harness, который распределяет задачи между разнородными моделями, учитывает взаимодействия с инструментами и результаты выполнения, оценивает требуемые способности и использует эти сигналы для формирования обучающей смеси. Указана поддержка Qwen3-style reasoning и парсеров вызовов инструментов; модель также может обслуживаться через SGLang или vLLM. Модель содержит около 4 миллиардов параметров, поддерживает только текстовый ввод и вывод, поскольку vision-веса исключены. Заявлен английский язык, нативное контекстное окно составляет 262144 токена с возможностью расширения до 1010000 токенов. По данным README, в сравнении с рядом моделей сопоставимого размера NeoHorse-1-4B показала более высокий средний результат на десяти тестах, особенно в агентных задачах, программировании и использовании инструментов. Ограничениями являются отсутствие визуальной модальности и заявленная языковая поддержка только английского; фактическое качество может зависеть от выбранного варианта квантования. Модель распространяется по лицензии Apache License 2.0.

Qwen3-1.7B-MLX-4bit — компактная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Это MLX-версия модели Qwen3-1.7B-Base с 4-битным квантованием, предназначенная для локального запуска и генерации текста. Она подходит для диалогов, следования инструкциям, генерации кода, математических и логических рассуждений, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою, и имеет 28 слоёв. Используется Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов и допускает переключение между режимом рассуждений и нерaссуждающим режимом в рамках одной модели: первый ориентирован на сложные задачи, математику и программирование, второй — на более быструю генерацию и общий диалог. К сильным сторонам относятся сочетание небольшого размера, локального формата MLX и 4-битного квантования, мультиязычность, поддержка диалогов и инструкций, а также гибкое управление режимом рассуждений. Ограничения включают меньшую ёмкость по сравнению с крупными моделями и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

duyntnet/Qwen3-4B-imatrix-GGUF — набор квантованных версий языковой модели Qwen3-4B, опубликованный пользователем duyntnet и основанный на модели Qwen/Qwen3-4B. Это каузальная текстовая модель с примерно 4 млрд параметров, включая 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и архитектурой Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Модель предназначена для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Qwen3-4B поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Указана поддержка более 100 языков и диалектов, однако для данной карточки в метаданных явно заявлен английский язык. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. Формат GGUF и imatrix-квантизация ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие клиенты. Сильными сторонами модели являются сочетание компактного размера, мультиязычности, развитого следования инструкциям, рассуждений и агентских возможностей, а также возможность локального инференса в квантованном формате. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования, необходимость совместимого инференс-движка и отсутствие в карточке подробных результатов бенчмарков, требований к ресурсам и точных параметров конкретных квантованных файлов. В метаданных указана лицензия other; дополнительных условий лицензирования в README не приведено.

Qwen3.5-9B-DeepSeek-V4-Flash — плотная мультимодальная модель на 9 млрд параметров, дообученная Jackrong методом дистилляции на данных DeepSeek-V4-Distill-8000x. Она построена на базе unsloth/Qwen3.5-9B и предназначена для диалогов, структурированных рассуждений, многошагового решения задач и рабочих процессов с вызовом инструментов. Архитектура поддерживает обработку изображений и текста; заявлена поддержка английского, китайского, корейского, японского, испанского и русского языков. Модель рассчитана на эффективный инференс и может применяться для программирования, математических и STEM-задач, анализа изображений и агентных сценариев. В карточке приведены рекомендации по генерации: temperature от 0,7 до 1,0 и top_p 0,95; для строгих задач программирования предлагается более низкая температура. Модель распространяется по лицензии Apache-2.0. Оценка в README описана как раннее контролируемое сравнение квантованной версии Q5_K_M с базовой Qwen3.5-9B, поэтому заявления о качестве следует считать предварительными. Ограничения включают возможные затруднения с редкими знаниями, чрезмерно длинные рассуждения на простые запросы и возможное ухудшение некоторых аспектов выравнивания безопасности.

ISTA-DASLab/Qwen3.6-35B-A3B-2Bit-GSQ — это квантизованная версия модели Qwen/Qwen3.6-35B-A3B, разработанная IST-DASLab с использованием метода GSQ (Gumbel-Softmax Quantization). Базовая модель построена по архитектуре MoE: 35 млрд параметров всего и около 3 млрд активных параметров. Модель ориентирована на рассуждения, программирование, следование инструкциям, научные и математические задачи, а также работу с длинным контекстом. В репозитории заявлена поддержка сценариев image-text-to-text; чекпойнт включает vision-компоненты, необходимые для мультимодальных входов, однако сведения о поддерживаемых языках и точной длине контекста в README не указаны. Ключевая особенность — смешанная квантизация. Веса маршрутизируемых экспертных MLP представлены в 2-битном формате GSQ с эффективной стоимостью хранения около 2,13 бит на параметр и размером группы 128, тогда как attention-слои, общие эксперты и LM head квантизованы в INT8. Эмбеддинги, нормализации, маршрутизатор MoE и другие компоненты сохранены в BF16. Полный чекпойнт занимает примерно 12,6 ГБ, а вариант без vision- и MTP-компонентов — около 9,9 ГБ. По приведённым оценкам, модель сохраняет высокую точность базовой версии, особенно на AIME 2025, где результат совпал с исходной моделью, но уступает ей на GPQA Diamond, IFEval, MMLU-Pro и GSM8K. Ограничения связаны с необходимостью специальной инфраструктуры: для запуска через vLLM требуется версия 0.27.1, патч совместимости из репозитория и GPU Ampere или Hopper. Лицензия — Apache-2.0.

Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-Llama — модель от oktayd, распространяемая в формате GGUF для запуска через llama.cpp. Это локальный мультимодальный conversational-модельный вариант с поддержкой работы с текстом и изображениями, включая скриншоты, документы, диаграммы и сцены. Модель ориентирована на ответы на вопросы, объяснение научных и рабочих тем, программирование и отладку, работу с инструментами и агентскими сценариями, анализ визуальных данных, написание текстов, ролевое общение и настройку стиля диалога. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture of Experts с примерно 35 млрд параметров всего и около 3 млрд активных параметров на токен; конфигурация выбирает 8 из 256 маршрутизируемых экспертов. Заявленный нативный контекст составляет 262 144 токена, однако для рекомендуемого запуска указан профиль на 131 072 токена. Доступны квантованные GGUF-варианты разных размеров, а исходная BF16-версия сохраняет vision- и MTP-тензоры. Поддержка языков подробно не указана, но в обучающих материалах присутствуют многоязычные подписи. Сильные стороны модели — сочетание текстовых, программных, инструментальных и визуальных сценариев, относительно экономичная по вычислениям MoE-архитектура и возможность локального запуска. При этом общий объём параметров требует значительных ресурсов хранения и памяти даже при активации только части экспертов. Модель может ошибаться или повторяться, её ответы требуют проверки, а заявленные возможности не являются гарантией высокой точности. В README также указана аблитерированная, uncensored-направленность и наличие материалов для взрослой тематики, поэтому модель подходит не для всех аудиторий. Лицензия — Apache-2.0.

Это квантованная сборка Qwen3.8-27B, подготовленная автором репозитория для запуска на Apple Silicon через oMLX. В основе — плотная мультимодальная архитектура Qwen3.5 с 27,8 млрд параметров, гибридом GatedDeltaNet и полнослойного attention, визуальным модулем в стиле SigLIP и контекстом до 256 тыс. токенов. Веса квантованы методом AWQ в среднем до 4,85 бита на параметр; размер сборки — 16,83 ГБ. Модель предназначена для диалогов, анализа изображений, программирования, математических и многошаговых задач. В README приведены результаты HumanEval, GSM8K и MMLU, близкие к исходной версии bf16 на использованных тестовых выборках. Интерфейс поддерживает вызов инструментов; для ускорения генерации доступна голова MTP. Для корректной загрузки требуется oMLX: README предупреждает, что другие загрузчики могут неверно обработать веса и выдавать некорректный текст. Для быстрой обработки длинного префикса требуется настроить указанные в карточке переменные окружения, пока исправление не включено в oMLX. Лицензия — Apache-2.0. Указанные языки в карточке модели не перечислены.

SassyDiffusion/Qwen3.8-27B-heretic-GGUF — GGUF-сборка модели SassyDiffusion/Qwen3.8-27B-heretic, основанной на Qwen3.8-27B и изменённой методом abliteration. Это разговорная причинная языковая модель с визуальным энкодером, рассчитанная на диалог, анализ изображений и видео, программирование, профессиональные и исследовательские задачи, а также многошаговое планирование. Модель содержит 27 млрд параметров; базовая архитектура Qwen3.8 использует 64 слоя и поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000. Метаданные указывают формат GGUF BF16. В карточке базовой модели заявлена поддержка понимания изображений и видео, гибкого управления режимом рассуждений и агентных сценариев. Для этой версии README приводит результат abliteration: 4 отказа из 100 запросов против 99 из 100 у исходной модели в указанной проверке; это означает заметно меньше отказов, но не гарантирует поведение на других запросах. Лицензия — Apache-2.0. Перед использованием следует учитывать, что README описывает параметры abliteration, но не приводит отдельной оценки качества именно этой GGUF-сборки.