I.14Автоматизация процессов и AI-агенты

Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-2-7B — плотная языковая модель на архитектуре Mistral, созданная слиянием teknium/OpenHermes-2.5-Mistral-7B и Intel/neural-chat-7b-v3-2 методом TIES. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В карточке указаны веса слияния 0,5 для OpenHermes и 0,3 для neural-chat, а также плотность 0,5 для каждой исходной модели. Модель предназначена для диалогов и генерации текста; автор рекомендует использовать шаблон ChatML. Она доступна в формате safetensors и распространяется по лицензии Apache-2.0. README приводит результаты на нескольких бенчмарках, но не описывает ограничения и языковой охват модели.

OpenHermes-2.5-neural-chat-v3-3-Slerp — языковая модель Weyaxi, созданная слиянием через mergekit моделей Intel/neural-chat-7b-v3-3 и teknium/OpenHermes-2.5-Mistral-7B. Она построена на архитектуре Mistral и содержит 7,1 млрд параметров; модель предназначена для генерации текста и диалогов. Для общения в README рекомендуется шаблон ChatML. Указанное окно контекста — 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текста. Репозиторий содержит веса safetensors; для этой модели также опубликованы отдельные варианты квантования GPTQ, GGUF и AWQ. Лицензия — Apache-2.0. README приводит результаты оценки на нескольких бенчмарках, но не описывает языковое покрытие или специализированные области применения.

OpenYourMind создала эту полноразмерную BF16-версию NVIDIA Nemotron-3-Ultra-550B-A55B с ослабленными отказами на типовых категориях запросов. По описанию автора, изменение выполнено офлайн-проекцией направления отказа на веса без дополнительного обучения и без изменения структуры базовой модели. Модель содержит 550 млрд параметров, из которых активно 55 млрд, и использует гибридную архитектуру Mamba-2, Attention и Latent-MoE; сохранены режим рассуждений enable_thinking и голова MTP для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, сложных рассуждений и технических или защитных запросов, на которые исходная модель могла отказывать. Контекст составляет 262 144 токена. Веса BF16 занимают около 1,1 ТБ и требуют мног GPU-развёртывания; автор указывает vLLM как вариант запуска. README заявляет сохранение связности, точности и многоязычной беглости, однако не приводит независимых оценок этих свойств. Лицензия — OpenMDW-1.1, унаследованная от базовой модели.

Карточка модели OpenYourMind/OpenYourMind-NVIDIA-Nemotron-3-Ultra-550B-A55B-abliterated-uncensored на Hugging Face совпадает с карточкой Laerins/OpenYourMind-NVIDIA-Nemotron-3-Ultra-550B-A55B-abliterated-uncensored, поэтому описание составлено по ней. OpenYourMind создала эту полноразмерную BF16-версию NVIDIA Nemotron-3-Ultra-550B-A55B с ослабленными отказами на типовых категориях запросов. По описанию автора, изменение выполнено офлайн-проекцией направления отказа на веса без дополнительного обучения и без изменения структуры базовой модели. Модель содержит 550 млрд параметров, из которых активно 55 млрд, и использует гибридную архитектуру Mamba-2, Attention и Latent-MoE; сохранены режим рассуждений enable_thinking и голова MTP для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, сложных рассуждений и технических или защитных запросов, на которые исходная модель могла отказывать. Контекст составляет 262 144 токена. Веса BF16 занимают около 1,1 ТБ и требуют мног GPU-развёртывания; автор указывает vLLM как вариант запуска. README заявляет сохранение связности, точности и многоязычной беглости, однако не приводит независимых оценок этих свойств. Лицензия — OpenMDW-1.1, унаследованная от базовой модели.

Orca-2.0-Tau-1.8B — диалоговая языковая модель M4-ai, дообученная на базе tau-1.8B как универсальный помощник. Она предназначена для генерации ответов, письма, решения математических задач и работы с кодом; также заявлены ответы на вопросы и рассуждения по шагам. Модель использует архитектуру Qwen2ForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Для общения применяется формат ChatML. В обучающий набор вошли данные для диалогов, программирования, математики и естественных наук. Карточка указывает английский язык и допускает поддержку китайского; метаданные подтверждают английский. Лицензия указана как tongyi-qianwen license (в метаданных — other). Оценка на Open LLM Leaderboard приведена в карточке, однако отдельная оценка качества для практических сценариев не заявлена.

palmyra-mini-thinking-AIO-GGUF — набор GGUF-вариантов семейства Palmyra Mini, разработанного Writer и опубликованного в формате GGUF пользователем или организацией prithivMLmods. В состав входят варианты palmyra-mini, palmyra-mini-thinking-a и palmyra-mini-thinking-b с разными уровнями квантования: от Q2_K до Q8_0, а также BF16, F16 и F32. Модель предназначена для генерации текста, программирования и решения математических задач на английском языке. Сильной стороной семейства является рассуждение в задачах с пошаговым решением: заявлены результаты 0,818 на GSM8K и MATH500, а также 0,6 на AMC23. Это делает модели подходящими для учебной математики, количественного анализа, ответов на вопросы и задач, связанных с кодом. Доступны файлы размером примерно от 676 МБ до 7,11 ГБ в зависимости от варианта и точности. README не содержит сведений об архитектуре, числе параметров, размере контекста, поддерживаемых дополнительных модальностях или сравнении качества между вариантами, поэтому эти характеристики нельзя определить. Распространение указано по лицензии Apache-2.0.

tanbinh2210/phobert-st — модель Sentence Transformers, дообученная на базе vinai/phobert-base-v2. Она кодирует предложения и абзацы в плотные векторы размерности 768; архитектура состоит из RoBERTa-энкодера с усреднением токенных представлений. Модель предназначена для вычисления семантического сходства текстов, семантического поиска, поиска перефразирований, кластеризации и классификации текста. Для сравнения векторов рекомендуется косинусное сходство. Модель ориентирована на вьетнамский язык и имеет ограничение длины последовательности около 256 токенов; метаданные указывают контекст в 258 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Информация о лицензии в предоставленных данных отсутствует, поэтому условия использования определить нельзя.

piccolo-base-zh — текстовая embedding-модель, обученная General Model Group компании SenseTime Research. Модель основана на архитектуре BERT, содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для получения векторных представлений китайских текстов и подходит для семантического поиска, поиска по запросам и документам, сравнения смысловой близости, классификации и кластеризации. Обучение проходило в два этапа: на 400 млн слабонаблюдаемых пар текстов с контрастивной функцией потерь, затем на 20 млн размеченных пар с трудными отрицательными примерами. Авторы приводят результаты оценки семейства piccolo на C-MTEB; размерность векторов piccolo-base-zh — 768. Модель рассчитана прежде всего на китайский язык. Контекст ограничен 512 токенами; для запросов при описанном авторами дообучении использовалась длина до 64 токенов. В README и метаданных лицензия не приведена, поэтому условия использования по этим источникам установить нельзя.

piotr-rybak/poleval2021-task4-herbert-large-encoder — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная Piotr Rybak. Она преобразует предложения и абзацы в плотные векторы размерностью 512 для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель обучалась с ContrastiveLoss на основе косинусного расстояния и доступна в формате PyTorch для использования с библиотекой Sentence-Transformers. В метаданных указано 453,9 млн параметров и контекст длиной 514 токенов. Название репозитория и POLEVAL2021 указывают на польскую языковую задачу; модель предназначена прежде всего для текстов на польском языке. Лицензия в предоставленных данных не указана.

Prox-Llama-3-8B-abliterated — дообученная OpenVoid версия Meta-Llama-3-8B-Instruct, ориентированная на генерацию кода и задачи кибербезопасности. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для диалогового взаимодействия и работы с текстом; заявленная длина контекста — 8192 токена. Модель подходит для написания и объяснения кода, подготовки документации, ответов на вопросы о методах взлома и кибербезопасности, а также анализа программных проектов. Карточка описывает её как uncensored-модель, поэтому ответы на темы атак и взлома требуют особенно внимательной проверки. Разработчик рекомендует проверять результаты и соблюдать применимые законы. Лицензия — Apache-2.0.

Qwen2.5-14B-Gutenberg-Instruct-Slerpeno — плотная языковая модель на 14 млрд параметров, созданная автором репозитория слиянием моделей через SLERP с помощью mergekit. В слияние вошли Qwen/Qwen2.5-14B-Instruct и v000000/Qwen2.5-14B-Gutenberg-1e-Delta; README указывает, что слияние призвано сохранить влияние Gutenberg DPO и сбалансировать его с базовой инструкционной моделью. Модель предназначена для диалогов и генерации текста, включая структурированные ответы. Она принимает текст и выдаёт текст, использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors, а библиотека для работы с моделью — Transformers. В README приведены результаты Open LLM Leaderboard, включая средний балл 33,39, IFEval и BBH. Модель распространяется по лицензии Apache-2.0. Показатели в README не гарантируют качество на конкретных задачах; специальных языковых ограничений или иных недостатков в доступных данных не описано.

Карточка модели tayaee/Qwen2.5-1.5B-Korean-DPO-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2.5-Coder-0.5B-Instruct-GGUF — инструкционная языковая модель для работы с исходным кодом из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, задач кодового рассуждения, чат-сценариев и создания приложений на базе кодовых агентов. Модель сохраняет возможности для математических и общих языковых задач. Указанный репозиторий содержит версию в формате GGUF, ориентированную на локальный запуск, в том числе через llama.cpp. Модель является авторегрессионной causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в QKV внимания и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд — без учёта эмбеддингов, 24 слоя и GQA с 14 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов. Поддерживаются варианты квантизации q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. В карточке явно указан английский язык; другие языки не заявлены. К сильным сторонам относятся небольшой размер, возможность локального запуска и специализация на программном коде. Ограничениями являются существенно меньшая мощность по сравнению с крупными моделями семейства и отсутствие подтверждённых в карточке характеристик мультимодальности или поддержки дополнительных языков. Для расширения контекста до 131 072 токенов рекомендуется использовать не GGUF-версии, поскольку для GGUF заявлена длина до 32 768 токенов, а поддержку YARN для экстраполяции указывает только vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-MegaR3ASONER-v1-i1-GGUF — квантизированная версия модели RexTRO111/Qwen3-4B-MegaR3ASONER-v1, подготовленная mradermacher в формате GGUF. Модель основана на семействе Qwen3 и предназначена для генерации текста с акцентом на рассуждения. Она ориентирована на задачи математического, программного и научного рассуждения, а также на сценарии, где требуется пошаговый анализ и генерация кода. При обучении использовались наборы данных HuggingFaceH4/Bespoke-Stratos-17k, nvidia/OpenMathReasoning, nvidia/OpenCodeReasoning, nvidia/OpenScienceReasoning-2 и reasoning-distill-opus-4-7-max-sft. В карточке указано знание английского языка; сведения о поддержке других языков, контекстном окне, точной архитектуре и мультимодальности не приведены. Модель доступна в нескольких вариантах квантизации размером примерно от 1,2 до 3,4 ГБ. Варианты различаются балансом скорости, размера и качества: для практического использования рекомендован i1-Q4_K_M, а i1-Q4_K_S обозначен как оптимальный по соотношению размера, скорости и качества. Сильными сторонами являются небольшой размер, возможность локального запуска и специализация на рассуждениях, математике, программировании и научных задачах. Ограничения включают возможное снижение качества на низких уровнях квантизации и отсутствие подробных результатов оценки. Лицензия указана как other, без уточнения конкретных условий.

Qwen3-4B-Thinking-2507-GGUF — это набор файлов модели в формате GGUF для текстовой генерации, созданный пользователем MaziyarPanahi на основе исходной модели Qwen3-4B-Thinking-2507 от команды Qwen. Модель предназначена для локального запуска и интеграции с совместимыми приложениями и библиотеками, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие инструменты экосистемы GGUF. Известно, что представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. Модель относится к классу текстовых генеративных моделей; сведения о количестве параметров, архитектуре исходной модели, поддерживаемых языках и размере контекста в README не указаны. Формат GGUF поддерживает запуск с использованием CPU и GPU, однако фактическая производительность зависит от выбранного варианта квантования и оборудования. README не содержит сведений о лицензии. Ограничения, связанные с качеством ответов и потерями точности при квантовании, могут зависеть от конкретного файла и конфигурации запуска.

Qwen3.5-9B Opus 4.6 Reasoning Distill — текстовая диалоговая модель Empero AI, дообученная на рассуждениях Claude Opus 4.6 и Qwen. Она предназначена для пошагового анализа задач и формирования ответа после блока рассуждений в специальных тегах. Модель основана на Qwen/Qwen3.5-9B; для обучения применялся supervised fine-tuning с QLoRA 4-bit. В метаданных указаны 7,2 млрд параметров, контекст до 262 144 токенов и формат safetensors; README сообщает о максимальной длине последовательности 4096 токенов при обучении. Поддерживается английский язык. Модель подходит для диалоговых запросов, решения задач с многошаговым рассуждением и помощи в программировании. Как и другие модели, обученные на трассах рассуждений, она может ошибаться и выдавать убедительно звучащие, но неверные выводы; качество на независимых задачах в карточке не подтверждено. Доступна по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая мультимодальная fine-tune-модель на базе Qwen3.6-27B, опубликованная nostrbuild при участии нескольких разработчиков и команд, включая DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh. Модель распространяется в формате GGUF, включая обычные и MTP-варианты с NEO IMATRIX-квантованием, и предназначена для запуска на потребительском оборудовании. В описании заявлены улучшенное следование инструкциям, решение задач, рассуждение и общее повышение интеллектуальных возможностей. Модель рассчитана на широкий круг сценариев, включая программирование, диалоги, анализ, творческое письмо и roleplaying, хотя специально не оптимизировалась только под творчество. Также заявлена поддержка vision. Указанные языки — английский и китайский. Размер базовой модели — 27B параметров; точное архитектурное устройство и размер контекстного окна в README не приведены. Доступны кванты с разрядностью 4 и 8 бит, а также варианты MTP для многотокенного предсказания. Для MTP рекомендуется температура не выше 1 и отключённая repetition penalty; при низкой доле принятия токенов следует использовать обычный квант. Автор заявляет превосходство над базовой Qwen3.6-27B в шести из семи тестов и сопоставимый результат в седьмом, однако эти результаты приведены без независимой проверки. Сильными сторонами заявлены instruction following, reasoning, problem solving, сохранение возможностей базовой модели, поддержка vision и хорошее качество даже у низкоразрядных квантов. Ограничения включают зависимость качества и производительности от выбранного кванта и настроек MTP, а также заявленный uncensored/heretic-профиль, который может означать ослабленные ограничения безопасности. Модель распространяется по лицензии Apache-2.0.

QAYSER12/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это открытая мультимодальная модель на базе Qwen3.6 27B, представленная в формате GGUF. Она создана как результат многоэтапного дообучения и слияния моделей при участии DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; использовались датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель поддерживает английский и китайский языки, а также работу с изображениями. Размер контекстного окна в README не указан. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, анализа и творческой работы, включая написание художественных текстов и ролевые сценарии. Заявлены улучшенные instruction following, общее качество рассуждений и problem solving по сравнению с базовой моделью. Доступны обычные и MTP-варианты GGUF-квантов, включая 4- и 8-битные сборки; используется NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. Для MTP-вариантов рекомендуется temperature не выше 1 и rep penalty 1; при низком token acceptance rate следует использовать обычные кванты. К сильным сторонам относятся широкий набор сценариев применения, поддержка vision, reasoning и работы на потребительском оборудовании, а также заявленные высокие результаты внутренних бенчмарков. Ограничения включают отсутствие в README подробностей об архитектуре поверх базовой Qwen3.6 27B, точном размере контекста, системных требованиях и независимой проверке заявленных результатов. Модель описывается как uncensored и heretic, поэтому её поведение и защитные ограничения могут отличаться от официальной базовой модели. Лицензия — Apache-2.0.

Mesh LLM подготовил пакет слоёв GGUF модели Qwen3.6-27B-UD-Q4_K_XL для распределённого запуска в локальном кластере Mesh LLM. Пакет основан на unsloth/Qwen3.6-27B-MTP-GGUF и сохраняет исходное распределение модели по отдельным артефактам слоёв; вариант весов — UD-Q4_K_XL с квантизацией Q4_K_XL. Модель предназначена для локального приватного чата и генерации текста, в том числе при распределении вычислений между несколькими машинами, когда полный GGUF-файл слишком велик для одного узла. Mesh LLM позволяет предоставлять запросы через совместимый с OpenAI API интерфейс чата. Для запуска необходима инфраструктура Mesh LLM. README отсылает к карточке исходной модели за сведениями об архитектуре, контекстном окне, шаблоне чата, рекомендациях по генерации и условиях лицензии; эти характеристики здесь не приведены. Поэтому лицензионные условия следует сверять с исходной моделью unsloth/Qwen3.6-27B-MTP-GGUF.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизаций модели, разработанный hesamation на основе Qwen/Qwen3.6-35B-A3B. Исходная модель дообучена методом supervised fine-tuning с LoRA на данных, имитирующих рассуждения Claude Opus, а затем объединена с базовой моделью и преобразована в формат GGUF с использованием инструментов llama.cpp. Модель предназначена для генерации текста и локального или серверного запуска в совместимых средах, включая современные сборки llama.cpp. Модель ориентирована на диалоговые сценарии, текстовую генерацию и задачи, требующие пошагового рассуждения. Указаны варианты Q4_K_M, Q5_K_M, Q6_K и Q8_0: они различаются размером, требованиями к памяти и ожидаемым качеством. Архитектура базовой модели обозначена как Qwen3.6-35B-A3B; в README также указано, что она включает vision encoder, однако данное дообучение выполнялось только на текстовых примерах. Поэтому улучшения для изображений и видео не заявлены, а мультимодальное поведение следует считать унаследованным от базовой модели. Максимальная длина последовательности при обучении составляла 32768 токенов, заявленный язык — английский. Главное преимущество модели — специализация на рассуждениях и возможность подобрать компромисс между качеством и потреблением памяти с помощью разных уровней квантизации. На ограниченном тесте MMLU-Pro исходная объединённая модель получила 75,71% exact match против 42,86% у базовой модели, но этот результат относится не к отдельным GGUF-файлам, основан на 70 вопросах и не является полноценной оценкой; квантизация может изменить показатели, особенно при низкой разрядности. Модель и её GGUF-варианты распространяются по лицензии Apache-2.0.

Это конвертированная версия Qwen3.6-35B-A3B, подготовленная exolabs для запуска через vLLM. Весы исходного GGUF с MXFP4-квантованием экспертов MoE и тензорами в форматах K-quant, Q8 и F32 были деквантованы и преобразованы в safetensors с точностью BF16; архитектурные тензоры Qwen3.6/GDN были переименованы и согласованы для загрузки в Transformers и vLLM. Модель предназначена для диалоговой генерации и обслуживания через vLLM. Хотя в метаданных указана задача image-text-to-text и способность vision, визуальная башня в этом артефакте отсутствует: README рекомендует запускать его только для обработки текста с параметром --language-model-only. Для мультимодального анализа изображений этот файл модели не подходит. В репозитории 21 шард safetensors общим размером около 69,3 ГБ; README сообщает об успешных проверках загрузки, генерации и запуска в vLLM. Лицензия указана как other, поэтому перед использованием следует проверить её условия на странице модели.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-KERN-GGUF — это набор смешанно-точных квантованных моделей в формате GGUF, подготовленный Andrew Paul на основе DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и запуска через llama.cpp, в том числе локально на видеокартах с ограниченным объёмом памяти. Доступны четыре варианта: eqQ4_K_M размером 14,73 ГБ, eqQ3_K_M — 13,04 ГБ, eqQ3_K_S — 11,59 ГБ и eqIQ2_M — 9,58 ГБ. Заявленная сохранность возможностей относительно BF16 составляет примерно 95%, 91%, 81% и 76% соответственно. Конкретные языки и максимальный контекст модели в README не указаны; примеры запуска используют контекст 16 384 токена. Ключевая особенность — распределение разрядности тензоров, выбранное по результатам тестирования возможностей, чувствительности и отклонения логитов, а не только по KL-дивергенции. Все варианты поддерживают обычную генерацию и спекулятивное декодирование: встроенная MTP-голова позволяет использовать draft length 2 или 3, а совместимость с внешним DFlash 2 может повысить пропускную способность. Меньшие варианты удобнее для 16 ГБ видеокарт, тогда как eqQ4_K_M рассчитан преимущественно на 24 ГБ или unified memory. Ограничения включают зависимость заявленных оценок от закрытого внутреннего теста, непроверенную поддержку vision через mmproj и возможное накопление ошибок при KV-cache в режиме q4. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-MTPLX-bf16 — конвертированная в формат MLX версия плотной мультимодальной модели Qwen3.8-27B, подготовленная автором johninthepool для компьютеров Apple Silicon. Это полноточная сборка bf16 без квантизации: сохранена голова multi-token prediction (MTP), необходимая для спекулятивного декодирования через mtplx. Модель рассчитана на диалоговую генерацию текста; базовая модель также поддерживает анализ изображений и видео, программирование и многошаговые задачи. Сборка предназначена для запуска на Mac с чипом Apple M-серии. Для весов объёмом около 55 ГБ автор рекомендует не менее 64 ГБ объединённой памяти; для работы с нативным путём MTP требуется mtplx. Полноточная версия сохраняет точность исходных весов, но требует больше памяти, чем варианты с квантизацией. Лицензия — Apache-2.0.

williamliao/Qwen3.8-27B-NVFP4-GGUF — экспериментальная GGUF-сборка модели Qwen3.8-27B, подготовленная William Liao для llama.cpp. Репозиторий содержит два варианта квантования: собственную смешанную сборку Qwen3.8-27B-NVFP4-Quality-v2 на основе BF16-модели Qwen/Qwen3.8-27B и производную от unsloth/Qwen3.8-27B-NVFP4 сборку Qwen3.8-27B-Unsloth-NVFP4-Q8. Это текстовая генеративная модель для запуска и инференса через llama.cpp; обе сборки включают нативные MTP-тензоры и не требуют отдельной draft-модели для speculative decoding. Quality-v2 использует NVFP4 для большинства вычислительно затратных матриц, Q4_K_M для отдельных K/V- и MTP-тензоров, Q6_K для эмбеддингов и выходной головы и F32 для нормализаций. Её размер составляет около 16,0 ГБ в десятичном исчислении, или 14,95 GiB, при эффективной плотности около 4,70 BPW. Вариант Unsloth-NVFP4-Q8 сохраняет NVFP4-части через перепаковку, но преобразует исходные FP8-тензоры в Q8_0, поэтому он существенно больше и не является побитной, численно или форматно точной копией исходной модели. Для работы требуется свежая сборка llama.cpp с поддержкой архитектуры Qwen3.5/Qwen3.8, нативных NVFP4-тензоров и Qwen MTP speculative decoding; в протестированной конфигурации использовались CUDA и видеокарты NVIDIA. Сильные стороны модели — уменьшенный размер квантованных файлов, возможность запуска на совместимых GPU и поддержка ускорения через speculative decoding. Ограничения — экспериментальный статус, различия между вариантами квантования и отсутствие гарантии идентичного поведения с исходной моделью в Transformers, compressed-tensors, vLLM или других средах. Лицензия — Apache-2.0.

A3Pz0/Qwen3.8-27B-TURBO-Fable-Uncen-MTP-GGUF — это многос этапная дообученная и объединённая версия Qwen3.8-27B, разработанная автором DavidAU с использованием Unsloth, методов Cold Fusion и Fable Fusion. Модель распространяется в формате GGUF с обычными и MTP-квантами, включая варианты с точностью 4 и 8 бит, и ориентирована на работу на потребительском оборудовании. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и reasoning, а также оптимизация для сокращения объёма рассуждений и ускорения генерации при сохранении детализации ответа. В карточке указаны английский и китайский языки. Архитектура и размер унаследованы от Qwen3.8-27B; поддержка изображений заявлена через тег image-text-to-text, но подробности мультимодальных возможностей в README не приведены. К сильным сторонам относятся заявленные автором высокие результаты на наборах ARC-C и ARC-E, улучшение по сравнению с базовой Qwen3.8-27B, сокращение числа токенов рассуждений и наличие вариантов для разного объёма памяти. Ограничения включают отсутствие независимой проверки приведённых бенчмарков, неполные сведения о контекстном окне и мультимодальности, а также возможную специфику поведения uncensored/abliterated-дообучения. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный пользователем trklzz на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp; доступны варианты с MTP для speculative decoding, отдельными draft-моделями, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; vision-компонент позволяет работать с изображениями. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 объёмом примерно от 10,6 до 29 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Вариант модифицирован методом abliteration: поведение, связанное с отказами, существенно уменьшено, но не устранено полностью. При этом дополнительное обучение и новые данные не использовались, а заявленные возможности, обучающие данные и архитектура базовой модели сохранены. Сильными сторонами являются длинный контекст, поддержка изображений, несколько уровней квантизации и возможность ускорения генерации посредством speculative decoding. Ограничения включают требования к значительным объёмам памяти, зависимость vision-функций от совместимого runtime и возможное небольшое снижение эффективности принятия draft-токенов. Распространение указано по лицензии Apache-2.0.

Qwen3.8-4B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это полнопараметрическая дистилляция Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Модель ориентирована на рассуждения и использует встроенный шаблон чата; ответы начинаются с блока <think>, который при необходимости можно удалять перед показом пользователю. Доступны варианты от Q4_K_M до BF16 размером примерно от 2,783 до 8,666 ГБ. Рекомендуемый Q4_K_M обеспечивает баланс качества и размера, а Q8_0 и BF16 дают более высокое качество при повышенных требованиях к памяти. Архитектура Qwen3.5 использует гибрид из слоёв Gated DeltaNet и полноценных attention-слоёв, поэтому требуется свежая версия llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. В карточке указаны английский язык и сценарий text-generation; размер контекста не заявлен. По приведённым оценкам, модель заметно превосходит базовую Qwen3.5-4B в MMLU, но уступает ей в GSM8K CoT, поэтому качество зависит от типа задачи. Для Q4_K_M и Q5_K_M подходят видеокарты с 4–6 ГБ памяти, Q6_K и Q8_0 требуют примерно 6–8 ГБ, а BF16 — от 12 ГБ; при длинном контексте дополнительные ресурсы нужны для KV-кэша. Веса распространяются по лицензии Apache-2.0.

Карточка модели willhx/Qwen3-8B-Base-TauSFT на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Qwen3-Coder-30B-A3B-Instruct-FP8-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct-FP8, преобразованная в формат GGUF. Модель разработана командой Qwen, а данный вариант опубликован пользователем ijohn07 и создан с помощью llama.cpp через сервис GGUF-my-repo от ggml.ai. Она предназначена для генерации текста и может использоваться в локальных приложениях на базе llama.cpp, включая командную строку и серверный режим. Из доступных данных известно, что исходная модель имеет обозначение 30B-A3B и ориентирована на задачи, связанные с кодом, однако подробности об архитектуре, поддерживаемых языках, модальностях и размере контекста в представленном README не указаны. Суффикс Q4_K_M указывает на вариант квантизации GGUF, рассчитанный на более компактное локальное выполнение, но README не содержит конкретных требований к памяти или производительности. В качестве ограничения следует учитывать отсутствие подробной информации о возможностях и качестве исходной модели. Модель распространяется по лицензии Apache-2.0. Для запуска рекомендуется использовать llama.cpp; в README приведены примеры работы через llama-cli и llama-server, включая настройку контекста размером 2048 токенов.

Карточка модели mlinmg/Qwen3-Omni-30B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.