I.14Автоматизация процессов и AI-агенты

Meta-Llama-3.1-8B-Instruct-abliterated-IMat-GGUF — это GGUF-сборка инструкционной языковой модели mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная и квантованная пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, поддерживающих формат GGUF и llama.cpp. Доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ4. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Размер базовой модели составляет 8B параметров, исходный тип данных — BF16. В README не указаны точный размер контекста, перечень поддерживаемых языков и мультимодальные возможности; по представленным данным это текстовая модель без заявленной поддержки изображений или других модальностей. Сильными сторонами сборки являются широкий выбор уровней квантования, возможность локального запуска и наличие вариантов, оптимизированных по соотношению качества и потребления памяти. Ограничения включают потенциальную потерю качества в низкобитных вариантах, зависимость производительности от оборудования и совместимость с llama.cpp или другим ПО, поддерживающим GGUF. Основа модели обозначена как abliterated и uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены; это следует учитывать при использовании. Указанная лицензия — Llama 3.1.

NeuralHermes 2.5 - Mistral 7B — это диалоговая модель для генерации текста и следования инструкциям, разработанная Mlabonne на основе teknium/OpenHermes-2.5-Mistral-7B. Модель дополнительно обучена методом Direct Preference Optimization (DPO) на наборе диалогов mlabonne/chatml_dpo_pairs с шаблоном ChatML; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на инструкции, генерации текста и помощи с кодом. В README сообщается об улучшении результатов на нескольких бенчмарках относительно исходной модели, однако приведённые данные не гарантируют качество для конкретных задач. Доступна лицензия Apache-2.0; запуск возможен через LM Studio и другие интерфейсы.

MaziyarPanahi/notus-7b-v1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием моделей mistralai/Mistral-7B-Instruct-v0.2 и argilla/notus-7b-v1 методом SLERP. Она основана на архитектуре Mistral с плотной причинной языковой моделью MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в формате диалога и выполнения инструкций. Контекст составляет до 32 768 токенов, что позволяет использовать её для продолжительных бесед и работы с длинными текстовыми запросами. На Hugging Face опубликована в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка описывает способ слияния, но не приводит отдельных оценок качества или известных ограничений; результат зависит от формулировки запроса и сценария применения.

AceReason-Nemotron-14B-GGUF — это квантизированная версия языковой модели AceReason-Nemotron-14B, разработанной NVIDIA. Сборка подготовлена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения математических задач, рассуждений и программирования; поддерживает английский язык и запускается через llama.cpp, LM Studio и другие совместимые проекты. Размер исходной модели составляет 14 млрд параметров. В репозитории доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы варианты Q6_K, Q6_K_L, Q5 и Q4_K_M; для устройств с ограниченной памятью доступны более компактные варианты, но с более низким качеством. Архитектура, максимальная длина контекста и другие подробные характеристики в README не указаны. Модель удобна для локального запуска и ресурсоэффективного вывода, однако качество зависит от выбранного уровня квантования, а низкобитные варианты могут заметно уступать более крупным по точности. Для корректной работы следует использовать указанный формат prompt. Модель распространяется по NVIDIA Open Model License; конкретные условия необходимо уточнять в тексте лицензии NVIDIA.

JunHowie/Qwen3-0.6B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-0.6B, опубликованная JunHowie на базе модели Qwen/Qwen3-0.6B, разработанной командой Qwen. Она предназначена для генерации текста, диалогов, следования инструкциям, решения задач, программирования, перевода и других сценариев применения причинных языковых моделей, включая локальный запуск и развёртывание через vLLM. Модель имеет архитектуру causal language model, 0,6 млрд параметров, из которых 0,44 млрд не относятся к эмбеддингам, 28 слоёв и механизм GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Qwen3 поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. Квантизация выполнена до 4 бит с размером группы 128; параметр desc_act установлен в false, что, согласно README, повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. К сильным сторонам относятся небольшой размер, сниженные требования к памяти, поддержка мультиязычных задач, диалогов, рассуждений и интеграции с инструментами, а также совместимость с vLLM при наличии версии не ниже 0.9.2. Ограничениями являются малый масштаб модели по сравнению с крупными версиями Qwen3 и возможное снижение качества из-за 4-битной квантизации; конкретные результаты бенчмарков и требования к аппаратному обеспечению в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться для локального запуска через llama.cpp и Ollama на CPU и GPU. Доступны варианты с разной степенью квантизации: от 2,66 до 4,67 бит на вес и размером примерно от 10,2 до 17,8 ГБ. Варианты KQ оптимизированы для CPU и преимущественно используют KQ-квантизацию, а варианты IQ — для GPU и применяют гибридный подход KQ и IQ. По приведённым бенчмаркам нормализованное качество составляет до 99,75% относительно используемых базовых вариантов, однако конкретный результат зависит от выбранного файла и оборудования. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Основные преимущества модели — широкий выбор компромиссов между размером, скоростью и качеством, а также поддержка CPU и GPU, включая использование на компактных устройствах, согласно материалам разработчика. Ограничения связаны с потерями качества при сильной квантизации, зависимостью производительности от оборудования и тем, что обозначения IQ и KQ не соответствуют стандартным профилям llama.cpp. Модель распространяется по лицензии Apache-2.0.

Ex0bit/Qwen3.6-35B-A3B-PRISM-NVFP4 — мультимодальная модель для генерации текста, основанная на Qwen/Qwen3.6-35B-A3B и доработанная проектом Ex0bit с использованием настройки PRISM. PRISM направлена на смягчение чрезмерных отказов, удаление нежелательных проявлений предвзятости и пропагандистских шаблонов при сохранении или улучшении качества выполнения задач, связности ответов и мультимодальных возможностей. Модель использует разреженную архитектуру Mixture-of-Experts: общий размер составляет 35 млрд параметров, около 3 млрд параметров активируются для каждого токена, предусмотрено 256 маршрутизируемых экспертов. Веса и активации квантованы в формат NVFP4 W4A4 с использованием compressed-tensors; некоторые компоненты, включая vision encoder, lm_head, роутеры, embeddings и состояние линейно-внимательной SSM, сохранены в BF16. Доступна поддержка мультимодального ввода и MTP draft head для ускоренного спекулятивного декодирования. В README приведён режим обслуживания с ограничением контекста 32768 токенов. Ключевые преимущества модели — существенно сниженные требования к хранению, поддержка мультимодальных сценариев, MoE-эффективность и возможность спекулятивного декодирования. Основные ограничения связаны с аппаратной и программной совместимостью: модель рассчитана прежде всего на GPU NVIDIA Blackwell с архитектурами SM120/SM121 и требует версии vLLM с поддержкой NVFP4; стандартные сборки могут работать некорректно, особенно на SM121. Лицензия Apache 2.0 унаследована от базовой модели.

Qwen3.6-40B-Grand-Intelligence-Fable-Fusion-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это 40-миллиардная модель на базе Qwen3.6, разработанная DavidAU при участии Nightmedia, TeichAI, armand0e, trohrbaugh и nbeerbower. Модель создана как результат многоэтапного fine-tuning, объединения нескольких версий Qwen3.6-27B Fable Fusion и последующей настройки с использованием Unsloth. Доступны обычные GGUF-квантизации и варианты с поддержкой MTP, включая 4-битные и 8-битные версии; заявлена совместимость с потребительским оборудованием. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, анализа, программирования, творческого письма, ролевых сценариев и работы с текстом. В README также заявлена поддержка vision, однако конкретные форматы входных данных и ограничения мультимодальности не описаны. Указаны английский и китайский языки. Модель ориентирована на более глубокие рассуждения, подробные ответы, улучшенное следование инструкциям и общую интеллектуальную производительность; заявлено сокращение числа токенов в thinking-блоке по сравнению с обычными Qwen. К сильным сторонам относятся крупный размер, многоэтапная настройка, наличие разных GGUF-квантизаций и акцент на reasoning, instruction following и универсальность. Модель обозначена как uncensored и heretic, поэтому уровень защитных ограничений может отличаться от оригинальных моделей Qwen. README не содержит точного размера контекста, полной спецификации архитектуры, детальных результатов независимых тестов и описания требований к ресурсам, поэтому производительность и пригодность для конкретных сценариев следует проверять самостоятельно. Лицензия — Apache-2.0.

Trinas_Nectar-8B-model_stock — объединённая автором DreadPoor с помощью mergekit языковая модель на архитектуре Llama 3.1. Она предназначена для диалоговой генерации текста и выполнения инструкций; в состав слияния вошли Configurable-Llama-3.1-8B-Instruct, Dolphin 2.9.4, Hermes 3, Lumimaid v0.2 и ScaduTorrent, с базовой моделью Sao10K/L3-8B-Stheno-v3.2. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекст до 8192 токенов. В карточке приведены результаты Open LLM Leaderboard: средняя оценка 27,27, IFEval — 72,59, BBH — 31,98. Модель представлена в формате safetensors и рассчитана на использование через Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Aether-12b — языковая модель AIXON Lab, дообученная на основе Xclbr7/Arcanum-12b на наборе theprint/CleverBoi-Data-20k. Это плотная авторегрессионная Transformer-модель семейства Mistral с 12,1 млрд параметров; для дообучения использовались TRL SFTTrainer, оптимизатор AdamW, планировщик cosine decay и точность bfloat16. В карточке указано контекстное окно 1 024 000 токенов. Модель предназначена для работы в роли ассистента или чат-бота с заданной ролью. Разработчик заявляет улучшения в рассуждении, решении задач, письме, анализе и понимании контекста. Основной язык — английский; карточка также отмечает возможную поддержку других языков. Лицензия — Apache-2.0. Модель может наследовать предвзятости и ограничения базовой модели и обучающих данных; результаты стоит проверять, особенно при использовании для анализа и решения задач. Оценки Open LLM Leaderboard в карточке пока отсутствуют.

Falcon3-MoE-2x7B-Instruct — инструктивная языковая модель с архитектурой Mixture of Experts, созданная объединением двух моделей Falcon3-7B-Instruct. В README заявлено 13,4 млрд параметров и формат BF16; метаданные указывают 7,1 млрд параметров. Модель основана на Falcon3-7B-Instruct от TII, а репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и генерации ответов по инструкциям. Базовая Falcon3-7B-Instruct рассчитана на задачи понимания языка, следования инструкциям, рассуждений, программирования и математики; контекст составляет до 32 768 токенов. В карточке для базовой модели перечислены английский, французский, испанский и португальский языки. Метаданные также отмечают интерфейс для вызова инструментов. Лицензия указана как other, поэтому конкретные условия использования следует уточнять в репозитории. Описание не содержит отдельных оценок качества или ограничений для MoE-версии; заявленные возможности базовой модели не следует считать подтверждёнными сравнительными результатами этой сборки.

FuseChat-Gemma-2-9B-Instruct — диалоговая модель FuseAI на архитектуре Gemma 2 с 9 млрд параметров. Это вариант FuseChat-3.0, созданный на базе Gemma-2-9B-It с помощью дообучения и неявного объединения знаний: после supervised fine-tuning модель оптимизировали методом Direct Preference Optimization на предпочтениях, собранных по ответам нескольких крупных языковых моделей. Модель предназначена для диалогов и выполнения инструкций, включая общие вопросы, математику, программирование и задачи на китайском языке. Контекст составляет 8192 токена. В README заявлены улучшения на бенчмарках для серии FuseChat-3.0, но приведённые численные результаты относятся к варианту с Llama-3.1-8B-Instruct в качестве целевой модели и не подтверждают такие же показатели для этой версии Gemma. Модель принимает текст и генерирует текст. Она распространяется в формате safetensors; лицензия в предоставленных данных не указана.

Gemma 2 9B Instruct — языковая модель Google с открытыми весами, построенная на архитектуре decoder-only и адаптированная для следования инструкциям и диалога. Она принимает текст и генерирует текст; семейство Gemma описано как ориентированное на английский язык. Репозиторий содержит производную версию базовой модели google/gemma-2-9b и файлы safetensors для использования с Transformers. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и рассуждений по заданному контексту. Относительно компактный размер семейства позволяет запускать модели Gemma на локальных компьютерах или собственной облачной инфраструктуре, хотя фактические требования зависят от конфигурации запуска. Модель может ошибаться в фактах, хуже справляться со сложными или неоднозначными запросами и отражать предвзятость обучающих данных. Использование регулируется лицензией Gemma.

Gemma 3n E2B — мультимодальная генеративная модель Google из семейства Gemma, предназначенная для эффективного запуска на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио и генерирует текст; поддерживает сценарии диалога, создания и суммаризации текстов, извлечения сведений из изображений, транскрибации и перевода речи. Модель использует архитектуру MatFormer и выборочную активацию параметров: при общем количестве около 6 млрд параметров её эффективный размер и требования к памяти сопоставимы с традиционной моделью на 2 млрд параметров. Репозиторий содержит вариант E2B на базе Gemma 3n E4B. Модель обучалась на данных более чем на 140 разговорных языках. Её можно применять для чат-ботов, помощников, анализа мультимодальных данных и генерации черновиков. Возможны предвзятые, неточные или устаревшие ответы; модель может испытывать трудности с неоднозначностью и сложными открытыми задачами. Лицензия — Gemma License.

GPT-4.1 nano — компактная модель OpenAI из семейства GPT-4.1, предназначенная для задач с низкой задержкой и низкой стоимостью. Карточка описывает её как самую быструю и дешёвую модель в серии и указывает контекстное окно в 1 миллион токенов. Модель подходит для сценариев, где важны скорость и экономичное выполнение задач, требующих обработки текста. Данных о конкретных возможностях, поддерживаемых языках, архитектуре и лицензии в предоставленных источниках нет.

bartowski/Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, однако конкретные поддерживаемые языки, размер контекста и детали архитектуры в предоставленном README не указаны. Ключевая характеристика этой версии — квантизация, которая обычно позволяет снизить требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей качества; конкретный уровень квантизации README не сообщает. Модель ориентирована на текстовые задачи, а сведения о мультимодальности отсутствуют. Ограничения, показатели качества и рекомендации по аппаратному обеспечению также не приведены, поэтому их нельзя достоверно оценить по имеющимся данным. Модель распространяется на условиях Llama 3.3 Community License от Meta. Лицензия предоставляет ограниченные права на использование, воспроизведение, распространение и модификацию при соблюдении условий соглашения, включая передачу текста лицензии, указание «Built with Llama», обязательное уведомление об авторских правах и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

RDson/Llama-3-Peach-Instruct-4x8B-MoE — экспериментальная языковая модель RDson, созданная с помощью Mergekit путём объединения четырёх моделей семейства Llama 3 в архитектуру MoE. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, следования инструкциям и решения задач с рассуждением. В README приведены результаты GSM8K для варианта Q4_K_M; в репозитории указаны веса safetensors, а GGUF-версия доступна отдельно. Модель имеет около 7,5 млрд параметров и контекстное окно 8192 токена. В состав объединения вошли Meta-Llama-3-8B-Instruct, SFR-Iterative-DPO-LLaMA-3-8B-R, Hermes-2-Theta-Llama-3-8B и Llama-3-8B-Instruct-Coder. README называет её экспериментальной; сведения о лицензии в предоставленных данных отсутствуют.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-FP8-dynamic — это динамически квантованная версия мультимодальной модели Meta Llama-4-Scout-17B-16E-Instruct, подготовленная Red Hat совместно с Neural Magic. Модель реализует архитектуру Llama4ForConditionalGeneration, принимает текст и изображения, а генерирует текст. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель предназначена для задач text-to-text и image-text-to-text: диалоговых приложений, обработки текстовых запросов и анализа изображений с формированием текстового ответа. Веса и активации переведены в формат FP8 с использованием llm-compressor. По данным README, это примерно вдвое снижает требования к GPU-памяти и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных вычислений по сравнению с представлением FP16. В примере развертывания используется максимальная длина контекста 32768 токенов. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и оптимизация для эффективного инференса на vLLM, Red Hat Enterprise Linux AI и Red Hat OpenShift AI. Ограничения включают зависимость от совместимого FP8-оборудования и программного стека; README не содержит результатов бенчмарков или оценки возможной потери качества после квантования. Модель выпущена 15 апреля 2025 года, версия 1.0, и распространяется по лицензии Llama 4.

Penguin-VL-8B — компактная зрительно-языковая модель Tencent, построенная на базе Qwen3-8B и разработанная для обработки изображений, документов и видео вместе с текстом. Модель содержит около 7,6 млрд параметров и использует архитектуру PenguinVLQwen3ForCausalLM: визуальный энкодер, инициализированный текстовой моделью Qwen3-0.6B, лёгкий MLP-проектор и языковую основу Qwen3. Для понимания видео применяется сжатие токенов с учётом временной избыточности кадров. Модель предназначена для диалоговых запросов по визуальному содержимому: ответов на вопросы по изображениям и видео, OCR, анализа диаграмм и документов, а также мультимодальных рассуждений. В README сообщается о конкурентных результатах на тестах для изображений, документов, OCR, математики и видео; контекст составляет 40 960 токенов. Метаданные указывают английский язык, библиотеку Transformers и лицензию Apache-2.0. Хотя README описывает визуальные и видеовозможности, pipeline_tag и каталог классифицируют репозиторий как text-generation. Не следует считать приведённые результаты гарантией качества на произвольных данных; README не уточняет ограничения по разрешению, длительности видео и аппаратным требованиям.

Phi-3-mini-4k-instruct-GGUF — квантованная версия легковесной языковой модели Phi-3-mini-4k-instruct, разработанной Microsoft и опубликованной в формате GGUF для локального запуска. В README указано, что модель обучалась на наборах данных Phi-3, включающих синтетические данные и отфильтрованные общедоступные веб-материалы с акцентом на качество и задачи, требующие рассуждений. Модель предназначена для генерации текста, диалоговых сценариев и других задач обработки естественного языка, включая работу с кодом. Она поддерживает английский язык, имеет контекстное окно 4096 токенов и относится к текстовым моделям. Формат GGUF совместим с приложениями на базе llama.cpp, включая Backyard AI, и позволяет распределять вычисления между CPU и GPU. Ключевое преимущество модели — компактность и возможность локального запуска на более широком спектре оборудования благодаря квантованию, которое снижает требования к ресурсам. Ограничением является компромисс между эффективностью и качеством: при более низкой точности квантования могут снижаться связность и качество ответов. Конкретный уровень квантования в README не указан. Базовая модель распространяется по лицензии MIT; для этой версии также указана лицензия MIT.

plato-9b — диалоговая языковая модель на 9 млрд параметров, разработанная DeepVK дообучением google/gemma-2-9b-it. Она предназначена прежде всего для генерации ответов на русском языке и общения в формате диалога. Модель обучали с supervised fine-tuning и оптимизацией предпочтений на инструкционных данных, включавших диалоги, математику, биологию, химию, код и общие знания. Архитектура — плотная Gemma 2 для причинной генерации текста; контекст — до 8192 токенов. Метаданные указывают поддержку русского и английского языков. В карточке приведены оценки на русскоязычных наборах arena-general-ru и arena-hard-ru с оцениванием LLM-as-a-judge. Эти результаты характеризуют конкретные тесты и не гарантируют качество для каждой задачи. Модель принимает текст и генерирует текст. Распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через llama.cpp и LM Studio. Для общения применяется специальный шаблон prompt с ролями system, user и assistant. Модель имеет размер 32B параметров и доступна в вариантах от F16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix в llama.cpp; варианты отличаются размером файла, требованиями к памяти и ожидаемым качеством. README указывает английский язык, однако сведения о полном наборе поддерживаемых языков, архитектуре и длине контекста не приведены. Сильной стороной являются разнообразные варианты квантизации, позволяющие выбирать между качеством и требованиями к ресурсам; версии Q6, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описана как подходящий вариант стандартного размера. Более компактные варианты экономят память, но могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B — компактная мультимодальная модель семейства Qwen, представленная в репозитории ensu-app/Qwen3.5-0.8B-GGUF и основанная на Qwen/Qwen3.5-0.8B. README не указывает отдельного разработчика репозитория; модель относится к линейке Qwen. Она предназначена для прототипирования, исследовательских и разработческих задач, а также для дообучения под конкретные сценарии. Поддерживает работу с текстом и изображениями благодаря архитектуре языковой модели с vision encoder, включая задачи рассуждения, программирования, визуального понимания и агентных сценариев. Модель содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель обучалась в режимах pre-training и post-training, а веса и конфигурации совместимы с Transformers, vLLM, SGLang и KTransformers. Для локального запуска и дообучения рекомендуется использовать инструменты Unsloth. К сильным сторонам относятся малый размер, потенциально высокая скорость и низкая стоимость инференса, мультимодальность, большой контекст и широкое языковое покрытие. Ограничение — относительно небольшой масштаб в 0,8 млрд параметров, поэтому модель ориентирована прежде всего на прототипы, специализированное дообучение и исследования, а не на универсальные задачи максимальной сложности. В README указана лицензия Apache-2.0.

Sohailhosseini/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-AWQ-W4A16 — квантизированная версия модели Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста по текстовым и визуальным входным данным, включая диалоговые и инструкционные сценарии; в карточке она обозначена как image-text-to-text и заявлена как подходящая для мультиязычных моделей. Модель содержит 9,7 млрд параметров и использует квантизацию AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет 8,6 ГБ, что в 2,24 раза меньше исходных 19,3 ГБ. Визуальные компоненты, включая vision tower, vision model и multi-modal projector, а также слой lm_head оставлены без квантизации, поэтому сохраняется мультимодальная функциональность. Рекомендуемая длина контекста при запуске через vLLM — до 32 768 токенов. Ключевое преимущество — уменьшенные требования к хранению и потенциально более эффективный запуск по сравнению с исходной моделью; квантизация калибровалась на 256 примерах из HuggingFaceH4/ultrachat_200k. Ограничения включают возможное снижение качества из-за 4-битного представления и совместимость с реализациями vLLM: некоторые старые ядра могут предпочитать симметричную схему W4A16, тогда как данная версия асимметричная. В README указана лицензия Apache-2.0, унаследованная от исходной модели.

Qwen3.5-9B-GGUF — это квантизированная версия языковой модели Qwen3.5-9B, распространяемая в формате GGUF. Исходную модель разработала команда Qwen; преобразование и квантизацию выполнила unsloth. Репозиторий tinnlab/Qwen3.5-9B-GGUF является зеркалом без изменений: Tin Nguyen Lab не обучала, не дообучала и не квантизировала модель. В поставке доступен один файл Qwen3.5-9B-Q4_K_M.gguf размером около 5,68 ГБ с квантизацией Q4_K_M. Модель предназначена для локальной генерации текста, текстового диалога и использования инструментов без API-ключа. В данном репозитории поддерживаются только текстовые сценарии; мультимодальный проектор отсутствует, поэтому обработка изображений и видео невозможна. Дополнительные сведения об архитектуре, языках и размере контекста в предоставленной карточке не указаны. Модель распространяется по лицензии Apache-2.0. Репозиторий общедоступен и не требует токена, учётной записи или соглашения о доступе. Зеркало содержит только вариант Q4_K_M, поэтому для других уровней квантизации и мультимодальных компонентов необходимо обращаться к исходному репозиторию unsloth.

Qwen3.6-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной ByteShape с использованием ShapeLearn. Метод ShapeLearn выбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для локального запуска и инференса через llama.cpp или LM Studio, включая сценарии, требующие обработки текста и изображений. Модель относится к семейству с обозначением 35B-A3B; README не раскрывает точную архитектуру, размер контекста и поддерживаемые языки. Доступны варианты, оптимизированные для GPU и CPU: GPU-версии используют IQ-квантизацию, а CPU-версии — преимущественно KQ-квантизацию. Размер файлов составляет примерно от 9,42 до 18 ГБ для GPU-вариантов и от 11,7 до 14,7 ГБ для указанных CPU-вариантов, при диапазоне 2,17–4,15 бит на вес. Сильными сторонами являются поддержка vision-сценариев, возможность локального запуска на различном оборудовании и выбор между качеством, размером и скоростью инференса. Ограничения включают зависимость производительности от конкретного варианта и оборудования, а также отсутствие поддержки этой GGUF-модели в Ollama на момент публикации README. Модель распространяется по лицензии Apache-2.0.

huginnfork/Qwen3.8-27B-NVFP4A16 — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач понимания изображений и текста, генерации текста по мультимодальному вводу, а также сценариев, где важны сниженное потребление памяти и ускоренный инференс на совместимом оборудовании. Она поддерживает архитектуру семейства Qwen3.5 с гибридом полноформатного внимания и линейного внимания на базе SSM, vision tower и multi-token prediction head. Точные сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Используется схема NVFP4A16 (W4A16): веса 192 MLP-модулей представлены в 4-битном формате FP4 с групповыми масштабами FP8 E4M3, а активации остаются в bf16. Пути self-attention, linear attention, vision tower, lm_head и MTP head также сохранены в bf16. Размер модели составляет около 28,8 GiB в шести shards против 51,7 GiB для исходной bf16-версии. Такой подход обеспечивает существенное сжатие при сохранении наиболее чувствительных к ошибкам компонентов в более точном формате. Сильными сторонами являются экономия памяти, отсутствие квантизации активаций и сохранение в bf16 attention-, SSM- и визуальных компонентов. По приведённым измерениям, perplexity на wikitext-2-raw выросла с 6,9416 до 7,1497, то есть примерно на 3%, что указывает на некоторую потерю точности относительно родительской bf16-модели. Производительность и совместимость зависят от поддержки NVFP4A16 и используемого программно-аппаратного стека. Модель распространяется по лицензии Apache-2.0.

Vishva007/Qwen3.8-27B-W4A16-AutoRound — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста по текстовым и визуальным входам, включая анализ изображений и задачи оптического распознавания символов (OCR). В README она обозначена как vision-language model с поддержкой сценария image-text-to-text. Модель содержит около 27 млрд параметров и использует формат квантизации W4A16: веса представлены в 4-битном формате, а активации — в 16-битном. Квантизация выполнена с помощью Intel AutoRound с размером группы 64, симметричной схемой, 512 калибровочными образцами и 600 итерациями настройки. Визуальная башня сохранена в формате BF16, как и специальные MTP-слои, что должно помогать сохранять качество визуального рассуждения и OCR. Заявленное потребление видеопамяти составляет примерно 16–18 ГБ против около 54 ГБ у исходной BF16-модели, поэтому вариант подходит для запуска на одной видеокарте с 24 ГБ VRAM и для высокопроизводительного сервинга через vLLM. К преимуществам относятся существенно сниженные требования к памяти и потенциально более высокая скорость декодирования при сохранении визуальных компонентов в BF16. Ограничения включают возможную потерю точности из-за 4-битной квантизации, а также отсутствие в README сведений о поддерживаемых языках, точном размере контекста, результатах бенчмарков и детальных ограничениях применения. Модель распространяется по лицензии Apache-2.0.

Vontra Qwen3.8-Flash-Next-MLX-oQ4 — это общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной Qwen, для запуска на устройствах Apple Silicon. Конверсия выполнена Vontra напрямую из официального BF16-чекпойнта и предназначена для мультимодальных сценариев, включая обработку текста и изображений, генерацию ответов и работу с vision-language задачами через совместимые MLX-VLM или oMLX. Модель использует архитектуру qwen4_exp: разреженную mixture-of-experts с 125 млрд параметров в общей сложности и примерно 6 млрд активных параметров, 48 слоями, 512 маршрутизируемыми экспертами, 10 активными экспертами и одним общим экспертом. В состав также входят Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams и хешированные bigram/trigram-эмбеддинги объёмом 51 млрд параметров. Контекст — до 262 144 токенов; используются 24 attention heads и 2 KV heads, размер скрытого состояния — 2560. Модель поставляется в формате MLX safetensors с oQ4 mixed-precision-квантизацией: базовые веса представлены в 4 битах, отдельные чувствительные слои защищены точностью 5/8 бит. Размер весов — около 111,69 ГБ. Сильные стороны модели — поддержка текста и изображений, большое контекстное окно, сниженное активное число параметров благодаря sparse MoE и оптимизация для Apple Silicon. На Apple M3 Studio в README указана скорость генерации около 27–30 токенов в секунду после загрузки. Для работы требуется runtime с явной поддержкой архитектуры qwen4_exp; старые версии MLX-VLM могут быть несовместимы. Опциональная MTP-голова не включена, а Qwen3.8 27B MTP-drafter использовать нельзя из-за несовместимых скрытых размеров. Это неофициальная общественная конверсия Vontra. Модель распространяется по лицензии Qwen Community License 1.0.

Qwen_Qwen3-32B-GGUF — это квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp, включая использование на системах с ограниченными ресурсами. В набор входят варианты с разными уровнями квантизации: от BF16 и Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 12 до 65 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix; для работы рекомендуется применять шаблон промпта Qwen3 с ролями system, user и assistant. Более высокие варианты квантизации обеспечивают качество, близкое к исходной модели, тогда как младшие варианты экономят память за счёт заметного снижения качества. Сильными сторонами являются широкий выбор форматов, возможность локального запуска и хорошее соотношение качества и требований к памяти у вариантов Q4–Q6. Ограничения включают значительный объём файлов, зависимость характеристик от выбранного уровня квантизации и отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре и мультимодальности. Модель распространяется по лицензии Apache-2.0.