II.8Инженерия данных и аналитика

cyankiwi/Qwen3-VL-4B-Instruct-AWQ-8bit — 8-битная AWQ-квантизованная версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также заявлена для понимания видео, визуального рассуждения и взаимодействия с графическими интерфейсами. Она подходит для описания изображений, визуального вопросно-ответного взаимодействия, OCR, анализа документов, STEM-задач, генерации кода и разметки интерфейсов по визуальным примерам. Модель использует плотную архитектуру размером 4B параметров и поддерживает контекст до 256K токенов с возможностью расширения до 1M. Среди заявленных архитектурных компонентов — Interleaved-MRoPE для временных и пространственных координат, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Указана поддержка OCR на 32 языках, однако полный перечень языков в README не приведён. Сильные стороны модели — объединённое понимание текста и изображений, распознавание объектов и документов, пространственное и временное рассуждение, работа с длинным контекстом и сценарии визуального агента. Ограничения включают уменьшенную точность, возможные потери качества и совместимость, связанные с 8-битной AWQ-квантизацией, а также отсутствие в README подробных количественных результатов, полного списка языков и требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

Virtuoso-Small — компактная генеративная языковая модель Arcee.ai с 14 млрд параметров, созданная на базе Qwen2.5-14B. Она предназначена для выполнения инструкций, рассуждений и бизнес-задач, включая поддержку клиентов, создание контента и техническую помощь. Модель использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов, а также интерфейс чата и вызова инструментов. Доступны локальное развертывание и доступ через API; в карточке также указана возможность получить версию GGUF. Модель распространяется по лицензии Apache-2.0.

Command A+ — флагманская модель Cohere для корпоративных агентных сценариев. Она принимает текст и изображения, поддерживает контекст длиной 192 тысячи токенов и нативный вызов инструментов со строгими схемами. Модель предназначена для многошаговых рабочих процессов, где требуется анализировать входные данные и обращаться к внешним инструментам. Доступный фрагмент карточки подтверждает поддержку текста и изображений, но не сообщает архитектуру, число параметров, языки, лицензию или ограничения. Поэтому эти характеристики нельзя надёжно описать.

Citaman/command-r-16-layer — текстовая генеративная модель, созданная Citaman с помощью mergekit. В README описано объединение SLERP весов Citaman/command-r-17-layer, а конфигурация использует срезы слоёв 0–16 и 1–17; метаданные каталога классифицируют модель как дообучение указанной базовой модели. Модель основана на плотной архитектуре CohereForCausalLM и содержит 15,3 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Она принимает текст и выдаёт текст. Контекстное окно составляет 8192 токена. Репозиторий распространяет веса в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

Citaman/command-r-37-layer — объединённая с помощью mergekit модель на архитектуре Cohere для генерации текста и диалогового взаимодействия. В README описано слияние методом SLERP двух срезов модели Citaman/command-r-38-layer; метаданные классифицируют результат как дообучение этой базовой модели. Модель содержит 32,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 8192 токенов. Она предназначена для текстовых запросов, чата и сценариев с интерфейсом вызова инструментов. Лицензия в предоставленных данных не указана.

TechxGenus/DeepSeek-V2-Lite-Chat-AWQ — AWQ-квантованная версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek AI. Это языковая модель, дообученная для взаимодействия в формате чата и предназначенная для генерации текста, ответов на вопросы и других сценариев использования разговорных LLM. Модель построена по архитектуре Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA): всего она содержит 16 млрд параметров, из которых при обработке активируется 2,4 млрд. MLA сжимает KV-кэш в латентное представление, а разреженные вычисления MoE повышают эффективность обучения и инференса. Контекстное окно составляет 32 тысячи токенов. В README заявлена поддержка сценариев на английском и китайском языках; модель обучалась с нуля на 5,7 трлн токенов. К сильным сторонам относятся сравнительно небольшое число активных параметров, эффективность инференса и возможность развертывания на одной GPU с 40 ГБ памяти. Квантованный формат AWQ ориентирован на более экономичное локальное развертывание, однако README не приводит подробностей о влиянии квантования на качество, аппаратных требованиях конкретного запуска или результатах именно этой квантованной сборки. Модель распространяется по лицензии DeepSeek Model Agreement; код проекта отдельно отмечен как распространяемый по MIT, но это не заменяет условия лицензии самой модели.

DeepSeek-V3.2-Exp — экспериментальная языковая модель семейства DeepSeek, разработанная DeepSeek и опубликованная в виде побитово идентичной архивной копии AIArchiveInfo. В исходной версии исследуется механизм DeepSeek Sparse Attention для повышения эффективности обучения и инференса на длинных последовательностях; по заявлению авторов, качество ответов остаётся близким к DeepSeek-V3.1-Terminus. Модель предназначена для генерации текста и диалогового взаимодействия, а метаданные также указывают интерфейс вызова инструментов. Модель содержит 37,6 млрд параметров, использует архитектуру DeepseekV32ForCausalLM и формат весов safetensors FP8. Длина контекста — 163 840 токенов. README сообщает, что веса архивной копии не обучались и не изменялись, поэтому классификация как дообучения из метаданных может отражать связь с базовой моделью, а не изменение весов именно этой копии. Лицензия — MIT.

Dirk-Qwen3.8-27B-MLX-oQ6e — это квантизированная MLX-версия базовой модели Qwen/Qwen3.8-27B, разработанная автором peculiar-ragdoll. Модель представляет собой плотную vision-language модель с поддержкой текста и изображений, ориентированную на работу на компьютерах Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Заявленная языковая поддержка включает английский и китайский языки. Модель использует смешанную квантизацию oQ6e с калибровкой imatrix и размером около 22,1 ГБ, примерно 6,9 бит на вес. Веса, vision tower и MTP-head сохранены; MTP может применяться для speculative decoding и ускорения генерации в совместимых runtime. Максимальное окно контекста в примере конфигурации составляет 262144 токена. В комплект включён Sharp chat template v22.5.0, который по умолчанию задаёт компактные ответы и средний уровень рассуждений; уровень reasoning effort можно менять от low до xhigh, а рассуждения — отключать. Модель предназначена для диалогов, анализа изображений, программирования, агентских сценариев и задач, где важны краткость и скорость получения ответа. К её сильным сторонам относятся сохранённая мультимодальность, поддержка MTP, готовый шаблон чата и несколько уровней глубины рассуждений. Ограничения связаны с требованиями к памяти: вариант oQ6e рассчитан примерно на системы с 32 ГБ памяти, а MTP поддерживается не всеми загрузчиками. Для корректной работы требуется использовать mlx-vlm версии не ниже 0.6.3, а не mlx-lm. README также приводит предварительные результаты бенчмарков, которые ещё находятся в процессе измерения, поэтому их нельзя считать окончательными. Модель распространяется по лицензии Apache-2.0.

Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP — мультимодальная модель семейства Gemma 4, разработанная HauhauCS на основе Gemma 4 26B-A4B-it от Google DeepMind. Это версия с минимизированными отказами, ориентированная на агентный кодинг, рассуждения, творческое письмо, ролевые и разговорные сценарии, а также задачи, где важны надёжность и следование инструкциям. Модель построена по архитектуре MoE с 128 экспертами, из которых 8 активируются для каждого токена, и имеет заявленный контекст 256K токенов. Используется официальная QAT-квантизация примерно до 4 бит в формате GGUF Q4_K_M; основной файл занимает около 16,8 ГБ. Поддерживается ввод изображений через отдельный vision-проектор mmproj размером около 1,2 ГБ. Заявлен английский язык. В комплект входит MTP-драфтер для speculative decoding, который, по данным автора, ускоряет генерацию примерно на 35% без изменения проверенного моделью результата. Сильными сторонами являются сочетание большого контекста, MoE-архитектуры, поддержки изображений, 4-битной QAT-квантизации и оптимизации под llama.cpp, LM Studio, Jan, koboldcpp и другие GGUF-совместимые среды. Ограничения включают зависимость мультимодального режима от отдельного mmproj, необходимость совместимого MTP-драфтера для заявленного ускорения и возможные сбои Gemma 4 в LM Studio при использовании tensor-split на нескольких GPU. Несмотря на позиционирование как uncensored, автор отмечает отдельные пограничные случаи с отказом при первом запросе. Модель распространяется по лицензии Gemma; дополнительные условия лицензии в README не указаны.

RedHatAI/GLM-5.3-MXFP4 — текстовая генеративная модель, разработанная RedHatAI на основе zai-org/GLM-5.3. Она предназначена для задач генерации текста, следования инструкциям и решения математических и других reasoning-задач. Модель принимает текст и возвращает текст, поддерживает английский и китайский языки и реализует архитектуру GlmMoeDsaForCausalLM. Размер модели и длина контекстного окна в README не указаны. Это квантизированная версия GLM-5.3 для инференса через vLLM. Веса и активации линейных операторов внутри transformer-блоков представлены в формате FP4 по схеме MXFP4 с микромасштабированием OCP; для весов используются формат e2m1, группы размера 32 и масштабы E8M0, а для активаций — динамическое масштабирование по группам. По сравнению с контрольной версией FP8 такая оптимизация примерно на 50% уменьшает размер на диске и требования к памяти GPU, при этом на заявленных тестах сохраняет большую часть качества FP8-модели. Наибольшее относительное снижение показателей отмечено на AIME 2025 и GPQA Diamond. Модель предназначена для развёртывания с vLLM; в README приведена конфигурация с FP8 KV-cache, четырьмя устройствами в tensor parallelism и speculative decoding. Квантизация выполнена методом model-free post-training quantization без калибровочных данных с использованием LLM Compressor, а модель экспортирована в формате compressed-tensors. Лицензия обозначена как glm-5.3, тип лицензии — other; дополнительные условия в README не раскрыты.

Kanana-2-30B-A3B-Thinking — языковая модель Kakao Corporation из семейства Kanana-2, предназначенная для генерации текста с пошаговым рассуждением. Это дообученная версия Kanana-2-30B-A3B-Base на архитектуре DeepSeek V3 с механизмами MLA и Mixture of Experts: всего 30 млрд параметров, из которых активируются около 3 млрд. Репозиторий содержит веса в формате Safetensors; для запуска README рекомендует Transformers версии 4.51.0 или новее. Модель рассчитана на сложные инструкции, логические задачи, длительные диалоги и агентные сценарии с вызовом инструментов. Она поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки, а её штатная длина контекста составляет 32 768 токенов. README описывает настройку YaRN для контекстов до 128 тысяч токенов, но предупреждает, что масштабирование может ухудшить качество на коротких текстах. Лицензия указана как Other, поэтому условия использования следует уточнять в карточке модели. README сообщает, что пользовательские данные Kakao не использовались при предварительном обучении и дообучении. Модель ориентирована на генерацию текста; изображения и аудио в качестве входа не заявлены.

MLX Community Llama-3.1-8B-Instruct-4bit — это 4-битно квантованная версия инструкционной языковой модели Llama 3.1 8B Instruct, разработанной Meta и адаптированной сообществом MLX для запуска с использованием экосистемы MLX. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, обобщение и другие задачи обработки естественного языка. Модель относится к текстовым моделям и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер базовой модели составляет 8 миллиардов параметров. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако способно немного ухудшить точность и качество по сравнению с полной версией. В README не указаны размер контекстного окна, конкретные требования к оборудованию и результаты бенчмарков. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячно активных пользователей предусмотрено требование получить отдельную лицензию Meta.

NVIDIA Llama 3.1 8B Instruct FP8 — FP8-квантизированная версия инструкционно настроенной авторегрессионной языковой модели Meta Llama 3.1 8B Instruct. Модель подготовлена NVIDIA с помощью TensorRT Model Optimizer; README уточняет, что она не принадлежит NVIDIA и была собрана по требованиям стороннего разработчика. Архитектура — трансформер Llama 3.1 с плотной моделью примерно на 7,5 млрд параметров. Модель принимает текстовые последовательности и генерирует текст, поддерживает диалоговый режим и контекст до 128 тысяч токенов. Квантизация весов и активаций линейных операторов до FP8 предназначена для более экономичного и быстрого инференса: в README указано сокращение требований к диску и памяти GPU примерно на 50% и ускорение примерно в 1,3 раза на H100. Предусмотрен запуск через TensorRT-LLM и vLLM на совместимых GPU NVIDIA. Модель подходит для диалогов, генерации и продолжения текста, а также ответов на инструкции. В README заявлено коммерческое и некоммерческое использование; лицензия в метаданных — llama3.1. Качество и скорость зависят от оборудования и среды инференса; оценка ускорения приведена для конфигурации с H100.

legraphista/Meta-Llama-3.1-8B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-8B-Instruct, подготовленный legraphista в формате GGUF с поддержкой IMat. Это инструкционно настроенная большая языковая модель Meta с 8 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текстовых ответов. Данные README не содержат точной информации о поддерживаемых языках, длине контекста, конкретных вариантах квантования или аппаратных требованиях. Формат GGUF делает модель пригодной для локального запуска в совместимом программном обеспечении, однако README не указывает конкретные средства инференса и характеристики производительности. Ограничения включают возможные ошибки и нежелательные результаты, характерные для языковых моделей, а также ответственность пользователя за оценку пригодности выводов. Модель распространяется на условиях Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов требуется сохранять текст лицензии и указывать «Built with Llama»; также необходимо соблюдать Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

MS-Inky-2409-22B — объединённая модель Kaoeiri, созданная с помощью LazyMergekit на основе unsloth/Mistral-Small-Instruct-2409+estrogen/MS-22b-RP-Ink-adpt. Это плотная авторегрессионная языковая модель семейства Mistral с архитектурой MistralForCausalLM и 22 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Заявленная длина контекста — 131072 токена. Модель распространяется в формате safetensors. В README указан метод объединения task_arithmetic, тип данных bfloat16 и объединённый источник токенизатора. Лицензия в предоставленных данных не указана.

Nous-Hermes-2-Mixtral-8x7B-DPO-GGUF — это квантизированная версия языковой модели Nous-Hermes-2-Mixtral-8x7B-DPO, разработанной NousResearch и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и дообучена с применением DPO и RLHF; в метаданных также указаны синтетические данные и дистилляция. Заявленный язык — английский. Модель предназначена для диалоговых и инструкционных сценариев: генерации ответов, общения в формате чат-бота и выполнения текстовых запросов. Она использует шаблон ChatML и поддерживает контекст размером 4096 токенов. Доступно несколько вариантов квантизации от Q2_K до Q8_0 размером от 17,3 до 49,6 ГБ. Q4_K_M рекомендуется как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. К сильным сторонам относятся архитектура Mixtral, диалоговая настройка и широкий выбор уровней квантизации для локального запуска. Более агрессивная квантизация уменьшает требования к памяти, но приводит к заметной потере качества; наиболее компактные варианты не рекомендуются для большинства задач. В README не указаны мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0. Для запуска с LlamaEdge требуется версия 0.2.8 или новее.

Phi-3-mini-128k-instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Phi-3-mini-128k-instruct, разработанной Microsoft. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая обработку естественного языка и кода; в метаданных указан английский язык. Это текстовая, а не мультимодальная модель. Ключевая характеристика модели — контекстное окно до 128 000 токенов. Репозиторий содержит варианты с квантизацией от 2 до 8 бит, а также версию f16 размером 7,64 ГБ. Рекомендуемыми считаются Q4_K_M как сбалансированный вариант, а также Q5_K_M и Q5_K_S с меньшими потерями качества. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; для Q2_K, Q3 и некоторых Q4-вариантов это прямо отмечено в описании. Модель может использоваться локально через совместимые инструменты GGUF и LlamaEdge; для запуска требуется LlamaEdge версии 0.12.2 или выше и шаблон запросов phi-3-chat. В README не приведены результаты тестирования, точное число параметров, требования к аппаратному обеспечению или сведения о качестве на конкретных задачах. Модель распространяется по лицензии MIT.

Phi-4-mini-instruct-GGUF — GGUF-квантизированная версия инструкционной модели Phi-4-mini-instruct, разработанной Microsoft. Квантизацию выполнил bartowski на базе llama.cpp версии b4792; модель распространяется в рамках программы Community Models для LM Studio. Модель предназначена для широкого круга коммерческих и исследовательских задач генерации текста, включая диалоговое взаимодействие, следование инструкциям и вызов функций. Она поддерживает контекст длиной до 128 тысяч токенов, заявлена как многоязычная и обладает улучшенными возможностями instruction following и function calling. README не содержит сведений о точном размере модели, конкретной архитектуре, перечне поддерживаемых языков и типе квантизации. Для использования в LM Studio на указанную дату требуется Beta runtime. Лицензия в предоставленных данных не указана; модель может генерировать неточный, вредный или нежелательный контент.

Mungert/Phi-4-mini-instruct-GGUF — набор GGUF-версий инструкционной языковой модели Phi-4-mini-instruct, разработанной Microsoft и опубликованный пользователем Mungert. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и кода. Доступны варианты для запуска на GPU, CPU и устройствах с ограниченной памятью. Представлены файлы в форматах BF16 и F16, а также квантованные варианты Q8_0, Q6_K, Q4_K, Q4_0 и IQ3. Квантование уменьшает потребление памяти ценой возможного снижения точности. Заявлена поддержка multilingual-сценариев и языков, включая английский, русский, китайский, японский, корейский, арабский, французский, немецкий, испанский, португальский, украинский и другие. Точный размер модели, архитектура, максимальная длина контекста и мультимодальные возможности в README не указаны; по описанию это текстовая модель. Сильные стороны набора — широкий выбор точности и размера файлов, возможность локального запуска на CPU или GPU и адаптация под устройства с разными ограничениями памяти. Более низкобитные варианты экономичнее, но могут уступать полноформатным версиям по качеству. В README не приведены результаты тестов, точные требования к памяти и подробные ограничения поведения модели. Лицензия — MIT.

Qwen3-0.6B-GGUF — компактная языковая модель семейства Qwen3, разработанная Alibaba Cloud и представителями команды Qwen. Это causal language model с предварительным обучением и последующей настройкой, предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, а также интеграции с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для Q и 8 для KV. Длина контекста заявлена до 32 768 токенов. Представлена в формате GGUF с квантизацией q8_0, что делает её подходящей для локального запуска через llama.cpp и Ollama при ограниченных вычислительных ресурсах. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Ключевая особенность Qwen3 — переключение между режимами thinking для сложных задач и рассуждений и non-thinking для более быстрых ответов и обычного диалога. Сильными сторонами являются компактность, поддержка многоязычных сценариев, диалоговые возможности, следование инструкциям и пригодность для локального использования. Ограничения включают небольшой по современным меркам размер, возможное снижение качества на сложных задачах по сравнению с более крупными моделями, а также необходимость подбора параметров генерации; README отдельно предупреждает о повторениях при жадном декодировании в thinking mode. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B — компактная мультимодальная модель семейства Qwen, представленная в репозитории ensu-app/Qwen3.5-0.8B-GGUF и основанная на Qwen/Qwen3.5-0.8B. README не указывает отдельного разработчика репозитория; модель относится к линейке Qwen. Она предназначена для прототипирования, исследовательских и разработческих задач, а также для дообучения под конкретные сценарии. Поддерживает работу с текстом и изображениями благодаря архитектуре языковой модели с vision encoder, включая задачи рассуждения, программирования, визуального понимания и агентных сценариев. Модель содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель обучалась в режимах pre-training и post-training, а веса и конфигурации совместимы с Transformers, vLLM, SGLang и KTransformers. Для локального запуска и дообучения рекомендуется использовать инструменты Unsloth. К сильным сторонам относятся малый размер, потенциально высокая скорость и низкая стоимость инференса, мультимодальность, большой контекст и широкое языковое покрытие. Ограничение — относительно небольшой масштаб в 0,8 млрд параметров, поэтому модель ориентирована прежде всего на прототипы, специализированное дообучение и исследования, а не на универсальные задачи максимальной сложности. В README указана лицензия Apache-2.0.

cyankiwi/Qwen3.5-2B-AWQ-4bit — 4-битная AWQ-квантизированная версия мультимодальной модели Qwen3.5-2B, основанной на Qwen/Qwen3.5-2B и разработанной командой Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования и агентских сценариев. Формат совместим с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, использует архитектуру causal language model с vision encoder, гибрид Gated Delta Networks и разреженной Mixture-of-Experts, 24 слоя и контекст до 262 144 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить эффективность инференса, однако возможны потери качества по сравнению с полноразмерными весами; точные характеристики квантизации и результаты бенчмарков именно этой сборки в README не приведены. Основные сценарии использования — прототипирование, исследовательские и разработческие задачи, а также предметно-ориентированное дообучение. Небольшой размер облегчает локальное и экономичное развертывание, но ограничивает максимальную глубину и надежность результатов по сравнению с более крупными моделями. Модель распространяется по лицензии Apache-2.0.

SassyDiffusion/Qwen3.5-9B-heretic-ara-GGUF — это GGUF-версия декензурированной модели SassyDiffusion/Qwen3.5-9B-heretic, созданной на основе Qwen3.5-9B с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA). Модель предназначена для генерации и анализа текста, а также для мультимодальных сценариев с изображениями, поскольку базовая Qwen3.5-9B описана как причинная языковая модель с vision encoder. Она может применяться в чат-ботах, ассистентах, задачах рассуждения, программирования, работы с агентами и визуального понимания. Архитектура базовой модели включает 9 млрд параметров, 32 слоя, гибрид Gated Delta Networks и разреженного Mixture-of-Experts, а также 4096-мерное скрытое представление. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Формат GGUF ориентирован на использование в совместимых средах инференса, однако конкретные квантизация и требования к ресурсам в README не указаны. Главная особенность версии — существенное снижение частоты отказов по сравнению с оригинальной Qwen3.5-9B: в приведённом тесте 7 отказов из 100 против 93 из 100 у исходной модели, при KL divergence 0,0168. Это может быть полезно для сценариев, где требуется более свободная генерация, но одновременно означает ослабление исходных механизмов безопасного отказа. Результаты приведены для ограниченного теста и не характеризуют качество во всех задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — языковая мультимодальная модель на базе Qwen3.5-9B, опубликованная trinityomnis. В README указано, что это результат многоэтапного дообучения и слияния нескольких моделей, выполненного автором совместно с Nightmedia; среди использованных базовых моделей названа DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на английский и китайский языки, а лицензия указана как Apache-2.0. Модель предназначена для общих задач, следования инструкциям, рассуждений, программирования, творческого письма, художественной литературы и ролевых сценариев. Она поддерживает режимы thinking/reasoning и instruct, заявлена как полностью uncensored и рассчитана на контекст до 256k токенов. Включена обработка изображений, но для работы с vision требуется отдельно загрузить совместимый файл mmproj и разместить его рядом с GGUF-файлом. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction. Все варианты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; MTP-варианты дополнительно используют Q8_0 для MTP-тензоров и могут обеспечивать более высокую скорость при достаточном уровне token acceptance. В README приведены результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель превосходит указанную базовую Qwen3.5-9B и в отдельных показателях сопоставима с более крупными моделями. При этом заявленные бенчмарки не гарантируют превосходство в любых задачах, а производительность MTP зависит от температуры, параметров генерации, приложения и оборудования; при низком token acceptance обычная квантизация может быть быстрее.

techwithsergiu/Qwen3.5-text-9B-bnb-4bit — текстовая производная модели Qwen3.5-9B, подготовленная разработчиком techwithsergiu на основе text-only версии techwithsergiu/Qwen3.5-text-9B. Модель предназначена для генерации текста и диалоговых сценариев, а также для адаптации под специализированные задачи с помощью LoRA и QLoRA. Поддерживает режимы прямого ответа и пошагового рассуждения, указанные в README. Модель имеет размер 9B параметров и использует текстовый backbone, без visual tower, поэтому принимает только текстовые входные данные и не предназначена для обработки изображений. Backbone подвергнут 4-битному квантованию BNB NF4 с double quantization и вычислениями в bfloat16; веса lm_head сохранены в bf16 для повышения качества и стабильности вывода. Такое представление уменьшает требования к видеопамяти по сравнению с полноразмерной версией и упрощает использование в text-only LoRA fine-tuning. К ограничениям относятся отсутствие мультимодальных возможностей и отсутствие в README точных сведений о поддерживаемых языках и размере контекстного окна. Документация по тонкой настройке отмечена как находящаяся в разработке, хотя inference проверен, а применение с Unsloth и QLoRA заявлено как основной сценарий обучения. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Qwen3.6-35B-A3B-MXFP4-MOE-NoMTP-GGUF — квантизированная сборка базовой модели Qwen3.6-35B-A3B от команды Alibaba Qwen. Это модель Mixture-of-Experts с 35 млрд параметров и примерно 3 млрд активных параметров на токен; сборка в формате GGUF удаляет головы Multi-Token Prediction и использует MXFP4 для экспертных весов и Q8_0 для остальных тензоров. Размер файла — около 19,8 ГБ. Модель предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом, использованием инструментов и многоязычными запросами. В README заявлены контекст до 131 тыс. токенов и поддержка более 100 языков; метаданные перечисляют 19 языков, в том числе русский, английский и китайский. В проверенной конфигурации с llama.cpp указаны RTX 5060 Ti с 16 ГБ VRAM и флаг --cpu-moe, который размещает экспертные веса в системной памяти. Квантизация снижает требования к видеопамяти, сохраняя более высокую точность для постоянно используемых неэкспертных тензоров. Для работы нужны llama.cpp с поддержкой CUDA и совместимое оборудование; производительность зависит от аппаратной конфигурации. Базовая модель распространяется по лицензии Apache 2.0; отдельная лицензия производной сборки в предоставленных данных не указана.

Fmuaddib/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16-mlx-8Bit — языковая модель для генерации текста, преобразованная в формат MLX из AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 с использованием mlx-lm 0.31.2. Модель относится к семейству Qwen3.8 и имеет 27 млрд параметров; в метаданных указана поддержка английского, китайского и других языков. Модель предназначена для диалоговых и инструкционных сценариев, программирования, рассуждений, а также заявленных в метаданных задач function calling и tool calling. Для запуска используется библиотека mlx-lm, предусмотрена работа с chat template. В метаданных также отмечены vision и multimodal, однако README не содержит подробностей о поддерживаемых форматах входных данных и возможностях обработки изображений. Ключевая особенность этой версии — представление в MLX с 8-битным квантованием, что ориентировано на запуск в экосистеме Apple Silicon и может снизить требования к памяти по сравнению с полноразмерной версией. При этом README не приводит результаты тестов, сведения о размере контекста, точной архитектуре, аппаратных требованиях или сравнительных оценках качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Omnimerge-v6-MTP-GGUF — квантизированная GGUF-версия модели, опубликованная автором ManniX-ITA. Она создана на основе ManniX-ITA/Qwen3.8-27B-Omnimerge-v6, представляющей собой объединение методом task arithmetic трёх дообученных моделей Qwen3.6 на базе Qwen3.8-27B. В метаданных указана архитектура Qwen3.5, размер модели — около 27,78 млрд параметров, основной заявленный язык — английский. Модель предназначена для текстовой генерации, рассуждений и мультимодальных сценариев с обработкой изображений. В комплекте сохранена MTP-голова для self-speculative decoding, а также опубликован F16 vision projector; это позволяет использовать модель с изображениями через llama.cpp. Доступны 19 вариантов квантизации от F16 и Q8_0 до Q2_K и IQ2_S, что даёт возможность выбирать между качеством, скоростью и требованиями к памяти. Для MTP требуется сборка llama.cpp с поддержкой соответствующего механизма; в приведённых измерениях вариант Q4_K_M достигал примерно двукратного ускорения генерации при настройке с тремя черновыми токенами. Сильными сторонами являются широкий выбор квантизаций, поддержка изображений, reasoning-возможности, воспроизводимые imatrix-варианты и сохранённая MTP-голова. Ограничения включают зависимость расширенных возможностей от совместимого llama.cpp, значительные требования к памяти для крупных вариантов, а также то, что MTP может приводить к отличиям вывода от обычной генерации при близких значениях вероятностей; эквивалентность качества в README не измерялась. Для длительных рассуждений рекомендуется выделять достаточный reasoning budget. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Q4_K_M-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, включая диалоги, написание и анализ текстов, а также другие сценарии применения многоцелевой языковой модели. В README указаны поддержка английского и китайского языков и наличие vision-возможностей у базовой архитектуры, однако для обработки изображений требуется соответствующий vision-файл. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ и сохраняет MTP-компонент для speculative decoding; также опубликована версия без MTP. Квантование выполнено с использованием importance matrix. По измерениям perplexity на wikitext-2 показатель для Q4_K_M составляет 7,1814, но этот тест не оценивает напрямую рассуждения, программирование, мультиязычность или поведение отказов. Вариант Uncensored создан с существенным снижением склонности к отказам с помощью Heretic без дополнительного обучения и новых данных; это поведение не устранено полностью. Возможное снижение acceptance rate черновой MTP-модели может немного повлиять на ускорение speculative decoding, но не должно ухудшать качество проверяемого целевой моделью вывода. Модель распространяется по лицензии Apache-2.0.

Hagwell/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий Hagwell распространяет модель в формате, предназначенном для локального запуска. Модель основана на архитектуре, которая заявлена как фундамент для будущего Qwen4, и поддерживает обработку текста и изображений благодаря языковой модели с vision encoder. Модель предназначена для генерации и понимания текста, работы с изображениями, задач с длинным контекстом и агентных сценариев. Она имеет 125 млрд параметров, из которых активируется около 6 млрд, а также включает 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура содержит 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, MoE с 512 экспертами, из которых маршрутизируются 10 экспертов и один общий, а также механизмы Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. К сильным сторонам относятся высокая эффективность активации параметров, поддержка длинного контекста, оптимизация sparse attention на уровне блоков и возможность локального запуска через llama.cpp или Unsloth Desktop. Ограничения включают экспериментальный статус архитектуры, высокие требования к памяти для полной модели, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, подробных результатах тестирования и качестве на конкретных прикладных задачах. Модель распространяется по лицензии qwen-community-1.0; для использования следует ознакомиться с файлом LICENSE.