II.8Инженерия данных и аналитика

JunHowie/Qwen3-4B-Instruct-2507-GPTQ-Int4 — это 4-битная GPTQ-квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, созданная на базе модели Qwen/Qwen3-4B-Instruct-2507. Репозиторий содержит квантование с размером группы 128 и настройкой desc_act=False, которая, согласно описанию, повышает эффективность генерации токенов по сравнению с более ранними квантованными версиями. Модель предназначена для генерации текста и выполнения инструкций, включая понимание текста, логическое рассуждение, математику, науку, программирование, использование инструментов и открытые творческие задачи. Она поддерживает несколько языков и рассчитана на работу в режиме без рассуждений: модель не генерирует блоки <think></think>. Базовая архитектура — causal language model с 4,0 млрд параметров, 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и Grouped Query Attention: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Квантование уменьшает требования к памяти и может быть полезно для локального или высокопроизводительного развертывания, в частности через vLLM; для работы указана зависимость vllm>=0.9.2. Ограничения связаны с потерями качества, возможными при 4-битном квантовании, а также с тем, что это текстовая, а не мультимодальная модель. Лицензия — Apache 2.0.

Qwen3.6-35B-A3B-GPTQ-4bit — это 4-битная GPTQ-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, работы с изображениями, задач программирования, рассуждений, вызова инструментов и обслуживания через vLLM. Она поддерживает мультимодальные запросы с текстом и изображениями, а также спекулятивное декодирование благодаря модулю MTP. Модель использует архитектуру Mixture-of-Experts с примерно 35 млрд параметров, из которых около 3 млрд активируются для каждого токена; в каждом слое выбираются 8 из 256 экспертов. Архитектура включает 40 слоёв, чередующиеся линейное и полное внимание, визуальный энкодер ViT из 27 блоков и контекстное окно до 262 144 токенов. Экспертные модули квантизованы до INT4 методом GPTQ, тогда как визуальный энкодер, MTP, общие эксперты, эмбеддинги и ряд других компонентов сохранены в BF16 или FP16. Размер модели составляет около 25 ГБ, а измеренная деградация perplexity относительно исходной BF16-версии — около 0,83% на wikitext-2. К сильным сторонам относятся значительное сокращение размера и требований к памяти при сохранении мультимодальности, длинного контекста и поддержки инструментов. Ограничение заключается в том, что согласно README модель напрямую не загружается через GPTQModel или transformers и предназначена для инференса в vLLM; для запуска может потребоваться исправление совместимости в некоторых версиях vLLM. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit — 4-битная MLX-версия открытой мультимодальной модели Qwen3.6-35B-A3B. Модель разработана командой Qwen, а данная адаптация опубликована Unsloth. Это авторегрессионная языковая модель с vision encoder, предназначенная для генерации текста, анализа изображений, программирования и агентных сценариев. Модель имеет 35 млрд параметров, из которых 3 млрд активируются при обработке запроса. Архитектура сочетает Mixture of Experts с 256 экспертами, Gated DeltaNet и Gated Attention; содержит 40 слоёв и скрытое измерение 2048. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживаются текстовая и визуальная модальности, однако конкретный набор языков в README не указан. К сильным сторонам относятся улучшенная работа с кодированием, репозиториями и frontend-задачами, поддержка сохранения контекста рассуждений между сообщениями и улучшенный вызов инструментов, включая вложенные объекты. 4-битное представление снижает требования к памяти и подходит для запуска через MLX, но может уступать полноразмерным вариантам по точности, а производительность зависит от совместимого оборудования и программного окружения. Модель распространяется по лицензии Apache-2.0.

Hagwell/Ternary-Bonsai-2-27B-gguf — мультимодальная причинная языковая модель семейства Bonsai 2, разработанная Prism ML и производная от Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов, а также поддерживает обработку изображений при подключении отдельного vision-пакета. Модель рассчитана на локальный запуск через llama.cpp на CPU, GPU с CUDA и устройствах Apple с Metal. Модель содержит около 27,36 млрд параметров и использует гибридную архитектуру внимания: примерно 75% слоёв основаны на linear attention, а около 25% — на полном внимании. В архитектуре также используются SwiGLU, RoPE и RMSNorm. Языковые веса представлены в троичном формате со значениями −1, 0 и +1 и групповым масштабированием FP16; заявленный эффективный размер составляет около 1,72 бита на параметр. Доступны две упаковки GGUF: PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Контекст поддерживает до 262 тысяч токенов. Для изображений предусмотрен отдельный vision-пакет формата Q8_0. К сильным сторонам относятся существенно меньший размер по сравнению с FP16, сохранение возможностей рассуждения, программирования и агентского поведения в низкобитном формате, а также возможность запуска 27B-класса на обычном ноутбуке или одной видеокарте. Заявлены результаты на уровне 98,2% от FP16 на среднем показателе 14 бенчмарков и производительность около 47 токенов в секунду на ноутбуке с Apple M5 Max. Ограничения включают необходимость специализированных ternary-ядер и совместимых сборок llama.cpp, а поддержка изображений требует отдельного пакета. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-3-27b-it-bnb-4bit — 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на основе модели Google Gemma 3 27B IT. Разработчик исходной модели — Google DeepMind. Модель имеет открытые веса и предназначена для запуска и дообучения с использованием Transformers, в том числе в средах с ограниченными ресурсами. Модель принимает текстовые запросы и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации, рассуждений, генерации текста и анализа изображений. Для версии 27B заявлены контекст до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, включая английский, указанный в метаданных модели. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее локальный запуск и дообучение по сравнению с полноразмерной моделью. При этом квантование может влиять на точность и качество ответов, а мультимодальные возможности, производительность и фактическая совместимость зависят от используемого программного обеспечения и оборудования. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия Google Gemma Terms of Use.

BinxNet/gemma-4-26B-A4B-it-heretic — мультимодальная разговорная модель BinxNet на базе Google Gemma 4 26B A4B. Это дообученная версия с изменениями, обозначенными автором как heretic, uncensored и decensored; подробности этих изменений в карточке не описаны. Модель принимает текст и изображения и предназначена для диалогов, рассуждений, генерации и исправления кода, а также визуального анализа. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания. Для исходной Gemma 4 26B A4B заявлен контекст до 256K токенов; отдельное значение для этой версии в карточке не приведено. Семейство Gemma 4 поддерживает более 35 языков, но карточка этой производной версии не уточняет языковое покрытие отдельно. Визуальные сценарии включают распознавание текста, разбор документов, понимание диаграмм и интерфейсов, а также анализ последовательностей видеокадров. Карточка указывает формат safetensors и библиотеку Transformers. Возможны фактические ошибки, предвзятость, трудности с языковыми нюансами и сложными открытыми задачами. Лицензия — Apache-2.0.

Карточка модели lxcxjxhx/gemma-4-E2B-HOS на Hugging Face совпадает с карточкой Albert0919c/gemma-4-E2B-it, поэтому описание составлено по ней. Albert0919c/gemma-4-E2B-it — дообученная инструктивная версия Gemma 4 E2B от Google DeepMind. Это плотная мультимодальная модель класса Gemma4 для диалогов, рассуждений, генерации и редактирования кода, а также понимания изображений и аудио. Она принимает текст и изображения; для варианта E2B поддерживаются распознавание речи и преобразование речи в переведённый текст. Модель выдаёт текст и подходит для локального запуска на мобильных устройствах и ноутбуках. Семейство Gemma 4 использует гибридное внимание с локальными скользящими окнами и глобальными слоями; для малых вариантов заявлено контекстное окно до 128 тысяч токенов. Поддерживаются многочисленные языки: семейство обучено более чем на 140 языках, а для практических сценариев README заявляет поддержку более 35. Возможности включают ответы на вопросы по изображениям, OCR, разбор документов, видеоанализ по кадрам и вызов инструментов. Репозиторий распространяется в формате Safetensors под лицензией Apache 2.0. Характеристики и возможности описаны для семейства Gemma 4; конкретные результаты этой дообученной версии отдельно не приведены. Как и другие генеративные модели, она может ошибаться в распознавании содержимого и ответах; видеоанализ относится к обработке последовательностей кадров.

FastFlowLM/GPT-OSS-20B-NPU2 — текстовая генеративная модель на базе openai/gpt-oss-20b, разработанной OpenAI. Она предназначена для задач рассуждения, универсальной генерации текста, локального и специализированного применения, а также агентских сценариев для разработчиков, включая вызов функций, веб-б browsing, выполнение Python-кода и Structured Outputs. Модель относится к серии open-weight gpt-oss-20b: заявлено 21 млрд параметров, из которых 3,6 млрд активны при инференсе. Используется архитектура MoE с постобучением весов в формате MXFP4; модель рассчитана на работу примерно в пределах 16 ГБ памяти. Поддерживается настраиваемый уровень рассуждения — low, medium или high, а также дообучение. Формат входа и ответа должен соответствовать harmony response format, иначе модель может работать некорректно. README не содержит подтвержденных сведений о языках, размере контекста и мультимодальных возможностях; по указанному pipeline_tag модель предназначена для генерации текста. Сильными сторонами являются относительно низкие требования к памяти, возможность локального запуска, настраиваемый баланс качества рассуждений и задержки, а также пригодность для кастомизации и агентских приложений. К ограничениям относятся обязательное использование harmony response format и то, что цепочку рассуждений не рекомендуется показывать конечным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей свободное использование, модификацию и коммерческое развертывание.

mlx-community/gpt-oss-20b-OptiQ-4bit — это квантизированная MLX-версия языковой модели openai/gpt-oss-20b, подготовленная проектом mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста, рассуждений, решения математических задач, следования инструкциям, вызова функций, программирования и поиска информации в длинном контексте. Заявленный язык — английский. В основе лежит 24-слойная MoE-архитектура с 32 экспертами, из которых 4 активируются для каждого токена, а также с attention sinks. Используется чувствительная к слоям смешанная квантизация: 33 слоя представлены в 4-битном формате, 88 — в 8-битном; итоговая точность составляет 5,03 бита на вес. Размер модели на диске — около 11 ГБ, в оперативной памяти при работе требуется примерно 11,6 ГБ. Модель поддерживает reasoning_effort со значениями low, medium и high и формат ответов harmony с каналами analysis и final. По приведённым тестам модель заметно превосходит равномерную 4-битную квантизацию на MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop, особенно в задачах многошагового извлечения из длинного контекста. Ограничения включают отсутствие квантизации KV-cache и зависимость от экосистемы MLX и Apple Silicon; README также указывает, что модель является квантизацией только весов. Распространяется по лицензии Apache-2.0.

Hermes 3 — большая языковая модель Nous Research для диалогов и задач общего назначения. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, дообученная на основе meta-llama/Meta-Llama-3.1-8B. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Карточка указывает английский язык. Модель предназначена для многошаговых диалогов, следования инструкциям, рассуждений, ролевых сценариев, генерации кода и работы в качестве ассистента. ChatML поддерживает структурированные беседы, а обучение охватывает вызов инструментов и выдачу структурированного JSON. Качество может различаться по задачам; результаты в карточке характеризуются как конкурентные моделям Llama 3.1 Instruct, с разными сильными и слабыми сторонами. Для использования необходимо соблюдать лицензию Llama 3. Показатели в карточке не гарантируют качество в конкретном приложении; вызовы инструментов требуют разбора и выполнения со стороны внешнего кода.

AMAImedia/Kimi-K3-MXFP-GGUF — размещённая AMAImedia квантованная GGUF-сборка модели Kimi K3, представленной Moonshot AI. В карточке указаны архитектура MoE на основе Kimi Delta Attention и Attention Residuals, 2,8 трлн параметров и контекст до 1 млн токенов. Модель принимает текст и изображения; семейство также поддерживает видео. Заявлена поддержка множества языков, включая русский, английский, китайский, вьетнамский и японский. Модель предназначена для генерации текста и мультимодальных диалогов, в том числе для программирования, рассуждений и агентной работы с длинным контекстом. Автор карточки сообщает о квантизации GGUF UD-IQ1_S; такой вариант ориентирован на локальный запуск, но требует значительных ресурсов, а производительность и качество могут зависеть от оборудования и квантизации. В карточке приведена лицензия Apache-2.0; README упоминает лицензию Kimi K3, поэтому условия для этой конкретной сборки следует сверять с файлами лицензии репозитория.

Meta-Llama-3-70B-Instruct-iMat-GGUF — квантизированная GGUF-версия 70-миллиардной инструкционно настроенной языковой модели Meta Llama 3, разработанной Meta. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческих и исследовательских сценариев на английском языке. Инструкционная настройка выполнена с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Модель принимает только текст и генерирует текст или код. Она построена на авторегрессионной оптимизированной архитектуре Transformer с Grouped-Query Attention, имеет контекст длиной 8k токенов и обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. Данная сборка квантизирована с использованием importance matrix, включает варианты K и IQ, а также исправленный токен завершения для инструкционного режима. Для корректной работы требуется совместимый рантайм, например llama.cpp, актуальный chat template llama3 и правильная загрузка всех частей файлов, если модель разделена. Сильные стороны модели — большой размер, диалоговая специализация, поддержка генерации кода и улучшенная точность квантизации за счёт importance matrix. Ограничения включают английскую ориентацию, текстовую модальность, контекст 8k токенов, статичность обучающего набора и зависимость результатов от выбранного кванта и совместимости токенизатора. Указана кастомная коммерческая лицензия Llama 3; её условия определяются Llama 3 Community License и Acceptable Use Policy.

Карточка модели nuottroisaoduoc/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-heretic на Hugging Face совпадает с карточкой Ishowbackup/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-heretic, поэтому описание составлено по ней. Это текстовая модель-чат Ishowbackup/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-heretic на базе NVIDIA Nemotron-3-Nano-30B-A3B-BF16. Репозиторий представляет версию с abliteration: в карточке указаны параметры изменения слоёв и снижение доли отказов с 99 из 100 у исходной модели до 6 из 100. Архитектура семейства Nemotron-H использует сочетание Mamba-2, MoE и attention; карточка описывает исходную модель как имеющую 30 млрд параметров, из которых активны 3,5 млрд на токен. Метаданные каталога указывают 1,9 млрд параметров, поэтому размер этой версии по источникам расходится. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и создания агентных приложений, включая чат-боты и RAG-системы. Поддерживает английский, испанский, французский, немецкий, итальянский и японский языки, интерфейс вызова инструментов и контекст 262 144 токена в конфигурации; README также сообщает о возможности увеличить контекст до 1 млн токенов. Исходная модель разработана NVIDIA, а карточка этой версии сообщает об улучшении с использованием Qwen. В README модель названа пригодной для коммерческого использования, однако метаданные указывают лицензию «other», поэтому перед внедрением следует проверить условия лицензии конкретного репозитория. Снижение числа отказов означает, что модель может чаще отвечать на запросы, которые исходная версия отклоняет; результаты измерения отказов приведены на выборке из 100 запросов и не гарантируют поведение во всех сценариях.

NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-block — большая языковая модель для генерации текста, рассуждений, решения сложных задач, математики и науки, генерации кода, следования инструкциям и вызова инструментов. Модель разработана Red Hat на основе NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16; в карточке также указан NVIDIA как провайдер. Входом и выходом служит текст, поддерживаются сценарии text-to-text, text-generation, reasoning и tool-calling. Архитектура модели обозначена как NemotronHForCausalLM. Она содержит 550 млрд общих параметров, из которых активно используется 55 млрд. Весовые коэффициенты и активации линейных операторов внутри transformer-блоков квантизированы в FP8: для весов применяется per-block quantization, для активаций — динамическая per-token quantization. Это уменьшает размер модели на диске и требования к памяти GPU примерно на 50% по сравнению с исходным форматом BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании с vLLM. Языки модели в README не указаны. К сильным сторонам относятся сочетание большого общего числа параметров с меньшим числом активных параметров, поддержка сложных рассуждений, программирования и вызова инструментов, а также сниженные требования к хранению и памяти благодаря FP8-квантизации. Для работы рекомендуются vLLM и llm-compressor; карточка валидирована на RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Ограничения включают значительные аппаратные требования даже после квантизации, зависимость корректной работы tool-calling и reasoning от специальных парсеров, а также отсутствие в README подробных результатов бенчмарков и информации о поддерживаемых языках. Модель распространяется по лицензии NVIDIA Open Model License; использование, нарушающее применимое законодательство и нормы экспортного контроля, исключено.

unsloth/Phi-3.5-mini-instruct — инструктивная языковая модель, представленная Unsloth как вариант Microsoft Phi-3.5-mini-instruct. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и 3,7 млрд параметров; репозиторий содержит веса Safetensors и поддерживает Transformers. Модель рассчитана на диалоги, генерацию текста и использование в приложениях с ограничениями по памяти или задержке. Модель подходит для ответов на вопросы, многоязычных диалогов, суммаризации длинных документов, извлечения сведений из текста, а также задач на код, математику и логику. В карточке базовой модели заявлена поддержка контекста до 128 тысяч токенов, однако метаданные этого репозитория указывают нативный контекст 4096 токенов, поэтому для данного варианта следует ориентироваться на значение из метаданных. README описывает семейство как многоязычное, но не перечисляет конкретные языки. Модель дообучена на основе microsoft/Phi-3.5-mini-instruct; README отмечает улучшения многоязычных диалогов, следования инструкциям и рассуждений, но предупреждает о возможных ошибках и уязвимости к многошаговым обходам защит. Лицензия репозитория — MIT; перед применением в критичных сценариях необходимо оценить точность и безопасность ответов.

RedHatAI/Qwen3-30B-A3B-FP8-dynamic — языковая модель для генерации текста, разработанная RedHat совместно с Neural Magic на базе Qwen/Qwen3-30B-A3B. Модель использует архитектуру Qwen3MoeForCausalLM, принимает текстовые входные данные и генерирует текстовые ответы. Она предназначена для рассуждений, function calling, создания предметно-ориентированных экспертов посредством дообучения, многоязычного следования инструкциям и перевода. Модель оптимизирована с помощью квантизации весов и активаций в формате FP8. Линейные операторы в трансформерных блоках используют симметричную статическую поканальную квантизацию весов и симметричную динамическую потокенную квантизацию активаций; выходной слой lm_head не квантизируется. По данным README, это примерно вдвое снижает требования к GPU-памяти и размер на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений. Архитектурный размер указан как 30B-A3B, однако максимальная длина контекста и перечень поддерживаемых языков не приведены. К сильным сторонам относятся заметное сокращение требований к памяти и сохранение качества, близкого к исходной модели: на указанном наборе задач OpenLLM среднее восстановление качества составляет около 99,9%. Модель эффективно разворачивается с использованием vLLM, включая OpenAI-совместимый режим сервинга. Ограничения включают возможное влияние FP8-квантизации на точность в отдельных сценариях, необходимость совместимого программного и аппаратного окружения, а также отсутствие в предоставленных данных подробных сведений о языковом покрытии, контекстном окне и результатах полной оценки. Модель распространяется по лицензии Apache-2.0. Использование не должно нарушать применимое законодательство и нормативные требования, включая правила экспортного контроля.

Карточка модели Bloxyest/Qwen3.5-9B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

FreedomAISVR/Qwen3.5-9B-MTP-MXFP4-GGUF — мультимодальная модель семейства Qwen, представленная в формате GGUF с квантизацией MXFP4. Репозиторий содержит веса модели размером 5,18 ГБ и мультимодальный проектор SigLIP в формате F16 размером 875 МБ. Указаны 32 трансформерных блока, гибридная архитектура с attention, FFN и SSM, дополнительная голова Multi-Token Prediction и контекст до 262 144 токенов. Модель предназначена для генерации текста на нескольких языках, понимания изображений и видео, рассуждений и вызова инструментов. Вариант из карточки включает режим рассуждений по умолчанию; его можно отключить параметром генерации. В метаданных базовой моделью указана Qwen/Qwen3.5-9B; лицензия — Apache-2.0. Квантизация уменьшает требования к хранению и вычислениям, но может влиять на точность относительно исходных весов.

Это квантованная версия NVFP4 модели Qwen3.6-35B-A3B, подготовленная WhiskyAKM в формате GGUF для llama.cpp и других совместимых движков. В основе лежит WhiskyAKM/Qwen3.6-35B-A3B-GGUF, происходящая от Qwen/Qwen3.6-35B-A3B. Исходная мультимодальная модель разработана командой Qwen и использует архитектуру Mixture-of-Experts с гибридным линейным и полным вниманием: всего 35 млрд параметров, из которых на токен активируются 3 млрд. Модель принимает текст, изображения и видео и генерирует текст. Она предназначена для диалога, рассуждений, агентного программирования, анализа изображений и видео, а также вызова инструментов; контекст достигает 262 144 токенов и может расширяться примерно до 1 млн с YaRN. Для мультимодального ввода требуется файл проектора mmproj.gguf. Модель поддерживает более 140 языков. NVFP4 снижает размер весов для инференса, но требует совместимой сборки llama.cpp с поддержкой этого формата. Лицензия репозитория — Apache-2.0.

Bernhard Brieger/Qwen3.8-27B-GPTQ-Int4 — это посттренировочная GPTQ-квантизация базовой модели Qwen/Qwen3.8-27B, выполненная Bernhard Brieger. Модель предназначена для общего следования инструкциям, программирования, вызова инструментов и обработки длинного контекста, включая поиск по документам объёмом более 100 000 токенов. Квантизация не включает дообучение, дистилляцию или дополнительное обучение безопасности. Модель имеет мультимодальную архитектуру image-text-to-text Qwen3_5ForConditionalGeneration с языковой частью и vision tower, содержит около 27,78 млрд параметров, 64 слоя и поддерживает нативный контекст до 262 144 токенов; проверена работа с контекстом 163 840 токенов. 48 слоёв используют линейное внимание Gated-DeltaNet, 16 — полное внимание. Весовая часть сжата до 4-битного симметричного формата GPTQ с group size 32: примерно 87,6% параметров квантизированы, а критически важные компоненты, включая эмбеддинги, lm_head, vision tower, нормализации и MTP draft layer, сохранены в bf16. Также поддерживается Multi-Token Prediction для speculative decoding. Ключевое преимущество — снижение объёма весов с 55,56 до 19,54 ГБ при сохранении мультимодальной архитектуры, MTP-компонента и совместимости с GPTQ-совместимыми средами, включая vLLM и SGLang. Ограничение заключается в том, что это именно квантизированная версия базовой модели, поэтому она не предназначена для сценариев, требующих полной точности; в README также не приведены языки, результаты сравнительных бенчмарков или измерение ухудшения качества относительно базовой модели. Модель распространяется по лицензии Apache-2.0.

Это квантованная версия Qwen3.8-27B, подготовленная FreedomAISVR в формате GGUF MXFP4 для запуска через llama.cpp на видеокартах NVIDIA Blackwell. В основе — плотная мультимодальная архитектура Qwen3_5ForConditionalGeneration с языковой частью на 27 млрд параметров и отдельным визуальным проектором; веса модели используют MXFP4, проектор — F16. Карточка указывает лицензию Apache-2.0. Модель предназначена для диалогов с текстом и изображениями, анализа видео, программирования, профессиональных и исследовательских задач, а также многошагового планирования и работы с агентскими сценариями. Режим рассуждений включён по умолчанию; его можно отключать и настраивать глубину. В README приведены примеры запуска с контекстом 32K и тесты производительности на RTX 5060 Ti 16GB, но это рекомендованные настройки и результаты для конкретной конфигурации, а не гарантии для другого оборудования. Квантизация уменьшает размер текстовых весов примерно до 14,2 ГБ; для обработки изображений также нужен визуальный проектор около 928 МБ. README рекомендует видеокарты RTX 50-й серии с 16 ГБ видеопамяти и не менее 16 ГБ оперативной памяти. Указанный в README контекст 32K — настройка примера запуска, а не подтверждённый максимальный контекст модели. Качество и скорость могут зависеть от оборудования и сборки llama.cpp.

Qwen3.8-27B-Uncensored-NVFP4 — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, созданная preetpatel на базе Qwen3.8-27B от Qwen. Исходная модель представляет собой abliteration/fine-tune без встроенных ограничений, ориентированный авторами на red teaming и исследования. Данный репозиторий изменяет числовой формат весов и не выполняет дополнительное обучение. Модель предназначена для генерации текста, рассуждений, программирования, работы в составе coding-agent, вызова инструментов и обработки изображений. Поддерживаются текстово-графические сценарии, function calling и вывод рассуждений через тег <think>. Заявлены английский и китайский языки. Модель использует гибридную архитектуру с gated-DeltaNet и linear-attention блоками; квантизация NVFP4 по схеме W4A4 применяется к весам и активациям линейных слоёв, а vision tower, lm_head и некоторые слои сохраняются в BF16. Размер весов составляет около 19 ГБ вместо примерно 56 ГБ в BF16. На одной RTX 5090 с 32 ГБ памяти заявлена работа с контекстом до 160 тысяч токенов при использовании vLLM и FP8 KV-cache. К сильным сторонам относятся низкое потребление видеопамяти, поддержка длинного контекста, изображений, структурированных вызовов инструментов и сценариев автономного агента. README сообщает об успешных тестах извлечения данных из контекста длиной до 155 тысяч токенов, параллельной обработке запросов и tool calling. Ограничения включают привязку оптимизаций к GPU Blackwell и совместимому окружению vLLM, а также небольшое дополнительное округление при слиянии некоторых квантизированных слоёв; возможное влияние на точные бенчмарки следует учитывать. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Это версия Qwen3-8B, подготовленная Geoff Munn в формате GGUF для запуска через llama.cpp и совместимые приложения. Модель содержит 8 млрд параметров и предназначена для генерации текста, диалогов, рассуждений, работы с кодом и многоязычных задач. В карточке описаны варианты GGUF-квантизации и результаты сравнения их размера, скорости и качества; для этой версии указаны форматы GGUF и GGUF F16. Модель подходит для локальных ассистентов, суммаризации документов, структурированной генерации и автономных RAG-систем. В README отмечены высокая эффективность некоторых вариантов с imatrix и компромиссы между точностью, скоростью и объёмом памяти. Заявления о производительности зависят от конкретного варианта квантизации и оборудования. Лицензия — Apache-2.0.

C4AI Command R 08-2024 — языковая модель Cohere и Cohere For AI, представленная в этом репозитории в виде дообученной версии весов CohereLabs/c4ai-command-r-08-2024. Это плотный авторегрессионный трансформер с 32,3 млрд параметров и контекстом до 131 072 токенов; в обучении применялись supervised fine-tuning и обучение на предпочтениях, а для ускорения инференса используется grouped-query attention. Модель принимает текст и генерирует текст. Модель предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. Она поддерживает генерацию на 23 языках, включая русский, и обучена на задачах grounded generation: может отвечать по предоставленным фрагментам документов и добавлять ссылки на источники, что подходит для RAG. Также поддерживает выбор внешних инструментов и формирование вызовов по специальному шаблону. Для grounded generation и использования инструментов важно соблюдать рекомендованные шаблоны промптов: отклонение от них может снизить качество. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; README также требует соблюдать Acceptable Use Policy Cohere for AI.

Cohere и Cohere Labs разработали Command-R — авторегрессионную языковую модель на основе оптимизированного Transformer с 35 млрд параметров. После предварительного обучения модель прошла дообучение с учителем и обучение на предпочтениях. Это выпуск с открытыми весами, предназначенный для генерации текста, рассуждений, суммаризации и ответов на вопросы; модель поддерживает чат и работу с внешними инструментами по специальному шаблону запросов. Command-R принимает и генерирует текст, поддерживает контекст до 128 тыс. токенов и оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, китайского и арабского языков. Среди её ключевых возможностей — генерация ответов с опорой на предоставленные фрагменты документов и цитированием источников для сценариев RAG. Для работы с grounded generation и вызовом инструментов рекомендуется соблюдать шаблоны запросов из документации: отклонение от них может снизить качество. Режим быстрых цитат обменивает часть точности на меньшее число генерируемых токенов. Лицензия CC-BY-NC-4.0 требует некоммерческого использования и соблюдения политики допустимого использования Cohere Labs.

Dolphin 2.9.4 Llama 3.1 8B GGUF — это квантизированная версия текстовой генеративной модели cognitivecomputations/dolphin-2.9.4-llama3.1-8b, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель основана на Llama 3.1 с 8 млрд параметров и предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель ориентирована на диалоговые и инструкционные сценарии, генерацию и анализ текста, программирование, математические задачи, работу с агентными данными и системными диалогами. При дообучении использовались наборы Dolphin-2.9, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, FineTome, agent_data, math-gpt-4o и SystemChat. Поддерживается текстовая модальность; сведения о точном контекстном окне и перечне языков в карточке не указаны. Доступно множество вариантов квантизации от F32 до Q2_K и IQ-серий, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Варианты Q5 и Q6 заявлены как высококачественные, Q4 — как компромиссные, а Q2–Q3 требуют меньше памяти, но заметно уступают по качеству. Качество и производительность зависят от выбранного варианта квантизации и аппаратной конфигурации. Лицензия указана как llama3.1.

coder3101 представил дообученную мультимодальную модель на базе Google Gemma 4 E2B-it. Она предназначена для диалогов, рассуждений, генерации и исправления кода, анализа изображений и выполнения задач с инструментами. Архитектура — плотная Gemma4ForConditionalGeneration; модель работает с текстом и изображениями. В карточке семейства также заявлена обработка аудио и видео, однако поддержка этих возможностей именно этой производной версии не подтверждена. Модель подходит для чат-ботов, суммаризации, извлечения сведений из изображений и документов, распознавания текста и помощи с программированием. Для Gemma 4 E2B указано контекстное окно до 128 тысяч токенов; семейство поддерживает более 35 языков. Производная опубликована в формате safetensors по лицензии Apache 2.0. Возможны фактические ошибки, предвзятость и трудности с неоднозначными или сложными запросами. В названии и тегах версии заявлены uncensored/abliterated характеристики, но README не описывает метод изменения поведения или его последствия.

GLM-4.6-FP8 — языковая модель для генерации текста, разработанная командой zai-org, связанной с Zhipu AI. Модель предназначена для работы с агентами, рассуждениями, программированием, поиском и использованием инструментов, а также для задач, где важны качество текста и естественность ролевого взаимодействия. Модель поддерживает английский и китайский языки, работает через библиотеку Transformers и имеет контекстное окно до 200 000 токенов. По сравнению с GLM-4.5 заявлены улучшения в кодировании, рассуждениях, использовании инструментов и поисковых агентах, а также более качественная генерация визуально оформленных интерфейсов. В README не указаны архитектура, количество параметров и точные сведения о поддерживаемых модальностях; по заявленному pipeline_tag модель относится к генерации текста. К сильным сторонам относятся увеличенный контекст, улучшенная работа с кодом и агентскими сценариями, поддержка tool use во время вывода и более естественный стиль написания. Ограничения и результаты конкретных тестов в README подробно не приведены. Для общих оценок рекомендуется temperature 1.0, а для задач программирования дополнительно top_p 0.95 и top_k 40. Модель распространяется по лицензии MIT.

AMAImedia/GLM-5.3-Flash-FP8-GGUF — GGUF-квантованная версия мультимодальной модели GLM-5.3-Flash, выпущенная AMAImedia в рамках платформы NOESIS. Оригинальная модель разработана организацией Z.ai; в README также указано, что проект связан с Tencent/Hy4-preview. Модель опубликована 19 сентября 2026 года под лицензией Apache 2.0. GLM-5.3-Flash предназначена для задач генерации текста, программирования, работы с длинным контекстом, агентных сценариев и анализа изображений. Это первая нативно мультимодальная модель серии GLM-5: она поддерживает текстовые и визуальные входные данные. Заявлены 320 млрд общих параметров и 18 млрд активных параметров, что указывает на разреженную архитектуру, ориентированную на снижение вычислительных затрат. В архитектуре используются sparse attention, linear attention и Manifold-Constrained Hyper-Connections (mHC). Точная длина контекста в README не указана. Модель поддерживает широкий набор языков, включая английский, русский, китайский, вьетнамский, японский, казахский и многие другие. К сильным сторонам относятся сочетание мультимодальности, агентных и кодовых возможностей с относительно небольшим числом активных параметров, а также возможность локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers. Ограничения включают отсутствие в README точных данных о длине контекста, производительности, требованиях к памяти и качестве работы на отдельных языках. Формат FP8-GGUF рассчитан на эффективное локальное использование, но совместимость и фактическая скорость зависят от выбранного рантайма и оборудования.

JiRack Ultra 32B — плотная причинная языковая модель на 32 млрд параметров, разработанная CMSManhattan на основе архитектуры DeepSeek R1-32B и переработанная с поддержкой BitNet-подобных троичных весов. Модель предназначена для генерации текста и диалогов, запуска на CPU, использования в RAG-системах, программировании и агентных сценариях с вызовом инструментов. В README также заявлены токены для маршрутизации, мультимедиа, зрения, звука и робототехники, однако метаданные подтверждают только текстовую генерацию и чат. Контекстное окно составляет 131 072 токена. В репозитории представлены веса safetensors и варианты GGUF, включая Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0; доступное качество и требования к памяти зависят от квантования. В карточке указана поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Заявлена лицензия MIT на веса; Docker-образ, интерфейс и готовые Ollama-квантизации могут распространяться на отдельных коммерческих условиях. Модель рассчитана на локальное или облачное развертывание, в том числе на CPU; для Q4_K_M рекомендуется не менее 24 ГБ оперативной памяти, а для полной точности — от 64 ГБ. README содержит заявления о высокой эффективности и расширенных возможностях инструментального взаимодействия, но не приводит сравнительных оценок качества; наличие специальных токенов само по себе не подтверждает полноценную обработку изображений, аудио или робототехнических действий.