II.8Инженерия данных и аналитика

HaberstrohSystems/Qwen3.8-27B-int4-g128-sym-autoround — квантованная версия нативно мультимодальной модели Qwen3.8-27B, опубликованная HaberstrohSystems и предназначенная для запуска на одной видеокарте Intel Arc Pro B70 с 32 ГБ памяти. Модель поддерживает работу с текстом и изображениями, вызов инструментов и обслуживается через Transformers или vLLM с парсером qwen3_coder. Модель содержит 27 млрд параметров; языковая часть имеет 64 слоя, скрытое измерение 5120, 24 query-heads и 4 KV-heads. Заявленный нативный контекст составляет 262 144 токена, а в приведённой конфигурации обслуживания используется до 131 072 токенов. Языковая часть сжата до INT4 методом AutoRound в формате W4A16 с размером группы 128 и симметричной схемой; веса занимают около 17,69 GiB. Чувствительные компоненты языковой модели и vision tower сохранены в 16-битном виде, поэтому обработка изображений не подвергается квантованию. Указан английский язык. Сильными сторонами являются мультимодальность, большой контекст, поддержка рассуждений с уровнями xhigh, medium и low, вызов инструментов и возможность запуска на одной Intel Arc Pro B70. Ограничения включают заметную задержку при включённом рассуждении xhigh, ускоренный рост контекста из-за сохранения блоков рассуждений и существенное падение производительности при длинных контекстах и многопользовательской нагрузке. Лицензия — Apache 2.0.

PollardWeights/Qwen3.8-27B-Pollard — это квантизированная версия модели Qwen/Qwen3.8-27B, подготовленная командой PollardWeights. Модель предназначена для диалоговых и текстовых задач, а также может работать с изображениями при использовании отдельного vision-проектора mmproj-Qwen3.8-27B-bf16.gguf. Она поставляется в формате GGUF и совместима с llama.cpp, ik_llama.cpp, Ollama, LM Studio и другими приложениями на их основе. Модель содержит около 27,8 млрд параметров и использует архитектуру qwen3_5. В репозитории доступны варианты IQ3_S, IQ4_XS и Q6_K размером примерно 12,08, 15,72 и 22,43 ГБ соответственно. Это варианты mixed-precision квантизации с измеренным распределением битов по слоям, учитывающим их чувствительность, поэтому они рассчитаны на разные ограничения по оперативной памяти или VRAM. Основной README указывает английский язык; размер контекста не указан. К сильным сторонам относятся существенное уменьшение размера по сравнению с версией f16 — с 55,56 до 12,08 ГБ для IQ3_S — и возможность локального запуска на более доступном оборудовании. К ограничениям относятся потенциальная потеря качества из-за квантизации, зависимость производительности от оборудования и необходимость отдельного, неквантизированного vision-проектора для работы с изображениями. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.8-35B-A3B-Distill-GGUF — это набор GGUF-квантизаций дистиллированной модели Qwen3.8-35B-A3B, разработанный и выпущенный Empero. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и другие совместимые среды. Указанный базовый вариант создан на основе архитектуры Qwen3.6-35B-A3B и доступен для задач рассуждения и общего текстового вывода; заявленный язык — английский. Модель использует разреженную Mixture-of-Experts-архитектуру: всего около 35 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Архитектура включает 30 слоёв Gated DeltaNet и 10 слоёв полной attention, а также 256 экспертов с маршрутизацией 8 экспертов на токен. Доступны варианты квантизации от 2-битных до BF16 размером примерно от 12,6 до 71,1 ГБ. Контекстный размер в карточке не указан. Для работы требуется свежая версия llama.cpp с поддержкой Qwen3.6, Gated DeltaNet и MoE. Разреженность архитектуры делает инференс заметно быстрее плотной модели аналогичного общего размера и повышает практичность запуска на CPU или при частичном переносе на GPU. При этом весь файл весов должен помещаться в оперативную или видеопамять, а при длинном контексте дополнительные затраты на KV-кэш могут существенно увеличить требования к памяти. Поддерживается ввод изображений через отдельный vision projector, однако поведение визуальной части не оценивалось. Модель выводит рассуждения в блоках <think>, которые при необходимости следует удалять перед показом ответа пользователю. Весовые файлы распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen. Для квантизаций рекомендуется выбирать вариант с учётом доступной памяти и требуемого качества; в карточке наиболее сбалансированным указан Q4_K_M.

mradermacher/Qwopus3.8-27B-Flash-i1-GGUF — квантованная GGUF-версия модели Qwopus3.8-27B-Flash, подготовленная mradermacher на основе модели Jackrong/Qwopus3.8-27B-Flash. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, генерации текста, диалоговых сценариев, рассуждений, агентских задач, использования инструментов, function calling и генерации кода. Также заявлена поддержка обработки изображений вместе с текстом. Модель относится к мультимодальным vision-языковым моделям с архитектурой и размером семейства Qwen3 8 / 27B; точные архитектурные параметры и размер контекста в README не указаны. Заявлены английский, китайский, испанский, русский и японский языки. Репозиторий содержит набор imatrix-квантов разных уровней, примерно от 11,0 до 22,5 ГБ; варианты различаются компромиссом между размером, скоростью и качеством. В README отмечены рекомендации по отдельным вариантам, но количественные результаты оценки качества не приведены. Сильными сторонами являются мультимодальность, поддержка нескольких языков, широкий набор сценариев применения и возможность локального инференса при выборе подходящего уровня квантования. Ограничения включают потерю качества по сравнению с полноразмерной моделью из-за квантования, зависимость характеристик от выбранного варианта GGUF и отсутствие подробных данных о производительности, контексте и требованиях к оборудованию. Лицензия — Apache-2.0.

ThinkingCap-Qwen3.6-27B-NVFP4 — квантизированная версия модели ThinkingCap-Qwen3.6-27B от BottleCap AI, созданная на базе Qwen3.6-27B, разработанной командой Qwen. Модель дообучена для сохранения качества и стиля ответов базовой модели при среднем сокращении числа токенов рассуждений примерно на 50%, а затем сжата до формата NVFP4 для эффективного инференса. Это крупная модель с весами 4 бита и активациями bf16 в режиме W4A16. Размер чекпойнта составляет около 19 ГБ вместо примерно 55 ГБ для версии bf16. В составе сохранены vision tower, lm_head и MTP-голова, поэтому заявлена поддержка мультимодальных компонентов исходной модели и самоспекулятивного декодирования с multi-token prediction. Модель предназначена прежде всего для запуска через vLLM на GPU NVIDIA Hopper и Blackwell; для спекулятивного декодирования требуется vLLM версии 0.24.0 или новее. Сильные стороны модели — существенно меньшие требования к памяти, примерно двукратное ускорение декодирования относительно bf16-контрольной версии и дополнительное ускорение за счёт MTP. По данным разработчика, в отдельных тестах суммарное ускорение на задачу относительно исходной невзвешенной модели составляло примерно 4,7–8,4 раза при сопоставимой точности. Ограничение заключается в том, что текущая реализация предназначена для vLLM: SGLang пока не может загрузить weight-only NVFP4 для этой архитектуры. Для llama.cpp, Ollama и LM Studio рекомендуется использовать отдельные GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, однако доступ к карточке на платформе может требовать заполнения формы и принятия условий доступа.

Dolphin-2.7-mixtral-8x7b-GGUF — квантизированная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и предназначена для диалоговых сценариев и генерации текста; README также указывает на использование обучающих наборов для инструкционного следования, программирования и универсальных задач. Заявлен английский язык. Модель поддерживает шаблон запросов ChatML и контекст длиной 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 15,6 до 49,6 ГБ. Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с балансом между размером и качеством, тогда как более низкие уровни квантизации могут приводить к существенной потере качества. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. README не содержит данных о мультимодальности или поддержке других языков. Лицензия модели — Apache-2.0.

Это конвертированная в формат MLX модель Gemma 4 12B Unified, основанная на google/gemma-4-12B. Конверсию выполнило сообщество mlx-community с помощью mlx-vlm версии 0.6.0; модель предназначена для запуска на устройствах Apple с MLX. Базовая модель Google DeepMind поддерживает диалоги, код, рассуждения и анализ текста, изображений, видео и аудио. Репозиторий содержит веса safetensors в формате bf16. Лицензия — Apache-2.0. README отсылает за подробностями к карточке исходной модели, поэтому специфические для этой конверсии сведения о контекстном окне, языковой поддержке и качестве не приведены. Для запуска через описанный интерфейс требуется mlx-vlm.

OnlyTextLLMs выпустила текстовую версию инструкционной модели Google Gemma 4 12B IT: из исходной модели удалены блоки обработки изображений и аудио и мультимодальные специальные токены, а текстовая часть и LM-голова сохранены. Это плотная причинная языковая модель Gemma4UnifiedForCausalLM с 11,6 млрд параметров и контекстом до 262 144 токенов; репозиторий содержит веса Safetensors в формате bfloat16. Модель предназначена для диалогов и генерации текста на основе текстовых запросов. По заявлению авторов, дообучение не проводилось, новые обучающие данные и возможности не добавлялись. Модель распространяется по лицензии Apache-2.0.

Карточка модели imtoolonley/Gemma-4-12B-it-qat-JANG_4M-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-12B-it-qat-JANG_4M-CRACK, поэтому описание составлено по ней. Gemma 4 12B JANG4M CRACK — мультимодальная модель на основе Google Gemma 4 12B IT, опубликованная dealignai. Это дообученная и квантизованная версия с плотной унифицированной архитектурой для обработки текста и изображений; в README также заявлена поддержка аудиовхода. Модель предназначена для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с визуальными входами. Квантизация JANG_4M использует 8-битные веса для attention и 4-битные для MLP. Авторы сообщают о сохранении возможностей базовой модели, включая vision и audio, и приводят результаты собственных проверок MMLU и HarmBench. Метаданные указывают библиотеку MLX и формат safetensors; для запуска README требует Apple Silicon и vMLX с поддержкой Gemma 4. Модель описана как abliterated: авторы заявляют об удалении отказов и высокой доле выполнения запросов из категорий HarmBench. Это важное ограничение для сценариев, где требуется безопасное ограничение ответов. Лицензия — Gemma; авторы указывают исследовательское назначение и возлагают на пользователей ответственность за соблюдение применимых законов.

Momix-44/gemma-4-31B-it-heretic-v2 — модифицированная версия мультимодальной модели Google DeepMind gemma-4-31B-it. Модель создана с использованием Heretic 1.2.0 и метода Magnitude-Preserving Orthogonal Ablation (MPOA), направленного на снижение количества отказов в ответах. Согласно README, она предназначена для генерации текста, рассуждений, программирования и анализа изображений. Модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и контекстное окно до 256 тысяч токенов. Она принимает текстовые и визуальные входные данные и генерирует текст. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; размер скользящего окна составляет 1024 токена. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой производной модели не указаны. Ключевая особенность модели — существенно меньшее число отказов по сравнению с исходной gemma-4-31B-it: в приведённом тесте 37 из 100 против 99 из 100 у оригинала. При этом значение KL divergence составляет 0,3801, поэтому поведение и распределение ответов отличаются от базовой модели. README не содержит независимых оценок качества, а снижение защитных ограничений может повышать риск генерации небезопасного или нежелательного контента. В качестве лицензии указана Apache 2.0 со ссылкой на лицензию Gemma 4.

cyankiwi/Llama-3.1-8B-Instruct-AWQ-INT4 — это квантизированная версия инструкционной языковой модели Llama 3.1 8B Instruct. Модель основана на Meta Llama 3.1 8B Instruct, разработанной Meta, а версия в формате AWQ INT4 опубликована пользователем cyankiwi. Модель предназначена для диалоговых задач и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, а также другие сценарии применения языковых моделей. Ключевая характеристика версии — 8 миллиардов параметров и 4-битное квантование AWQ, которое может снизить требования к памяти и упростить запуск на совместимом оборудовании по сравнению с полноразмерными весами. README не содержит сведений о поддерживаемых языках, длине контекста, точной архитектуре, модальностях и результатах бенчмарков. Преимуществами являются инструкционная настройка исходной модели и более компактное представление весов. Ограничения связаны с возможной потерей качества из-за квантования, зависимостью от совместимого программного обеспечения для AWQ и отсутствием в предоставленных данных подробностей о производительности. Использование регулируется Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая требования об атрибуции, указании «Built with Llama», соблюдении Acceptable Use Policy и дополнительные коммерческие ограничения.

QuantFactory/Llama-3.1-8B-Instruct-Fei-v1-Uncensored-GGUF — это квантизированная версия модели Llama-3.1-8B-Instruct-Fei-v1-Uncensored, созданная с использованием llama.cpp. Базовая модель разработана на основе Llama 3.1 от Meta, а исходную модификацию подготовил пользователь aifeifei799. Модель предназначена для генерации текста, диалоговых помощников и других задач обработки естественного языка, включая работу с кодом. Это текстовая авторегрессионная модель с оптимизированной архитектурой Transformer и Grouped-Query Attention (GQA), содержащая 8B параметров. Она поддерживает ввод текста и генерирует текст или код, имеет контекст до 128k токенов и рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантизация в формате GGUF предназначена для более эффективного запуска, в том числе через llama.cpp, однако README не указывает конкретный тип квантизации, требования к памяти или характеристики производительности. Версия обозначена как uncensored, поэтому её поведение в части отказов и защитных ограничений может отличаться от стандартной instruction-tuned модели Meta; ответы по-прежнему могут быть неточными или небезопасными. Использование регулируется кастомной коммерческой лицензией Llama 3.1 Community License и связанными ограничениями Acceptable Use Policy.

unsloth/Llama-3.2-3B-Instruct-bnb-4bit — это 4-битная квантованная версия инструкционно дообученной текстовой модели Llama 3.2 3B Instruct, подготовленная Unsloth на базе модели Meta. Она предназначена для генерации текста, многоязычного диалога, агентского поиска и извлечения информации, суммаризации, а также для локального запуска и последующего дообучения с пониженным потреблением памяти. Модель работает в формате text in/text out и доступна через экосистему Transformers и bnb 4-bit. Архитектура модели — авторегрессионный оптимизированный Transformer с Grouped-Query Attention (GQA). Размер — 3 млрд параметров. Инструкционная версия обучена с применением supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF) для повышения полезности и безопасности. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Длина контекста в предоставленных данных не указана. К сильным сторонам относятся компактный размер, 4-битное представление, сниженные требования к памяти и оптимизация для диалоговых и прикладных текстовых сценариев. Ограничения связаны с тем, что это статическая модель, обученная на офлайн-данных, а также с возможными рисками при использовании языков и задач за пределами заявленных возможностей; качество и безопасность конкретного развертывания требуют отдельной проверки. Использование регулируется кастомной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy Meta.

Llama-3.3-70B-Instruct-abliterated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama 3.3 с заявленным размером 70 млрд параметров. Модель подготовлена и опубликована bartowski, а исходная модель разработана Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. В метаданных указаны языки английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель работает только с текстом; сведения о поддерживаемых модальностях, архитектуре в деталях и размере контекста в предоставленных данных отсутствуют. Формат GGUF ориентирован на локальный запуск в совместимом программном обеспечении, а квантизация может снизить требования к памяти по сравнению с полной версией, но конкретный вариант квантизации в README не указан. Суффикс «abliterated» указывает на модифицированную версию, однако подробности изменений, их влияние на качество и безопасность, а также результаты тестирования не приведены. Поэтому характеристики точности, устойчивости и ограничения модели следует проверять отдельно. Распространение и использование основаны на Llama 3.3 Community License от Meta с требованиями по соблюдению Acceptable Use Policy, включению текста лицензии и атрибуции «Built with Llama» при распространении материалов или производных продуктов; для организаций с более чем 700 миллионами ежемесячных пользователей предусмотрено отдельное лицензионное условие.

Manticore 13B Chat Pyg — языковая модель для диалогового и инструкционного текстового взаимодействия, разработанная Open Access AI Collective. Данная версия распространяется в формате GGUF и является квантизированным вариантом исходной модели Manticore 13B Chat Pyg; квантизацию выполнил TheBloke. Модель основана на архитектуре LLaMA, содержит около 13 миллиардов параметров и предназначена для генерации текста по шаблону диалога Vicuna: ответов на вопросы, объяснений, инструкций и других чат-сценариев. В метаданных указан английский язык, а среди использованных наборов данных — коллекции ShareGPT, WizardLM, Alpaca, GPT4-LLM, ScienceQA, GSM8K и другие наборы для обучения инструкциям, диалогам, рассуждениям и программированию. Файлы GGUF доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать баланс между размером, скоростью и качеством вывода. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и ctransformers, с поддержкой CPU+GPU-инференса. Мультимодальность и размер контекстного окна в README не указаны; модель предназначена для работы только с текстом. Лицензия обозначена как other, но ее конкретные условия не приведены, поэтому перед использованием необходимо проверить лицензию исходной модели и условия распространения квантизированных файлов.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная GGUF-версия языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста, диалоговых приложений и использования инструментов через структурированные вызовы функций. Она поддерживает текстовый ввод и вывод, а также рассчитана на работу с LlamaEdge и совместимыми средствами запуска GGUF-моделей. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Заявленный размер контекста составляет 128 000 токенов. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Доступны варианты квантизации от 2 до 8 бит с размером файлов примерно от 3,18 до 8,54 ГБ; варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу размера и качества или минимальным потерям качества. К сильным сторонам относятся большой контекст, многоязычность, поддержка диалогового режима и вызова инструментов, а также возможность локального запуска с уменьшенными требованиями к памяти благодаря квантизации. Ограничения связаны с потерей качества при использовании низкобитных вариантов, особенно Q2_K и некоторых Q3/Q4-конфигураций; конкретные показатели производительности и качества в README не приведены. Модель распространяется по лицензии llama3.1.

Карточка модели mlabonne/Meta-Llama-3-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

Mistral-Small-3.2-24B-Instruct-2506-GGUF — квантизированная GGUF-версия инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и подготовленной пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговых приложений, генерации и обработки текста, а также, согласно метаданным, для сценариев image-text-to-text. Поддерживаются английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский и другие языки, перечисленные в карточке модели. Модель содержит около 24 млрд параметров и доступна в вариантах от BF16 до различных уровней Q3–Q8, что позволяет выбирать между качеством, размером файлов и требованиями к оборудованию. Размер файлов варьируется примерно от 13,5 ГБ для компактных квантизаций до 47,15 ГБ для BF16. Версия поддерживает запуск через llama.cpp, LM Studio и совместимые проекты. Исправленный chat template добавляет поддержку tool calling; для корректной работы требуется соответствующий шаблон Mistral-Small-3.2-24B-Instruct-2506.jinja и актуальная поддержка со стороны llama.cpp. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска и высокое заявленное качество вариантов Q5–Q8. Ограничения включают значительные требования к памяти даже у компактных вариантов, зависимость от совместимого llama.cpp-окружения и необходимость правильной настройки шаблона чата для вызова инструментов. Размер контекста и подробные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-heretic — модифицированная версия Mistral-Nemo-Instruct-2407, разработанного совместно Mistral AI и NVIDIA. Модель обработана с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения внесены в веса выходных проекций attention и down-projection MLP для подавления отказов без дообучения. Базовый размер модели — 12,2 млрд параметров; доступны веса BF16 и квантизованные версии в формате GGUF. Модель предназначена для диалогов, генерации текста, следования инструкциям, сложных рассуждений, приложений с длинным контекстом, roleplay и локального запуска на потребительских GPU или CPU. Заявлена поддержка многоязычных сценариев, при этом в карточке явно указан английский язык. Модель совместима с Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Доступны квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 с объёмом файлов примерно от 8,1 до 13,1 ГБ; для контекста требуется дополнительная память. Сильная сторона модели — сохранение основных знаний и возможностей базовой Mistral-Nemo-Instruct-2407 при более прямом следовании запросам и отсутствии встроенного слоя отказов. Ограничение состоит в намеренном подавлении защитного поведения: модель может выполнять потенциально небезопасные запросы, которые базовая версия отклоняет, поэтому её не рекомендуется размещать за незащищённым публичным интерфейсом. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

gghfez/Mistral-Small-3.2-24B-Instruct-hf-AWQ — инструкционная языковая модель для генерации текста, разработанная на базе gghfez/Mistral-Small-3.2-24B-Instruct-hf. Модель предназначена для диалоговых сценариев и других задач text generation, а также совместима с экосистемой Transformers и инфраструктурой text-generation-inference. В названии и метаданных указано использование AWQ, то есть модели с квантованным представлением весов, что может снизить требования к памяти при развертывании. Архитектура, поддерживаемые языки, размер контекста и конкретные показатели качества в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Mixtral-8x22B-Instruct-v0.1-GGUF — набор квантизированных моделей в формате GGUF, созданный и опубликованный MaziyarPanahi на основе Mixtral-8x22B-Instruct-v0.1 от Mistral AI. Это инструкционно дообученная большая языковая модель для генерации текста, диалогов и выполнения пользовательских инструкций, включая сценарии с вызовом функций и инструментов. Модель использует архитектуру Mixture of Experts (MoE) Mixtral с восемью экспертами размером 22B каждый; README не уточняет общий объём параметров, эффективное число активных параметров и размер контекста. Доступны варианты квантизации от 2 до 8 бит, а также 16-битный вариант. Указана поддержка английского, французского, испанского, итальянского и немецкого языков. Формат GGUF и совместимость с llama.cpp позволяют загружать модель локально, в том числе в виде сегментированных файлов, с выбором подходящего уровня квантизации. К сильным сторонам относятся широкий выбор уровней квантизации, возможность локального запуска и поддержка инструкционного режима и function calling. К ограничениям относятся потенциальные потери качества и точности при низкой битности, значительные требования к памяти для крупных вариантов, а также отсутствие в README подробных результатов оценки, сведений о производительности и ограничений безопасного использования. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-Nano-9B-v2-Japanese — разработанная NVIDIA Japan японская версия языковой модели NVIDIA Nemotron Nano, дообученная на японских данных для чата и задач с рассуждением. Модель предназначена для диалоговых приложений, следования инструкциям, AI-агентов и RAG-систем; поддерживает вызов инструментов и программирование. В основе — гибридная архитектура Nemotron-H с преимущественно слоями Mamba-2 и MLP и четырьмя слоями Attention. Модель принимает и генерирует текст, поддерживает японский и английский языки и контекст до 131 072 токенов. Может сначала выдавать трассу рассуждений, а затем ответ; режим рассуждений и бюджет токенов на него настраиваются при инференсе. Карточка указывает 9 млрд параметров, тогда как метаданные каталога — 15,1 млрд. Модель оптимизирована для систем с GPU NVIDIA; качество зависит от задачи, а результаты Nejumi Leaderboard 4 измерены на японских подмножествах и не сопоставимы напрямую с исходными бенчмарками. Коммерческое использование разрешено; в метаданных лицензия обозначена как other.

Phi-3-mini-4k-instruct-GGUF — квантованная версия легковесной языковой модели Phi-3-mini-4k-instruct, разработанной Microsoft и опубликованной в формате GGUF для локального запуска. В README указано, что модель обучалась на наборах данных Phi-3, включающих синтетические данные и отфильтрованные общедоступные веб-материалы с акцентом на качество и задачи, требующие рассуждений. Модель предназначена для генерации текста, диалоговых сценариев и других задач обработки естественного языка, включая работу с кодом. Она поддерживает английский язык, имеет контекстное окно 4096 токенов и относится к текстовым моделям. Формат GGUF совместим с приложениями на базе llama.cpp, включая Backyard AI, и позволяет распределять вычисления между CPU и GPU. Ключевое преимущество модели — компактность и возможность локального запуска на более широком спектре оборудования благодаря квантованию, которое снижает требования к ресурсам. Ограничением является компромисс между эффективностью и качеством: при более низкой точности квантования могут снижаться связность и качество ответов. Конкретный уровень квантования в README не указан. Базовая модель распространяется по лицензии MIT; для этой версии также указана лицензия MIT.

Aratako создал эту диалоговую языковую модель, объединив через mergekit Qwen/Qwen1.5-7B-Chat и abacusai/Liberated-Qwen1.5-7B в архитектуру Mixture of Experts без дополнительного дообучения. Модель имеет архитектуру Qwen2ForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов; она предназначена для генерации текста и диалогов на английском языке. В тестах MT-Bench модель показала результаты, близкие к исходной Qwen1.5-7B-Chat; автор приводит сравнительные оценки для задач кодирования, извлечения информации, рассуждений, ролевого общения и письма. Для запуска нужны пользовательские файлы модели и конфигурации, размещённые рядом с весами. В карточке указана лицензия other, а README сообщает о наследовании лицензии Tongyi-Qianwen.

Qwen3-0.6B-GPTQ-Int8 — квантованная 8-битная версия причинной языковой модели Qwen3-0.6B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, переводов, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимами рассуждения и обычного диалога в рамках одной модели. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не являются параметрами эмбеддингов, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов, однако конкретный перечень языков в README не указан. Модель работает с текстовой модальностью и распространяется в формате GPTQ с 8-битной квантизацией. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, режимов рассуждения и обычной генерации, а также возможности для агентских сценариев. Ограничения включают меньший размер по сравнению с крупными моделями Qwen3 и возможное появление повторов при неподходящих параметрах генерации; README рекомендует при таких проблемах использовать presence_penalty 1.5. Модель распространяется по лицензии Apache 2.0.

FreedomAISVR публикует квантованную в NVFP4 модель Qwen3.5-9B-Instruct в формате GGUF. Это мультимодальная модель семейства Qwen на 9 млрд параметров для диалога и выполнения инструкций; карточка указывает поддержку генерации текста, понимания изображений, рассуждений и генерации кода. В архитектуре сочетаются GQA и MLA, чередование блоков SSM (Mamba-2), а для изображений используется визуальный энкодер SigLIP ViT с мультимодальным проектором. Режим рассуждений по умолчанию выключен. Квантование NVFP4 рассчитано прежде всего на ускорение инференса на GPU NVIDIA Blackwell с 4-битными тензорными ядрами. В репозитории есть текстовая модель размером 5,31 ГБ и проектор изображений F16 размером 0,92 ГБ. Для запуска с изображениями README описывает использование llama.cpp и отдельного файла проектора. Метаданные указывают лицензию Apache-2.0. Модель подходит для диалоговых помощников, ответов на вопросы об изображениях, программирования и многоязычных текстовых задач. README рекомендует традиционные форматы квантования для оборудования до поколения Blackwell, GPU AMD и CPU; качество и скорость этой сборки на иных конфигурациях не охарактеризованы. Языковая поддержка включает английский, китайский и другие языки, но основной язык для этой сборки не выделен.

Qwen3.5-9B-text-only — текстовый вариант семейства Qwen3.5, опубликованный Principled Intelligence. Из контрольной точки удалены веса визуального энкодера, поэтому модель сохраняет языковую часть и генерирует текст, занимая меньше места на диске и в памяти. Архитектура — плотная причинная языковая модель Qwen3.5 с примерно 7,2 млрд параметров; заявленная длина контекста — 262 144 токена. Модель предназначена для диалогов и генерации текста в задачах, поддерживаемых исходной языковой моделью Qwen3.5. По карточке, она использует тот же токенизатор и шаблон чата, что и исходная модель; загрузка поддерживается через Transformers, начиная с версии 5.2.0. Контрольная точка распространяется в формате safetensors по лицензии Apache-2.0. Удаление визуального энкодера уменьшает размер файлов примерно на 7%, а потребление VRAM — примерно на 5% по сравнению с Qwen3.5-9B. Модель не принимает изображения. В README указана проверка только с Transformers; совместимость с vLLM, SGLang, llama.cpp, Ollama и другими движками пока не заявлена. Автор также характеризует публикацию как экспериментальную, а не как готовую производственную линейку.

Qwen3.8-27B-3bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX пользователем lukaskremla с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и использования инструментов, включая задачи с длинным контекстом и многоязычные приложения. Модель сохраняет возможности преобразования текста в текст и не содержит vision tower, поэтому не поддерживает обработку изображений. Она использует 3-битное квантование весов с affine- и RTN-подходами и размером группы 64; заявленный размер базовой модели — 27B параметров. Формат MLX ориентирован на запуск с использованием экосистемы MLX и mlx-lm. Конкретные поддерживаемые языки и максимальная длина контекста в README не указаны. К преимуществам относятся сниженные требования к памяти по сравнению с полноразмерной моделью, поддержка текстовой генерации, рассуждений, инструментов и длинного контекста. Ограничения связаны с отсутствием мультимодальности и возможными потерями качества из-за 3-битного квантования; точные показатели производительности не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Continuum — экспериментальная мультимодальная модель на архитектуре Qwen3.5, созданная независимой лабораторией NightmediaAI. Это слияние моделей nightmedia/Qwen3.8-27B-Brainwaves и migtissera/Synthia-4-27B; метаданные также связывают её с несколькими другими слитыми моделями. Репозиторий содержит веса Safetensors и предназначен для диалогов и следования инструкциям с поддержкой изображений. Модель подходит для общения, анализа изображений, рассуждений, математики, программирования и творческого письма, включая продолжение сцен и создание историй. В карточке приведены оценки на ряде бенчмарков и показатели скорости, памяти и перплексии для нескольких вариантов квантования, однако сам репозиторий указан в формате Safetensors. Поддерживаемые языки по метаданным: английский, китайский, японский и испанский. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-сборка плотной мультимодальной causal language model Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео. Вариант Aggressive ориентирован на прямые ответы без выраженного отказного поведения и с минимальным предварительным вступлением в сложных запросах. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются встроенные MTP/NextN и профиль ускорения HauhauCS FastMTP 32K; заявлены ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно варианта без MTP. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Для визуального ввода используется отдельный vision-проектор BF16. Заявлены английский, китайский и мультиязычный режимы. Сильными сторонами являются большой контекст, текстовые и визуальные возможности, поддержка нескольких уровней квантизации GGUF и ускорение FastMTP. Aggressive-профиль может быть удобен там, где нужны краткие прямые ответы, однако его сниженное отказное поведение может быть менее подходящим для надёжных и критичных к безопасности приложений; автор README рекомендует для таких агентских задач Balanced-вариант, если он доступен. Доступны квантизации Q2–Q8 и пользовательские K_P-кванты, оптимизированные для сохранения качества. Модель распространяется по лицензии Apache-2.0.