II.10Разработка и эксплуатация AI/ML-систем

lued/Qwen3.8-27B-huihui-abliterated-INT8-W8A16-DFlash2 — квантованная версия Huihui-Qwen3.8-27B-abliterated, разработанная на базе моделей huihui-ai и Qwen. Это мультимодальная conversational-модель с поддержкой текста и изображений, предназначенная для диалогов, генерации текста, задач рассуждения, tool calling и работы с длинным контекстом. Модель рассчитана на запуск через vLLM и потребительское оборудование, в частности две видеокарты RTX 3090. Модель содержит 27B параметров, использует формат W8A16 с весами INT8 и активациями FP16 или BF16, а также поддерживает контекст до 262 144 токенов. Для ускорения генерации применяется speculative decoding с отдельной моделью-черновиком DFlash2, которая предлагает до 7 токенов за шаг. Размер основной модели составляет около 28 GiB в шести шардах, размер drafter — около 2,02 GiB. По данным README, квантование сохраняет 98,5% совпадения следующего токена с исходной BF16-моделью при среднем KLD 0,000694. Сильные стороны модели — уменьшенный вдвое размер относительно BF16-версии, поддержка длинного контекста, vision tower, thinking controls и tool calling, а также заявленное ускорение генерации на RTX 3090. Ограничения включают необходимость двух GPU с общим объёмом памяти 48 ГБ для заявленного сценария, использование неподдерживаемого в стабильном vLLM DFlash2 с дополнительными патчами и отсутствие собственных измерений скорости именно для этой сборки; приведённые показатели производительности относятся к родственному варианту. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_M-GGUF — это независимая vanilla-квантизация модели Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp. Квантизация Q3_K_M выполнена без дообучения, слияния, изменения выравнивания или шаблона чата. Модель поддерживает генерацию текста, нативный tool calling, обработку изображений и видео, а также режимы управления рассуждением через параметры enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Hybrid Gated DeltaNet/full-attention, vision tower и проектор; в репозитории сохранены MTP-тензоры, однако ускорение speculative decoding не заявлено. Основной файл занимает около 13,5 ГБ, vision projector — в формате F16, общий размер репозитория — около 14,4 ГБ. Для запуска рекомендуется не менее примерно 18 ГБ доступной памяти, при этом KV-cache дополнительно увеличивает потребление в зависимости от контекста. К сильным сторонам относятся сохранённые возможности исходной модели, проверенная поддержка текста, инструментов, изображений и видео, а также совместимость с нативным форматом вызова инструментов Qwen. Ограничение — возможное снижение качества из-за низкобитной квантизации; заявленные проверки не позволяют делать выводы о максимальной длине контекста. Для работы требуется runtime с поддержкой архитектуры Qwen3.8, vision-компонентов, токенизатора и MTP-метаданных. Модель и её vanilla-квантизация распространяются по лицензии Apache-2.0.

Qwen3-Swallow 32B RL v0.2 AWQ-INT4 — квантованная 4-битная версия большой языковой модели, разработанная командой Tokyo Institute of Technology под названием tokyotech-llm на основе Qwen3. Модель дообучалась с использованием непрерывного предварительного обучения, supervised fine-tuning и reinforcement learning with verifiable rewards (RLVR), включая датасеты по математике, программированию, рассуждениям и диалогам. Модель предназначена для генерации текста, общения, японско-английского перевода, решения математических задач, программирования и задач, требующих развитого рассуждения. Она оптимизирована для японского и английского языков. Размер исходной модели составляет 32 млрд параметров; архитектурные детали и токенизатор соответствуют Qwen3. Рекомендуется использовать контекст длиной не более 32 768 токенов и параметры генерации temperature 0,6, top-p 0,95 и top-k 20. К сильным сторонам относятся высокая двуязычная компетентность, улучшенные возможности рассуждения и сохранение производительности в математике и программировании. Для данной AWQ-квантизованной версии результаты оценки пока не опубликованы. Модель не обучалась специально для использования инструментов и function calling, а переключение режима рассуждений ON/OFF не поддерживается. Лицензия — Apache-2.0.

unsloth/Qwen3-VL-2B-Instruct-bnb-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-2B-Instruct, опубликованная Unsloth на основе модели Qwen. Это instruction-модель архитектуры Dense с примерно 2 млрд параметров, предназначенная для обработки изображений и текста, а также для задач понимания видео и визуально-текстового диалога. Модель подходит для описания и анализа изображений, визуального и пространственного рассуждения, OCR, STEM- и математических задач, генерации кода и разметки Draw.io/HTML/CSS/JS по визуальным материалам, а также для взаимодействия с графическими интерфейсами и инструментами. Заявлены контекст длиной 256 тысяч токенов с возможностью расширения до 1 млн, понимание длинных документов и продолжительных видеозаписей, а также OCR для 32 языков. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся сочетание языкового и визуального понимания, улучшенная работа с пространственными отношениями, видео, документами и мелкими визуальными деталями, а также сниженные требования к памяти благодаря 4-битному формату. README не приводит точный перечень поддерживаемых языков, аппаратные требования и детальные ограничения квантованной версии; на практике 4-битное представление может влиять на точность, но конкретные потери здесь не указаны. Лицензия — Apache-2.0.

Sarvam-30B — языковая модель семейства Sarvam, разработанная Sarvam AI. Это модель Mixture-of-Experts для генерации текста и диалогов; в README указано 2,4 млрд активных параметров без эмбеддингов, а метаданные репозитория — 3,7 млрд параметров. Модель ориентирована на практическое развёртывание, рассуждения, программирование и диалоги на индийских языках. Поддерживает вызов инструментов; архитектура включает 128 экспертов и маршрутизацию top-6. Контекст по метаданным — до 131 072 токенов. Основной упор сделан на индийский контекст и 22 индийских языка. В метаданных явно перечислены английский, хинди, бенгальский, тамильский, телугу, маратхи, гуджарати, каннада, малаялам, пенджаби, ория, ассамский, урду, санскрит, непальский, синдхи, конкани, майтхили, догри, манипури, сантали, кашмирский и тибетский. Модель может применяться для многоязычных голосовых звонков в составе речевой системы, но сама карточка описывает её как текстовую генеративную модель. Распространяется по лицензии Apache-2.0.

XVERSE-13B — многоязычная языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Это плотная decoder-only модель на архитектуре Transformer с 13,2 млрд параметров и контекстом до 8192 токенов. Репозиторий содержит веса PyTorch; лицензия Apache-2.0 разрешает коммерческое использование на её условиях. Модель предназначена для генерации текста, многоходового диалога, ответов на вопросы и суммаризации. Она обучалась на разнообразных данных более чем на 40 языках; в карточке особо отмечены китайский и английский, а также русский и испанский. BPE-токенизатор использует словарь размером 100 534 токена. В карточке также приведены оценки на тестах по пониманию языка, рассуждениям, математике и программированию. Как и другие большие языковые модели, XVERSE-13B может генерировать неточные, предвзятые или оскорбительные ответы. Для конкретного применения разработчикам рекомендуется проверять безопасность и качество ответов. В README указана более новая версия XVERSE-13B-2, обученная на большем объёме данных; описываемая здесь модель — исходная версия.

A.X K2 NVFP4 — квантизированная версия языковой модели A.X K2 от SK Telecom. Это модель типа Mixture-of-Experts с 688 млрд параметров, из которых 33 млрд активны при обработке запроса. Вариант NVFP4 применяет к routed experts квантизацию NVFP4 W4A4, а attention, router, shared expert и dense layer хранит в FP8, embedding и LM head — в BF16; заявлено примерно двукратное сокращение объёма памяти по сравнению с FP8-чекпойнтом. Модель предназначена для диалоговой генерации текста, рассуждений, следования инструкциям и агентных сценариев. Режим thinking подходит для сложных задач, а non-thinking — для коротких ответов с меньшей задержкой. Конфигурация YaRN поддерживает контекст до 256K токенов; README также описывает тесты извлечения фактов при масштабировании до 512K. Для запуска на одном узле указаны четыре NVIDIA B200 и форк vLLM с поддержкой A.X K2. Модель ориентирована на английский, корейский, китайский, японский и испанский языки; проект подчёркивает понимание корейского языка и культуры. В README заявлено качество, сопоставимое с FP8-версией, и идеальный результат на описанном тесте NIAH, но эти результаты не характеризуют все задачи. Лицензия — Apache-2.0.

cyankiwi/diffusiongemma-26B-A4B-it-AWQ-INT4 — квантованная версия DiffusionGemma на базе google/diffusiongemma-26B-A4B-it, разработанной Google DeepMind. Это мультимодальная модель с открытыми весами, которая принимает текст, изображения и видео, а генерирует текст. Представленная версия использует квантование AWQ INT4 и занимает около 17,23 ГБ. Модель предназначена для генерации текста, рассуждений, диалоговых сценариев, обработки мультимодальных запросов и задач, связанных с STEM и агентными системами. Она применяет дискретную диффузию: вместо последовательной генерации токенов модель итеративно восстанавливает блоки токенов, что может повышать скорость вывода. Архитектура включает encoder-decoder с двунаправленным вниманием в декодере и разреженную Mixture-of-Experts-конфигурацию: 25,2 млрд параметров всего, 3,8 млрд активных параметров, 30 слоёв и 8 активных экспертов из 128. Заявлены контекст до 256 тысяч токенов, окно скользящего внимания 1024 токена и длина генерируемого блока 256 токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель оптимизирована для инференса с небольшим размером пакета и низкой задержкой, преимущественно на одном производительном ускорителе; режим рассуждений и системные промпты поддерживаются. Ограничение развертывания — отсутствие поддержки внутримодельного тензорного и конвейерного распараллеливания; для нескольких GPU рекомендуется репликация через data parallelism. Лицензия — Apache 2.0.

ERNIE-4.5-300B-A47B-FP8-Paddle — текстовая языковая модель семейства ERNIE 4.5 от Baidu, опубликованная в формате весов PaddlePaddle. Это модель типа MoE с 300 млрд параметров всего и 47 млрд активируемых параметров на токен; для обработки текста используются 64 эксперта, из которых активируются 8. Модель предназначена для диалогов, понимания языка и генерации текста. Она поддерживает контекст до 131 072 токенов и в карточке указаны английский и китайский языки. Несмотря на мультимодальное обучение семейства ERNIE 4.5, этот вариант в README обозначен как текстовый. Модель построена на архитектуре Ernie4_5_MoeForCausalLM и распространяется в формате safetensors для PaddlePaddle. README приводит настройки генерации и пример развёртывания через FastDeploy. Лицензия — Apache-2.0. Указанные характеристики относятся к данному репозиторию; для запуска нужны совместимое окружение PaddlePaddle и значительные вычислительные ресурсы.

ERNIE-4.5-300B-A47B-PT — текстовая языковая модель семейства ERNIE 4.5 от Baidu, опубликованная в формате весов PyTorch для Transformers. Это постобученная модель с архитектурой MoE: 300 млрд параметров всего, из них 47 млрд активируются для каждого токена; в конфигурации указаны 54 слоя и контекст до 131 072 токенов. Модель предназначена для диалогов, понимания языка и генерации текста. Её обучали совместно на текстовых и визуальных данных, однако эта версия обозначена как текстовая и принимает текст. Модель поддерживает английский и китайский языки, а для запуска рассчитана на крупную мног GPU инфраструктуру; в README приведён пример с 16 GPU по 80 ГБ при использовании vLLM. Репозиторий содержит веса Safetensors и предназначен для Transformers. Лицензия — Apache 2.0. Карточка не приводит результатов сравнительной оценки качества.

ERNIE-4.5-300B-A47B-W4A8C8-TP4-Paddle — текстовая MoE-модель семейства ERNIE 4.5, разработанная Baidu и распространяемая с весами для PaddlePaddle. Репозиторий содержит вариант W4A8C8 с 4-битными и 8-битными весами; в карточке указаны 47,1 млрд параметров, а README описывает семейство как модель с 300 млрд параметров всего и 47 млрд активируемых на токен. Архитектура включает 54 слоя и 64 текстовых эксперта, из которых активируются 8. Модель предназначена для диалогов, генерации текста и общего языкового понимания. Семейство ERNIE 4.5 обучалось на текстовых и визуальных данных, однако именно этот вариант обозначен как текстовая модель. Поддерживает английский и китайский языки; контекстное окно — 131072 токена. Для запуска предназначены PaddlePaddle и FastDeploy. Модель выпущена под лицензией Apache-2.0. Возможности и качество зависят от аппаратных ресурсов и настроек развёртывания; README приводит пример конфигурации FastDeploy с ограничением длины ввода 32768 токенов.

SevenOfNine/Gemma-4-26B-A4B-It-Abliterated-GGUF — набор GGUF-квантизаций модели Gemma-4-26B-A4B-It-Abliterated, разработанной SevenOfNine на основе google/gemma-4-26B-A4B-it. Модель предназначена для текстовых и мультимодальных задач с изображениями, вызова инструментов, рассуждений, творческого и ролевого использования. Доступны варианты Q5_K_M, Q6_K и BF16, а также отдельный vision-проектор; рекомендуемый вариант Q5_K_M занимает 19,1 ГБ. Архитектура Mixture-of-Experts содержит 26 млрд параметров, из которых активно около 4 млрд. Заявлены поддержка английского и французского языков и контекст до 250 000 токенов при использовании llama.cpp с соответствующими настройками и достаточным объёмом оперативной памяти. Модель подвергнута abliteration с помощью Heretic для уменьшения отказов в ответах: по данным карточки, показатель отказов снизился со 100 из 100 у исходной модели до 18 из 100, при KL-дивергенции 0,0845. Это сохраняет близость к исходным возможностям, но одновременно означает ослабление встроенных ограничений безопасности. Для работы с изображениями и инструментами требуются шаблон чата и параметры llama.cpp, совместимые с Gemma 4; полноценное качество зависит от выбранной квантизации, объёма RAM и VRAM. Модель распространяется по лицензии Gemma.

OnlyTextLLMs выпустила текстовую версию Gemma 4 E2B IT на основе google/gemma-4-E2B-it. Это плотная авторегрессионная языковая модель с архитектурой Gemma4ForCausalLM; из исходной мультимодальной модели удалены компоненты обработки изображений и аудио и соответствующие специальные токены, а текстовый блок и языковая голова сохранены. Карточка указывает 4,65 млрд параметров, 35 слоёв и размер скрытого состояния 1536, тогда как метаданные каталога приводят 1,6 млрд параметров; точный размер поэтому расходится между источниками. Метаданные указывают контекст до 131072 токенов и поддержку диалогового режима. Модель предназначена для генерации текста и диалоговых сценариев, где вход и выход представлены текстом. Она не принимает изображения или аудио, в отличие от исходной Gemma 4 E2B IT. README сообщает, что новые обучающие данные и дообучение не добавлялись: изменён состав компонентов модели. Репозиторий распространяется по лицензии Apache 2.0.

K-EXAONE-236B-A23B-FP8 — мультиязычная языковая модель, разработанная LG AI Research. Это FP8-квантизированная версия K-EXAONE-236B-A23B, предназначенная для генерации текста, рассуждений, работы с общими знаниями, многоязычного понимания, обработки длинного контекста и агентских сценариев с использованием инструментов и поиска. Модель использует архитектуру Mixture-of-Experts с 236 млрд параметров, из которых 23 млрд активируются при инференсе. Она поддерживает Multi-Token Prediction для ускорения самоспекулятивного декодирования примерно в 1,5 раза, 256K токенов контекста и гибридную схему внимания 3:1 со скользящим окном размером 128 токенов. В составе архитектуры 128 экспертов, 8 активных экспертов и один общий эксперт; словарь SuperBPE содержит 153 600 токенов. Поддерживаются корейский, английский, испанский, немецкий, японский и вьетнамский языки. Дата отсечения знаний — декабрь 2024 года. Сильные стороны модели — высокая эффективность MoE-архитектуры, длинный контекст, заявленные возможности рассуждения и работы в агентских системах, а также учет корейского культурного и исторического контекста. FP8-квантизация может снизить требования к ресурсам по сравнению с полноразмерной моделью, но модель всё равно остается крупной и требует специализированной инфраструктуры. Данные о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Лицензия указана как специальная k-exaone; условия использования следует уточнять в файле LICENSE.

alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Qwen2.5-7B-Instruct-abliterated-v2 — доработанная методом abliteration версия инструктивной языковой модели Qwen2.5-7B-Instruct, созданная huihui-ai. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалогов и генерации текста; она поддерживает контекст до 32 768 токенов и предназначена для работы через библиотеку Transformers. В карточке отмечены чат-возможности и интерфейс вызова инструментов. Версия позиционируется как менее ограниченная в отказах на запросы, чем исходная модель. В README приведены оценки IF_Eval 77,82, MMLU Pro 42,03 и TruthfulQA 57,81; результаты отдельных тестов отличаются от исходной Qwen2.5-7B-Instruct. Метаданные указывают языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0.

DazzlingShadow публикует вариант Qwen3.5-122B-A10B с изменённым профилем отказов (abliteration). В приведённом сравнении частота отказов снизилась с 88 до 16 из 100 запросов при KL-дивергенции 0,0233 относительно исходной модели. Это мультимодальная модель для диалога, генерации текста и понимания изображений; карточка описывает её как причинную языковую модель с визуальным энкодером и разреженной архитектурой Mixture-of-Experts с Gated Delta Networks. Всего 122 млрд параметров, активируется 10 млрд; контекстное окно — 262 144 токена с возможностью расширения до 1 010 000. Исходная модель заявляет поддержку 201 языка и диалекта, однако карточка не уточняет, какие языки сохраняются в этом производном варианте. Модель доступна в формате Safetensors и предназначена для Transformers и совместимых серверов инференса. Лицензия — Apache-2.0. Снижение отказов не гарантирует их полного отсутствия; производительность и совместимость зависят от используемого фреймворка и ресурсов.

Qwen3.5-397B-A17B-Opus-4.6-Reasoning-Uncensored-GGUF — GGUF-версия модели, разработанная timteh673 на базе Qwen/Qwen3.5-397B-A17B. Модель предназначена прежде всего для генерации текста, сложного рассуждения, аналитических задач, многошагового решения проблем и диалоговых сценариев. Она прошла abliteration для снижения отказов и LoRA-дообучение на 12 842 образцах рассуждений, дистиллированных из ответов Anthropic Claude Opus 4.6, с использованием тегов <think> для явного отображения процесса рассуждения. Архитектура представляет собой гибридную Qwen3.5 MoE с GatedDeltaNet и Transformer-компонентами: 397 млрд параметров всего, 17 млрд активных параметров на токен, 60 слоёв, 32 attention-головы, 2 KV-головы, 512 маршрутизируемых экспертов и общий эксперт, из которых активны 10 на токен. Заявлена длина контекста до 262 144 токенов, словарь из 248 320 токенов и поддержка более 201 языка, включая английский, китайский, японский, корейский, русский и другие. Модель также сохраняет нативный vision encoder для работы с текстом, изображениями и видео, однако мультимодальные возможности после дообучения не тестировались. Сильными сторонами являются MoE-архитектура с большим общим числом параметров, улучшенное структурированное рассуждение и широкий контекст. Модель очень требовательна к ресурсам: размер доступных вариантов составляет примерно от 135 до 739 ГБ, а для рекомендованной квантизации Q4_K_M требуется около 230 ГБ оперативной памяти. Возможны отдельные отказы, поскольку routed-эксперты не были полностью обработаны при abliteration; режим рассуждения генерирует теги <think>, которые при необходимости следует удалять постобработкой. Лицензия — Apache 2.0.

Qwen3.6-35B-A3B Uncensored Heretic MLX 8bit — мультимодальная версия модели Qwen, разработанной Alibaba Cloud, конвертированная пользователем froggeric в формат MLX для нативной работы на Apple Silicon. Базовая модель — llmfan46/Qwen3.6-35B-A3B-uncensored-heretic; для устранения отказов использовался Heretic v1.2.0 с вариантом метода Magnitude-Preserving Orthogonal Ablation, применённым с учётом гибридной архитектуры внимания Qwen 3.6. Модель предназначена для диалогов, генерации и анализа текста, задач с изображениями и видео, рассуждений и tool calling. Поддерживаются текстовые и визуальные входы, режимы с рассуждением и без него, а также языки English, Chinese и другие языки, обозначенные как multilingual. Указаны размер класса 35B-A3B и 8-битная квантизация. Исправленный chat template поддерживает современные роли, вызовы инструментов и переключатель thinking, а также устраняет проблемы обработки визуальных входов. Сильные стороны модели — мультимодальность, работа в экосистеме MLX, совместимость с MLX-LM, MLX-VLM, LM Studio, llama.cpp, vLLM и другими движками с HuggingFace Jinja templates, а также снижение частоты отказов при заявленной минимальной потере возможностей. Для работы требуются mlx-lm версии 0.31.2 или новее и mlx-vlm версии 0.4.4 или новее. Модель распространяется по лицензии Apache-2.0. README не содержит подробных независимых результатов бенчмарков и не уточняет фактический объём контекстного окна.

leok7v/Qwen3.8-27B — мультимодальная квантизованная сборка базовой модели Qwen3.8-27B, разработанной Qwen и Alibaba. Квантизацию выполнила unsloth, упаковку — leok7v. Модель предназначена для автономного запуска на устройстве: чата, суммаризации, подготовки текстов, ответов на вопросы по предоставленному контексту и описания изображений в офлайн-режиме или сценариях, чувствительных к конфиденциальности. Это плотная гибридная авторегрессионная языковая модель с чередованием трёх блоков линейного внимания Gated DeltaNet и одного блока полного внимания, дополненная vision encoder. Линейные блоки используют компактное рекуррентное состояние вместо растущего KV-кэша, а блоки полного внимания поддерживают дальний контекст. Веса представлены в нескольких вариантах квантизации от 1 до 4 битов размером примерно от 6,88 до 15,17 GiB. В каждый файл встроены vision tower, токенизатор, chat template, параметры семплирования и drafter для speculative decoding. Сильные стороны модели — мультимодальность, полностью автономная поставка в одном файле, отсутствие необходимости обращаться к серверу и потенциально сниженное потребление памяти благодаря гибридной архитектуре. Ограничения включают зависимость формата .ggxf от runtime Gadeon: совместимость со сторонними GGUF-инструментами не проверялась, а некоторые из них могут не поддерживать встроенный vision tower или тип iq4_nl. Квантизация снижает точность, особенно в 1- и 2-битных вариантах; возможны фактические ошибки, накопление ошибок в многошаговых рассуждениях и расхождения с исходной моделью. Модель не содержит дополнительного safety-тюнинга или фильтрации и не предназначена для принятия юридических, медицинских, финансовых и иных высокоставочных решений без проверки человеком. Лицензия — Apache 2.0, унаследованная от базовой модели.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель на базе Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Она предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также задач с длинным контекстом. Aggressive-профиль ориентирован на прямые ответы без выраженного поведения отказа и с минимальным вступлением в сложных запросах. Модель представляет собой плотную языковую модель на 27 млрд параметров с vision encoder: 64 слоями, скрытым размером 5120, размером FFN 17408, словарём на 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. В текстовых GGUF сохранён встроенный MTP/NextN, а отдельный профиль HauhauCS FastMTP 32K предназначен для ускорения генерации; для обработки изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются мультимодальность, большой контекст, широкий набор квантованных вариантов и потенциальное ускорение за счёт MTP. Ограничения включают необходимость значительных аппаратных ресурсов для моделей размером до 31,46 ГБ, зависимость мультимодального ввода от отдельного проектора и возможное снижение надёжности в критически важных длинноконтекстных агентских сценариях из-за Aggressive-профиля. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B Uncensored Heretic T10 BF16 — экспериментальная производная модели Qwen3.8-27B, размещённая пользователем nerkyor. Модель создана на основе официальной Qwen3.8-27B с применением метода C0/T10, направленного на снижение склонности к отказам. В репозитории доступны полные веса BF16, а также варианты Q8_0 для llama.cpp, черновая MTP-модель и vision projector. Модель предназначена для локального запуска в текстовых и мультимодальных сценариях, включая ответы на вопросы, рассуждения, программирование и обработку изображений. Указана поддержка мультимодальности и vision projector; конкретные языки не перечислены. Архитектура основана на Qwen3.8-27B, однако точные параметры контекста в README не указаны. Для работы рекомендуется использовать официальный chat template Qwen3.8 и актуальную сборку llama.cpp; thinking включён по умолчанию. Для ускорения вывода доступен MTP-вариант. В опубликованных тестах версия Q8_0 получила 87,0% на MMLU500, 85,35% на GPQA198 и 76/100 на LCB100. Главная особенность модели — крайне низкая частота жёстких отказов, но это одновременно означает сниженные защитные ограничения. Известное ограничение мультимодальной версии — неполное качество OCR: строгий синтетический тест не воспроизвёл заданную строку точно. Релиз носит исследовательский характер, требует самостоятельной проверки результатов и ответственного использования. Лицензия — Apache License 2.0; дополнительно необходимо соблюдать условия официальной Qwen3.8-27B и применимое законодательство.

OsaurusAI подготовила JANG_1L — квантованный вариант Qwen/Qwen3.8-Flash-Next для запуска на компьютерах Apple Silicon через MLX. Это мультимодальная модель с архитектурой Qwen4-экспериментального семейства: в исходной системе заявлены 125 млрд параметров MoE, из которых активны 6 млрд, и таблица n-граммных эмбеддингов на 51 млрд параметров. В сборке JANG_1L присутствуют компоненты для обработки текста, изображений и видео; заявленный размер весов — около 59,8 GiB, а при обслуживании таблицы с SSD резидентное использование памяти составляет около 41 GiB. Модель предназначена для диалога, рассуждений, анализа изображений и видео, а также агентных сценариев с вызовом инструментов. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн с YaRN. В README приведены результаты сравнения квантования с bf16 на 5 931 позициях; сборка не включает голову multi-token prediction, а для вызова инструментов требуется совместимый с Qwen XML-парсер. Языковой тег карточки — английский. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой репозитория.

Qwen3-VL-235B-A22B-Thinking — мультимодальная модель семейства Qwen3-VL от Qwen, представленная в варианте с архитектурой MoE и режимом рассуждений Thinking. Репозиторий содержит веса в формате safetensors; модель предназначена для диалога по тексту, изображениям и видео, визуального анализа и взаимодействия с инструментами. Лицензия — Apache-2.0. Модель подходит для ответов на вопросы по изображениям и видео, OCR и разбору длинных документов, STEM-задач, пространственного анализа, генерации кода и разметки интерфейсов по визуальным примерам, а также управления GUI через инструменты. В README заявлены контекст 256K токенов с расширением до 1M и поддержка OCR на 32 языках. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и привязку видео-событий к временным меткам. Карточка описывает широкие возможности мультимодального рассуждения и понимания текста, но не приводит здесь конкретных результатов бенчмарков. Для развёртывания модели такого размера требуются значительные вычислительные ресурсы; фактическая поддержка видео и вызова инструментов зависит от используемого окружения.

Qwen3-VL-2B-Instruct-GGUF — мультимодальная vision-language модель из серии Qwen3-VL, представленная Unsloth на основе Qwen/Qwen3-VL-2B-Instruct. Репозиторий содержит GGUF-версию весов с исправлениями chat template от Unsloth и предназначен для локального запуска и интеграции с совместимыми инструментами. Модель рассчитана на обработку текста и изображений, а семейство Qwen3-VL также поддерживает понимание видео. Она предназначена для визуального диалога, распознавания и анализа содержимого изображений, OCR, пространственного рассуждения, STEM-задач, генерации кода и взаимодействия с графическими интерфейсами. Указан размер 2B параметров; архитектура описана как мультимодальная, с компонентами Interleaved-MRoPE, DeepStack и выравниванием текста с временными метками. Для семейства заявлен контекст до 256K токенов с возможностью расширения до 1M, но применимость этих характеристик именно к данной GGUF-сборке README не уточняет. Сильные стороны модели — сочетание компактного размера, визуального и текстового понимания, расширенного OCR для 32 языков, анализа пространственных отношений и видео, а также возможности локального развертывания в GGUF-формате. Ограничения включают меньший размер по сравнению с более крупными вариантами семейства и зависимость производительности от выбранного уровня квантования и используемого программного обеспечения; конкретные параметры квантования в README не указаны. Модель распространяется по лицензии Apache-2.0.

Larryvrh опубликовал версию Yi-34B-200K от 01.AI, адаптированную для работы с архитектурой Llama и удобства использования. Это плотная языковая модель на 33,9 млрд параметров для генерации текста; репозиторий содержит веса Safetensors. Заявленная длина контекста — до 200 000 токенов. Модель подходит для диалога и генерации текста на китайском и английском языках, ответов на вопросы по длинным документам, чтения с пониманием, рассуждений, математики и задач по программированию. В README приведены результаты бенчмарков для разных моделей, но отдельные результаты Yi-34B-200K здесь не выделены. Модель может выдавать ошибочные или проблематичные ответы. Лицензия — Apache-2.0.

c4ai-command-r7b-12-2024-heretic — модифицированная версия модели CohereForAI Command R7B, созданная автором репозитория с использованием Heretic 1.4.0 и метода направленной абляции (abliteration). Это мультиязычная генеративная языковая модель примерно на 7 млрд параметров, оптимизированная для retrieval-augmented generation (RAG), диалоговых сценариев, локального запуска и надёжного использования инструментов. Указан английский язык, однако в описании заявлена мультиязычность. Модель поддерживает текстовую генерацию и поставляется в форматах BF16 Safetensors и GGUF с квантованиями Q4_K_M, Q5_K_M, Q6_K и Q8_0; доступен запуск через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Ключевая особенность — подавление поведения, связанного с отказами, посредством изменения отдельных направлений весов в выходных проекциях attention и down-проекциях MLP, без дообучения. Это должно сохранять большую часть знаний и возможностей базовой модели, но одновременно означает отсутствие встроенной фильтрации безопасности: модель может выполнять запросы, которые исходная версия отклоняла, включая потенциально нежелательные. Поэтому её не рекомендуется размещать за незащищённым публичным endpoint для сторонних пользователей. Модель рассчитана на локальное использование на потребительских GPU и CPU/Apple Silicon; рекомендуемый объём видеопамяти зависит от квантования и составляет примерно 6–24 ГБ, а для контекста требуется дополнительно около 1 ГБ. Ограничения контекстного окна в README не указаны. Модель наследует лицензию other базовой модели CohereForAI c4ai-command-r7b-12-2024; подробные условия доступны по ссылке на её LICENSE.

Command-R-01-Ultra-NEO-V1-35B-IMATRIX-GGUF — текстовая генеративная модель в формате GGUF на базе CohereLabs c4ai-command-r-v01, доработанная разработчиком DAVID_AU с использованием собственной технологии IMATRIX NEO V1. Модель предназначена для общего использования, следования инструкциям, общения, ролевых сценариев и творческой генерации, включая рассказы и художественные тексты. В README указан английский язык, размер базовой модели — 35 млрд параметров, а максимальный контекст — до 128 тысяч токенов. Для работы требуется специальный chat-шаблон Command-R. Заявленные сильные стороны — улучшенное следование инструкциям, качество вывода, работа с длинными текстами и более сильные связи между идеями и концепциями. Доступны варианты с разными уровнями GGUF-квантизации; качество, стиль и результаты генерации могут заметно различаться между квантами, поэтому выбор следует адаптировать под конкретный сценарий и доступные ресурсы. README также рекомендует настройку сглаживания sampling для некоторых интерфейсов. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Llama-8B-abliterated — текстовая генеративная модель huihui-ai на архитектуре Llama, созданная методом abliteration на основе deepseek-ai/DeepSeek-R1-Distill-Llama-8B. Разработчик описывает её как экспериментальный вариант, в котором удалены отказы от ответов; базовая модель была дообучена на данных для рассуждений. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста, ответов на вопросы и многошаговых рассуждений, включая математические задачи и программирование — эти возможности унаследованы от базовой модели. В карточке также приведён способ использования через Ollama. README предупреждает, что удаление отказов реализовано грубо и служит доказательством концепции; поэтому поведение модели может быть менее безопасным. Условия лицензии в предоставленных данных не указаны.

GLM-4.6V-Flash-GGUF — это набор GGUF-сборок мультимодальной модели GLM-4.6V-Flash, разработанной zai-org и опубликованной пользователем prithivMLmods. Модель относится к классу vision-language и предназначена для локального развёртывания и приложений с низкой задержкой. Доступны варианты с разными форматами точности и квантования, включая F16, BF16, F32, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-варианты. Модель рассчитана на работу с текстом и изображениями, включая фотографии, скриншоты и страницы документов. Она предназначена для визуального понимания документов, таблиц, графиков и макетов, мультимодального function calling, взаимодействия с инструментами, генерации HTML/CSS по скриншотам интерфейсов и редактирования изображений по инструкциям на естественном языке. Заявлено контекстное окно до 128K токенов и около 9 млрд параметров; поддерживаются китайский и английский языки. К сильным сторонам относятся мультимодальное понимание текста, структуры страниц и визуальных элементов, возможность напрямую использовать изображения в сценариях с инструментами, а также широкий выбор квантованных вариантов для подбора баланса между качеством и требованиями к памяти. Ограничения зависят от выбранного уровня квантования: более компактные варианты требуют меньше ресурсов, но могут снижать точность. В README не приведены подробные результаты тестирования, системные требования и инструкции по запуску. Лицензия модели указана как MIT.