II.7DevOps, облако и эксплуатация IT-систем

Deepthink-Llama-3-8B-Preview — диалоговая языковая модель PrithivMLmods, дообученная на базе meta-llama/Llama-3.1-8B-Instruct с использованием Rethinking R1 Dataset Logits. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров; поддерживает контекст до 131 072 токенов и работает с текстом. В карточке заявлены обучение с учителем и обучение с подкреплением на основе отзывов людей. Модель предназначена для диалогов и генерации текста с рассуждениями, пошаговыми объяснениями и структурированными ответами. Её можно применять для помощи в программировании, обучения, исследований, творческого письма, генерации JSON и таблиц, а также для чат-ботов и ассистентов. В README заявлена поддержка более 29 языков; метаданные карточки подтверждают английский и китайский. Лицензия — Llama 3. Ограничения включают возможные ошибки в вычислениях и логике, предвзятость, устаревшие сведения, ухудшение связности на длинном контексте и трудности с неоднозначными запросами; критичные результаты требуют проверки человеком.

FuseCyberMix-Qwen-2.5-7B-Instruct — объединённая инструктивная языковая модель, созданная с помощью mergekit линейным слиянием FuseAI/FuseChat-Qwen-2.5-7B-Instruct, Qwen/Qwen2.5-7B-Instruct и fblgit/cybertron-v4-qw7B-UNAMGS. Модель разработана автором репозитория bunnycore и построена на архитектуре Qwen2 с 7,1 млрд параметров; доступна в формате safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, код и структурированные ответы. В метаданных также отмечен интерфейс вызова инструментов. Поддерживаемые языки отдельно не указаны. Это слияние моделей, а не отдельное дообучение; README сообщает о линейном методе слияния, нормализация отключена, использована маска int8, выходной тип задан как bfloat16. Лицензия в предоставленных данных отсутствует. Качество и ограничения конкретного слияния не описаны; практическое качество ответов и корректность вызовов инструментов требуют проверки в целевом приложении.

cafepm/gemma-4-12b-it-Q3Q4-GGUF — это смешанно-квантованная версия Gemma 4 12B Instruct, опубликованная cafepm. По карточке, 20% весов квантованы до 4 бит, а остальные 80% — до 3 бит; файлы представлены в формате GGUF. Базовая модель — google/gemma-4-12B-it. Репозиторий предназначен для локального запуска, в том числе для помощи при программировании в VS Code и работы на потребительском оборудовании. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и визуальное понимание. В карточке базового семейства заявлены анализ документов и изображений, распознавание текста, работа с длинным контекстом и использование инструментов. Для этого конкретного квантованного варианта заявлен контекст до 200 тысяч токенов, однако README также приводит для Gemma 4 12B значение до 256 тысяч; фактический предел зависит от сборки и рантайма. Семейство поддерживает более 35 языков, но список языков для этой сборки не приведён. README заявляет, что схема смешанной точности сохраняет качество генерации уровня Q4 при размере, близком к Q3, и позволяет разместить модель в 8 ГБ VRAM; независимые результаты оценки не приведены. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходными весами, а длинный контекст требует значительных ресурсов. Указана лицензия Apache-2.0.

Gemma-4-e4b-it-OptiQ-4bit — это локальная квантизированная версия языковой модели google/gemma-4-e4b-it, подготовленная сообществом mlx-community с помощью инструментария mlx-optiq для Apple Silicon. Модель предназначена для генерации текста, включая объяснения, рассуждения, программирование, выполнение инструкций, работу с агентскими сценариями и вызовами инструментов. Она запускается локально через MLX и не требует PyTorch или облачной инфраструктуры. Модель использует смешанную точность: 224 слоя представлены в 4-битном формате, а 155 наиболее чувствительных слоя — в 8-битном; всего квантизировано 379 слоёв, размер группы — 64. Калибровка выполнялась на данных из шести областей: обычный текст, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,1 ГБ. Для ускорения декодирования поддерживается speculative decoding с отдельной моделью-драфтером gemma-4-e4b-it-assistant-bf16. По заявленным оценкам, версия OptiQ превосходит равномерную 4-битную квантизацию на тестах MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop; средний Capability Score составляет 68,92 против 55,20. Ограничения включают привязку к экосистеме MLX и Apple Silicon, а также увеличение размера примерно на 1,2 ГБ по сравнению с равномерной 4-битной версией. Языки, максимальный контекст и точная архитектура в README не указаны. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

cyankiwi/GLM-4.5-Air-AWQ-4bit — это 4-битная AWQ-квантизованная версия модели GLM-4.5-Air, разработанной Zhipu AI (zai-org). Модель относится к семейству фундаментальных моделей для интеллектуальных агентов и предназначена для генерации текста, рассуждений, программирования и взаимодействия с инструментами. GLM-4.5-Air использует гибридный режим рассуждений: thinking mode подходит для сложных задач и работы с инструментами, а non-thinking mode — для быстрых ответов. Модель имеет 106 млрд общих параметров и 12 млрд активных параметров, что указывает на разреженную архитектуру с активацией части параметров при обработке запроса. Заявлены поддерживаемые языки English и Chinese; модель относится к текстовым моделям и используется через библиотеку Transformers. Размер контекста в предоставленных данных не указан. 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальный запуск, однако README не содержит количественной оценки влияния квантизации на качество или полного перечня совместимых аппаратных платформ. Ограничения по производительности, точности и применению в отдельных сценариях также не раскрыты. Модель распространяется по лицензии MIT, допускающей коммерческое использование и вторичную разработку.

GLM-4.7-Flash — модель семейства GLM, опубликованная Unsloth в формате Safetensors и предназначенная для генерации текста в диалоговом режиме. Карточка описывает исходную GLM-4.7-Flash от Z.ai как MoE-модель класса 30B-A3B; каталог указывает для этой публикации 4,1 млрд параметров и архитектуру GLM4-MoE-Lite. Контекст составляет 202 752 токена. Модель рассчитана на диалог, рассуждения и программирование. В метаданных также отмечен интерфейс вызова инструментов. README сообщает о поддержке локального запуска через vLLM и SGLang, а публикация включает исправления шаблона чата для Unsloth; заявленные результаты бенчмарков относятся к карточке исходной модели. Модель принимает текст и генерирует текст. Основные языки карточки — английский и китайский. Репозиторий использует лицензию MIT. Карточка рекомендует для llama.cpp параметр --jinja; vLLM и SGLang, согласно README, поддерживают модель только в основных ветках.

Hunyuan-A13B-Pretrain — базовая большая языковая модель Tencent на архитектуре Mixture of Experts (MoE), предназначенная для генерации текста, рассуждений и общих языковых задач. В README для семейства Hunyuan-A13B указано 80 млрд параметров всего и 13 млрд активных параметров; метаданные именно этого репозитория указывают 3,1 млрд параметров. Карточка также описывает режимы быстрого и пошагового рассуждения, Grouped Query Attention и поддержку длинного контекста, но приводит для семейства 256 тыс. токенов, тогда как метаданные репозитория указывают нативный контекст 32 768 токенов. Модель подходит для диалоговых приложений, генерации и продолжения текста, решения задач на рассуждение, математику и код, а также для агентных сценариев с вызовом инструментов. Репозиторий содержит веса safetensors и рассчитан на работу через Transformers; для сервинга README также упоминает TensorRT-LLM, vLLM и SGLang. В README упоминаются возможности семейства и результаты варианта Instruct, которые не следует считать подтверждёнными оценками именно этого pretrain-чекпойнта. Лицензия указана как other; README ссылается на LICENSE, но конкретные условия в предоставленных данных не раскрыты.

J.A.R.V.I.S. — дообученная разговорная языковая модель автора hadadrjt на базе Qwen3-14B, представленная как базовая и облегчённая версия публичного релиза. Это плотная авторегрессионная модель с 14 млрд параметров, контекстом до 40 960 токенов и форматом Safetensors; она предназначена для генерации текста, диалогов и интеграции в чат-боты, агентные сценарии, инструменты и автоматизированные процессы. README описывает ответы на вопросы, объяснения, перевод, написание кода, суммаризацию и творческое письмо. Модель принимает текст и генерирует текст. В README также упоминаются аудио- и графические функции в основном Space, однако они недоступны в терминальной и OpenAI-совместимой версиях API и не подтверждены как возможности этой модели из репозитория. Лицензия — Apache-2.0. Автор предупреждает о возможных предвзятых или ошибочных ответах и не рекомендует применять модель в критически важных сценариях без проверки человеком.

hardcoreerik выпустил декензурированную версию Llama-3.1-Nemotron-Nano-4B-v1.1, созданную с помощью Heretic v1.3.0. По карточке это плотный decoder-only Transformer семейства Llama, дообученный на базе nvidia/Llama-3.1-Minitron-4B-Width-Base; размер — 3,9 млрд параметров, контекст — до 131 072 токенов. Модель принимает и выдаёт текст, поддерживает чат, рассуждения, следование инструкциям и вызов инструментов. Она предназначена для чат-ботов, агентных систем, RAG и общих задач, включая программирование, математику и рассуждения. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В сравнении с исходной моделью в README указано меньше отказов на тесте из 100 запросов, что отражает её декензурированную настройку. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия указана как other, а README заявляет готовность исходной модели к коммерческому использованию, но условия лицензии именно этой версии следует проверять отдельно.

Llama 3.1 Tulu V2 70B — языковая модель-ассистент, разработанная Allen Institute for AI (Ai2) и дообученная на базе meta-llama/Meta-Llama-3.1-70B. Это плотная модель семейства Llama с 69,5 млрд параметров; она обучена на смеси общедоступных, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2. Основной язык — английский. Контекст составляет до 131 072 токенов. Модель предназначена для диалоговых ответов на инструкции и общих задач генерации текста: например, для ответов на вопросы, написания текстов, помощи с рассуждениями и кодом. Карточка приводит результаты на тестах знаний, математики, программирования, следования инструкциям и безопасности, но отдельные оценки не гарантируют качество в конкретном сценарии. Модель не проходила этап RLHF, направленный на безопасные ответы, и не использует встроенную фильтрацию ответов; при соответствующих запросах она может выдавать проблемный контент. Лицензия репозитория — Apache 2.0; исходная модель распространяется по лицензии сообщества Meta Llama 3.1, условия которой также следует учитывать.

LuminaLM — чат-модель для генерации текста, разработанная Parallax Labs. В карточке описано обновлённое семейство модели с усиленными рассуждениями и выводом: автор сообщает об улучшениях в математике, программировании и логике, а также о снижении частоты галлюцинаций и лучшей поддержке вызова функций. В тесте AIME 2025 точность, согласно README, выросла с 74% до 89,3%; средний объём рассуждений на вопрос увеличился с 15 тыс. до 27 тыс. токенов. Модель основана на архитектуре Llama и предназначена для диалогов, решения сложных задач и генерации ответов; README также описывает сценарии с загрузкой файлов и поиском в интернете через специальные шаблоны запросов. Рекомендуемая температура генерации — 0,6. Репозиторий содержит веса PyTorch, библиотека — Transformers. Лицензия MIT. Размер модели и длина контекста в предоставленных данных не приведены.

weathermanj/Nemotron-nano-9b-fp8 — FP8-квантованная версия языковой модели NVIDIA Nemotron Nano 9B v2, подготовленная jwjohns (Emendat.io). Модель использует гибридную архитектуру Mamba-Transformer с 8,89 млрд эффективных параметров: 27 слоёв Mamba2 и 4 слоя внимания. Веса линейных слоёв представлены в FP8 E4M3, а эмбеддинги, нормализации и смещения сохранены в BF16. Размер файлов модели составляет 9,48 ГБ; заявленная длина контекста — до 128 тысяч токенов. Модель предназначена для генерации текста и диалогов, следования инструкциям, программирования и задач с управляемым рассуждением; метаданные также указывают интерфейс вызова инструментов. Квантование сокращает размер весов относительно исходной BF16-версии, сохраняя совместимость с исходным токенизатором и архитектурой. Карточка заявляет лицензию NVIDIA Open Model License; в метаданных лицензия обозначена как other, поэтому перед использованием следует свериться с условиями исходной лицензии.

Olmo-3.1-32B-Instruct-DPO — авторегрессионная трансформерная языковая модель Allen Institute for AI (Ai2), дообученная методом DPO на основе allenai/Olmo-3.1-32B-Instruct-SFT. Модель содержит 31,7 млрд параметров, работает с текстом и предназначена для диалогов и выполнения инструкций. Разработчики отмечают задачи математики, программирования, общих знаний и чата; контекстная длина составляет 65 536 токенов. Модель обучалась на английском языке и распространяется в формате Safetensors для использования с Transformers. Ai2 публикует семейство Olmo для исследований языковых моделей; лицензия Apache 2.0. В README приведены результаты оценивания, но они не гарантируют точность ответов в конкретных сценариях.

CIRU DualView Ornith 1.0 35B — мультимодальная модель для диалогов, рассуждений, работы с инструментами, программирования и анализа изображений. Она основана на объединении Ornith-1.0-35B и Qwen3.6-35B-A3B; архитектура включает 256 экспертов, из которых активны 8. Модель поставляется в формате GGUF с квантованием FPX7 и отдельными участками Q8, а также с проектором изображений и дополнительным слоем MTP. Заявленная длина контекста — 262 144 токена. DualView использует компактное представление весов для генерации и точное представление INT8 для обработки входного контекста. Модель предназначена для локального запуска на системах AMD с унифицированной памятью и ROCm. Для загрузки требуется совместимая сборка ROCmFPX; стандартный llama.cpp не поддерживает этот формат. Проверки производительности проведены для Linux ROCm на Strix Halo, а совместный режим vision и MTP ещё проходит валидацию качества изображений и повторяемости. В метаданных указана лицензия other; конкретные условия следует сверить с карточкой модели и её лицензией.

Карточка модели nttruong1007/qb-phi4-mini на Hugging Face совпадает с карточкой microsoft/Phi-4-mini-instruct, поэтому описание составлено по ней. Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

Qevacot-7B — объединённая языковая модель семейства Qwen2.5, созданная автором репозитория bunnycore с помощью mergekit и метода TIES. В основу слияния взята Qwen/Qwen2.5-7B; также объединены EVA-Qwen2.5-7B-v0.1, T.E-8.1, Qwen2.5-7B-Instruct, Qwen2.5-7B-Instruct-abliterated-v2, Qwen2.5-7B-HyperMix и CoT-2.5. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс для вызова инструментов. Доступна в формате safetensors для Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о специальной предметной области или поддерживаемых языках, поэтому область применения следует считать общей, а языковые возможности — неуточнёнными.

Quartz-R1-8B-Genesis — русско- и англоязычная диалоговая языковая модель, разработанная Vaultek на основе YandexGPT-5-Lite-8B-pretrain. Это плотная модель семейства Llama с 7,5 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста, рассуждений, решения математических задач и помощи с программированием. В карточке заявлены дообучение SFT и LoRA, формат ChatML и использование наборов данных для кода, математики, диалогов и русского текста. Разработчик заявляет о децензурировании и дополнительной обработке весов методом Genesis Tensor Denoising, а также приводит результаты собственных тестов. Эти заявления и показатели представлены в карточке модели и не подтверждены независимой оценкой. Веса доступны в формате safetensors; модель распространяется по лицензии YandexGPT-5-Lite-8B.

Unsloth/Qwen3-4B-Thinking-2507 — плотная причинная языковая модель семейства Qwen3, представленная как версия модели Qwen3-4B-Thinking-2507. Она предназначена для генерации текста в диалоге и решения сложных задач с рассуждениями, включая математику, логику, естественные науки, программирование и академические вопросы. Модель также поддерживает следование инструкциям и использование инструментов. Модель содержит 3,7 млрд параметров и принимает контекст до 262 144 токенов. Она работает только в режиме рассуждений; карточка сообщает об улучшениях качества рассуждений и общих возможностей, но не приводит независимой оценки качества именно этой публикации Unsloth. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

FreedomAISVR/Qwen3.5-4B-Instruct-NVFP4-GGUF — квантованная в NVFP4 версия мультимодальной инструкционной модели Qwen3.5-4B от команды Qwen компании Alibaba. Репозиторий содержит GGUF-веса текстовой модели и отдельный проектор изображений SigLIP в формате F16; для инференса автор описывает использование llama.cpp. Модель рассчитана на диалог, выполнение инструкций, генерацию текста и кода, рассуждения и понимание изображений. Поддерживает английский, китайский и другие языки; режим рассуждений по умолчанию отключён и может быть включён настройкой enable_thinking=true. Модель имеет 4 млрд параметров, 32 слоя трансформера, гибридное внимание GQA и MLA с чередованием SSM Mamba-2, скрытую размерность 2560. Квантование NVFP4 использует около 4,74 бита на вес и ориентировано на ускорение на графических процессорах NVIDIA Blackwell; README рекомендует традиционные форматы для более старых GPU, AMD и CPU. Лицензия — Apache-2.0. Карточка не сообщает длину контекста и количественную оценку качества.

RedHatAI/Qwen3.5-9B-FP8-dynamic — это квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе Qwen/Qwen3.5-9B. Модель принимает текст и изображения, генерирует текст и предназначена для задач диалога, следования инструкциям, рассуждений и обработки визуально-текстовых запросов. Для развёртывания предусмотрена интеграция с vLLM; доступен также режим только языковой модели с меньшими требованиями к памяти. В модели применена динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Активации квантизуются во время вывода с использованием масштабирования по тензору, без калибровочных данных. Размер модели на диске сокращён с 19,3 до 14,0 ГБ, примерно на 27%. В README указана возможность запуска через vLLM с параметром максимальной длины контекста 262144 токена, однако отдельные сведения о языках модели не приведены. По опубликованным оценкам, квантованная версия сохраняет около 98,4–99,9% результатов исходной модели на тестах GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond. Основные преимущества — уменьшенный объём хранения и потенциально более эффективный инференс при сохранении близкого к исходному качества. Ограничение заключается в небольшом снижении показателей на всех приведённых тестах; фактические требования к аппаратному обеспечению и производительность зависят от конфигурации. Модель распространяется по лицензии Apache-2.0.

barozp/Qwen3.6-28B-REAP20-A3B-GGUF — набор GGUF-квантизаций модели, созданной на основе 0xSero/Qwen3.6-28B-REAP20-A3B, которая, в свою очередь, является вариантом Qwen3.6-35B-A3B от Qwen с удалением 20% экспертов методом REAP (Router-weighted Expert Activation Pruning). Модель предназначена для генерации текста, диалоговых сценариев, программирования, рассуждений и работы со знаниями, включая локальный запуск через llama.cpp, LM Studio, Jan или Ollama. Указан английский язык. Это разреженная MoE-модель с гибридной архитектурой Qwen3.6, объединяющей Gated DeltaNet и Mixture of Experts. Она содержит около 28 млрд параметров, из которых примерно 3 млрд активны на токен; всего используется 205 экспертов, 8 из которых активируются для каждого токена. Контекст составляет до 262 144 токенов. Репозиторий предоставляет варианты от BF16 до 2-битных и IQ-квантизаций; рекомендуемый вариант Q4_K_M занимает около 17 ГБ и обеспечивает баланс качества и размера. Для него заявлены требования от 20 ГБ VRAM при полном запуске на GPU либо около 24 ГБ RAM при работе только на CPU. Сильные стороны модели — уменьшенный размер по сравнению с исходной MoE-моделью, сохранение примерно 3 млрд активных параметров на токен, широкий выбор квантизаций и совместимость с локальными инструментами на базе llama.cpp. Более сильное сжатие уменьшает требования к памяти, но может снижать качество генерации; точные результаты бенчмарков, поддержка других языков и практические ограничения качества в README не приведены. Распространение заявлено по лицензии Apache 2.0.

Qwen3.6-35B-A3B-Escha-W2 — это 2-битная квантизованная версия модели Qwen3.6-35B-A3B, разработанная Escha Labs Inc. Модель предназначена для генерации текста, программирования, рассуждений и диалоговых сценариев. Она использует архитектуру Mixture-of-Experts с 256 экспертами; эксперты квантизованы в 2–3 бита, а плотные слои представлены в int8. Размер модели на диске составляет 12,3 ГБ, заявлен поддерживаемый язык — английский. Длина контекста в README не указана. Модель ориентирована на локальный запуск через OpenAI-совместимый HTTP API. Для работы рекомендуется видеокарта с 24 ГБ VRAM, минимально заявлено 16 ГБ с ограничениями по параллельности и длине контекста. Поддерживаются NVIDIA GPU от Ampere до Blackwell на Linux x86-64; для Apple Silicon доступен отдельный runtime на базе MLX. В комплекте находятся квантизованные веса, токенизатор и конфигурация, а runtime вынесен в отдельный репозиторий. Среди заявленных результатов — pass@1 92,07 на HumanEval+, точность 61,75 на CRUXEval-O, 80,9 на MMLU-Pro, 93,8 на MATH-500 и 77,8 на GPQA-Diamond. Сильными сторонами являются высокая эффективность по объёму памяти и производительность на совместимом потребительском GPU, однако 2-битная квантизация может снижать качество относительно полноразмерных версий, а запуск требует подходящего оборудования и специализированного runtime. Лицензия — Apache-2.0.

darkc0de/Qwen3.8-27B-heretic — декензурированная версия Qwen/Qwen3.8-27B, созданная с помощью Heretic v1.4.0. Это плотная модель с 27 млрд параметров, построенная на архитектуре семейства Qwen3.5: языковая модель с визуальным энкодером, поддерживающая диалог и анализ изображений. В метаданных Hugging Face для неё указана задача image-text-to-text; исходная карточка также описывает понимание видео, но каталог не отмечает эту возможность отдельно. Модель предназначена для сложных запросов, программирования, исследований, многошагового планирования, работы с документами и визуальными материалами. Контекст составляет 262 144 токена с возможностью расширения до 1 000 000. Режим рассуждения включён по умолчанию и может настраиваться. По сравнению с исходной моделью, согласно карточке, частота отказов в указанной проверке снизилась с 89 до 64 из 100; это не гарантирует отсутствие отказов или пригодность ответов для любой задачи. Веса опубликованы в формате safetensors и совместимы с Transformers, vLLM и SGLang. Лицензия — Apache-2.0. В карточке не приведены языки модели; описание не приписывает ей поддержку конкретных естественных языков.

Qwen3.8-27B-NVFP4-MTP-GGUF — квантизированная версия модели Qwen3.8-27B от Qwen, подготовленная Avifenesh как артефакт сервинга для движка tiyuvta. Модель предназначена для генерации текста, диалоговых и агентных сценариев, включая вызов инструментов и работу с рассуждениями. Артефакт ориентирован на GPU NVIDIA Blackwell и поддерживает спекулятивное декодирование с MTP (multi-token prediction). Модель использует 4-битную квантизацию NVFP4 с масштабами FP8 для каждого блока из 16 значений; эмбеддинги и выходная голова имеют формат Q5_K, нормы — F32. В файл встроена MTP-голова NextN, а дополнительные masked draft heads позволяют ускорять декодирование. Указан текстовый контекст до 262 144 токенов, словарь содержит 248 320 токенов, встроен chat template с поддержкой tool calling и thinking blocks. В этой сборке нет upstream VL tower, поэтому визуальная модальность не поддерживается. Сильные стороны модели — большой контекст, совместимость с GGUF, низкое потребление памяти благодаря квантизации и возможность ускоренного декодирования. В README приведены измерения производительности на RTX PRO 6000 Blackwell и RTX 5090 Laptop, однако скорость зависит от длины вывода и нагрузки. Masked MTP-голова ограничивает множество кандидатов только на этапе чернового предсказания и, согласно описанию, не изменяет итоговый вывод; артефакт требует движка, поддерживающего соответствующие MTP-файлы и спекулятивное декодирование. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OBLITERATED-W4A16-24GB — это 4-битная GPTQ-квантизованная версия модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, опубликованная пользователем quocbao747. Модель предназначена для генерации текста, диалогов, программного кода и задач рассуждения; она рассчитана на запуск через vLLM с ядром Marlin на одной видеокарте объёмом 24 ГБ, например RTX 4090. Модель содержит 27 млрд параметров и использует схему W4A16: int4-квантизация весов с симметричным group size 128 и статическим actorder. Формат — compressed-tensors/pack-quantized. Сохранены vision tower для мультимодальных возможностей и MTP head для speculative decoding, однако поддерживаемые языки и точный перечень мультимодальных сценариев в карточке не указаны. Заявлен контекст до 81 920 токенов, а в измерениях на RTX 4090 максимальный фактически помещавшийся запрос составлял 72 000 токенов с учётом служебных токенов шаблона. К сильным сторонам относятся небольшое для модели такого размера потребление памяти, высокая скорость декодирования и близкое к исходной модели качество: результат MMLU составил 81,63% против 82,3% у исходной версии в BF16. Ограничения включают снижение качества из-за квантизации, значительный рост времени обработки длинных промптов и резкое ухудшение задержек при высокой конкуренции и больших контекстах. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-oQ8e-fp16-mtp — это 8-битная MLX-квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем evsinlb. Модель предназначена для генерации текста, диалогов, рассуждений и агентских сценариев с вызовом инструментов. Она поддерживает режим thinking с сохранением цепочек рассуждений в многошаговом диалоге, а также визуальные компоненты, поэтому не является текстовой версией без vision-модулей. Архитектура основана на гибриде Gated DeltaNet и Gated Attention; заявлены нативная работа с изображениями и контекст до 262 144 токенов. Квантизация выполнена в формате MLX safetensors с эффективной точностью 8,6 bpw, размером группы 64 и калибровкой imatrix на 1024 образцах. Веса multi-token prediction сохранены, что обеспечивает поддержку MTP и Lightning MTP после квантизации. Неквантизированные параметры имеют тип float16; размер весов составляет около 27,5 GiB. Модель ориентирована прежде всего на Apple Silicon, при этом для M3 и M4 рекомендуется родственная версия с bf16 из соображений численной безопасности. Сильными сторонами являются большой контекст, сохранение reasoning-трасс, стабильный многошаговый tool use и возможность экспериментального ускорения обработки длинных промптов через ANE в oMLX 0.6.3. На M2 Ultra прирост prompt processing составлял до 35,7% на промптах длиной 4096 токенов и 19,5% на 65 536 токенах, однако требуется около 16 ГБ дополнительной оперативной памяти, а короткие промпты преимуществ не дают. Thinking увеличивает время работы примерно на 25–35%, а decode при включённом ANE существенно не ускоряется. Для использования необходимы совместимые MLX/oMLX-окружение и аппаратные ресурсы, достаточные для размещения модели и KV-кэша. Лицензия — Apache-2.0.

Карточка модели nurdich/Qwen3.8-9B-Distill-uncensored-heretic на Hugging Face совпадает с карточкой petruhonk/Qwen3.8-9B-Distill-uncensored-heretic, поэтому описание составлено по ней. Qwen3.8-9B-Distill-uncensored-heretic — текстовая генеративная модель автора @ptruha, опубликованная в рамках проекта Empero. Это полно-параметрическое дообучение Qwen/Qwen3.5-9B: модель-дистиллят обучена методом SFT на примерно 70 тысячах отфильтрованных трасс рассуждений учителя Qwen3.8 2.4T A95B. Веса содержат около 9 млрд параметров и распространяются в формате Safetensors; карточка указывает архитектуру Qwen3.5 и нативный контекст 262 144 токена. Модель предназначена для диалога, рассуждений, математики, программирования, следования инструкциям и вызова инструментов. В README приведены результаты GSM8K и MMLU; автор сообщает о низкой частоте отказов в собственном тесте, однако эти результаты не являются независимой оценкой. Дообучение было текстовым, поэтому унаследованные от мультимодальной базовой модели возможности работы с изображениями не оценивались. Для запуска требуется актуальная версия Transformers с поддержкой Qwen3.5 и CUDA-совместимыми компонентами; без них внимание может работать медленно и потреблять больше памяти. Лицензия — Apache-2.0.

NobodyWho/Qwen_Qwen3-4B-GGUF — это квантизированная версия текстовой instruction-following модели Qwen3-4B, разработанной командой Qwen. Репозиторий предоставляет модель в формате GGUF, адаптированном прежде всего для инференса через библиотеку NobodyWho; GGUF-квантизации подготовлены bartowski. Модель предназначена для генерации текста, диалоговых приложений, выполнения инструкций и сценариев с вызовом инструментов или функций. Она поддерживает режим рассуждений с явным выводом пошагового решения и работает более чем со 100 языками. Указана только текстовая модальность. Модель содержит около 4 миллиардов параметров и поддерживает контекст длиной до 32 768 токенов. В README приведён вариант Q4_K_M, однако характеристики других вариантов квантизации могут отличаться. К сильным сторонам относятся сравнительно небольшой размер, переносимый формат GGUF, поддержка мультиязычной генерации, инструментальных вызовов и режима рассуждений. Ограничения включают неизвестную дату отсечения знаний и отсутствие опубликованных бенчмарков в данном README; также квантизация может влиять на качество и скорость по сравнению с исходной моделью. Лицензия — Apache 2.0.

Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated — мультимодальная модель OpenYourMind на архитектуре Qwen3.5 MoE, дообученная на базе Qwen/Qwen3.5-122B-A10B. В модели 122 млрд параметров, около 10 млрд активных; веса представлены в BF16 и формате safetensors. Она принимает текст и изображения, включая видеокадры, и генерирует текст. Карточка заявляет поддержку диалога, рассуждений, программирования и работы с инструментами. Модель прошла абляцию отказов, несколько этапов SFT и DPO на данных, дистиллированных из Claude Opus и Kimi K2.6; заявленные цели — сохранить рассуждения, улучшить полноту ответов и сократить повторы. Заявления о качестве и результатах бенчмарков приведены автором карточки. Vision tower и MTP head сохранены, поэтому модель совместима по архитектуре с исходной Qwen3.5-122B-A10B. Для загрузки требуются ресурсы для хранения и вычислений, соответствующие весам общим объёмом около 250 ГБ. Лицензия — MIT.

Thanatos-27B-HERETIC — языковая модель от FoolDev, созданная на базе heretic-org/Qwen3.8-27B-heretic-ara. Это плотная модель с 27 млрд параметров, распространяемая в формате GGUF и предназначенная для локального запуска через llama.cpp и Ollama. Репозиторий репакует и квантует базовую модель; дополнительное обучение в нём не выполняется. Упоминания Claude Fable 5 и перечисленных наборов данных приведены в README как неподтверждённая атрибуция, а не надёжная история обучения. Модель ориентирована на генерацию текста, диалоговые сценарии, рассуждения, агентские задачи и программирование. Заявлены мультимодальные возможности, однако для обработки изображений рекомендуется использовать llama.cpp напрямую: поддержка vision в Ollama для этой архитектуры, согласно README, работает некорректно. Модель поддерживает языки, включая английский, китайский, русский, испанский, французский, немецкий, японский, корейский, арабский, украинский и другие. Нативный контекст составляет 262 144 токена, с расширением до 1 010 000 токенов посредством YaRN. К сильным сторонам относятся большой контекст, плотная архитектура, поддержка локального инференса и сниженный уровень отказов, характерный для версии Heretic. Ограничения включают высокие требования к памяти: для полного контекста необходим значительный объём RAM или VRAM, а выбор квантизации влияет на размер модели и качество. Модель распространяется по лицензии Apache-2.0.