II.3Рефакторинг, миграция и модернизация

FreedomAISVR/Qwen3.5-9B-MTP-MXFP4-GGUF — мультимодальная модель семейства Qwen, представленная в формате GGUF с квантизацией MXFP4. Репозиторий содержит веса модели размером 5,18 ГБ и мультимодальный проектор SigLIP в формате F16 размером 875 МБ. Указаны 32 трансформерных блока, гибридная архитектура с attention, FFN и SSM, дополнительная голова Multi-Token Prediction и контекст до 262 144 токенов. Модель предназначена для генерации текста на нескольких языках, понимания изображений и видео, рассуждений и вызова инструментов. Вариант из карточки включает режим рассуждений по умолчанию; его можно отключить параметром генерации. В метаданных базовой моделью указана Qwen/Qwen3.5-9B; лицензия — Apache-2.0. Квантизация уменьшает требования к хранению и вычислениям, но может влиять на точность относительно исходных весов.

Карточка модели liuw15/qwen3-8b-ziyon-nsfw на Hugging Face совпадает с карточкой unsloth/Qwen3-8B, поэтому описание составлено по ней. unsloth/Qwen3-8B — плотная причинно-авторегрессионная языковая модель семейства Qwen3, основанная на Qwen/Qwen3-8B и опубликованная Unsloth. По карточке модели, она предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики и программирования; также поддерживает интерфейс вызова инструментов. Qwen3 позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают 7,6 млрд параметров и контекст до 40 960 токенов; модель распространяется в формате safetensors и рассчитана на использование с Transformers. Карточка базовой модели заявляет поддержку более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель может быть полезна для чат-ботов, генерации и редактирования текста, помощи с кодом и агентных сценариев с инструментами. Указана лицензия Apache-2.0. Заявленный в README базовой модели размер параметрического набора и длина контекста отличаются от значений метаданных этой записи, поэтому здесь приведены значения метаданных каталога.

Карточка модели kongyi/Qwen3.8-Flash-Next на Hugging Face совпадает с карточкой Qwen/Qwen3.8-Flash-Next, поэтому описание составлено по ней. Qwen3.8-Flash-Next — открытая по весам мультимодальная модель семейства Qwen, представленная как первый релиз архитектуры Qwen4-экспериментального семейства. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, работы с изображениями и агентных сценариев, включая задачи программирования и длительные рабочие процессы. В карточке описаны возможности вызова инструментов и режим рассуждения, включённый по умолчанию. Модель имеет разреженную MoE-архитектуру: 125 млрд параметров, из которых активируются 6 млрд, дополнительно 51 млрд параметров приходится на n-граммные эмбеддинги и 4 млрд — на MTP. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention, а также использует Gated Residual. Контекстное окно составляет 262 144 токена и может расширяться до 1 000 000 токенов. В карточке приведены оценки на агентных, программных и визуально-языковых бенчмарках, однако таблицы результатов и таблица языков опущены. Разработчик позиционирует модель для API-интеграции и рекомендует этот способ использования. Репозиторий содержит веса Safetensors; лицензия указана как other, поэтому условия использования следует уточнить в материалах разработчика. В предоставленных данных нет списка поддерживаемых языков и конкретных ограничений по качеству или применению.

Карточка модели SwinliQ-AI-2/Qwen3.8-Flash-Next на Hugging Face совпадает с карточкой Qwen/Qwen3.8-Flash-Next, поэтому описание составлено по ней. Qwen3.8-Flash-Next — открытая по весам мультимодальная модель семейства Qwen, представленная как первый релиз архитектуры Qwen4-экспериментального семейства. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, работы с изображениями и агентных сценариев, включая задачи программирования и длительные рабочие процессы. В карточке описаны возможности вызова инструментов и режим рассуждения, включённый по умолчанию. Модель имеет разреженную MoE-архитектуру: 125 млрд параметров, из которых активируются 6 млрд, дополнительно 51 млрд параметров приходится на n-граммные эмбеддинги и 4 млрд — на MTP. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention, а также использует Gated Residual. Контекстное окно составляет 262 144 токена и может расширяться до 1 000 000 токенов. В карточке приведены оценки на агентных, программных и визуально-языковых бенчмарках, однако таблицы результатов и таблица языков опущены. Разработчик позиционирует модель для API-интеграции и рекомендует этот способ использования. Репозиторий содержит веса Safetensors; лицензия указана как other, поэтому условия использования следует уточнить в материалах разработчика. В предоставленных данных нет списка поддерживаемых языков и конкретных ограничений по качеству или применению.

Карточка модели kongyi/Qwen3.8-Flash-Next-1 на Hugging Face совпадает с карточкой Qwen/Qwen3.8-Flash-Next, поэтому описание составлено по ней. Qwen3.8-Flash-Next — открытая по весам мультимодальная модель семейства Qwen, представленная как первый релиз архитектуры Qwen4-экспериментального семейства. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, работы с изображениями и агентных сценариев, включая задачи программирования и длительные рабочие процессы. В карточке описаны возможности вызова инструментов и режим рассуждения, включённый по умолчанию. Модель имеет разреженную MoE-архитектуру: 125 млрд параметров, из которых активируются 6 млрд, дополнительно 51 млрд параметров приходится на n-граммные эмбеддинги и 4 млрд — на MTP. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention, а также использует Gated Residual. Контекстное окно составляет 262 144 токена и может расширяться до 1 000 000 токенов. В карточке приведены оценки на агентных, программных и визуально-языковых бенчмарках, однако таблицы результатов и таблица языков опущены. Разработчик позиционирует модель для API-интеграции и рекомендует этот способ использования. Репозиторий содержит веса Safetensors; лицензия указана как other, поэтому условия использования следует уточнить в материалах разработчика. В предоставленных данных нет списка поддерживаемых языков и конкретных ограничений по качеству или применению.

Qwopus3.6-27B-v2-AWQ-4bit — это квантизированная версия Jackrong/Qwopus3.6-27B-v2, дообученной на базе Qwen 3.6 27B с дистилляцией рассуждений Claude Opus. Квантизацию выполнил mconcat. Модель предназначена для генерации текста, решения математических и логических задач, программирования, анализа, творческого письма, работы с общими знаниями и вызова инструментов. В README также сохранены метаданные мультимодального процессора и vision-компонентов. Модель использует гибридную архитектуру DeltaNet и softmax attention, а также однос-layer MTP head для speculative decoding. Основные веса представлены в формате AutoAWQ INT4 (W4A16) с размером группы 128, при этом ряд компонентов, включая vision tower, мультимодальный проектор, MTP head, нормы и крайние слои трансформера, сохранён в BF16. Размер чекпойнта составляет около 26 ГБ вместо примерно 54 ГБ у BF16-версии. Заявлены языки English, Chinese, Korean и Japanese; в конфигурации запуска указан максимальный контекст 16384 токена. К сильным сторонам относятся существенное уменьшение размера модели, сохранение качества исходной BF16-версии на приведённых тестах и ускорение генерации с MTP speculative decoding. На одном NVIDIA B300 SXM6 заявлена скорость до 251 токена в секунду при batch size 1 и ускорение 2,19 раза относительно режима без MTP. Ограничения включают зависимость от совместимого окружения vLLM версии 0.21.0 или выше, необходимость trust_remote_code для указанного запуска и аппаратную специфику приведённых показателей производительности. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwopus3.8-27B-Flash-ATX-IQ4_XS-M-GGUF — это GGUF-квантизированная версия модели Jackrong/Qwopus3.8-27B-Flash, являющейся дообученной моделью на базе Qwen3.8-27B. Рецепт квантизации разработан jakeatx с использованием llama.cpp и собственной importance matrix, рассчитанной для этой модели. Модель предназначена для генерации текста, программирования, агентских сценариев, RAG-анализа и задач с длинным контекстом, включая speculative decoding с MTP-головой. Модель содержит 27,32 млрд параметров и 866 тензоров, использует ту же архитектуру, что и базовая модель, а также включает MTP-слой. Основной формат весов — IQ4_XS с точечными повышениями точности до Q5_0, Q6_K и Q8_0; средний размер составляет 4,60 бита на вес, а файл модели занимает около 14,6 GiB. Рецепт рассчитан на видеокарты RTX 3090 или 3090 Ti с 24 ГБ памяти и позволяет использовать заполненный контекст до 200 тысяч токенов с 8-битным KV-кэшем. В измерениях на RTX 3090 Ti модель показывала преимущество по скорости декодирования над Q4_K_S на контекстах 16–64K, однако на 100K выигрыш был небольшим и зависел от принятия черновых токенов. Сильные стороны модели — эффективная работа на одной видеокарте, поддержка длинного контекста, специализированная оптимизация для короткого рассуждения и агентских циклов, а также ускорение за счёт MTP и speculative decoding. Ограничения включают потери, характерные для 4-битной квантизации, зависимость производительности от acceptance rate черновых токенов и необходимость совместимой сборки llama.cpp с поддержкой используемых ядер и MTP. Модель распространяется по лицензии Apache-2.0.

Supertron-2.1-8B-A1B — языковая модель-ассистент, разработанная Surpem и дообученная на LiquidAI/LFM2.5-8B-A1B. Это причинная модель с архитектурой LiquidAI LFM2.5 MoE; в репозитории указаны класс 8B и поведение с примерно 1B активных параметров, а в метаданных — 1,6 млрд параметров. Контекст составляет до 128 000 токенов. Модель предназначена для диалога и следования инструкциям, ответов на общие вопросы, рассуждений, математики, программирования, письма, суммаризации и объяснения технических и научных тем. Принимает текст и генерирует текст; в карточке заявлена поддержка английского языка. Она совместима с Transformers и распространяется по лицензии Apache 2.0. Модель может ошибаться в фактах, математике и коде, а сложные рассуждения требуют проверки. Качество ответов зависит от настроек генерации; модель не предназначена для принятия критически важных решений в праве, медицине, финансах, безопасности и вопросах идентификации без независимой экспертной проверки.

Youtu-LLM-2B — инструктивная языковая модель Tencent для диалогов, рассуждений и выполнения задач агентного типа. Это плотная авторегрессионная модель с архитектурой YoutuForCausalLM и механизмом Dense MLA; в ней около 2 млрд параметров, 32 слоя и словарь из 128 256 токенов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и режим рассуждений, включаемый через шаблон диалога. Модель предназначена для чат-ботов, ответов на вопросы, задач STEM и программирования, работы с длинными контекстами и многошаговых агентных сценариев. Карточка приводит сравнительные результаты на общих и агентных бенчмарках, но эти оценки не гарантируют качество на конкретных данных. В репозитории указана лицензия other; конкретные условия следует сверять с текстом лицензии проекта.

Arcee-Nova — языковая модель от Arcee AI для диалогов и широкого круга задач генерации текста. Она объединяет Qwen2-72B-Instruct с пользовательской моделью, дообученной на смеси данных общего назначения. В метаданных указаны плотная архитектура Qwen2, 71,5 млрд параметров и контекст до 32 768 токенов. Модель предназначена для рассуждений, творческого письма, программирования и понимания естественного языка. Её можно применять для чат-ботов поддержки, подготовки материалов и документации, помощи в разработке ПО, анализа данных, исследовательской работы и разбора юридических или учебных материалов. README сообщает о высокой производительности на наборе оценивания OpenLLM Leaderboard 2.0, но не приводит подробностей протокола оценки. Модель принимает и генерирует текст. Репозиторий содержит веса Safetensors; README также ссылается на доступные сборки GGUF. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в материалах репозитория. В README не описаны конкретные языки и ограничения качества.

Это версия DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на дистиллированной модели DeepSeek. В карточке указано, что веса представлены в формате safetensors, архитектура — плотная Qwen2, размер — 7,1 млрд параметров, библиотека для работы — Transformers, а лицензия — Apache-2.0. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями, в том числе для решения математических задач и задач программирования. Она обучена на примерах рассуждений, созданных DeepSeek-R1; в README для семейства дистиллированных моделей указан контекст до 128K токенов. Метаданные карточки также указывают контекст 131072 токена. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; README не уточняет перечень поддерживаемых языков. Как и другие языковые модели, она может ошибаться в рассуждениях и ответах. Для использования применяется лицензия Apache-2.0.

ERNIE-4.5-21B-A3B-Thinking — текстовая модель семейства ERNIE от Baidu для генерации ответов с расширенным пошаговым рассуждением. Она предназначена для сложных задач логики, математики, естественных наук, программирования, генерации текста и академических вопросов, а также умеет использовать инструменты в поддерживаемом интерфейсе вызова инструментов. Модель построена на архитектуре Mixture of Experts: всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. В конфигурации 28 слоёв и контекст до 131 072 токенов. Модель принимает и выдаёт текст; в карточке указана поддержка английского и китайского языков. Для запуска доступны веса safetensors и интеграция с Transformers; лицензия — Apache-2.0. Увеличенная длина рассуждений предназначена для сложных запросов, но может приводить к более длинным ответам и повышенным затратам на генерацию. Карточка заявляет улучшение качества рассуждений и работы с длинным контекстом, однако не приводит численных результатов бенчмарков.

win10/EVA-Instruct-QwQ-32B-Preview — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве основы использована ParasiticRogue/EVA-Instruct-32B-v2, в объединение также вошла Qwen/QwQ-32B-Preview. Модель содержит 32 млрд параметров и рассчитана на генерацию текста в диалоговом формате; заявленная длина контекста — 131 072 токена. Модель подходит для диалоговых ответов, генерации текста, математических рассуждений и программирования. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers; метаданные также отмечают интерфейс вызова инструментов. Сведения о лицензии в предоставленных данных отсутствуют.

unsloth/gemma-4-12b-it-GGUF — GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 12B Unified, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для локального выполнения на потребительских устройствах, рабочих станциях и серверах, а также для генерации текста, программирования, рассуждений, агентских сценариев и задач с вызовом функций. Модель имеет около 12 млрд параметров и использует унифицированную архитектуру без отдельных энкодеров, напрямую обрабатывая текст, изображения, аудио и видео и генерируя текст. Она поддерживает более 140 языков, контекст до 256 тысяч токенов, настраиваемые режимы рассуждений и системные промпты. Архитектура сочетает локальное скользящее и глобальное внимание, что рассчитано на снижение требований к памяти при работе с длинным контекстом; поддерживается переменное соотношение сторон и разрешение изображений. К сильным сторонам относятся сочетание мультимодального понимания, длинного контекста, возможностей рассуждения, программирования и нативного function calling, а также возможность локального запуска в формате GGUF. README не содержит подробных результатов тестирования, требований к оборудованию или описания ограничений качества, поэтому практическая производительность зависит от используемой квантизации и среды выполнения. Модель распространяется по лицензии Apache 2.0.

Это опубликованный Unsloth вариант GLM-4.5-Air от Zhipu AI: диалоговой гибридной модели рассуждений для интеллектуальных агентов. В карточке указаны исправления шаблона чата для Unsloth; метаданные классифицируют модель как дообучение базовой zai-org/GLM-4.5-Air и сообщают о 8,5 млрд параметров, архитектуре glm4_moe и контексте до 131 072 токенов. Доступны режимы рассуждений и быстрых ответов, а также интерфейс вызова инструментов. Модель подходит для генерации диалоговых ответов, программирования, сложных рассуждений и агентных сценариев с инструментами. README описывает семейство GLM-4.5-Air как компактный вариант для таких задач и приводит результаты сравнительной оценки семейства, однако конкретные показатели для этого репозитория не приводит. Указана лицензия MIT, допускающая коммерческое использование и дальнейшую разработку. Репозиторий содержит веса safetensors и предназначен для работы через Transformers; для llama.cpp README рекомендует параметр --jinja.

mlx-community/gpt-oss-20b-OptiQ-4bit — это квантизированная MLX-версия языковой модели openai/gpt-oss-20b, подготовленная проектом mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста, рассуждений, решения математических задач, следования инструкциям, вызова функций, программирования и поиска информации в длинном контексте. Заявленный язык — английский. В основе лежит 24-слойная MoE-архитектура с 32 экспертами, из которых 4 активируются для каждого токена, а также с attention sinks. Используется чувствительная к слоям смешанная квантизация: 33 слоя представлены в 4-битном формате, 88 — в 8-битном; итоговая точность составляет 5,03 бита на вес. Размер модели на диске — около 11 ГБ, в оперативной памяти при работе требуется примерно 11,6 ГБ. Модель поддерживает reasoning_effort со значениями low, medium и high и формат ответов harmony с каналами analysis и final. По приведённым тестам модель заметно превосходит равномерную 4-битную квантизацию на MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop, особенно в задачах многошагового извлечения из длинного контекста. Ограничения включают отсутствие квантизации KV-cache и зависимость от экосистемы MLX и Apple Silicon; README также указывает, что модель является квантизацией только весов. Распространяется по лицензии Apache-2.0.

Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

Карточка модели RedHatAI/granite-4.2-3b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-3b, поэтому описание составлено по ней. Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

QuantFactory/INTELLECT-1-Instruct-GGUF — квантизированная версия инструкционной языковой модели PrimeIntellect/INTELLECT-1-Instruct, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста, выполнения инструкций, работы с кодом, математическими задачами и общими текстовыми запросами. Основной заявленный язык — английский; модель относится к модальности text-to-text и поддерживает только текстовые данные. Модель содержит около 10 млрд параметров, 42 слоя, 32 attention heads, hidden size 4096, словарь размером 128256 токенов и контекст длиной до 8192 токенов. Базовая INTELLECT-1 обучалась с нуля на 1 трлн токенов английского текста и кода, а затем прошла post-training и instruction tuning на наборах данных для общего следования инструкциям, программирования, математики, агентных сценариев и многоязычных данных. Предобучение выполнялось распределённо сообществом Prime Intellect и партнёров на базе framework prime и алгоритма DiLoCo. Ключевое преимущество этой версии — формат GGUF и квантизация, позволяющие запускать модель через совместимые инструменты llama.cpp с меньшими требованиями к памяти по сравнению с полной версией. Однако конкретный уровень качества, скорость и потребление памяти зависят от выбранного варианта квантизации. Контекст ограничен 8192 токенами, а качество для языков, отличных от английского, в README подробно не охарактеризовано. Для исходной модели требуется добавлять BOS-токен в начало каждого примера, иначе производительность может снизиться; применимость этого требования при использовании GGUF зависит от используемого рантайма и шаблона. Лицензия — Apache 2.0.

Llama-3.1-Nemotron-Nano-8B-v1 — языковая модель NVIDIA, дообученная на основе Meta Llama-3.1-8B-Instruct. Это плотный авторегрессионный Transformer с архитектурой Llama и примерно 7,5 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для диалогов, следования инструкциям и рассуждений, включая задачи по математике и программированию. Её можно применять в чат-ботах, агентных системах и RAG-сценариях; заявлен баланс качества и вычислительной эффективности, включая запуск на одной RTX GPU. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В README описано многоэтапное дообучение с SFT и обучением с подкреплением, в том числе для математических задач, кода, рассуждений, диалогов и вызова инструментов. Модель заявлена как готовая к коммерческому использованию, однако в метаданных лицензия обозначена как «other», поэтому перед внедрением следует проверить условия лицензии на странице репозитория. Результаты зависят от режима рассуждений и настроек генерации; приведённые в карточке оценки измерялись при длине последовательности 32K токенов, а не на полном контексте.

hermes42/Phi-3-medium-128k-instruct-imatrix-GGUF — это набор GGUF-квантизированных версий модели Phi-3-Medium-128K-Instruct, опубликованный пользователем или организацией hermes42. Исходная модель разработана Microsoft и содержит около 14 миллиардов параметров. Для квантования использована библиотека llama.cpp, а importance matrix рассчитана на наборе group_10_merged.txt для улучшения perplexity. Модель предназначена для генерации текста и работы в формате инструкций: ответов на вопросы, рассуждений, задач по математике, программированию, логике и обработки длинного контекста. Поддерживаемый контекст исходной модели составляет до 128 тысяч токенов. В метаданных указана многоязычность, однако основное назначение и оценивание описаны прежде всего для английского языка. Формат GGUF удобен для локального запуска и сценариев с ограниченными ресурсами, а квантизация может снизить требования к памяти и задержку по сравнению с полноразмерной моделью. К сильным сторонам относятся большой контекст, ориентация на рассуждения, код и математику, а также оптимизация квантов с помощью importance matrix. Ограничения включают возможное снижение точности из-за квантизации, типичные для языковых моделей ошибки и необходимость самостоятельно проверять корректность, безопасность и справедливость результатов, особенно в высокорисковых применениях. Модель выпущена по лицензии MIT.

QuantTrio/Qwen3.5-397B-A17B-AWQ — квантизированная AWQ-версия модели Qwen3.5-397B-A17B, разработанной командой Qwen и распространяемой через Hugging Face. Репозиторий содержит веса и конфигурацию в формате Transformers, полученные методом data-free quantization без калибровочного набора данных. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это каузальная языковая модель со зрительным энкодером, поддерживающая мультимодальные входы. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Общее число параметров составляет 397 млрд, из них 17 млрд активируются при обработке запроса; указаны 60 слоёв и размер скрытого представления 4096. Заявлена поддержка 201 языка и диалекта. В README для запуска через vLLM рекомендуется максимальная длина контекста 32768 токенов. Сильные стороны модели — мультимодальность, широкий языковой охват, высокая вычислительная эффективность разреженной MoE-архитектуры и поддержка вызова инструментов и режимов рассуждения в совместимой инфраструктуре. Ограничения включают очень крупный размер файлов — около 228 ГиБ, высокие требования к GPU-инфраструктуре и зависимость от экспериментальных или предварительных версий vLLM и Transformers; для эффективного запуска также требуется CUDA 12.8 и корректная настройка экспертного параллелизма. Лицензия — Apache 2.0.

Smoffyy/Qwen3.5-4B-Instruct-Revised-GGUF — переработанная GGUF-квантизация модели Qwen3.5-4B, разработанной командой Qwen. Автор варианта Smoffyy конвертировал исходные веса в формат GGUF с помощью llama.cpp и заменил официальный шаблон чата на собственный исправленный шаблон. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания; это мультимодальная causal language model с vision encoder. Для работы с изображениями требуется отдельный файл mmproj-f16.gguf. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Заявлена поддержка 201 языка и диалекта. Вариант сохраняет возможности исходной модели, но исправляет проблемы шаблона чата, включая управление режимом рассуждений, пустые блоки рассуждений и поддержку роли developer. По умолчанию включён режим без рассуждений; его можно переключать специальными токенами в системном запросе. В README приведён пример использования q4_k_m с контекстом 64k, требующий около 7 ГБ VRAM; рекомендуемые требования к видеопамяти зависят от уровня квантизации. К ограничениям относятся потеря части качества по сравнению с полноразмерными весами при использовании более сильной квантизации, а также необходимость скачивать дополнительный мультимодальный проектор для обработки изображений. Модель и производные работы распространяются по лицензии Apache 2.0.

cyankiwi/Qwen3.5-9B-AWQ-4bit — это 4-битная AWQ-квантизированная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Она распространяется в формате, совместимом с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 9 млрд параметров и построена как авторегрессионная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; заявлены 32 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация AWQ снижает требования к памяти и может сделать инференс практичнее на совместимом оборудовании, однако возможны потери качества по сравнению с полноразмерной версией, а фактическая производительность зависит от используемого движка. Модель ориентирована на разработчиков и корпоративные приложения, которым нужны мультимодальные ответы, анализ изображений, работа с длинным контекстом, кодом и сложными задачами. README не содержит подробностей о специфических ограничениях, безопасности, точных требованиях к оборудованию или характеристиках именно квантизированной версии. Лицензия — Apache-2.0.

Qwen3.5-9B-GGUF — это квантизированная в формате GGUF версия модели Qwen3.5-9B, подготовленная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель имеет около 9 миллиардов параметров и поддерживает работу с текстом и изображениями, включая сценарии vision-language. Она предназначена для локального запуска и задач генерации текста, программирования, рассуждений, следования инструкциям и function calling; в README также указаны оценки на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K, IFEVAL и MMLU. Репозиторий предлагает варианты для GPU и CPU с разными компромиссами между размером, скоростью и качеством: от 2.81 до 5.10 bits per weight и примерно от 3.15 до 5.72 ГБ. Для запуска рекомендуются llama.cpp и LM Studio; llama.cpp автоматически загружает vision projector. Ollama на момент публикации README эту модель не поддерживает. Доступны оптимизированные варианты для различных аппаратных платформ, однако конкретный размер контекста, список поддерживаемых языков и подробные результаты тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

AEON-7/Qwen3.6-35B-A3B-heretic-NVFP4 — мультимодальная NVFP4-квантизированная версия модели tvall43/Qwen3.6-35B-A3B-heretic, подготовленная AEON-7. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев, function calling и обработки изображений с текстовыми запросами. Заявлена поддержка английского языка, vision-language задач и контекста до 1 млн токенов. Модель использует гибридную архитектуру Qwen3_5MoeForConditionalGeneration с Mixture-of-Experts: 35 млрд параметров всего и около 3 млрд активных параметров. В составе присутствуют разреженные MoE-слои, линейное внимание Mamba/GDN, 27-блочный ViT-энкодер, сохранённый в BF16, и экспертные веса в формате NVFP4. Поддерживаются multimodal image-text-to-text, tool calling, speculative decoding, prefix caching и FP8 KV-cache при использовании совместимой конфигурации vLLM. К сильным сторонам относятся высокая плотность модели при небольшом числе активных параметров, длинный контекст, мультимодальность и стабильная работа текста в заявленном стеке vLLM. В README указана проверка обработки изображений после исправления размещения тензоров vision tower, а также масштабирование до 64 одновременных запросов и примерно 740 токенов в секунду суммарно при использовании DFlash, однако эти характеристики зависят от оборудования и конфигурации. Модель ориентирована прежде всего на DGX Spark и совместимые GPU Blackwell/GB10 с образом AEON vLLM; для других сред совместимость не гарантируется. Это abliterated/decensored-вариант с существенно сниженным уровнем отказов, поэтому стандартные ограничения безопасности могут быть ослаблены. Лицензия — Apache-2.0.

mlx-community/Qwen3.8-27B-OptiQ-4bit — квантованная MLX-версия модели Qwen3.8-27B, разработанной Qwen, с оптимизацией mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель поддерживает работу с текстом и изображениями и предназначена для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и других сценариев мультимодального помощника. В режиме text-only её можно загружать через mlx-lm, а для image+text и расширенных возможностей требуется mlx-optiq. Модель использует гибридную архитектуру: три четверти из 64 блоков применяют linear attention, остальные — full attention. Квантование выполнено в смешанной точности: 237 чувствительных к потере качества слоёв представлены в 8-bit, а 261 менее чувствительный слой — в 4-bit; размер группы — 64. Vision tower сохранён в формате bf16 и поставляется отдельным файлом размером около 0,9 ГБ. Общий размер модели на диске составляет примерно 18,9–19 ГБ. Данные о размере контекстного окна и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание мультимодальности, локальный запуск без облака и PyTorch, а также экономия памяти за счёт квантования при сохранении высокой производительности в тестах: 84,1% на MMLU, 96,1% на GSM8K, 92,1% на HumanEval и 93,5% на BFCL-V3 simple. Ограничения включают зависимость от экосистемы MLX и Apple Silicon для целевого сценария, необходимость mlx-optiq для обработки изображений и расширенного сервера, а также возможное снижение качества по сравнению с полноразмерной моделью из-за квантования. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-NVFP4 — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, созданная preetpatel на базе Qwen3.8-27B от Qwen. Исходная модель представляет собой abliteration/fine-tune без встроенных ограничений, ориентированный авторами на red teaming и исследования. Данный репозиторий изменяет числовой формат весов и не выполняет дополнительное обучение. Модель предназначена для генерации текста, рассуждений, программирования, работы в составе coding-agent, вызова инструментов и обработки изображений. Поддерживаются текстово-графические сценарии, function calling и вывод рассуждений через тег <think>. Заявлены английский и китайский языки. Модель использует гибридную архитектуру с gated-DeltaNet и linear-attention блоками; квантизация NVFP4 по схеме W4A4 применяется к весам и активациям линейных слоёв, а vision tower, lm_head и некоторые слои сохраняются в BF16. Размер весов составляет около 19 ГБ вместо примерно 56 ГБ в BF16. На одной RTX 5090 с 32 ГБ памяти заявлена работа с контекстом до 160 тысяч токенов при использовании vLLM и FP8 KV-cache. К сильным сторонам относятся низкое потребление видеопамяти, поддержка длинного контекста, изображений, структурированных вызовов инструментов и сценариев автономного агента. README сообщает об успешных тестах извлечения данных из контекста длиной до 155 тысяч токенов, параллельной обработке запросов и tool calling. Ограничения включают привязку оптимизаций к GPU Blackwell и совместимому окружению vLLM, а также небольшое дополнительное округление при слиянии некоторых квантизированных слоёв; возможное влияние на точные бенчмарки следует учитывать. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Bigstral-12b-32k — диалоговая языковая модель от ehartford, созданная с помощью mergekit на основе Mistral-7B-Instruct-v0.2. Веса слоёв исходной модели расположены в чередующемся порядке, образуя плотную архитектуру MistralForCausalLM размером 12,3 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в формате диалога [INST]…[/INST], включая написание кода. Большое окно контекста позволяет работать с длинными запросами и документами. Репозиторий использует формат safetensors и библиотеку Transformers; для запуска автор также приводит команду Ollama. Лицензия — Apache-2.0. README не приводит сведения о поддерживаемых языках или подробную оценку качества, поэтому их нельзя определить по имеющимся данным.

CyberNeurova разработала эту мультимодальную разговорную модель на основе Qwen/Qwen3.8-Flash-Next. Она принимает текст и изображения и предназначена для диалога, рассуждений, программирования, ответов на вопросы по изображениям и работы с инструментами. Модель использует разреженную MoE-архитектуру: заявлены 125 млрд параметров всего и около 6 млрд активных на токен; контекст — 262 тыс. токенов с возможностью расширения до 1 млн с помощью YaRN. Поддерживается явный режим рассуждений, а стиль ответа можно задавать системным промптом. Разработчик позиционирует модель как нейтрального помощника с уменьшенным числом встроенных отказов; заявлено, что рассуждения, программирование и общие знания сохранены. Для запуска в README приведена конфигурация vLLM с выделенным образом для этой архитектуры. Модель распространяется по лицензии Apache-2.0. Уменьшение числа отказов означает, что поведение и безопасность ответов сильнее зависят от системного промпта и приложения; заявленные характеристики производительности и качества в предоставленных материалах независимо не подтверждены.