II.1Анализ требований и архитектура ПО

Locutusque/Llama-3-Orca-2.0-8B — разговорная языковая модель, дообученная Locutusque на базе Meta Llama 3 8B преимущественно на SlimOrca и дополнительных данных. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога применяется шаблон ChatML. Модель предназначена для генерации текста в диалогах, а также для задач письма, программирования и математики. В карточке заявлены сильные результаты в написании текстов и коде; количественные оценки качества не приведены. Репозиторий содержит веса в формате Safetensors. Указана лицензия Llama 3; применяются условия лицензии Meta Llama 3.

llm-jp-4-33b-thinking-gguf — большая языковая модель серии LLM-jp-4, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это Transformer-модель для генерации текста, диалоговых сценариев, решения инструкций и многошаговых задач на японском и английском языках. Модель представлена в формате GGUF и предназначена для локального или серверного запуска совместимых средств вывода. Модель имеет плотную архитектуру с 33,2 млрд параметров, 64 слоями, размером скрытого состояния 5120 и 40 головами внимания. Максимальная длина контекста составляет 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном чата в формате OpenAI Harmony, однако для корректной работы следует использовать токенизатор из репозитория модели. Обучение включало предварительное и промежуточное обучение на 11,7 трлн токенов, а также дообучение SFT и DPO. Сильными сторонами модели являются большой контекст, поддержка японского и английского языков, а также ориентация thinking-варианта на рассуждения и выполнение сложных инструкций. README не содержит итоговых численных оценок качества, поэтому сравнивать производительность с другими моделями по этим данным нельзя. Для запуска через llama.cpp требуется специальный fork от LLM-jp с исправлениями обработки токенизатора; стандартная upstream-версия может некорректно обрабатывать чат. Модель распространяется по лицензии Apache-2.0.

Magstral 123B — плотная языковая модель на архитектуре Mistral, созданная автором lodrick-the-lafted слиянием весов anthracite-org/magnum-v2-123b и mistralai/Mistral-Large-Instruct-2407. Автор описывает её как простое слияние в пропорции 50/50 методом SLERP, призванное приблизить Magnum v2 к обычному варианту Mistral Large. Модель предназначена для генерации текста и диалогов; каталог также отмечает интерфейс вызова инструментов. Она содержит 122,2 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. Карточка не уточняет языки, на которых модель особенно эффективна, и не приводит результатов оценки качества. В репозитории указана лицензия other; конкретные условия использования следует проверять в файлах лицензии модели и её базовых компонентов. Большой размер модели требует значительных вычислительных ресурсов.

NousResearch/Meta-Llama-3.1-70B — текстовая большая языковая модель, разработанная Meta и представленная в репозитории NousResearch. Это плотная авторегрессионная модель семейства Llama 3.1 с архитектурой оптимизированного Transformer и Grouped-Query Attention; объём — 69,5 млрд параметров. Модель принимает и генерирует текст, а контекстное окно составляет до 131 072 токенов. Модель предназначена для генерации текста и многоязычного диалогового взаимодействия: её можно применять как основу для чат-ассистентов, а также для адаптации под различные задачи генерации естественного языка. Поддерживаемые языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Карточка описывает инструктивно настроенные модели семейства как прошедшие SFT и RLHF, но не уточняет отдельно тип настройки именно этого репозитория. К преимуществам относятся большой контекст и поддержка нескольких языков. Возможны ошибки и небезопасные ответы; качество на языках вне перечисленных поддерживаемых языков не гарантируется. Модель распространяется по пользовательской коммерческой лицензии Llama 3.1 Community License, условия которой следует проверить перед использованием.

MLX-совместимая 8-битная версия Meta-Llama-3.1-8B-Instruct, опубликованная сообществом mlx-community и основанная на модели Meta Llama 3.1. Это текстовая генеративная языковая модель с инструкционным дообучением, предназначенная для диалогов, выполнения текстовых инструкций и создания текстов. Модель работает в формате text-generation и ориентирована на использование в экосистеме MLX. В названии указаны размер 8B параметров и 8-битное квантование, которое обычно позволяет снизить требования к памяти по сравнению с полноформатными весами, однако конкретные показатели производительности и качества в README не приведены. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о других модальностях и размере контекстного окна отсутствуют. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для распространения материалов необходимо предоставить текст лицензии и отображать обозначение «Built with Llama»; для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено отдельное лицензионное условие.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель архитектуры LlamaForCausalLM для генерации текста, диалоговых ассистентов и tool calling. Модель получает текст на вход и генерирует текст на выходе; поддержка вызова инструментов реализована через специальный шаблон чата и парсер llama3_json. Модель содержит 8 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках с применением симметричной поканальной схемы для весов и динамической потокенной квантизации активаций. По сравнению с 16-битным представлением это примерно вдвое уменьшает размер на диске и требования к памяти GPU. Модель рассчитана на эффективный инференс с vLLM; заявлено восстановление качества на уровнях 99,7–105,4% относительно исходной модели в ряде тестов, включая Arena-Hard, OpenLLM и HumanEval. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, однако README отдельно ограничивает использование языком английским и указывает, что применение в других языках относится к сценариям вне области назначения. Контекст модели в README явно не указан. Модель предназначена для коммерческого и исследовательского использования с учетом условий лицензии Llama 3.1 и применимых законов и ограничений. Она была проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.

Карточка модели ahmed-amedo/MiMo-V2.6-Pro-RL на Hugging Face совпадает с карточкой shaikat2007/MiMo-V2.6-Pro, поэтому описание составлено по ней. MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6, разработанная Xiaomi и обученная с масштабированием обучения с подкреплением для агентных сценариев и самоулучшения. Она предназначена для генерации текста, программирования, работы с инструментами и задач, где агент взаимодействует со средой и оценивает результаты своих действий. Модель построена на разреженной архитектуре Mixture of Experts. В README указаны 1,02 трлн общих и 42 млрд активируемых параметров; метаданные репозитория указывают 27,7 млрд параметров и класс MiMoV2ForCausalLM. Контекст составляет до 1 млн токенов. Модель поддерживает текст, изображения, видео и аудио, а также интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель подходит для длительных агентных запусков, анализа визуальных и аудиовизуальных материалов, программирования и работы с длинными документами или репозиториями. README приводит результаты бенчмарков, но они не гарантируют качество на конкретных задачах; развёртывание рассчитано на специализированные средства инференса и мощное оборудование. Лицензия репозитория — MIT.

MiniMax-M1-80k — открытая по весам языковая модель компании MiniMax для рассуждений и генерации текста. Она построена на гибридной архитектуре Mixture-of-Experts с механизмом lightning attention и содержит 21,6 млрд параметров согласно метаданным. Модель развита на основе MiniMax-Text-01 и обучалась с использованием масштабного обучения с подкреплением на задачах от математики до программной инженерии. Версия 80k рассчитана на расширенное пошаговое рассуждение с бюджетом мышления до 80 тысяч токенов. Заявленная длина контекста — 10 240 000 токенов; модель предназначена для сложных задач с длинными входами, включая решение математических задач, программирование, анализ кода и работу с инструментами. Поддерживает диалоговый режим и интерфейс вызова инструментов. В README разработчик сообщает о высоких результатах на ряде задач по математике, программированию, использованию инструментов и пониманию длинного контекста; приведённые оценки зависят от методики и настроек генерации. Модель работает с текстом и выдаёт текст, а также структурированные вызовы функций. Лицензия — Apache 2.0. README не уточняет поддерживаемые естественные языки.

RippaSats/MiniMax-M3 — мультимодальная модель семейства MiniMax M3, представленная в формате safetensors и рассчитанная на работу с текстом и изображениями. В README заявлены около 428 млрд параметров, примерно 23 млрд активируемых параметров и контекст до 1 млн токенов. Архитектура использует разреженное внимание MiniMax Sparse Attention (MSA), предназначенное для снижения вычислительных затрат и потребления памяти при длинном контексте; авторы также заявляют ускорение обработки длинного контекста по сравнению с M2. Модель предназначена для диалогов с изображениями, задач программирования и длительных агентных сценариев. README также описывает обучение на смеси модальностей с самого начала и заявляет поддержку видео, однако метаданные модели подтверждают только задачу image-text-to-text и возможности чата и зрения. README рекомендует использовать MiniMax Agent или MiniMax API. Репозиторий указывает лицензию other, поэтому конкретные условия использования следует проверять в приложенных лицензионных материалах.

MiniMaxAI представляет MiniMax-Text-01 — языковую модель для диалогов, генерации текста и вызова внешних функций. Эта версия репозитория подготовлена для Transformers; в метаданных указаны архитектура MiniMaxForCausalLM с механизмом Mixture of Experts и 21,6 млрд параметров. В README описана исходная архитектура семейства: сочетание Lightning Attention, Softmax Attention и MoE; заявлена поддержка контекста до 4 млн токенов при инференсе. Значение native_context_tokens в метаданных составляет 10 240 000 токенов. Модель подходит для генерации ответов, работы с длинными контекстами и приложений, где по запросу нужно сформировать структурированный вызов функции. README приводит результаты академических оценок и рекомендует vLLM для развёртывания. В нём также указана поддержка формата вызова функций, совместимого с OpenAI. Лицензия в метаданных обозначена как other; конкретные условия следует проверять в репозитории модели.

Mistral-Small-3.2-24B-Instruct-2506-GGUF — квантизированная GGUF-версия инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и подготовленной пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговых приложений, генерации и обработки текста, а также, согласно метаданным, для сценариев image-text-to-text. Поддерживаются английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский и другие языки, перечисленные в карточке модели. Модель содержит около 24 млрд параметров и доступна в вариантах от BF16 до различных уровней Q3–Q8, что позволяет выбирать между качеством, размером файлов и требованиями к оборудованию. Размер файлов варьируется примерно от 13,5 ГБ для компактных квантизаций до 47,15 ГБ для BF16. Версия поддерживает запуск через llama.cpp, LM Studio и совместимые проекты. Исправленный chat template добавляет поддержку tool calling; для корректной работы требуется соответствующий шаблон Mistral-Small-3.2-24B-Instruct-2506.jinja и актуальная поддержка со стороны llama.cpp. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска и высокое заявленное качество вариантов Q5–Q8. Ограничения включают значительные требования к памяти даже у компактных вариантов, зависимость от совместимого llama.cpp-окружения и необходимость правильной настройки шаблона чата для вызова инструментов. Размер контекста и подробные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

coder3101/Muse-Glimmer-30B-heretic-v2 — производная версия Muse Glimmer-30B от Meta Superintelligence Lab, изменённая методом abliteration для снижения частоты отказов. Это плотная причинная трансформерная модель с энкодером восприятия, примерно на 29,6 млрд параметров; она принимает текст и изображения и предназначена для диалогов, мультимодального анализа и агентных сценариев. Модель рассчитана на локальный запуск и поддерживает вызов инструментов, многошаговое планирование и восстановление после ошибок. Её можно применять для анализа скриншотов, диаграмм и документов, программирования, вызова функций и оценки ответов других моделей. В сравнении с исходной моделью в карточке указано 14 отказов из 100 против 58 из 100; это отражает снижение отказов, но не гарантирует точность или безопасность ответов. Карточка отдельно предупреждает о возможных ошибках в рассуждениях, смещённых или нежелательных ответах и ухудшении качества на недостаточно проверенных языках. Аудио не поддерживается, видео специально не оптимизировано. Лицензия — Apache 2.0.

Nex-N2.5-mini-APEX-I-MiniPlus-V2.1-GGUF — это квантизированная версия модели Nex-N2.5-mini, разработанной Nex AGI и подготовленной в формате GGUF пользователем IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и локального запуска через llama.cpp, включая сценарии с частичной или полной выгрузкой весов в системную память и большими контекстами. Модель использует разреженную архитектуру Mixture of Experts с 40 слоями и 256 микроэкспертами. Заявлена поддержка контекста до 256K токенов и языков English, Chinese, Spanish, French, German, Portuguese, Italian, Russian, Japanese, Korean, Vietnamese, Thai и Arabic. В текущей версии применена тензорно-ориентированная квантизация: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные компоненты используют варианты IQ3_XXS, Q3_K, Q4_K, Q5_K и Q6_K. Размер сборки составляет примерно 13,74 GiB, или около 14,7 GB. К сильным сторонам относятся сравнительно небольшой объём, сохранение точности маршрутизации экспертов, оптимизация для работы в системной RAM и поддержка длинного контекста. README сообщает о perplexity WikiText-2 6,4725 ± 0,1635 и близком к неквантизированной версии качестве, однако эти результаты следует считать заявленными авторами сборки. Ограничения связаны с потерями качества, присущими квантизации, зависимостью скорости от пропускной способности памяти и требований к объёму RAM или VRAM; для комфортной работы с контекстом до 256K могут потребоваться значительные ресурсы. Модель распространяется по лицензии Apache-2.0.

Карточка модели lactroiii/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой LimitlessMindd/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для чата, рассуждений и генерации текста. Это эталонные веса BF16 модели с гибридной архитектурой Mixture-of-Experts: слои Mamba-2 чередуются со слоями MoE и отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно задействуются 3 млрд; также используются слои Multi-Token Prediction. Модель предназначена прежде всего для дообучения, адаптации к предметным областям и задачам, оценки и создания производных квантованных вариантов. Её можно применять как основу для чат-ботов, систем RAG и агентных приложений; карточка рекомендует для прямого развёртывания оптимизированный релиз NVFP4. В карточке заявлен контекст до 1 млн токенов, при этом на одной H100 80 ГБ BF16 проверен до 256 тыс. токенов из-за ограничений памяти. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. В метаданных указано 1,9 млрд параметров, что расходится с README, где заявлены 30 млрд всего и 3 млрд активных. Метаданные указывают лицензию other, а README сообщает о готовности к коммерческому использованию; конкретные условия лицензии следует сверять с файлами репозитория.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для чата, рассуждений и генерации текста. Это эталонные веса BF16 модели с гибридной архитектурой Mixture-of-Experts: слои Mamba-2 чередуются со слоями MoE и отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно задействуются 3 млрд; также используются слои Multi-Token Prediction. Модель предназначена прежде всего для дообучения, адаптации к предметным областям и задачам, оценки и создания производных квантованных вариантов. Её можно применять как основу для чат-ботов, систем RAG и агентных приложений; карточка рекомендует для прямого развёртывания оптимизированный релиз NVFP4. В карточке заявлен контекст до 1 млн токенов, при этом на одной H100 80 ГБ BF16 проверен до 256 тыс. токенов из-за ограничений памяти. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. В метаданных указано 1,9 млрд параметров, что расходится с README, где заявлены 30 млрд всего и 3 млрд активных. Метаданные указывают лицензию other, а README сообщает о готовности к коммерческому использованию; конкретные условия лицензии следует сверять с файлами репозитория.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель общего назначения от NVIDIA для диалога, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметным областям, исследований и подготовки собственных квантованных вариантов. Модель готова к коммерческому использованию; в карточке лицензия указана как other. Архитектура — гибридная Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными слоями Attention; также используются слои Multi-Token Prediction. В README заявлены 30 млрд параметров всего и 3 млрд активных, а в метаданных каталога — 1,9 млрд параметров. Модель поддерживает контекст до 262 144 токенов по метаданным; README указывает до 1 млн токенов для отдельных конфигураций оборудования. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а README дополнительно описывает посттренировочные данные на китайском. Модель предназначена для настройки под пользовательские данные с помощью SFT, RL или дистилляции, а также для оценки и генерации текста в чат- и агентных сценариях. Полноточный вариант требует значительных ресурсов для инференса: README приводит 256K контекста для одной H100 80 GB и конфигурации до 1 млн токенов на более мощном оборудовании. Для более быстрой производственной генерации NVIDIA рекомендует отдельную NVFP4-версию.

Это конвертированная в формат MLX 8-битная версия NVIDIA Nemotron 3 Nano 30B A3B, подготовленная сообществом mlx-community из исходной модели NVIDIA в формате BF16 с помощью mlx-lm 0.29.1. Модель предназначена для генерации текста в диалоговом формате; базовая модель описана как средство для рассуждений, программирования и создания агентных приложений. В метаданных заявлена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Репозиторий помечен как safetensors, а описание указывает на 8-битное представление весов для запуска через MLX. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в лицензии исходной модели.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-NVFP4-GGUF — GGUF-представление NVFP4-квантизованной эластичной языковой модели NVIDIA. В одном чекпойнте заключены три вложенных варианта на 30B, 23B и 12B параметров с общим пространством весов; для генерации можно выбрать подходящий размер. Модель основана на NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 и сочетает Mamba-2, Transformer и Mixture-of-Experts. В базовой архитектуре 23 слоя Mamba-2 и MoE, 6 слоёв внимания, а в каждом MoE-слое — 128 экспертов и один общий, из которых на токен активируются шесть. Модель предназначена для диалогов, рассуждений и генерации текста, а вложенные размеры позволяют выбирать компромисс между качеством, вычислительными затратами и задержкой. Контекст в README указан до 128K в примере развёртывания и до 1M при увеличении настройки. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. В README описана квантизация NVFP4 с дистилляцией с учётом квантизации и заявлена готовность к коммерческому использованию. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория.

OmniCoder-9B-Opus-4.6-Uncensored-v2-GGUF — языковая reasoning-модель на базе Qwen/Qwen3.5-9B, созданная автором ansulev. Модель получена объединением нескольких производных моделей, включая OmniCoder-9B от Tesslate, reasoning-модель Qwen3.5-9B от Jackrong и uncensored-модель HauhauCS. При обучении и слиянии использовались данные в стиле Claude 4.6 Opus, ориентированные на рассуждения, математику, логические задачи, общие знания, инструкции и программирование. Формат распространения — GGUF; заявленная лицензия — Apache-2.0. Модель предназначена для локального запуска в приложениях вроде LM Studio и для задач общего назначения, требующих многошагового рассуждения, генерации и анализа кода, решения математических и логических задач, а также следования инструкциям. В карточке указаны английский, китайский и корейский языки. Архитектура унаследована от Qwen3.5-9B, размер — около 9 миллиардов параметров. В метаданных указана мультимодальная категория image-text-to-text, однако подробности о поддерживаемых визуальных входах и размере контекстного окна не приведены. Ключевая особенность версии v2 — более компактная и эффективная генерация рассуждений. По заявленным оценкам на HumanEval и HumanEval+ она превосходит базовую Qwen3.5-9B по точности и требует примерно на 20–23% меньше текста рассуждений для одного успешного решения. Это может снижать задержку и стоимость инференса, но заявленные результаты основаны на ограниченном наборе тестов и не гарантируют аналогичного качества во всех прикладных сценариях. Разработчик также предупреждает о возможном снижении широких общих способностей из-за ограниченного объёма и направленности дообучения. Термин uncensored указывает на ослабленные ограничения отказов, что может повышать гибкость, но требует дополнительного контроля безопасности при использовании.

Q36 — это разговорная мультимодальная модель oktayd на архитектуре Qwen3.6-35B-A3B с 35 млрд параметров, из которых активируется около 3 млрд. Разработчик описывает её как производную цепочку на базе Qwen3.6 с дистилляцией рассуждений, ослаблением отказов и последующей настройкой для работы с инструментами, агентами и кодом; модель также дообучена на данных Hermes Function Calling и агентских трассировках. Указаны поддержка изображений, MTP и контекст 262 144 токена; одновременная работа с Vision и MTP в одном запросе не заявлена. Модель предназначена для диалогов с изображениями, рассуждений, программирования и агентских сценариев, включая вызов функций и работу с терминалом, файлами и репозиториями. В карточке приведены сравнительные тесты, но автор подчёркивает, что это компактные прогоны, а не официальные полные результаты лидербордов. Проверка финального сервинга FreeToken ещё не завершена. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0.

RedHatAI/Qwen3-32B-NVFP4 — квантованная версия языковой модели Qwen/Qwen3-32B, разработанная RedHatAI. Модель принимает текст и генерирует текст, предназначена для задач текстовой генерации и развёртывания через vLLM, включая совместимый с OpenAI API режим сервинга. Релиз модели состоялся 25 июня 2025 года, версия — 1.0. В модели применена FP4-квантизация весов и активаций линейных операторов внутри блоков Transformer. Квантизация выполнена с помощью LLM Compressor по схеме NVFP4; веса квантизуются с группой 16, а активации используют калиброванный глобальный масштаб. По сравнению с 16-битным представлением это примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. Для инференса заявлена совместимость с vLLM версии 0.9.1 и выше, возможен тензорный параллелизм на нескольких GPU. Модель сохраняет близкие к исходной Qwen3-32B результаты на указанных бенчмарках OpenLLM, MMLU, GSM8K, HellaSwag, ARC и HumanEval, однако FP4-квантизация может влиять на точность в отдельных сценариях. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, но документация ограничивает использование английским языком и запрещает применение с нарушением законодательства. Лицензия — Apache 2.0.

HauhauCS/Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — мультимодальная версия модели Qwen3.5-122B-A10B, разработанная HauhauCS на базе исходной модели Qwen. Это вариант в формате GGUF с усиленным снятием ограничений на отказы; по заявлению автора, изменения наборов данных и базовых возможностей не вносились. Модель предназначена для генерации и понимания текста, программирования, рассуждений, а также работы с изображениями и видео. Поддерживаются текстовая, графическая и видео-модальности, 201 язык и контекст до 262 тысяч токенов. Модель использует гибридную архитектуру MoE с 122 млрд общих параметров и примерно 10 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий; архитектура включает Gated DeltaNet linear attention и полноформатное softmax-внимание в соотношении 3:1, всего 48 слоёв. Доступны квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ; специальные квантизации K_P оптимизированы для сохранения качества. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами, а для поддержки изображений требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, мультимодальность, высокая ёмкость MoE при меньшем числе активных параметров и широкий выбор квантизаций. Агрессивный вариант практически не использует отказы и защитные оговорки, поэтому может быть удобен для сценариев, где требуется минимальная модерация, но одновременно повышает риск небезопасных или нежелательных ответов. Для запуска необходимы значительные объёмы оперативной или видеопамяти, особенно для высококачественных квантизаций. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-FP8-Dynamic — квантизированная версия модели Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная пользователем mconcat. Это Qwen3.5-27B, дообученная методом distillation на данных с рассуждениями, связанными с Claude Opus, и предназначенная для генерации текста, решения сложных задач и сценариев, требующих развитого reasoning. Модель поддерживает английский и китайский языки, а также имеет визуальный энкодер, однако README не уточняет полный набор мультимодальных возможностей. Модель использует гибридную архитектуру DeltaNet и softmax attention: 64 слоя, из которых 48 используют DeltaNet, а 16 — обычное внимание; применяется GQA с 24 query-heads и 4 KV-heads. Размер скрытого представления — 5120, промежуточный размер MLP — 17408, словарь содержит 248320 токенов, максимальная длина позиции — 262144 токена. Благодаря рекуррентному состоянию DeltaNet только 16 слоёв требуют растущего KV-кэша, что повышает эффективность работы с длинным контекстом. Используется динамическая FP8 W8A8-квантизация в формате compressed-tensors: веса линейных слоёв хранятся в FP8, а чувствительные компоненты, включая lm_head, embeddings, нормы, роутеры MoE и визуальный энкодер, сохраняются в BF16. Размер модели на диске составляет около 29 ГБ, заявленная деградация perplexity относительно BF16 — около 1,4%. Для работы рекомендуется GPU с объёмом памяти от 48 ГБ, оптимально NVIDIA RTX PRO 6000 на 96 ГБ; на одной RTX 5090 модель практически не оставляет памяти для контекста. Поддерживаются vLLM, Transformers и SGLang, но не llama.cpp/GGUF; для отдельных 32-гигабайтных Blackwell GPU указаны проблемы совместимости с vLLM. Лицензия — Apache-2.0.

Карточка модели Content-AI/Qwen3.5-4B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

FadedRedStar/Qwen3.5-4B-heretic-imatrix-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-4B-heretic. Базовая модель разработана командой Qwen компании Alibaba, исходные веса подготовлены coder3101, а GGUF-квантизацию с importance matrix выполнил FadedRedStar. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев, включая работу с изображениями при использовании vision-проектора. Модель представляет собой плотный transformer примерно на 4 млрд параметров с интегрированным vision encoder и поддержкой раннего объединения модальностей. Заявлены контекстное окно до 262 144 токенов с возможностью расширения примерно до 1 млн, поддержка 201 языка и диалекта, tool calling и формат запросов ChatML. Основные варианты весов используют квантизации IQ4_NL, Q4_K_M и Q5_K_M, оптимизированные с помощью importance matrix; vision-тензоры доступны в Q8_0 и BF16. Предусмотрены дополнительные MTP-файлы для speculative decoding. Сильной стороной модели является сочетание мультимодальности, большого контекстного окна и относительно низких требований к ресурсам, а importance matrix должна улучшать сохранение качества при низкой разрядности. Существенное ограничение — модель прошла abliteration с подавлением направлений отказа, поэтому её поведение в части отказов отличается от исходной Qwen3.5-4B и может быть менее безопасным. Приведённые показатели отказов и расхождения KL являются самоотчётными и не подтверждены независимым тестированием. Для запуска требуются совместимые с GGUF инструменты, например llama.cpp, а точные возможности зависят от выбранной квантизации и vision-проектора. В метаданных указана лицензия Apache-2.0.

Qwen3.6-27B Abliterated — мультимодальная плотная модель на 27 млрд параметров, созданная mlasli на основе Qwen/Qwen3.6-27B. Вариант подготовлен с помощью Heretic v1.4.0: из модели удалено направление отказов, чтобы уменьшить отказы при запросах для исследований безопасности и других сценариев. Модель предназначена для диалогов, работы с изображениями, программирования и агентных задач; карточка также указывает поддержку нескольких языков. Контекст составляет 262 тыс. токенов с возможностью расширения до 1 млн. README заявляет, что абляция сохраняет общие возможности базовой модели, но не добавляет новых знаний или навыков. Для запуска требуется около 55 ГБ VRAM в BF16, 28 ГБ в 8-битном или 17 ГБ в 4-битном режиме. Лицензия — Apache-2.0.

SassyDiffusion/Qwen3.6-27B-heretic-ara-GGUF — GGUF-версия декензурированной модели на базе Qwen3.6-27B. Модель создана SassyDiffusion с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA). Базовая Qwen3.6-27B разработана командой Qwen и ориентирована на практическую разработку программного обеспечения, агентное кодирование, работу с фронтенд-проектами и рассуждения на уровне репозитория. Это каузальная языковая модель с vision encoder, содержащая около 27 млрд параметров и 64 слоя. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; заявленная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. README не уточняет полный перечень поддерживаемых языков. Формат GGUF предназначен для запуска в совместимых инструментах локального инференса. Главная особенность версии — снижение склонности к отказам: в приведённом сравнении модель отказала в 16 из 100 тестовых запросов против 99 из 100 у исходной модели. При этом декензурирование изменяет поведение базовой модели: указана KL-дивергенция 0,0967, поэтому возможны отличия в качестве, безопасности и устойчивости ответов. Модель распространяется по лицензии Apache-2.0.

Robinson Labs выпустила доработанную версию Qwen3.6-35B-A3B — мультимодальной модели семейства Qwen с архитектурой MoE, примерно 35 млрд параметров и бюджетом около 3 млрд активных параметров. Веса представлены в bf16 в формате sharded safetensors для Transformers. Модель принимает текст и изображения и предназначена для диалогов, вызова инструментов, программирования и анализа изображений; в README также заявлено сохранение поддержки спекулятивного декодирования MTP/NextN для совместимых сред выполнения. В модели ослаблен отказ на взрослые и творческие запросы методом ортогонализации весов; при этом авторы заявляют о сохранении защитных ограничений для запросов о самоповреждении и реальных противоправных действиях. В собственных небольших проверках разработчика модель реже отказывала на общем наборе запросов, а на тесте детской безопасности отклоняла все проверенные запросы; размер этих тестов ограничен и не подтверждает поведение во всех ситуациях. Модель не предназначена для всех аудиторий. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-GGUF — набор GGUF-квантизаций базовой модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored. Квантизацию выполнил mradermacher. Модель предназначена для генерации и обработки текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и исследовательских экспериментов. В метаданных заявлена поддержка английского, китайского, японского и испанского языков, а также conversational, instruction-tuned и multilingual-сценариев. Доступны варианты с разными уровнями квантизации — от Q2_K размером 13,3 ГБ до Q8_0 размером 37,9 ГБ, включая IQ4_XS, Q4_K_M и другие форматы. Для мультимодального использования предоставляются дополнительные файлы mmproj. Более качественные варианты требуют больше памяти, тогда как компактные быстрее и экономичнее, но могут сильнее терять качество; конкретные характеристики архитектуры, максимального контекста и производительности в README не указаны. Лицензия — Apache-2.0.

majentik/Qwen3.6-35B-A3B-RotorQuant-MLX-2bit — это 2-битная квантизированная версия Qwen/Qwen3.6-35B-A3B, подготовленная для запуска на Apple Silicon с использованием фреймворка MLX. Базовую модель разработала команда Qwen, а данный вариант опубликован пользователем или организацией majentik. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, написание текстов, ответы на вопросы и программный код. Модель использует архитектуру Mixture-of-Experts: всего 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. Это позволяет снизить вычислительную нагрузку по сравнению с плотной моделью сопоставимого общего размера. Вариант содержит только языковую часть модели и не поддерживает изображения или видео; зрительный модуль и MTP-голова исключены. Приблизительный размер весов — 9 ГБ, рекомендуемый объём объединённой памяти — от 16 ГБ. Для работы используется MLX и загрузка через mlx_lm на компьютерах с Apple Silicon. Главное преимущество модели — компактность и относительно низкие требования к памяти при сохранении архитектуры с большим общим числом параметров. Ограничениями являются потери качества, характерные для агрессивной 2-битной квантизации, отсутствие мультимодального ввода и зависимость от совместимого оборудования и программного окружения. Обозначение RotorQuant относится к варианту выпуска; связанный с ним экспериментальный форк для квантизации KV-кэша считается устаревшим и не требуется для использования модели. Модель распространяется по лицензии Apache 2.0.