II.10Разработка и эксплуатация AI/ML-систем

MiMo-V2.5 — нативная омнимодальная модель, разработанная Xiaomi MiMo. Она объединяет обработку текста, изображений, видео и аудио в единой архитектуре и предназначена для мультимодального понимания, рассуждений в длинном контексте, программирования и агентских сценариев, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель построена на разреженной архитектуре Mixture of Experts: всего 310 млрд параметров, из которых активируется 15 млрд. Она использует гибридное внимание с чередованием Sliding Window Attention и Global Attention, 729-миллионный Vision Transformer для изображений и видео и аудиоэнкодер на 261 млн параметров. Поддерживается контекст до 1 млн токенов, а Multi-Token Prediction ускоряет инференс посредством speculative decoding. В заявленных языках указаны английский и китайский. К сильным сторонам относятся широкий набор модальностей, большой контекст, эффективная работа с длинными последовательностями и развитые агентские возможности. Модель крупная и, вероятно, требует значительных вычислительных ресурсов для развёртывания; README не приводит точных требований к оборудованию и количественных результатов benchmark-тестов. Модель распространяется по лицензии MIT.

Qwen3-VL-235B-A22B-Thinking-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-235B-A22B-Thinking в формате GGUF и предназначен для локального запуска на совместимых устройствах через llama.cpp, Ollama и другие инструменты GGUF. Модель предназначена для анализа и генерации текста по изображениям и видео, визуального распознавания, OCR, пространственного и временного рассуждения, решения STEM- и математических задач, генерации Draw.io/HTML/CSS/JS по визуальным примерам, а также взаимодействия с графическими интерфейсами и инструментами. Заявлены улучшенные возможности понимания документов, объектов, сцен, событий в видео и GUI. Поддерживается нативный контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона; OCR заявлен для 32 языков. Архитектура включает языковую модель и отдельный vision encoder mmproj. Для компонентов доступны варианты FP16 и квантованные варианты Q8_0 и Q4_K_M для языковой модели, а также FP16 и Q8_0 для vision encoder. Поддерживаются CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Основные ограничения — очень высокий размер модели и соответствующие требования к памяти и вычислительным ресурсам; производительность и доступное качество зависят от выбранной точности и оборудования. Модель распространяется по лицензии Apache-2.0.

Карточка модели Iambackup/gemma-4-E4B-it на Hugging Face совпадает с карточкой AtharvOG/Atharvs_Model, поэтому описание составлено по ней. Atharvs_Model — дообученная мультимодальная модель на базе Google Gemma 4 E4B, опубликованная под лицензией Apache 2.0. Она использует архитектуру Gemma4ForConditionalGeneration и формат safetensors, принимает текст и изображения и формирует текстовые ответы. Семейство Gemma 4 поддерживает контекст до 128 тысяч токенов для малых моделей, включая E4B, и многоязычную работу; карточка этой конкретной модели не уточняет языки дообучения. Модель подходит для диалога, генерации и суммаризации текста, программирования, рассуждений, а также анализа изображений и документов, включая OCR. В README Gemma 4 также заявлены видеопонимание и аудиозадачи для E2B и E4B, однако метаданные конкретного репозитория не подтверждают эти возможности отдельно. Возможности исходной модели не обязательно полностью сохранены или улучшены после дообучения; перед использованием ответы следует проверять.

Saxo, специалист по данным компании Linkbricks, дообучил Hermes-3-Llama-3.1-70B, чтобы усилить работу модели с японским языком. Модель семейства Llama с архитектурой dense содержит 69,5 млрд параметров и принимает текст. Для обучения использовали продолженное предобучение на японском корпусе новостей и Википедии, затем SFT и DPO; токенизатор оставили от базовой модели без расширения словаря. Модель предназначена для диалогов, генерации и редактирования текстов, анализа отзывов и публикаций в социальных сетях, программирования, математических и логических задач. Она обучалась на японских, корейских, китайских и английских данных, поддерживает контекст до 131 072 токенов и интерфейс вызова функций и инструментов. Доступна по лицензии Apache-2.0.

QuantTrio/Qwen3-VL-30B-A3B-Thinking-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3-VL-30B-A3B-Thinking, разработанной командой Qwen. Модель распространяется в формате для генерации текста и предназначена для локального инференса, в частности через vLLM. Размер набора файлов указан как 17 ГБ, а базовая модель использует MoE-архитектуру с обозначением 30B-A3B. Точный создатель самой квантизированной сборки в README явно не указан; репозиторий связан с идентификатором QuantTrio. Модель предназначена для обработки текста, изображений и видео, включая визуальное распознавание, OCR, анализ документов, пространственное рассуждение, STEM- и математические задачи, понимание видеосцен и взаимодействие с графическими интерфейсами и инструментами. Заявлены генерация Draw.io, HTML, CSS и JavaScript по изображениям или видео, а также поддержка длинного контекста: базово 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Ключевые архитектурные особенности базовой модели включают Interleaved-MRoPE для работы с временными и пространственными измерениями, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Сильными сторонами являются мультимодальное рассуждение, детальное восприятие изображений, обработка длинных документов и видео, а также возможность более экономичного запуска благодаря AWQ-квантизации. Ограничения включают зависимость от совместимого ПО и аппаратной конфигурации; приведённый пример vLLM рассчитан на использование двух GPU, а показатели производительности в README представлены только изображениями без числовой расшифровки. Модель распространяется по лицензии Apache-2.0.

GaelicThunder/DeepSeek-V4-Flash-Vision-Exp-ablit-EXL3-Kalibrated — квантизированная версия DeepSeek-V4-Flash-Vision-Exp от DeepSeek, подготовленная GaelicThunder на основе MixedK-пака vcruz305 и abliterated-варианта drowzeys. Модель предназначена для мультимодальных задач «текст плюс изображение», включая анализ изображений и генерацию текста, а также для обычных сценариев работы с текстом, математикой и кодом. Это MoE-модель с 256 маршрутизируемыми экспертами в каждом слое, представленная в формате EXL3 с mixed-precision-квантизацией: экспертные веса распределены между 2- и 3-битным представлением, при этом 22 слоя дополнительно переквантизированы в калиброванный 3-битный формат. Остальные тензоры используют BF16 или FP8 в зависимости от компонента. Пакет занимает около 106 GB и рассчитан на запуск на одной NVIDIA DGX Spark с GB10 и 128 GB памяти. Поддерживаются контекст до 245 760 токенов, speculative decoding, CUDA graphs и обработка от одного до трёх изображений на запрос. Языки явно не указаны. По приведённым измерениям модель сохраняет около 90% вероятности токенов оригинальной модели в среднем, с особенно сильными результатами на математике; заявлены также показатели для прозы и кода. Ограничения включают высокие требования к памяти и специализированному стеку запуска, длительную первичную компиляцию ядер и известную ошибку декодирования, из-за которой иногда появляется токен «)Skip»; в рекомендуемом сценарии она подавляется прокси. Модель распространяется по лицензии MIT.

DreamFast/Qwen-2.5-7b-apostate — разговорная языковая модель на базе Qwen2.5-7B-Instruct, изменённая сообществом с помощью Apostate. Веса представлены в формате safetensors с точностью bfloat16; модель содержит около 7,1 млрд параметров и использует плотную архитектуру Qwen2. Контекстная длина этой версии — 32 768 токенов. Модель предназначена для диалогов и генерации текста, в том числе ответов на инструкции, кода и структурированных данных. Её ключевое отличие — ослабленное поведение отказа: по описанию авторов, направление отказа удалено ортогональной проекцией в большинстве слоёв. README сообщает о высокой доле выполнения запросов из HarmBench и сохранении результатов на ряде тестов базовой модели; эти показатели получены в оценке авторов и не гарантируют такое же поведение в других сценариях. Поддерживаются английский и, согласно описанию семейства Qwen2.5, многоязычные сценарии, включая русский. Модель распространяется по лицензии Apache-2.0. Она может выдавать ответы на вредоносные запросы, поэтому требует контроля применения и выходных данных.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — модификация модели Qwen/Qwen3.6-35B-A3B, подготовленная HauhauCS. Это мультимодальная модель в формате GGUF для генерации текста, работы с изображениями и видео, а также для диалоговых, аналитических, творческих и программных задач. Версия Aggressive ориентирована на минимальное количество отказов: по данным README, она не содержит дополнительных изменений в датасетах или базовых возможностях, но отключает встроенные отказы модели. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8, 40 слоёв и гибридная схема внимания: линейное и полноразмерное softmax-внимание в соотношении 3:1. Нативное контекстное окно составляет 262 тысячи токенов. Заявлена поддержка английского, китайского и других языков. Для обработки изображений требуется отдельный файл mmproj; доступны различные варианты квантования GGUF, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Сильными сторонами являются большое контекстное окно, мультимодальность, низкое число активных параметров при значительном общем объёме модели и широкий выбор квантований, включая оптимизированные K_P-варианты с повышенным сохранением качества. Ограничением является отсутствие или ослабление защитных механизмов: модель может генерировать нежелательный, небезопасный или потенциально вредный контент, поэтому требует дополнительного контроля в прикладных системах. Для сохранения возможностей рассуждения рекомендуется использовать контекст не менее 128 тысяч токенов; для vision-сценариев необходим mmproj-файл. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-235B-A22B-Instruct-AWQ — квантованная версия мультимодальной instruct-модели Qwen3-VL-235B-A22B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста по текстовым и визуальным запросам, анализа изображений и видео, OCR, визуального рассуждения, решения STEM- и математических задач, пространственного анализа, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель построена на архитектуре Mixture-of-Experts (MoE) с общим размером 235B параметров и 22B активных параметров. Она поддерживает текст, изображения и видео, заявлена с нативным контекстом 256K токенов и возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. К сильным сторонам относятся расширенное понимание изображений и видео, распознавание текста в сложных условиях, пространственное и временное рассуждение, а также возможность использования в агентных сценариях и визуальном программировании. Ограничения связаны с крупным размером и высокими требованиями к вычислительным ресурсам: опубликованный набор файлов занимает около 117 GB, а пример запуска рассчитан на 8 GPU с tensor parallelism и expert parallelism. Репозиторий распространяется по лицензии Apache-2.0; для инференса рекомендуется vLLM версии 0.11.0 или выше.

cyankiwi/Qwen3-VL-30B-A3B-Instruct-AWQ-4bit — это квантизированная 4-битная версия мультимодальной instruction-модели Qwen3-VL-30B-A3B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также для понимания видео, генерации ответов по визуальному содержимому, анализа документов, OCR, STEM- и математических задач, пространственного рассуждения и взаимодействия с графическими интерфейсами и инструментами. Модель использует архитектуру Mixture-of-Experts (MoE) и относится к семейству с заявленным масштабом 30B параметров и 3B активных параметров. В архитектуре применяются Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — объединённое текстово-визуальное понимание, распознавание объектов и документов, анализ пространственных отношений и длительных видео, генерация HTML/CSS/JS и Draw.io по изображениям или видео, а также выполнение задач визуального агента. Ограничения и требования к ресурсам для данной AWQ-квантизации, равно как и подробные результаты тестирования, в README не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP — мультимодальная модель семейства Qwen3.5, дообученная и собранная DavidAU совместно с Nightmedia на основе нескольких собственных дообучений Qwen3.5-9B. Это плотная архитектура с 9 млрд параметров, 32 слоями и зрительным энкодером; модель принимает текст и изображения и формирует текстовые ответы. В карточке заявлены контекст до 256 тыс. токенов, режимы рассуждения и диалога, а также интерфейс вызова инструментов. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и творческого письма, включая ролевые сценарии. По заявлению автора, она прошла многоэтапное дообучение и слияние моделей; опубликованы также варианты GGUF, включая квантизованные и MTP-сборки, но эта карточка содержит исходные веса BF16 в safetensors. Автор приводит сравнительные результаты тестов, однако они не гарантируют превосходства на любых задачах. Модель помечена как uncensored; лицензионные условия — Apache-2.0.

Это текстовая языковая модель Lemura Labs, представляющая собой MLX-квантизацию модели Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 от TeichAI. В основе лежит Qwen3.6-27B от команды Qwen; модель дополнительно прошла abliteration — удаление направлений, связанных с отказами, — с использованием OBLITERATUS, а затем была подвергнута статической смешанной квантизации OptiQ примерно до 3,7 бит на вес. Модель предназначена для генерации текста, диалогов, рассуждений, объяснений и планирования. Она поддерживает текстовые сценарии на английском и, согласно метаданным, мультиязычные задачи. Это модель только для текста: визуальный ввод и обработка изображений недоступны, поскольку исходный визуальный модуль был удалён. Архитектура включает гибридный стек из слоёв GatedDeltaNet и полноценных softmax-attention, 64 слоя, скрытое представление размером 5120, словарь около 248 тысяч токенов и контекст до 262 тысяч токенов. Главное преимущество версии — соотношение размера и качества: файл занимает около 12 ГБ, а модель рассчитана примерно на 16 ГБ оперативной памяти на устройствах Apple Silicon, включая M1–M4 Air, mini и базовые Pro. Квантизация OptiQ распределяет точность по слоям на основе чувствительности и KL-дивергенции, стремясь сохранить качество при ограниченных ресурсах. Ограничения включают отсутствие зрения, возможные потери качества из-за квантизации и особенности abliterated-модели: она может отвечать на запросы, от которых исходная модель отказывалась, поэтому её следует применять ответственно и в рамках закона. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска в формате MLX с использованием mlx-lm, прежде всего на Apple Silicon.

llmfan46 представил uncensored-вариант Gemma 4 26B A4B IT, дообученный с изменением компонента attn.o_proj. Это диалоговая мультимодальная модель для анализа изображений и генерации текста; карточка указывает на поддержку чата и vision, а также на архитектуру Gemma 4 и формат safetensors. Базовая модель разработана Google DeepMind, использует гибридный механизм внимания и рассчитана на контекст до 256 тысяч токенов. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста и рукописей, понимания графиков и интерфейсов, а также для диалогов, рассуждений, программирования и вызова инструментов. Вариант предназначен для ослабления ограничений базовой модели, однако карточка не описывает метод дообучения и не приводит отдельные оценки качества именно этой версии. Поддерживаемые базовой линейкой языковые и аудиовозможности не следует полностью переносить на этот чекпойнт: метаданные подтверждают только image-text-to-text и vision. Модель выпущена по лицензии Apache-2.0. Возможны предвзятость и пробелы в данных, ошибки в фактах и затруднения с неоднозначными или сложными запросами; маркировка uncensored также означает, что ответы могут быть менее ограничены защитными механизмами.

Linkbricks-Horizon-AI-Japanese-Advanced-V4-70B — языковая модель компании Linkbricks, дообученная дата-сайентистом Джи Юнсоном (Saxo) на базе Saxo/Linkbricks-Horizon-AI-Japanese-Base-70B. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 128 тыс. токенов; в репозитории представлены веса Safetensors для Transformers. Модель прошла продолженное предобучение на японском корпусе новостей и Википедии, а также SFT, DPO и слияние. Обучение включало японские, корейские, китайские и английские данные, задачи перевода и суммаризации, математику и логические рассуждения. Она предназначена для генерации текста, написания и редактирования, анализа отзывов и публикаций в соцсетях, программирования, решения математических и логических задач и вызова функций. Карточка сообщает о лицензии Apache-2.0. Заявленные возможности основаны на описании разработчика; конкретные результаты на независимых тестах и ограничения качества для отдельных языков или задач в карточке не приведены.

HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная MoE-модель в формате GGUF, созданная HauhauCS на базе Qwen/Qwen3.5-35B-A3B. Она предназначена для генерации и понимания текста, работы с изображениями и видео, решения общих и рассуждательных задач, программирования и локального запуска в совместимых средах, включая llama.cpp, LM Studio, Jan и koboldcpp. Модель позиционируется как вариант без встроенных отказов; агрессивная версия может иногда добавлять краткие оговорки, но продолжает генерировать полный ответ. Модель содержит 35 млрд параметров, из которых около 3 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 маршрутизируемых и 1 общий эксперт на токен, 40 слоёв с гибридным сочетанием линейного внимания Gated DeltaNet и полноформатного softmax-внимания. Нативный контекст составляет 262 тысячи токенов и может быть расширен до 1 млн с YaRN. Поддерживаются текст, изображения и видео, Multi-Token Prediction, словарь на 248 тысяч токенов и 201 язык. Для обработки изображений требуется отдельный файл mmproj. Доступны варианты квантования от BF16 до IQ2_M размером примерно от 65 до 11 ГБ, что позволяет выбирать баланс между качеством и требованиями к памяти. Ограничения включают зависимость мультимодальной работы от дополнительного mmproj-файла, высокие аппаратные требования для крупных вариантов и отсутствие встроенных защитных отказов, что повышает риск небезопасного использования. Модель распространяется по лицензии Apache-2.0.

WhiskyAKM/Gemma-4-12B-it-qat-NVFP4-GGUF — сборка Gemma 4 12B IT от Google DeepMind, подготовленная WhiskyAKM в формате GGUF для llama.cpp и других совместимых движков. В репозитории есть варианты NVFP4 и BF16; NVFP4 уменьшает требования к памяти, а ускорение инференса на NVIDIA Blackwell зависит от совместимого оборудования и движка. Модель содержит 12 млрд параметров и мультимодальную архитектуру Gemma4ForConditionalGeneration. Модель предназначена для диалога и понимания текста, изображений и аудио с генерацией текстовых ответов; также заявлены работа с видео, многоязычность более чем на 140 языках, контекст до 256 тысяч токенов и поддержка вызова инструментов. Для обработки изображений и аудио требуется подключить файл проектора mmproj.gguf. Лицензия — Apache 2.0.

gemma-4-31B-it-Mystery-Fine-Tune-HERETIC-UNCENSORED-Thinking-GGUF — модель на базе Gemma 4 31B, дообученная автором DavidAU с использованием Unsloth и закрытых датасетов. Модель позиционируется как инструкционная и рассуждающая, с минимальными ограничениями на тематику, и выпускается в форматах GGUF с вариантами квантования Q4KS и Q6. Для запуска требуется LLAMACPP версии b8641 или новее. Модель предназначена для диалогов, генерации и продолжения художественных текстов, ролевых сценариев, программирования, анализа и других универсальных задач. Поддерживаются текстовые запросы, а благодаря добавленным mmproj-файлам также обработка изображений. Заявлены режимы instruct и thinking; в режиме thinking внутренние рассуждения оформляются специальными каналами, которые приложение должно корректно отображать. Максимальный контекст, указанный для этой модели, составляет 128K токенов. README также ссылается на возможности Gemma 4: работу с изображениями, документами, видео, функциями и многоязычными запросами; для семейства заявлена поддержка более 35 языков «из коробки». Сильными сторонами являются большой размер модели, длинный контекст, мультимодальность, генерация кода и художественного текста, а также заявленное превосходство над базовой моделью в шести из семи внутренних тестов. Ограничения включают использование закрытых датасетов, наличие нерешённых проблем конвейера и контроля качества, ограниченный набор квантований на момент публикации и возможный перевыпуск файлов после дополнительного обучения. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95. Лицензия — Apache 2.0.

Qwen2.5-VL-72B-Instruct-GGUF — мультимодальная instruct-модель семейства Qwen2.5-VL, разработанная Qwen и представленная в формате GGUF. Квантизация выполнена bartowski на основе llama.cpp версии b5317. Модель предназначена для работы с текстом и изображениями. Модель подходит для анализа изображений, распознавания объектов, чтения и интерпретации текста, таблиц, графиков, значков, схем и элементов макета. Она также рассчитана на сценарии визуального агента с рассуждением и динамическим управлением инструментами, включая взаимодействие с компьютером и телефоном. Поддерживает структурированный вывод и формирование стабильного JSON, а также многоязычную работу. Заявленная длина контекста составляет 128 тысяч токенов. README не уточняет точную архитектуру, перечень поддерживаемых языков и параметры конкретного файла квантизации, поэтому производительность и требования к ресурсам зависят от выбранного варианта GGUF. Как и другие генеративные модели, модель может выдавать неточные, вредоносные или неподходящие результаты. Лицензия указана как qwen и other; подробные условия приведены в лицензии исходной модели Qwen2.5-VL-72B-Instruct.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это квантизованная GGUF-версия мультимодальной модели Qwen3.8-27B, созданная HauhauCS на базе Qwen/Qwen3.8-27B. Релиз сохраняет исходные текстовые, reasoning, агентские, графические и видеовозможности, но использует профиль Aggressive uncensoring: модель ориентирована на прямые ответы, минимальное вступление и отсутствие отказного поведения. Доступны варианты с квантизацией Q2_K_P–Q8_K_P, IQ2_M–IQ4_XS и отдельный BF16 vision projector для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, FFN-размером 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и мультиязычные сценарии. Встроенный NextN/MTP сохранён, а FastMTP от HauhauCS предоставляет дополнительное ускорение спекулятивного декодирования; заявлен прирост скорости до 3,02 раза для документов и до 1,93 раза для reasoning по сравнению с режимом без MTP. Модель подходит для генерации и анализа текста, рассуждений, агентских задач, работы с изображениями и видео, а также для сценариев, где важны быстрые и максимально прямые ответы. К сильным сторонам относятся большой контекст, мультимодальность, широкий выбор квантизаций и ускорение FastMTP. Ограничение профиля Aggressive — повышенный риск менее осторожных или менее надёжных ответов в критически важных агентских сценариях; для них авторы рекомендуют Balanced-релиз, если он доступен. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6-MTP — это общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для Apple Silicon и поддерживает сценарии vision-language: работу с текстом и изображениями, диалоговые приложения, анализ визуального содержимого и генерацию текста. Это не официальный релиз Qwen, а производная сборка Vontra, созданная из официальных BF16-весов. Модель использует архитектуру qwen4_exp: sparse mixture-of-experts с 125 млрд параметров (около 6 млрд активных), 48 слоями, 512 маршрутизируемыми экспертами и одним общим экспертом. Она сочетает Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams и хешированные bigram/trigram embeddings объёмом 51 млрд параметров. Конфигурируемый контекст составляет 262 144 токена, предусмотрены 24 attention heads и 2 KV heads. Квантование выполнено в формате oQ6 с 6-битной базой и защищёнными модулями в 6/8 бит; размер группы — 32. В сборке сохранён нативный MTP-блок Qwen4Exp для speculative decoding. К сильным сторонам относятся существенно уменьшенный объём вычислений за счёт MoE, поддержка длинного контекста, мультимодальность и ускорение генерации с помощью native MTP. Размер весов составляет около 158,07 ГБ, поэтому модель требует значительных ресурсов. Для работы необходим runtime oMLX или MLX-VLM с явной поддержкой qwen4_exp и native MTP; стандартные runtime без этой поддержки могут не загрузить модель. Приведённые измерения на Apple M3 Studio показывают примерно 28–37 токенов в секунду, но производительность зависит от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

Это NVFP4-квантизованная сборка в формате GGUF модели Gemma 4 E4B IT от Google DeepMind, подготовленная для запуска через llama.cpp и другие совместимые движки. В основе указана QAT-версия Gemma 4 E4B IT; архитектура — Gemma4ForConditionalGeneration, с 4,3 млрд эффективных параметров (7,5 млрд с эмбеддингами) и 42 слоями. В репозитории есть варианты весов NVFP4 и BF16, а также MTP-модель для ускорения генерации. Модель принимает текст, изображения и аудио и генерирует текст. Она предназначена для диалога, анализа изображений и аудио, рассуждений, программирования и локального запуска; заявлены контекст до 128 тыс. токенов, поддержка более 140 языков и структурированного вызова инструментов. Для мультимодального ввода требуется файл mmproj.gguf. NVFP4 уменьшает требования к памяти, а QAT призван сохранить качество, однако качество конкретной квантизованной сборки может отличаться от исходных весов. Лицензия — Apache 2.0.

Llama3.1-Typhoon2-70B-Instruct — большая языковая модель с 69,5 млрд параметров, разработанная Typhoon AI на основе Llama 3.1 70B. Это плотная авторегрессионная модель семейства Llama для генерации текста и диалогов по инструкциям; карточка также указывает интерфейс вызова инструментов. Репозиторий содержит веса в формате safetensors. Модель рассчитана прежде всего на тайский и английский языки. Она подходит для ответов на вопросы и выполнения инструкций, диалогов, вызова функций, а также задач программирования и математики. Метаданные указывают контекст до 131 072 токенов, тогда как README заявляет 90 тысяч токенов. В сравнительных оценках карточки приведены результаты для следования инструкциям, переключения между тайским и английским, вызова функций, математики и кода. Модель находится в разработке и может выдавать неточные, предвзятые или нежелательные ответы, несмотря на встроенные ограничения. Для использования применяются условия Llama 3.1 Community License; перед внедрением следует проверить соответствие её условий своему сценарию.

trohrbaugh/Qwen3.5-122B-A10B-heretic — мультимодальная разговорная модель на основе Qwen3.5, опубликованная пользователем trohrbaugh. Это вариант с abliteration: в README указано, что на тесте из 100 запросов отказов было 9 против 99 у исходной модели; приведённое значение KL divergence — 0,0916. Модель принимает текст и изображения и предназначена для диалога, визуального понимания, рассуждений и использования инструментов. Архитектура сочетает vision encoder, Gated Delta Networks и разреженный Mixture of Experts: всего 122 млрд параметров, из которых активны 10 млрд; 48 слоёв, 256 экспертов, из которых на токен активируются 8 маршрутизируемых и 1 общий. Контекст — 262 144 токена с расширением до 1 010 000. Репозиторий содержит веса в формате safetensors для Transformers и совместимых движков. README сообщает об исправлении раскладки MoE-весов 2 мая 2026 года и рекомендует заново получить репозиторий, если он был клонирован раньше. Модель поддерживает широкий набор языков; в README для семейства Qwen3.5 заявлена поддержка 201 языка и диалекта. Лицензия — Apache-2.0. Показатель отказов относится только к описанному в карточке тесту и не гарантирует поведение на других запросах; характеристика abliteration также не означает отсутствия всех ограничений или защитных механизмов.

Qwen3.5-35B-A3B-uncensored-heretic — мультимодальная диалоговая модель llmfan46 на базе Qwen3.5-35B-A3B. Автор сообщает, что применил abliteration для снижения отказов: в приведённом тесте модель отказала в 11 случаях из 100 против 92 у исходной модели. Это не означает, что модель гарантированно отвечает на любые запросы или сохраняет исходное качество во всех задачах. Модель принимает текст и изображения и генерирует текст; поддерживает диалог, визуальный анализ и агентные сценарии с вызовом инструментов. Архитектура сочетает разреженную Mixture of Experts и Gated Delta Networks: 35 млрд параметров всего, около 3 млрд активных; заявленный контекст — 262 144 токена с возможностью расширения до 1 010 000. README указывает широкую языковую поддержку семейства Qwen3.5, но конкретные языки этой сборки не перечисляет. Модель распространяется в формате safetensors для Transformers; README также ссылается на отдельную GGUF-сборку. Лицензия — Apache-2.0. Указанный автором тест KL-дивергенции и сравнение отказов не заменяют независимую оценку качества; снижение отказов может сопровождаться ослаблением защитных ограничений.

Bazwilks/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-квантизированная языковая модель, опубликованная Bazwilks и основанная на Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking. В README также указаны разработки и методы DavidAU, включая обучение через Unsloth, датасеты TeichAI/claude-4.5-opus-high-reasoning-250x и DavidAU/PkDick-Deckard-5-Datasets, а также специальные процедуры квантизации NEO-CODE-Di-IMatrix-MAX. Модель предназначена для широкого круга задач: диалогов, рассуждений, программирования, математики, творческого письма, генерации сюжетов и сцен, ролевых сценариев и работы с текстами различных жанров. Заявлены английский и китайский языки, поддержка изображений через отдельный mmproj-файл и контекст до 256K токенов. Архитектура плотная, не MoE, содержит около 40 миллиардов параметров, 96 слоёв и 1275 тензоров; предусмотрен режим переменной длины рассуждений. К сильным сторонам относятся большой контекст, акцент на рассуждениях, коде и творческих задачах, а также набор квантизаций с разным компромиссом между качеством и требованиями к ресурсам. Модель позиционируется как uncensored и unfiltered, поэтому может генерировать небезопасный или NSFW-контент; это одновременно ограничение для сценариев с повышенными требованиями к модерации. Для работы с изображениями требуется совместимый mmproj-файл. Указанная лицензия — Apache-2.0.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-квантованная модель, разработанная DavidAU. Она расширена из Qwen3.6 27B до 40 млрд параметров и представляет собой плотную архитектуру без MoE с 96 слоями и 1275 тензорами. Обучение и дообучение выполнялись с использованием Unsloth, наборов данных TeichAI/claude-4.5-opus-high-reasoning-250x и DavidAU/PkDick-Deckard-5-Datasets, а также методов Heretic и NEO-CODE-Di-IMatrix. Модель предназначена для универсального применения: рассуждений, программирования, математики, творческого и художественного письма, генерации сюжетов и сцен, ролевых сценариев и работы с длинными диалогами. Заявлена поддержка контекста до 256K токенов, переменной длины рассуждений и текстовых сценариев на английском и китайском языках. Также заявлена работа с изображениями, но для этого требуется отдельный файл mmproj, размещённый рядом с GGUF-моделью. К сильным сторонам относятся большой контекст, развитые рассуждения, ориентация на код и универсальные задачи, а также оптимизированные NEO-CODE-Di-IMatrix-MAX-квантизации, для которых приведены показатели близости к полной точности BF16. Модель намеренно uncensored и unfiltered, поэтому может генерировать небезопасный или откровенный контент и требует самостоятельного контроля применения. Указанные характеристики производительности основаны на данных автора и приведённых в README тестах; независимая проверка не представлена. В метаданных указана лицензия Apache-2.0. Для запуска необходим совместимый GGUF-движок, а выбор квантизации влияет на требования к памяти и качество работы.

unsloth/Qwen3-VL-2B-Instruct-unsloth-bnb-4bit — 4-битная версия модели Qwen3-VL-2B-Instruct, опубликованная Unsloth и основанная на модели Qwen. Это мультимодальная instruct-модель для понимания и генерации текста по изображениям, а также для работы с визуальными и текстовыми данными. Она предназначена для описания изображений, визуального рассуждения, анализа документов и видео, OCR, решения STEM- и математических задач, генерации HTML/CSS/JS и Draw.io по визуальным примерам, а также взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру и размер 2B параметров; поддерживает текст и изображения, а заявленные возможности включают обработку видео и пространственное рассуждение. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных позиционных представлений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — сочетание текстового и визуального понимания, работа с длинным контекстом, видео, пространственными отношениями и документами, а также сниженные требования к памяти благодаря 4-битному квантованию. Ограничения, результаты тестов и точные требования к оборудованию в README не описаны; квантование может влиять на точность по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

ZuzeTt/Qwen3-VL-4B-Instruct-heretic-Imatrix-GGUF — децензурированная версия мультимодальной модели Qwen3-VL-4B-Instruct, созданная пользователем ZuzeTt на основе модели Qwen и обработанная с помощью Heretic v1.0.1. Модель предназначена для работы с текстом и визуальными данными, включая понимание изображений и видео, визуальное рассуждение, OCR, анализ пространственных отношений, генерацию кода и взаимодействие с графическими интерфейсами. Модель относится к классу Dense и имеет 4 млрд параметров. Заявлены контекст длиной 256K токенов с возможным расширением до 1M, поддержка OCR на 32 языках, улучшенное понимание видео и временных связей, а также архитектурные механизмы Interleaved-MRoPE, DeepStack и Text–Timestamp Alignment. Репозиторий распространяется в формате GGUF, однако конкретные параметры квантования в README не указаны. Главная особенность версии — снижение количества отказов от ответа: в приведённом сравнении модель отказала в 8 из 100 случаев против 92 из 100 у исходной Qwen3-VL-4B-Instruct; KL-дивергенция относительно оригинала составляет 0,27. Это может быть полезно для исследовательских и экспериментальных сценариев, требующих менее ограниченного поведения, но одновременно означает изменение исходных механизмов безопасного отказа. Лицензия — Apache-2.0.

Jackrong/Qwopus3.6-27B-v2-GGUF — мультимодальная плотная модель на 27 млрд параметров, разработанная Jackrong на базе Qwen3.6-27B и представленная в формате GGUF. Модель дообучена методом supervised fine-tuning в рамках трёхэтапной учебной схемы с использованием наборов данных Jackrong/Claude-opus-4.6-TraceInversion-9000x и Jackrong/Claude-opus-4.7-TraceInversion-5000x. В заявленных возможностях указаны генерация текста, анализ изображений, рассуждения, tool use и function calling. Модель предназначена для диалоговых и агентных сценариев, решения задач, требующих структурированного рассуждения, работы с изображениями и взаимодействия с инструментами. Подход Trace Inversion используется для реконструкции подробных рассуждений и снижения логических упрощений, а форматирование с тегами <think> ориентировано на единообразную структуру вывода и последующее применение в reinforcement learning. Заявлены языки English, Chinese, Spanish, Russian и Japanese. К сильным сторонам относятся крупный размер, поддержка vision и инструментов, а также акцент на многошаговом рассуждении и совместимости с llama.cpp и Transformers. При этом README не содержит результатов бенчмарков, точного размера контекста, конкретных характеристик архитектуры, требований к ресурсам или подробностей о вариантах квантования, поэтому эти параметры нельзя оценить по имеющимся данным. Модель распространяется по лицензии Apache 2.0.

sarvam-m — текстовая многоязычная модель Sarvam AI на архитектуре Mistral-Small, дообученная на базе mistralai/Mistral-Small-3.1-24B-Base-2503. Модель содержит 23,4 млрд параметров, принимает и генерирует текст и поддерживает контекст до 32 768 токенов; для работы с Transformers используются веса в формате Safetensors. Модель предназначена для диалогов на английском и индийских языках, а также для решения математических задач, программирования и логических рассуждений. В режиме think она ориентирована на сложные задачи, а режим non-think подходит для обычного общения. Поддерживаются индийские языки как в родной письменности, так и в латинской транслитерации. Разработчик сообщает об улучшениях относительно базовой модели на тестах индийских языков, математики и программирования. Модель выпущена под лицензией Apache-2.0. В карточке заявлены текстовый ввод и вывод; работа с изображениями и другими модальностями не заявлена.