II.10Разработка и эксплуатация AI/ML-систем

p-e-w опубликовал вариант Gemma 4 E2B Instruct с изменённым ограничением на генерацию: в карточке модель помечена как uncensored, decensored и abliterated. Это компактная плотная модель семейства Gemma 4 для условной генерации; её исходная архитектура использует сочетание локального скользящего и глобального внимания. В репозитории указаны веса safetensors и лицензия Apache-2.0. Модель предназначена для диалогов и генерации текста, рассуждений, помощи с кодом и мультимодального понимания. Gemma 4 E2B поддерживает обработку текста, изображений и аудио, включая распознавание речи и перевод речи в текст; семейство также заявляет анализ видео, вызов инструментов и контекст до 128 тысяч токенов для E2B. В карточке этой конкретной версии приведены теги any-to-any и image-text-to-text, но отдельные характеристики обучения и проверки именно варианта heretic-ara не описаны. Семейство Gemma 4 заявляет поддержку более 35 языков, однако конкретный перечень языков для этой сборки не приведён. Возможны фактические ошибки, предвзятость и трудности с неоднозначными либо сложными запросами; пометка uncensored указывает на ослабление ограничений, поэтому ответы могут включать нежелательный или вредный контент. Лицензия репозитория — Apache-2.0.

Mungert/Qwen3-VL-30B-A3B-Instruct-GGUF — квантованный формат GGUF модели Qwen3-VL-30B-A3B-Instruct из семейства Qwen. Репозиторий подготовлен пользователем Mungert с использованием llama.cpp. Модель предназначена для мультимодального понимания и генерации: работы с текстом, изображениями и видео, визуального анализа, распознавания текста, пространственного рассуждения, решения STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Модель использует архитектуру Mixture of Experts (MoE) с заявленным размером 30B и активной частью 3B параметров. Она поддерживает контекст до 256K токенов с возможностью расширения до 1M, обработку длинных документов и продолжительных видео с временной индексацией. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Улучшено распознавание объектов, документов и текста; OCR заявлен для 32 языков. Модель также может генерировать Draw.io, HTML, CSS и JavaScript по изображениям или видео. К сильным сторонам относятся сочетание текстового и визуального понимания, расширенный контекст, анализ пространственных отношений и видео, а также возможность применения в визуальных агентах и задачах визуального программирования. Ограничения связаны с использованием квантованного GGUF-представления: качество, скорость и требования к памяти зависят от выбранного уровня квантования и среды запуска. В репозитории также описан экспериментальный подход к повышению точности отдельных слоёв, увеличивающий размер файлов. Лицензия — Apache-2.0.

Карточка модели AlexHung29629/gemma-4-26B-A4B-it-agent на Hugging Face совпадает с карточкой vmo247/vmo-gemma-4-26b-a4b-ft, поэтому описание составлено по ней. vmo247/vmo-gemma-4-26b-a4b-ft — мультимодальная модель, дообученная на базе Google Gemma 4 26B A4B. Она построена на архитектуре Gemma 4 для генерации текста по текстовым и графическим запросам и поддерживает диалоговый режим и анализ изображений. Вариант 26B A4B относится к MoE-моделям семейства; для Gemma 4 этого размера заявлено контекстное окно до 256K токенов и поддержка более 140 языков на уровне семейства. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа графиков и интерфейсов, а также для диалогов, рассуждений, написания и исправления кода. В карточке этой производной модели не приведены отдельные результаты оценки качества; возможности видео и аудио, упомянутые для семейства Gemma 4, не подтверждены для данного 26B-варианта. Распространяется по лицензии Apache 2.0.

llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

Это модель realoperator42, представляющая собой «разцензурированную» версию IBM Granite-4.1-3B, созданную с помощью Heretic v1.4.0. Это плотный декодерный трансформер с 3,4 млрд параметров, ориентированный на диалог и генерацию текста; максимальная длина контекста — 131 072 токена. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Модель подходит для генерации ответов на инструкции и диалоговых сценариев, включая суммаризацию, извлечение и классификацию текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Исходная Granite-4.1-3B поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; данные карточки не подтверждают отдельную языковую оценку именно этой модификации. В README приведено сравнение отказов: 3 из 100 для этой версии против 88 из 100 у исходной модели, поэтому её поведение в отношении отказов заметно изменено. Модификация создана методом abliteration, меняющим поведение модели без обычного дообучения на целевом наборе данных. README сообщает о воспроизводимости процесса и приводит KL-дивергенцию 0,2603 относительно исходной модели. Она может выдавать неточные, предвзятые или небезопасные ответы; перед применением требуется оценить её поведение и настроить подходящие меры безопасности.

NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF — GGUF-версия крупной языковой модели NVIDIA-Nemotron-3-Ultra-550B-A55B, подготовленная Unsloth на основе модели NVIDIA. Разработчик исходной модели — NVIDIA Corporation. Модель предназначена для сложного рассуждения, многошаговых агентных сценариев, использования инструментов, анализа длинного контекста, мультиязычного reasoning и высокоточного RAG в критически важных задачах. Режим рассуждения можно включать или отключать через параметр chat template enable_thinking=True/False. Модель содержит 550 млрд параметров, из которых 55 млрд активны. Она использует гибридную архитектуру LatentMoE, объединяющую Mamba-2, Mixture-of-Experts и attention, а также Multi-Token Prediction (MTP). Максимальная длина контекста заявлена до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит. Для развёртывания полной модели требуется значительная инфраструктура: минимум указаны 8 ускорителей GB200/B200/GB300/B300, 16 H100 или 8 H200. Сильными сторонами модели являются масштаб, поддержка длинного контекста, reasoning, агентные рабочие процессы, работа с инструментами и мультиязычность. Ограничениями выступают очень высокие требования к GPU и вычислительным ресурсам; конкретные характеристики производительности GGUF-квантования в README не приведены. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1.

Qwen2.5-14B-Instruct-MLX-8bit — квантованная 8-битная версия языковой модели Qwen2.5-14B-Instruct, адаптированная для MLX и Apple Silicon Mac. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставил bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих понимания и генерации структурированных данных. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она обучена на большом наборе данных и заявлена как поддерживающая более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Архитектура и точное число параметров исходной модели обозначены в идентификаторе как 14B; сведения о конкретной архитектуре в README не приведены. К сильным сторонам относятся широкий языковой охват, длинный контекст, возможности работы со структурированными данными и локальный запуск на совместимых Mac с Apple Silicon. Ограничения включают зависимость от MLX и совместимого оборудования, а также типичные для генеративных моделей риски неточностей, вредного или неподходящего содержания. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-8B-Instruct-bnb-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-8B-Instruct, опубликованная Unsloth на основе модели Qwen от Qwen Team. Она предназначена для работы с текстом и изображениями, а также для анализа видео, визуального распознавания, OCR, пространственного и мультимодального рассуждения. Модель имеет размер 8B параметров и поддерживает контекст длиной 256K токенов с возможностью расширения до 1M. Среди её возможностей заявлены управление графическими интерфейсами компьютеров и мобильных устройств, генерация Draw.io, HTML, CSS и JavaScript по изображениям и видео, анализ пространственных отношений, понимание длительных видео с временной локализацией событий, STEM- и математическое рассуждение, а также распознавание широкого спектра объектов и сцен. OCR поддерживает 32 языка и устойчив к низкому освещению, размытию и наклону текста. К архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения признаков разных уровней ViT и выравнивание текста с временными метками. Квантованный 4-битный формат ориентирован на более экономичное по памяти развёртывание, однако README не приводит точные требования к оборудованию, результаты для данной квантованной версии или детальные ограничения качества. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-8B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-8B-Thinking с мелкозернистым квантованием и размером блока 128; заявлено, что её метрики почти идентичны исходной версии в формате BF16. Модель предназначена для генерации текста по изображениям и тексту, визуального и мультимодального рассуждения, анализа видео, OCR, понимания пространственных отношений, а также агентского взаимодействия с графическими интерфейсами и инструментами. Модель поддерживает работу с изображениями, видео и текстом. Среди заявленных возможностей — понимание длинного контекста до 256K токенов с возможностью расширения до 1M, анализ книг и продолжительных видео, распознавание текста на 32 языках, улучшенное понимание STEM-задач, временной привязки событий в видео и генерация Draw.io/HTML/CSS/JS по изображениям и видео. В архитектуре упоминаются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Конкретный набор языков, точные ограничения контекста для этой сборки и сведения о вычислительных требованиях в README не указаны. Сильные стороны — сочетание визуального восприятия, рассуждения, OCR, пространственного и видеоанализа при существенно меньшем размере представления благодаря FP8-квантованию. Ограничение на момент публикации README заключается в том, что Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Spark-X2.5-4B-GGUF — набор общественных GGUF-квантизаций компактной универсальной языковой модели Spark-X2.5-4B, разработанной SparkLLM и опубликованной в исходном виде XHToken. Репозиторий ngquocvinh содержит только квантизированные файлы для локального запуска; обучение и дообучение в рамках этого выпуска не выполнялись. Модель предназначена для диалогов, написания текстов, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Исходная модель имеет 4B параметров, поддерживает английский, китайский и, по заявлению авторов, более 200 языков. Заявлено контекстное окно до 1 млн токенов и гибридное внимание: один слой с полным вниманием и три слоя со скользящим окном, что должно способствовать эффективной обработке длинного контекста. Квантизации представлены в форматах GGUF и совместимы с llama.cpp; также заявлена поддержка экосистем llama.cpp, vLLM, SGLang, MLX, Ollama и LM Studio. Основное преимущество — возможность локального запуска при разных ограничениях по памяти: Q8_0 ближе всего к исходному BF16 по результатам измерений, Q4_K_M предлагает компромисс между размером и качеством, а Q2_K требует меньше ресурсов ценой заметной потери точности. Ограничения включают снижение fidelity у низкобитных вариантов и отсутствие в README подробных сведений о точных требованиях к памяти, скорости, обучающих данных и результатах прикладных бенчмарков. Производные файлы распространяются по Apache License 2.0 с сохранением атрибуции исходной модели; это неофициальный community-релиз и не подтверждение со стороны XHToken или SparkLLM.

MyAwesomeModel — языковая модель, представленная в репозитории bench-induction-ai/MyAwesomeModel-TestRepo и предназначенная для работы через библиотеку Transformers. Разработчик в README не указан. Описанная версия является обновлением предыдущей и ориентирована на повышение глубины рассуждений и качества вывода за счёт увеличения вычислительных ресурсов и алгоритмической оптимизации на этапе постобучения. Модель предназначена для математического и логического рассуждения, понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и творческих текстов, диалогов, суммаризации, перевода, поиска знаний и выполнения инструкций. Также заявлены сниженная частота галлюцинаций и улучшенная поддержка function calling. В README приведены результаты внутренних сравнительных оценок: среди наиболее сильных направлений указаны логическое рассуждение, классификация, суммаризация и генерация кода, однако методика и наборы данных для большинства тестов не раскрыты. Точные архитектура, число параметров, поддерживаемые языки, модальности и размер контекстного окна не указаны. Для обновлённой версии рекомендуется системный промпт с текущей датой и температура 0,6; специальные токены для принудительного запуска определённого режима рассуждений не требуются. Упоминается вариант MyAwesomeModel-Small с архитектурой базовой модели и конфигурацией токенизатора основной модели. README также описывает шаблоны для загрузки файлов и генерации с использованием результатов веб-поиска. Модель распространяется по лицензии MIT.

MyAwesomeModel — модель из репозитория liufeftwer145, распространяемая через Hugging Face и предназначенная для извлечения признаков; в метаданных указаны библиотека Transformers, PyTorch и тег BERT. README описывает обновлённую версию модели с улучшенными способностями к рассуждению и выводу, а также применением алгоритмической оптимизации на этапе post-training. Модель заявлена для математического и логического рассуждения, понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и текста, суммаризации, перевода, диалогов, поиска знаний и следования инструкциям. README также упоминает поддержку системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска, а также доступ через чат-интерфейс и API. В README приведены результаты внутренних или заявленных benchmark-оценок по нескольким категориям, включая математику, программирование и общую логику; для AIME 2025 указано повышение точности с 70% до 87,5% по сравнению с предыдущей версией. Рекомендуемая температура составляет 0,6. Модель распространяется по лицензии MIT.

ArliAI/Qwen3.5-27B-Derestricted — модифицированная версия Qwen3.5-27B, разработанная Arli AI. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Её ключевая особенность — уменьшение или удаление поведения, связанного с отказами в ответах, при сохранении возможностей исходной модели. Модель содержит около 27 млрд параметров и построена как каузальная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; языковая часть включает 64 слоя. Заявлена поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. Точный размер контекста в предоставленных данных не указан. Для модификации применён метод Norm-Preserving Biprojected Abliteration: направление, связанное с отказами, удаляется с сохранением исходных норм весов. Это потенциально помогает сохранить рассуждения и общую производительность лучше, чем стандартная abliteration, однако приведённые в README утверждения о преимуществах основаны на заявлениях разработчика и не сопровождаются конкретными результатами тестов. Отсутствие защитных отказов расширяет область применения, но повышает риск генерации небезопасного или вредоносного контента. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также работы с длинным контекстом. Профиль Aggressive ориентирован на прямые ответы без выраженного поведения отказа и с минимальными предварительными пояснениями в сложных запросах. Это плотная causal language model на 27 млрд параметров с vision encoder: 64 слоями, размером скрытого представления 5120, FFN размером 17408, словарём 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки; заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. В текстовых GGUF сохранён встроенный NextN/MTP, а отдельный FastMTP-профиль предназначен для ускорения спекулятивного декодирования. Для входных изображений и видео требуется отдельный vision projector BF16. К сильным сторонам относятся широкий набор текстовых и мультимодальных возможностей, очень длинный контекст, несколько вариантов квантизации и ускорение FastMTP. Агрессивный профиль может быть менее подходящим для надёжно контролируемых и критичных к безопасности агентских задач, поскольку он специально уменьшает склонность к отказам. Доступны квантизованные файлы GGUF размером примерно от 10,32 до 31,46 ГБ; K_P-квантизации оптимизированы под эту модель. Лицензия — Apache-2.0.

Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

LIF1014/ptdbench-Llama-3.2-1B-Instruct — текстовая инструктивная модель семейства Llama 3.2, разработанного Meta. Это авторегрессионный трансформер с плотной архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; модель предназначена для диалогов с ассистентом, генерации текста и сценариев с агентным поиском и суммаризацией. Поддерживает текст на входе и выдаёт текст, включая код. Контекстное окно — 131 072 токена. Модель работает с английским, немецким, французским, итальянским, португальским, хинди, испанским и тайским языками. Небольшой размер подходит для развёртывания в средах с ограниченными ресурсами, в том числе на мобильных устройствах. Знания модели ограничены данными обучения со срезом до декабря 2023 года; качество и безопасность могут уступать более крупным моделям, поэтому ответы следует проверять в критичных сценариях. Использование регулируется пользовательской лицензией Llama 3.2 Community License и связанными условиями Meta.

AIArchiveInfo/Qwen3-0.6B — побитовая архивная копия Qwen3-0.6B от команды Qwen, без изменения весов; репозиторий указывает базовую модель Qwen/Qwen3-0.6B-Base. Это плотная причинная языковая модель на 507,9 млн параметров с 28 слоями, предназначенная для генерации текста и диалогов. Модель работает с текстом, поддерживает переключение между режимами рассуждения и обычного диалога, а также интерфейс вызова инструментов. Метаданные указывают контекст до 40 960 токенов; в README приведено значение 32 768 токенов. Заявлена поддержка более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель подходит для ответов на вопросы, следования инструкциям, диалогов, генерации кода, математических и логических задач, творческого письма и сценариев с внешними инструментами. Это компактная модель, которую можно использовать для локальных экспериментов и приложений с ограниченными ресурсами; качество на сложных задачах может уступать более крупным моделям. README отмечает риск повторов при некоторых настройках генерации. Лицензия — Apache-2.0.

Qwen3-4B-GGUF — это квантизированная версия языковой модели Qwen3-4B, разработанной командой Qwen. Квантизацию в формате GGUF выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для локального запуска и генерации текста. Модель поддерживает режимы рассуждения и обычной генерации, а также параметр /no_think для отключения рассуждений. Она ориентирована на следование инструкциям, творческое письмо, ролевые сценарии, многошаговые диалоги, математику, программирование, задачи на здравый смысл и агентские сценарии. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов при использовании YaRN, при этом значение по умолчанию указано как 32 000 токенов. Сильными сторонами являются улучшенные способности к рассуждению, широкий языковой охват и возможность выбора между режимами с рассуждением и без него. Ограничения включают типичные для языковых моделей риски неточных, вредных или неподходящих ответов; кроме того, README не содержит сведений о конкретном варианте квантизации, требованиях к ресурсам и лицензии.

TaterTotterson/Qwen3.8-27B-GGUF-Tater-NoThink — это упаковка официальной модели Qwen3.8-27B в формате GGUF для работы с llama.cpp. Базовую модель разработала команда Qwen, а автор репозитория изменил только метаданные chat template, добавив режим Tater NoThink. Тензоры, квантизация, vision projector и MTP draft model не изменялись. Модель представляет собой плотную vision-language модель с 27 млрд параметров. Она предназначена для понимания текста, изображений и видео, поддерживает вызов инструментов, контекстное окно размером 262K токенов и Multi-Token Prediction (MTP) для speculative decoding. В комплект входят основная модель Q4_K_M, vision projector Q8_0 и MTP draft model Q8_0. Для использования мультимодальных возможностей требуется vision projector, а для speculative decoding — отдельная MTP-модель; эффективность ускорения зависит от аппаратного обеспечения, бэкенда, промпта и длины контекста. Главная особенность варианта NoThink — принудительное отключение режима рассуждений: генерация начинается с пустого блока <think></think> и сразу переходит к ответу, даже если клиент запрашивает thinking mode. Это может быть удобно для получения более прямых ответов и сокращения служебного вывода, но ограничивает использование явного режима рассуждений. Модель распространяется по лицензии Apache License 2.0.

Qwen3-VL-30B-A3B-Instruct-1M-GGUF — мультимодальная vision-language модель семейства Qwen3-VL, разработанная командой Qwen и представленная в формате GGUF с оптимизациями Unsloth Dynamic 2.0. Это instruct-версия, предназначенная для диалога, анализа изображений и видео, генерации текста по визуальному контексту, OCR, визуального рассуждения, решения STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Модель использует MoE-архитектуру: в названии указано 30B параметров, из которых 3B активируются для отдельного запроса. Она поддерживает текст и визуальные данные, включая изображения и видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, что позволяет работать с книгами, длинными документами и многочасовыми видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения признаков ViT, а также выравнивание текста с временными метками для локализации событий в видео. OCR поддерживает 32 языка. Сильные стороны модели — объединённое понимание текста и визуального контекста, распознавание объектов и документов, пространственное и временное рассуждение, генерация кода и разметки по изображениям и видео, а также потенциальная работа визуального агента с GUI. README не содержит точных результатов тестов, сведений о конкретных языках общего текстового общения, размерах файлов и параметрах отдельных квантований, поэтому характеристики производительности и требования к ресурсам оценить нельзя. Для llama.cpp рекомендуется использовать параметр --jinja из-за исправлений chat template. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Instruct-FP8 — FP8-квантизированная версия мультимодальной модели Qwen3-VL-4B-Instruct из семейства Qwen. Репозиторий содержит веса с мелкозернистой FP8-квантизацией и размером блока 128; по данным карточки, показатели почти идентичны исходной версии BF16. Разработчик в README явно не назван, но модель относится к серии Qwen. Модель предназначена для понимания и генерации текста по изображениям и видео, визуального анализа, OCR, пространственного рассуждения, обработки документов, STEM-задач, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Она поддерживает анализ изображений и видео, включая временную привязку событий, а также сценарии visual agent для PC и мобильных GUI. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M и OCR на 32 языках; конкретный перечень языков в README не приведён. К ключевым архитектурным особенностям относятся Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Сильными сторонами являются мультимодальное рассуждение, распознавание текста в сложных условиях, понимание пространственных отношений и длинных видео. Ограничение состоит в том, что на момент публикации Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Qwen3-24B-A4B-Freedom-HQ-Thinking-Abliterated-Heretic-NEOMAX-Imatrix-GGUF — модель от DavidAU, созданная на базе шести моделей Qwen3 4B и их производных, включая варианты с дистилляцией рассуждений из более крупных моделей. Это текстовая reasoning-модель с архитектурой dense Mixture of Experts: по умолчанию активен один эксперт, но доступны конфигурации с двумя–шестью экспертами, соответствующие заявленным уровням 4–24B параметров. Модель распространяется в формате GGUF с различными вариантами квантования и рассчитана на локальный запуск на GPU или CPU. Модель предназначена для широкого спектра задач: генерации и продолжения художественных текстов, ролевых сценариев, диалогов, написания кода, математики, обучения, исторических и научных объяснений, включая задачи высокого уровня. Заявлена поддержка контекста до 256K токенов и английского языка. Модель ориентирована на подробные рассуждения, планирование и точное следование инструкциям; увеличение числа активных экспертов может повысить доступную вычислительную мощность и качество ответов. К сильным сторонам относятся большой контекст, гибкая настройка числа активных экспертов, reasoning-возможности и сниженный уровень отказов благодаря применению Heretic и abliterated-подхода. При этом модель может требовать более явных указаний для получения желаемого уровня резкости, ненормативной лексики или откровенного содержания. Для локального запуска потребуются соответствующие вычислительные ресурсы, особенно при активации нескольких экспертов; заявленные показатели скорости зависят от оборудования и настроек. В README указана лицензия Apache-2.0.

Qwen3.6-35B-A3B Uncensored Heretic MLX 4bit — мультимодальная конверсия модели Qwen3.6, подготовленная froggeric на базе uncensored-варианта от llmfan46. Исходная модель разработана Alibaba Cloud. Версия предназначена для локального запуска на Apple Silicon через MLX и поддерживает работу с текстом, изображениями и видео, рассуждения, диалоги и вызов инструментов. Заявлены английский, китайский и другие языки. Модель использует гибридную архитектуру с линейными блоками внимания DeltaNet-типа и традиционным softmax-вниманием в соотношении 3:1. Веса представлены в 4-битной квантизации. Для модели исправлены параметры vision tower, а также шаблон чата: добавлена совместимость с ролями developer и инструментами, переключение режима рассуждений и обработка проблемных тегов. Указано, что архитектурно-ориентированное uncensoring с помощью Heretic и MPOA снизило частоту отказов при незначительной потере возможностей, однако конкретные результаты могут зависеть от задачи и не заменяют самостоятельное тестирование. Модель подходит для локальных чат-ассистентов, программирования, анализа изображений и мультимодальных сценариев, включая приложения с вызовом инструментов. Для работы рекомендуются mlx-lm версии 0.31.2 или выше и mlx-vlm версии 0.4.4 или выше. В README не указаны размер контекста и требования к объёму памяти. Лицензия — Apache-2.0; из-за uncensored-настройки модель может слабее применять стандартные ограничения безопасности, поэтому ответственность за фильтрацию и применение результатов лежит на пользователе.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Она ориентирована на прямые ответы с минимальным вступлением и профилем без отказов, поэтому подходит для задач, где требуется снизить склонность модели к отказу от ответа. Заявлены поддержка английского, китайского и других языков, а также мультимодальный режим с отдельным vision-проектором BF16 для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, размером скрытого представления 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный MTP/NextN сохранён, а дополнительный профиль HauhauCS FastMTP 32K предназначен для ускорения спекулятивного декодирования; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с режимом без MTP. Доступны варианты квантизации от Q8_K_P до IQ2_M, что позволяет выбирать баланс между качеством, размером и требованиями к памяти; размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка длинных документов и ускорение генерации. Ограничение Aggressive-профиля — намеренное отсутствие отказного поведения, из-за чего он может быть менее подходящим для надёжно контролируемых и критически важных агентских сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI подготовила JANG_4S — квантованный 4-битный вариант Qwen/Qwen3.8-Flash-Next для запуска на компьютерах Apple Silicon через MLX и vMLX. В основе лежит экспериментальная архитектура Qwen4: разреженная MoE-модель на 125 млрд параметров с 6 млрд активных, большой хешированной n-граммной таблицей эмбеддингов, гибридными слоями Gated DeltaNet и Qwen Sparse Attention, а также башнями для обработки изображений и видео. В этой сборке сохранена голова многотокенного предсказания; таблица эмбеддингов может обслуживаться с SSD при поддержке рантайма. Модель предназначена для диалога, рассуждений, анализа изображений и видео и агентных сценариев с вызовом инструментов. Она принимает текст, изображения и видео, а контекст составляет 262 144 токена с возможностью расширения до 1 млн через YaRN. По заявлению карточки, квантование оценивали сравнением с bf16 на 5 931 отложенной позиции; качество выражено метриками KL и совпадения предсказаний. Для работы требуются значительные ресурсы: файлы занимают около 71,8 ГиБ, заявленный резидентный объём при обслуживании таблицы с SSD — около 53 ГиБ. Вызовы инструментов используют диалект Qwen XML, поэтому рантайм должен поддерживать соответствующий парсер; карточка предупреждает о несовместимости с Hermes-only парсерами. Лицензия указана как other, её конкретные условия в предоставленных данных не раскрыты.

unsloth/Qwen3-VL-32B-Thinking-GGUF — GGUF-версия мультимодальной модели Qwen3-VL-32B-Thinking, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для обработки текста, изображений и видео, включая визуальный вопросно-ответный диалог, анализ документов, распознавание текста, STEM- и математическое рассуждение, пространственный анализ, понимание длительных видеосцен и взаимодействие с графическими интерфейсами через инструменты. Модель относится к reasoning-ориентированной версии Qwen3-VL и содержит 32B параметров в базовой конфигурации. Заявлена поддержка контекста длиной 256K токенов с возможностью расширения до 1M, а также видео с временной привязкой событий. Среди архитектурных особенностей указаны Interleaved-MRoPE для позиционного кодирования по времени, ширине и высоте, DeepStack для объединения многоуровневых визуальных признаков и Text–Timestamp Alignment для временного анализа видео. OCR поддерживает 32 языка; при этом полный перечень языков в README не приведён. Сильные стороны модели — объединённое понимание текста и визуальных данных, расширенные возможности рассуждения, детальное восприятие объектов и пространственных отношений, анализ длинных документов и видео, а также генерация кода и разметки по визуальным материалам. Ограничения включают высокие требования к вычислительным ресурсам, характерные для модели такого размера, возможные потери качества из-за GGUF-квантизации и отсутствие в README точных сведений о конкретном варианте квантизации, системных требованиях и результатах бенчмарков. Модель распространяется по лицензии Apache-2.0.

AMAImedia/DeepSeek-V4.1-Flash-FP8-GGUF — GGUF-квантизированная версия мультимодальной модели DeepSeek-V4.1-Flash, опубликованная AMAImedia в рамках платформы NOESIS. Модель основана на разработках DeepSeek AI и связана с базовыми моделями Tencent/Hy4-preview и AngelSlim/Hy4-preview-GGUF, указанными в карточке. Дата выпуска — 20 сентября 2026 года. Модель предназначена для работы с текстом и изображениями: она принимает изображения и текст, а генерирует текст авторегрессивно. Заявлена поддержка контекстов до одного миллиона токенов и широкого набора языков, включая английский, русский, китайский, вьетнамский, японский и многие другие. Архитектура представляет собой мультимодальную Mixture-of-Experts с 552 млрд параметров в backbone и структурой Causal Encoder-Decoder из 40 Transformer-слоёв: 20 слоёв причинного энкодера и 20 слоёв декодера. Ключевая особенность — оптимизация KV-кэша и вычислений для длинного контекста и input-heavy агентских сценариев. Во время prefill активируется около 8 млрд параметров на токен, а во время decode — около 16 млрд; механизм SWA Bounded Replay уменьшает постоянный объём KV-кэша примерно до одной восьмой от DeepSeek-V4-Flash. Используется Compressed Sparse Attention 2 с режимами Full, Reindex и Reuse. GGUF и FP8 ориентированы на эффективное локальное или специализированное инференс-развёртывание, однако требования к памяти и производительности для модели такого масштаба в карточке не указаны. Лицензия, указанная в метаданных этой версии, — Apache 2.0. Полные сведения о качестве, бенчмарках, точных характеристиках квантизации и ограничениях применения в представленном README отсутствуют.

FreedomAISVR/Qwen3.6-35B-A3B-MXFP4-MOE-NoMTP-GGUF — квантизированная сборка базовой модели Qwen3.6-35B-A3B от команды Alibaba Qwen. Это модель Mixture-of-Experts с 35 млрд параметров и примерно 3 млрд активных параметров на токен; сборка в формате GGUF удаляет головы Multi-Token Prediction и использует MXFP4 для экспертных весов и Q8_0 для остальных тензоров. Размер файла — около 19,8 ГБ. Модель предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом, использованием инструментов и многоязычными запросами. В README заявлены контекст до 131 тыс. токенов и поддержка более 100 языков; метаданные перечисляют 19 языков, в том числе русский, английский и китайский. В проверенной конфигурации с llama.cpp указаны RTX 5060 Ti с 16 ГБ VRAM и флаг --cpu-moe, который размещает экспертные веса в системной памяти. Квантизация снижает требования к видеопамяти, сохраняя более высокую точность для постоянно используемых неэкспертных тензоров. Для работы нужны llama.cpp с поддержкой CUDA и совместимое оборудование; производительность зависит от аппаратной конфигурации. Базовая модель распространяется по лицензии Apache 2.0; отдельная лицензия производной сборки в предоставленных данных не указана.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-сборка плотной мультимодальной causal language model Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео. Вариант Aggressive ориентирован на прямые ответы без выраженного отказного поведения и с минимальным предварительным вступлением в сложных запросах. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются встроенные MTP/NextN и профиль ускорения HauhauCS FastMTP 32K; заявлены ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно варианта без MTP. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Для визуального ввода используется отдельный vision-проектор BF16. Заявлены английский, китайский и мультиязычный режимы. Сильными сторонами являются большой контекст, текстовые и визуальные возможности, поддержка нескольких уровней квантизации GGUF и ускорение FastMTP. Aggressive-профиль может быть удобен там, где нужны краткие прямые ответы, однако его сниженное отказное поведение может быть менее подходящим для надёжных и критичных к безопасности приложений; автор README рекомендует для таких агентских задач Balanced-вариант, если он доступен. Доступны квантизации Q2–Q8 и пользовательские K_P-кванты, оптимизированные для сохранения качества. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI/Qwen3.8-Flash-Next-JANG_4M — квантованная версия Qwen/Qwen3.8-Flash-Next, подготовленная Jinho Jang для Apple Silicon и MLX. Это мультимодальная модель с архитектурой Qwen4-architecture preview: 125 млрд параметров, из которых активно около 6 млрд, 512 экспертов, гибридными слоями Gated DeltaNet и Qwen Sparse Attention, а также хешированной n-граммной таблицей эмбеддингов. В комплект входят текстовые, визуальные и видео-компоненты; заявлен контекст 262 144 токена с расширением до 1 млн через YaRN. Модель предназначена для диалогов, рассуждений, анализа изображений и видео, а также агентных сценариев с вызовом инструментов. В README указана поддержка нативной multi-token prediction и измерения качества квантования относительно bf16. Для работы предусмотрена библиотека MLX; авторы рекомендуют запуск через vMLX и Apple Silicon, а таблица n-грамм может обслуживаться с SSD на поддерживаемом runtime. Вызовы инструментов используют диалект Qwen-XML, поэтому runtime должен поддерживать соответствующий парсер; Hermes-only парсеры могут некорректно обрабатывать такие вызовы. Доступ к vMLX указан как ограниченный одобрением. Лицензия обозначена как other, поэтому конкретные условия следует проверять в репозитории модели и базовой модели.