II.10Разработка и эксплуатация AI/ML-систем

Qwen3-VL-32B-Instruct-ultra-uncensored-heretic-GGUF — мультимодальная instruct-модель в формате GGUF, разработанная независимым автором llmfan46 на основе Qwen/Qwen3-VL-32B-Instruct. Это декензурированная версия, созданная с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA), с целью существенно уменьшить количество отказов при сохранении исходных возможностей модели. Модель предназначена для задач понимания и генерации текста по текстовым и визуальным входным данным, включая ответы на вопросы, анализ изображений и общее мультимодальное рассуждение. Размер модели — 32B параметров. Точная поддержка языков и размер контекстного окна в README не указаны. Доступны варианты квантования BF16, Q8_0, Q6_K, Q5_K_M и другие сборки GGUF, рассчитанные на разные компромиссы между качеством, размером и требованиями к ресурсам. Ключевая особенность модели — значительно меньшее число отказов: в приведённом сравнении она отказала в 4 из 100 случаев против 99 из 100 у исходной модели. При этом на PIQA точность составила 92,87% против 93,09% у оригинала, а на MMLU — 79,87% против 82,44%, что указывает на некоторое снижение результатов в отдельных задачах. Декензурированный характер может быть преимуществом для исследовательских и творческих сценариев, но одновременно означает меньшие встроенные ограничения безопасности и необходимость дополнительного контроля при использовании. В метаданных указана лицензия Apache-2.0, однако приведённая ссылка на лицензию ведёт к документации Gemma; условия использования следует проверить отдельно для базовой модели и производной версии.

Gemma 4 12B IT QAT Q4_0 Unquantized Assistant — модель Google DeepMind на базе google/gemma-4-12B-it-assistant. Это инструкция-настроенная мультимодальная модель с плотной архитектурой Gemma 4 и причинным декодером; репозиторий содержит веса safetensors, извлечённые из конвейера Quantization-Aware Training в формате половинной точности. Такая версия предназначена для дальнейшей компиляции и исследований, а не для непосредственной загрузки как готового Q4_0-квантизованного файла. Модель принимает текст и изображения; семейство также поддерживает видео, а вариант 12B — аудио. Она генерирует текст и подходит для диалогов, рассуждений, программирования, анализа изображений и документов, распознавания речи и перевода речи в текст. Для Gemma 4 12B заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка; семейство обучалось более чем на 140 языках. Модель поддерживает режим рассуждений, вызов инструментов и обработку изображений с разным разрешением. Точная лицензия репозитория — Apache 2.0. Качество и производительность зависят от выбранной среды компиляции и аппаратуры; конкретные ограничения для этого чекпойнта в карточке не описаны.

Google DeepMind разработала Gemma 4 12B IT QAT Q4_0 Unquantized — мультимодальную инструкционную модель с плотной архитектурой Gemma4UnifiedForConditionalGeneration, полученную на основе google/gemma-4-12B-it с применением обучения с учётом квантования (QAT). Несмотря на обозначение Q4_0, в этом варианте используются веса половинной точности, извлечённые из QAT-конвейера; он предназначен для последующей компиляции и исследовательской работы. Репозиторий содержит веса в формате safetensors. Модель принимает текст и изображения, а также аудио и видеокадры; генерирует текст. Она подходит для диалога, рассуждений, анализа документов и изображений, распознавания речи, работы с видео, написания и исправления кода и вызова инструментов. Вариант 12B поддерживает контекст до 256 тысяч токенов; семейство Gemma 4 обучено на более чем 140 языках, а карточка заявляет поддержку более 35 языков для мультимодальных задач. Среди заявленных возможностей — понимание документов и PDF, OCR, распознавание рукописного текста, анализ диаграмм и интерфейсов, а также распознавание речи и перевод аудио в текст. Это открытая модель с лицензией Apache 2.0. Указанные в карточке возможности относятся к семейству Gemma 4; отдельные показатели качества для данного чекпойнта не приведены.

Карточка модели smplelife12798/gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Карточка модели SwinliQ-AIs/gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

llmfan46 подготовил дообученную версию инструкционной Gemma 4 12B от Google DeepMind с изменениями компонента attn.o_proj. Это мультимодальная плотная модель для диалога, рассуждений, генерации и исправления кода, анализа изображений, видео и аудио, а также работы с инструментами. Архитектура Gemma4Unified поддерживает гибридное внимание и контекст до 256K токенов; модель рассчитана на многоязычное применение. README указывает поддержку более 35 языков на практике и предварительное обучение более чем на 140 языках. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста и рукописного ввода, понимания диаграмм и интерфейсов, анализа видеокадров, транскрибации речи и перевода речи в текст. Аудиовозможности заявлены для варианта 12B. Указаны встроенный режим рассуждений и поддержка вызова функций. Производная помечена как uncensored/abliterated; это может влиять на поведение защитных механизмов. По условиям Apache-2.0 разрешено использование согласно лицензии. Как и другие генеративные модели, она может выдавать фактические ошибки, отражать смещения данных и испытывать трудности с неоднозначными или сложными запросами.

Карточка модели OsGo/gemma-4-E4B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E4B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind с открытыми весами, полученная дообучением Gemma 4 E4B Instruct с применением обучения с учётом квантования (QAT). Репозиторий содержит веса safetensors в половинной точности, извлечённые из QAT-конвейера; эта версия предназначена для собственной компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст. Семейство поддерживает контекст до 128 тысяч токенов для E4B и более 140 языков в обучающих данных; в README заявлена поддержка более 35 языков. Возможности включают диалог, рассуждения, программирование, распознавание речи, перевод речи в текст, понимание изображений и видео, OCR, разбор документов и вызов инструментов. Архитектура — плотная Gemma 4 для условной генерации. QAT ориентирован на снижение требований к памяти при сохранении качества, близкого к bfloat16, однако конкретный репозиторий содержит не готовую к обычному запуску квантованную сборку, а веса половинной точности для последующей компиляции. Аудио указано для E4B, но конкретный формат входов зависит от используемого конвейера.

Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E4B Instruct. Это вариант с весами половинной точности, извлечёнными из конвейера обучения с учётом квантования (QAT); он предназначен для последующей компиляции и исследовательской работы. Архитектура — плотная Gemma4ForConditionalGeneration, файлы представлены в safetensors. Модель принимает текст и изображения, а также аудио; генерирует текст. Она подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Семейство поддерживает более 140 языков; для небольших вариантов, включая E4B, заявлено контекстное окно до 128 тысяч токенов. Поддерживаются вызов функций и режим рассуждений. Вариант QAT призван снизить требования к памяти при сохранении качества, близкого к bfloat16, но именно эта публикация содержит не готовый к развёртыванию квантованный формат, а веса для дальнейшей компиляции. Лицензия — Apache 2.0. Возможности аудио, языка и контекстное окно описаны для семейства; в карточке этой конкретной публикации отдельные параметры не уточнены.

Карточка модели Iambackup/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

Карточка модели Aizen366/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

Карточка модели mdamir97/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

alphakek/gemma-4-E4B-it-heretic-mythos-v1 — производная мультимодальная модель на базе Google Gemma 4 E4B Instruct, опубликованная пользователем alphakek. По карточке, Gemma 4 использует плотную архитектуру с чередованием локального скользящего и глобального внимания. Базовая модель рассчитана на контекст до 128K токенов; метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и работы с инструментами. Вариант E4B поддерживает смешанные текстовые и визуальные запросы, видео через последовательности кадров, а также аудиовход для распознавания речи и перевода речи в текст. Gemma 4 описана как многоязычная модель с поддержкой более 35 языков, но какие именно языки и возможности сохранены в этой производной версии, карточка не уточняет. Название и теги указывают на попытку ослабить встроенные ограничения ответов (heretic, uncensored, decensored, abliterated), однако README не описывает конкретную процедуру изменений или их влияние на качество и безопасность. Как и базовая модель, она может допускать фактические ошибки, испытывать трудности с неоднозначными запросами и отражать смещения обучающих данных. Лицензия репозитория — Apache-2.0.

Карточка модели dg845/diffusiongemma-test на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

AMAImedia выпустила эту сборку в рамках платформы NOESIS; это текстовая версия NeoHorse-1-9B, объединённая из Qwen/Qwen3.5-9B и TokenRhythm/NeoHorse-1-9B. Модель использует плотную архитектуру Qwen3.5 для генерации текста и диалога, а репозиторий содержит GGUF и safetensors; метаданные указывают 7,2 млрд параметров и контекст до 262 144 токенов. Исходный NeoHorse дообучен для работы с агентными сценариями, инструментами, кодом и инструкциями, а в README для этой сборки также описана абляция отказов (abliteration). Модель ориентирована на многоязычный текстовый вывод, включая английский, русский, китайский и другие языки из метаданных. Она подходит для локального диалога, следования инструкциям, задач программирования и текстовых агентных систем с инструментами. Заявленные результаты NeoHorse относятся к исходной модели; README не приводит отдельной оценки качества именно этой сборки. Это текстовая сборка без весов зрения, а запуск примеров для перепакованного релиза на GPU не проверен. Лицензия — Apache-2.0.

MyAwesomeModel — репозиторий модели пользователя zhujiaying-mcpbench на Hugging Face. Метаданные указывают на архитектуру BERT, класс BertModel и задачу feature-extraction; модель принимает текст и предназначена для получения векторных представлений, например для поиска и сравнения текстов. Указаны библиотека Transformers, формат PyTorch и лицензия MIT. Веб-результат сообщает, что репозиторий пуст и не содержит весов, конфигурации или кода, поэтому применимость модели и заявленные в карточке возможности нельзя проверить. Сведения о размере, контексте и поддерживаемых языках надёжно не установлены.

callmegrr/gemma-4-31B-it-heretic-z — дообученная версия Gemma 4 31B от Google DeepMind, опубликованная пользователем callmegrr. Это плотная мультимодальная модель для диалога, которая принимает текст и изображения и формирует текстовые ответы; в метаданных заявлены возможности чата и компьютерного зрения. README семейства Gemma 4 описывает гибридное внимание, режим пошагового рассуждения и контекст до 256 тысяч токенов для версии 31B, а также анализ изображений, документов, диаграмм и экранов, OCR, генерацию и исправление кода и вызов инструментов. Семейство поддерживает более 35 языков; отдельные возможности аудио относятся к другим вариантам Gemma 4 и не заявлены для этой модели. Модель подходит для визуальных вопросов и ответов, извлечения информации из изображений и документов, диалоговых помощников, суммаризации и задач с кодом. Название и теги «heretic», «uncensored», «decensored» и «abliterated» указывают на изменённые ограничения поведения, но README не объясняет метод этих изменений или их эффект. Репозиторий распространяется под лицензией Apache-2.0. Возможны фактические ошибки, пробелы и смещения в ответах; качество зависит от формулировки запроса и сложности задачи.

Saxo/Linkbricks-Horizon-AI-Avengers-V2-32B — многоязычная языковая модель Linkbricks, дообученная на базе Saxo/Linkbricks-Horizon-AI-Avengers-V1-32B методами SFT и предпочтительной оптимизации. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров и контекстом до 32 768 токенов; веса доступны в формате Safetensors, библиотека — Transformers. Модель предназначена для диалога и генерации текста, перевода между корейским, японским, китайским и английским языками, суммаризации, анализа отзывов и публикаций в соцсетях, написания текстов и кода, а также решения математических и логических задач. В карточке заявлена поддержка вызова функций и инструментов. Обучение включало многоязычные новостные и вики-корпуса, а также данные по задачам; токенизатор оставлен от базовой модели. Модель ориентирована прежде всего на корейский и другие восточноазиатские языки вместе с английским. Качество может различаться между языками и типами задач; описание не приводит количественных результатов оценки. Лицензия — Apache-2.0.

KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B. Она сохраняет гибридную текстово-визуальную архитектуру исходной модели, имеет 27 млрд параметров и распространяется в формате BF16 Safetensors, а также в нескольких текстовых вариантах GGUF. Модель заявлена как многоязычная и предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач и обработки изображений. Для запуска в Transformers рекомендуется около 56 ГБ памяти под веса без учёта служебных расходов и KV-кэша; в примере для Ollama указан контекст 32768 токенов, но это не подтверждает максимальный контекст модели. Основная особенность версии PHILADELPHIA CLASS — существенное снижение отказов от ответа. По внутренним автоматизированным проверкам авторов, модель не отказала в 842 основных и 126 отложенных запросах, а также прошла 23 из 24 проверок связности; эти результаты не являются независимым аудитом или публичными бенчмарками, причём часть тестовых запросов использовалась при настройке преобразования. Возможные ограничения включают отсутствие гарантии сохранения исходных показателей рассуждений, точности, программирования и компьютерного зрения, зависимость поведения от квантования и серверной части, а также отсутствие MTP-головы, из-за чего недоступно спекулятивное декодирование на её основе. Safetensors предназначен для проверенного мультимодального режима, тогда как GGUF-файлы являются текстовыми и требуют отдельного совместимого vision projector для работы с изображениями. Модель выпущена по лицензии Apache License 2.0.

unsloth/Qwen3-VL-4B-Instruct-1M-GGUF — GGUF-версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Это инструкционная vision-language модель с архитектурой Dense, предназначенная для понимания и генерации текста на основе текстовых и визуальных данных, включая изображения и видео. Модель подходит для описания и анализа изображений, OCR, обработки длинных документов, визуального и математического рассуждения, пространственного анализа, понимания видеосцен, генерации HTML/CSS/JS и Draw.io по изображениям или видео, а также взаимодействия с графическими интерфейсами и инструментами. Заявлены контекст Native 256K с расширением до 1M токенов, поддержка OCR на 32 языках и улучшения для временной привязки событий в видео. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и Text-Timestamp Alignment. К сильным сторонам относятся сочетание текстового и визуального понимания, работа с длинным контекстом, расширенные возможности OCR, пространственного и видеоанализа, а также относительно компактный размер 4B параметров. README не содержит точных результатов бенчмарков, сведений о конкретном формате или уровне GGUF-квантизации, требованиях к оборудованию и полном перечне поддерживаемых языков, поэтому производительность и ресурсоёмкость в конкретной конфигурации требуют проверки. Для llama.cpp рекомендуется использовать параметр --jinja. Модель распространяется по лицензии Apache-2.0.

Dans-PersonalityEngine-V1.3.0-24b-GGUF — текстовая генеративная модель, опубликованная под идентификатором Mungert/Dans-PersonalityEngine-V1.3.0-24b-GGUF. Она создана на базе Mistral-Small-3.1-24B-Base-2503 и представлена в формате GGUF; сборка выполнена с использованием llama.cpp. В README не указано имя отдельной организации-разработчика, однако модель связана с серией Dans и использует наборы данных PocketDoc и других авторов. Модель предназначена для универсальной генерации текста, ролевого общения, написания и редактирования историй, работы с инструкциями, математикой, рассуждениями, кодом, инструментами и специализированными темами, включая химию, биологию, климат, право, медицину и финансы. Заявлены английский, арабский, немецкий, французский, испанский, хинди, португальский, японский и корейский языки. Мультимодальность не заявлена, поэтому модель следует рассматривать как текстовую. Ключевая особенность — низкобитные варианты квантования IQ-DynamicGate с адаптивным распределением точности по слоям, ориентированные на снижение требований к памяти при сохранении качества. Такие варианты подходят для ограниченных по памяти GPU, CPU и периферийных устройств, но могут уступать более точным форматам по качеству. Приведённые в README результаты относятся к тестам Llama-3-8B, а не непосредственно к этой 24-миллиардной модели, поэтому их нельзя напрямую считать её характеристиками. Размер контекста для данной модели не указан. Лицензия — Apache-2.0.

Qwen3.5-27B — мультимодальная модель семейства Qwen, опубликованная Unsloth в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-27B для диалогов и задач, где нужно совместно анализировать текст и изображения. Модель имеет 27 млрд параметров, причинную языковую архитектуру с визуальным энкодером и сочетает Gated Delta Networks с разреженной архитектурой Mixture-of-Experts. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель подходит для ответов на вопросы по изображениям, визуального анализа, рассуждений, программирования и агентных сценариев с вызовом инструментов. В README заявлена поддержка 201 языка и диалекта. Для запуска доступны веса в формате safetensors, совместимые с Transformers и рядом движков инференса; лицензия — Apache-2.0. Большой размер требует значительных вычислительных ресурсов; при длинном контексте возможен дефицит видеопамяти. Режим рассуждений включён по умолчанию, а скорость и пропускная способность зависят от движка и его версии.

OsaurusAI/Qwen3.8-27B-MXFP8 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная Jinho Jang из Osaurus AI для Apple Silicon и MLX. Это плотная модель на 27 млрд параметров с гибридной архитектурой из 64 слоёв: 48 слоёв GatedDeltaNet и 16 слоёв gated full-attention. Она поддерживает работу с текстом, изображениями и видео, а также сохраняет нативную multi-token-prediction head. Модель предназначена для визуально-языковых задач, рассуждений, программирования, агентских сценариев и использования инструментов. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн. По умолчанию включён режим рассуждений с настраиваемым уровнем reasoning_effort от low до xhigh; предусмотрены отдельные параметры для обычного режима инструкций. Для запуска рекомендуется mlx-vlm, а для работы требуется Apple Silicon с не менее чем 32 ГБ объединённой памяти. Ключевое свойство этой версии — равномерное 8-битное квантование MXFP8 с размером группы 32 для 580 модулей без калибровки Hessian, AWQ и imatrix refit; 27 проекций vision-блоков оставлены в fp16. Размер на диске составляет около 26,4 ГиБ. На отложенных тестах относительно исходной bf16-модели зафиксированы медианный KL 0,0189, совпадение top-1 95,83% и скорость декодирования до 29,3 токена/с на M5 Max при оптимальной глубине спекуляции 2. При этом автор прямо указывает, что версия уступает калиброванным вариантам по качеству и служит структурным fallback-решением, а показатели ускорения зависят от типа запроса. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Thinking-GGUF — мультимодальная vision-language модель из серии Qwen3-VL, разработанная командой Qwen и представленная в формате GGUF проектом Unsloth. Модель предназначена для генерации текста на основе текстовых и визуальных входных данных, включая анализ изображений и видео, визуальное рассуждение, OCR, понимание пространственных отношений, решение задач STEM и математики, а также взаимодействие с графическими интерфейсами и инструментами. Модель использует MoE-архитектуру и относится к reasoning-ориентированной версии Thinking; заявленный размер — 30B параметров при 3B активных параметрах. Поддерживаются текст, изображения и видео. Контекст составляет 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временного и пространственного позиционирования, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — мультимодальное понимание, визуальное и пространственное рассуждение, обработка длинного контекста и видео, распознавание текста в сложных условиях, а также генерация Draw.io, HTML, CSS и JavaScript по изображениям или видео. Ограничения, требования к ресурсам, точные показатели производительности и конкретные параметры GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0; в репозитории Unsloth также отмечены исправления chat template.

Qwen3-VL-8B-Thinking — мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen и представленная в GGUF-репозитории Unsloth. Это Thinking-версия с усиленным рассуждением, предназначенная для анализа изображений и видео вместе с текстом, генерации ответов, STEM- и математического анализа, распознавания документов и OCR, пространственного рассуждения, а также взаимодействия с графическими интерфейсами и инструментами. Модель также может генерировать Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру и размер 8B параметров; конкретные характеристики GGUF-квантизации в README не указаны. Поддерживаются текст, изображения и видео, а заявленный нативный контекст составляет 256K токенов с возможностью расширения до 1M. Для видео предусмотрено понимание временной динамики и событий с привязкой к временным меткам. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — объединённое текстово-визуальное понимание, визуальное и пространственное рассуждение, обработка длинных документов и продолжительных видео, распознавание текста в сложных условиях, включая низкую освещённость, размытие и наклон. Ограничения связаны с вычислительными и мультимодальными ресурсами, необходимыми для работы с длинным контекстом, изображениями и видео; точные требования к памяти и производительности не указаны. Модель распространяется по лицензии Apache-2.0.

MoonRide/gemma-4-31B-it-heretic-ara-custom-GGUF — GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и модифицированной MoonRide. Модель создана на основе google/gemma-4-31B-it с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA), направленного на снижение частоты отказов от ответов. По заявленным данным, она обрабатывает текст и изображения и генерирует текст. Модель предназначена для генерации и понимания текста, рассуждений, программирования, работы с длинным контекстом и мультимодальных сценариев с изображениями. Архитектура базовой модели — плотная Transformer-модель примерно с 30,7 млрд параметров, 60 слоями, гибридным вниманием с локальным окном 1024 токена и глобальными слоями. Максимальный контекст заявлен до 256K токенов, размер словаря — 262K; поддерживается более 140 языков. Формат GGUF ориентирован на локальный запуск в совместимых средствах инференса, однако конкретная степень квантования и требования к памяти в README не указаны. Главная особенность этой версии — существенно меньшее число отказов в приведённой оценке: 16 из 100 против 99 из 100 у исходной модели; при этом указано KL-расхождение 0,0417 относительно оригинала. Это может сделать модель более готовой к ответам на запросы, которые базовая версия отклоняет, но одновременно снижает гарантии встроенного безопасного поведения. Модель распространяется по лицензии Apache 2.0 согласно README; для Gemma также следует учитывать применимые условия лицензии Google Gemma 4.

HauhauCS/Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — мультимодальная версия модели Qwen3.5-122B-A10B, разработанная HauhauCS на базе исходной модели Qwen. Это вариант в формате GGUF с усиленным снятием ограничений на отказы; по заявлению автора, изменения наборов данных и базовых возможностей не вносились. Модель предназначена для генерации и понимания текста, программирования, рассуждений, а также работы с изображениями и видео. Поддерживаются текстовая, графическая и видео-модальности, 201 язык и контекст до 262 тысяч токенов. Модель использует гибридную архитектуру MoE с 122 млрд общих параметров и примерно 10 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий; архитектура включает Gated DeltaNet linear attention и полноформатное softmax-внимание в соотношении 3:1, всего 48 слоёв. Доступны квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ; специальные квантизации K_P оптимизированы для сохранения качества. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами, а для поддержки изображений требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, мультимодальность, высокая ёмкость MoE при меньшем числе активных параметров и широкий выбор квантизаций. Агрессивный вариант практически не использует отказы и защитные оговорки, поэтому может быть удобен для сценариев, где требуется минимальная модерация, но одновременно повышает риск небезопасных или нежелательных ответов. Для запуска необходимы значительные объёмы оперативной или видеопамяти, особенно для высококачественных квантизаций. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-8B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это плотная модель с 8 млрд параметров для диалога и генерации текста по текстовым и визуальным входам; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Лицензия — Apache-2.0. Модель предназначена для анализа изображений и видео, визуальных вопросов и ответов, распознавания текста и структуры документов, пространственного рассуждения, STEM-задач и управления интерфейсами через инструменты. Она также генерирует код и разметку Draw.io, HTML, CSS и JavaScript по изображениям или видео. Заявлены контекст 256K токенов с возможностью расширения до 1M, временная привязка событий в видео и OCR на 32 языках. Модель объединяет текстовое и визуальное понимание, поддерживает агентные сценарии и вызов инструментов. Карточка описывает возможности семейства Qwen3-VL; конкретные показатели качества для версии 8B в предоставленном README не приведены.

Ling-3.0-flash-VL-fp8 — нативная мультимодальная модель, разработанная командой inclusionAI. Она предназначена для понимания и анализа изображений и видео, мультимодального рассуждения, проверки выводов по визуальным данным, работы с документами, графиками и сложными макетами, а также для взаимодействия с веб- и программными интерфейсами и выполнения агентских задач. Модель поддерживает сценарии, где требуется не только восприятие визуальной информации, но и планирование, выполнение действий и последующая верификация. Модель имеет 124 млрд параметров, при этом на каждый токен активируется около 5,5 млрд благодаря разреженной архитектуре Mixture-of-Experts. В состав входят визуальный энкодер ViT, двухслойный MLP-проектор и 42-слойная гибридная языковая основа, чередующая слои KDA и Gated MLA в соотношении 5:1. VideoRoPE кодирует пространственные позиции и временной порядок, что важно для анализа изменений в видео, поиска событий и ответов на вопросы по длинным видеозаписям. Поддерживаются изображения, видео и текстовый контекст объёмом до 256 тысяч токенов. Доступна версия с квантованием FP8. К сильным сторонам относятся сочетание мультимодального понимания, рассуждения и агентского взаимодействия, эффективная активация параметров при большой общей ёмкости и поддержка длинного контекста. В Artificial Analysis Intelligence Index v4.1.1 модель получила 42 балла, что на 4 балла выше результата Ling-3.0-flash. README не приводит полного перечня поддерживаемых языков, детальных ограничений, требований к качеству входных данных или результатов по всем отдельным бенчмаркам. Модель распространяется по лицензии MIT.

Linkbricks-Horizon-AI-Japanese-Avengers-V2-70B — плотная языковая модель семейства Llama на 69,5 млрд параметров, созданная Саксо (Джи Юнсоном), специалистом по данным компании Linkbricks. Это дообучение версии V1-70B: модель прошла японское CPT, SFT и DPO и использует исходный токенизатор базовой модели. Для обучения применялись японские новостные и вики-корпуса, а также данные для задач на японском, корейском, китайском и английском языках. Модель предназначена для генерации текста и диалогов, включая анализ отзывов и публикаций в соцсетях, написание текстов и кода, перевод, суммаризацию, математические и логические задачи. Поддерживает вызов инструментов и контекст до 131 072 токенов. Доступна в формате Safetensors через Transformers; лицензия — Apache-2.0. Качество ответов и вызова инструментов может зависеть от формулировки запроса. Карточка не приводит результатов стандартизированных оценок качества.

cyankiwi/Qwen3-VL-32B-Instruct-AWQ-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-32B-Instruct. Базовую модель разработала команда Qwen, а данную сборку подготовил Ton Cao. Модель предназначена для генерации текста по изображениям и тексту, визуального анализа, распознавания текста на изображениях, понимания видео, пространственного рассуждения, мультимодального решения задач и взаимодействия с графическими интерфейсами. Она также ориентирована на визуальное программирование и может генерировать Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру с 32 миллиардами параметров и поддерживает текстово-визуальные входы. Заявлены контекст длиной 256K токенов с возможностью расширения до 1M, анализ продолжительных видео, индексация событий по времени и OCR для 32 языков. Среди архитектурных особенностей указаны Interleaved-MRoPE для обработки временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками. Квантование выполнено методом AWQ до INT4 с размером группы 32 на основе датасета FineVision с использованием llm-compressor. Сильные стороны модели — широкий набор визуальных и текстовых возможностей, работа с длинным контекстом, видео, документами, пространственными отношениями и агентными сценариями при сниженных требованиях к памяти благодаря INT4-квантованию. Ограничения включают возможную потерю качества по сравнению с полноразмерной моделью, а также высокие вычислительные требования, связанные с исходным размером 32B и мультимодальной обработкой. В README не указаны полный перечень поддерживаемых языков для генерации, точные системные требования и результаты численных тестов. Модель распространяется по лицензии Apache-2.0.