I.15Доступность и ассистивные технологии

Gemma 3 12B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Квантизацию выполнил bartowski на основе llama.cpp; исходная модель — google/gemma-3-12b-it. Модель предназначена для генерации текста и понимания изображений. Поддерживаемые сценарии включают ответы на вопросы, суммаризацию, рассуждения и другие задачи обработки текста с учётом визуального контекста. Заявлена длина контекста до 128 000 токенов и максимальная длина вывода 8192 токена. Изображения обрабатываются в разрешении 896 × 896. Поддержка конкретных языков в README не указана. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большой контекст и возможность локального запуска в экосистеме llama.cpp. Ограничениями являются зависимость от совместимого runtime, требование llama.cpp версии 1.19.0 или более новой beta-версии, а также возможные компромиссы качества и скорости, связанные с квантизацией GGUF. Модель может выдавать неточные, вредные или неподходящие ответы. Для доступа к Gemma на Hugging Face требуется принять лицензию Google. В README указана лицензия Gemma; дополнительные условия её использования следует учитывать перед развёртыванием модели.

unsloth/gemma-3-1b-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 1B, разработанной Google DeepMind и опубликованной в формате GGUF командой Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений, поэтому подходит для локального развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре с ограниченными ресурсами. Это мультимодальная модель: она принимает текст и изображения, а генерирует текст. Для версии 1B заявлено контекстное окно до 32K токенов; максимальный объём генерируемого ответа составляет 8192 токена. Семейство Gemma 3 поддерживает более 140 языков, однако в карточке этой версии явно указан английский язык. Меньший размер упрощает локальный запуск и снижает требования к ресурсам, но по возможностям и качеству модель может уступать более крупным вариантам Gemma 3. Изображения обрабатываются после нормализации до 896×896 пикселей и кодируются в 256 токенов каждое. Модель распространяется по лицензии Gemma; применимые условия использования определяются официальными Terms of Use Google. README не содержит подробностей о конкретной квантовке GGUF, требованиях к памяти или измеренных показателях качества.

Gemma3-R1984-4B — мультимодальная модель для диалогов и анализа изображений, дообученная VIDraft на базе Google Gemma 3 4B. В карточке заявлена работа с изображениями, видео и документами, включая PDF, CSV и TXT; метаданные классифицируют модель как image-text-to-text и указывают архитектуру Gemma3ForConditionalGeneration с плотными весами в формате Safetensors. Модель рассчитана примерно на 4 млрд параметров и контекст до 8 000 токенов. Сценарии применения включают визуальные вопросы и ответы, анализ документов, сравнение файлов, диалог и исследовательские запросы с поиском в интернете через SERPHouse API и цитированием найденных источников. Указана поддержка английского, корейского, японского, китайского, испанского, русского, арабского, хинди, индонезийского, французского и немецкого языков. Поиск в интернете требует API-ключа; обработка видео и документов описана как часть платформы и не подтверждена тегом задачи модели. В метаданных указана лицензия Gemma; README дополнительно упоминает MIT для Agentic AI-платформы, поэтому условия для весов следует связывать с лицензией Gemma.

Mungert/InternVL3-8B-GGUF — GGUF-версия мультимодальной модели InternVL3-8B, созданной командой OpenGVLab. Модель предназначена для обработки текста и изображений, включая визуальное восприятие и рассуждение, анализ промышленных изображений, работу с GUI-агентами, инструментами и задачами 3D-восприятия. В карточке также указана поддержка многоязычных сценариев. Архитектура сочетает vision-компонент InternViT-300M-448px-V2_5 и языковую часть Qwen2.5-7B; общий класс модели — 8B параметров. Эта публикация представляет собой преобразованный формат GGUF, сгенерированный с использованием llama.cpp. Автор применил собственный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что увеличивает размер файла, но, по заявлению автора, может улучшать точность при заданном уровне квантования, особенно на низкой разрядности. Сильными сторонами являются мультимодальность, сочетание визуального анализа с языковым рассуждением и возможность локального использования в экосистеме llama.cpp благодаря формату GGUF. Ограничения включают зависимость качества, размера и требований к ресурсам от выбранного варианта квантования; конкретные поддерживаемые языки, размер контекста и результаты независимого тестирования в карточке не указаны. Для модели указана лицензия Apache-2.0, однако в метаданных также приведена ссылка на лицензию Qwen.

Ministral-3-14B-Reasoning-2512-GGUF — мультимодальная языковая модель в формате GGUF, созданная на основе Ministral-3-14B-Reasoning-2512 от MistralAI. Конвертацию и квантизацию выполнил EnlistedGhost с использованием llama.cpp версии 8189. Модель предназначена для локального запуска через Ollama и llama.cpp и поддерживает как текстовые, так и визуальные запросы благодаря двум файлам мультимодального проектора mmproj. Модель ориентирована на диалоговые сценарии, рассуждение, анализ изображений и генерацию ответов на нескольких языках: английском, французском, испанском, немецком, итальянском, португальском, нидерландском, китайском, японском, корейском, арабском и русском. Заявлен размер базовой модели — 14B параметров. В поставку входит пользовательский шаблон чата с ограничением скользящего окна примерно до 46 взаимодействий, которое можно изменять в шаблоне. К сильным сторонам относятся совместимость с Ollama и llama.cpp, локальный запуск, мультимодальность, многоязычность и наличие квантованных вариантов, позволяющих снизить требования к ресурсам. Ограничения связаны с потерями качества и точности, характерными для квантизации, а также с возможными проблемами шаблона чата: автор сообщает, что при загрузке с Hugging Face механизм тегов рассуждений может работать некорректно и требует исправления или настройки. Модель распространяется по лицензии Apache-2.0.

mT5-XL — многоязычная модель Google на архитектуре encoder-decoder Transformer семейства T5 с 1,9 млрд параметров. Она предварительно обучена на корпусе mC4, охватывающем 101 язык, в едином формате преобразования текста в текст; доступны веса PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Модель служит базой для дообучения под конкретные задачи обработки естественного языка, например перевод, суммаризацию и ответы на вопросы. Сам чекпойнт прошёл только предварительное обучение без обучения на размеченных задачах, поэтому перед решением прикладных задач его необходимо дообучить. Для очень крупной модели требуется достаточно памяти и вычислительных ресурсов.

MuXodious разработал Qwen3.5-9B-SOMPOA-heresy — дообученную версию мультимодальной модели Qwen3.5-9B, обработанную инструментом Heretic с методами abliteration и Self-Organizing Maps. В процессе создания также применялась 4-битная qLoRA. Модель предназначена для диалога и ответов на запросы с изображениями; доступны интерфейс вызова инструментов и возможности vision. Модель содержит 9 млрд параметров и использует архитектуру Qwen3.5 с языковой моделью и визуальным энкодером. Базовая модель поддерживает 201 язык и диалект и имеет контекст длиной 262 144 токена с возможностью расширения; эти характеристики относятся к Qwen3.5-9B и не подтверждают отдельную оценку дообученной версии. Автор сообщает, что после обработки доля отказов снизилась с 414 из 416 до 33 из 416 в использованной им проверке. Лицензия — Apache-2.0.

Qwen3-VL-32B-Instruct-ultra-uncensored-heretic-GGUF — мультимодальная instruct-модель в формате GGUF, разработанная независимым автором llmfan46 на основе Qwen/Qwen3-VL-32B-Instruct. Это декензурированная версия, созданная с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA), с целью существенно уменьшить количество отказов при сохранении исходных возможностей модели. Модель предназначена для задач понимания и генерации текста по текстовым и визуальным входным данным, включая ответы на вопросы, анализ изображений и общее мультимодальное рассуждение. Размер модели — 32B параметров. Точная поддержка языков и размер контекстного окна в README не указаны. Доступны варианты квантования BF16, Q8_0, Q6_K, Q5_K_M и другие сборки GGUF, рассчитанные на разные компромиссы между качеством, размером и требованиями к ресурсам. Ключевая особенность модели — значительно меньшее число отказов: в приведённом сравнении она отказала в 4 из 100 случаев против 99 из 100 у исходной модели. При этом на PIQA точность составила 92,87% против 93,09% у оригинала, а на MMLU — 79,87% против 82,44%, что указывает на некоторое снижение результатов в отдельных задачах. Декензурированный характер может быть преимуществом для исследовательских и творческих сценариев, но одновременно означает меньшие встроенные ограничения безопасности и необходимость дополнительного контроля при использовании. В метаданных указана лицензия Apache-2.0, однако приведённая ссылка на лицензию ведёт к документации Gemma; условия использования следует проверить отдельно для базовой модели и производной версии.

lunahr/SystemGemma2-27b-it — диалоговая языковая модель, дообученная на основе Google Gemma 2 27B IT. Это плотная авторегрессионная модель-декодер с 27,6 млрд параметров, предназначенная для генерации текста по инструкциям и общения в формате чата. Она принимает текст и может использоваться для ответов на вопросы, суммаризации, рассуждений, написания черновиков и создания чат-ботов. В карточке указана поддержка английского языка; контекст модели составляет до 32 768 токенов. Модель подходит для диалоговых интерфейсов, помощи в работе с текстами и исследовательских экспериментов. Как и другие языковые модели, она может выдавать фактически неверные ответы, испытывать трудности с неоднозначностью и сложными задачами, а также воспроизводить смещения из обучающих данных. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Gemma; применение регулируется условиями лицензии и политикой допустимого использования Gemma.

Bonsai 27B 1-bit CRACK GGUF — мультимодальная vision-language модель, опубликованная dealignai. Это квантованный релиз на базе prism-ml/Bonsai-27B-gguf из семейства Qwen/Qwen3.6-27B, предназначенный для работы с текстом, изображениями и, при поддержке соответствующего runtime, видео. Модель ориентирована на диалоговые сценарии, рассуждения, анализ визуального содержимого и использование инструментов; заявлены языки английский и китайский. В состав входят 27B-классная языковая модель с 64 гибридными блоками архитектуры семейства Qwen и отдельный F16 Qwen3VL-мультимодальный проектор. Основная модель использует нативный формат Q1_0 GGUF и занимает около 4,35 GiB, проектор — около 0,86 GiB. Поддерживаются изображения; видеовход зависит от возможностей Prism runtime, при необходимости рекомендуется предварительно извлекать кадры. В README приведены результаты на фиксированной выборке MMLU-200 — 52,50% — и полном тесте HB-320 — 97,81%, однако эти показатели не эквивалентны результатам на полных официальных наборах. К сильным сторонам относятся малый размер 1-битного представления, мультимодальность, наличие специализированного проектора и высокая заявленная скорость на Apple M5 Max — около 58,5 токена в секунду для текста и изображений. Ограничения включают необходимость использовать форк Prism llama.cpp с поддержкой низкоразрядных типов, а также возможную несовместимость прямого ввода видеофайлов с отдельными клиентами. Модель распространяется по лицензии Apache-2.0.

ByT5-xl — предобученная байтовая модель семейства T5, разработанная Google. Она использует архитектуру Transformer для преобразования текста в текст и обрабатывает строки непосредственно как последовательности UTF-8 байтов, без отдельного токенизатора. Размер модели — 3,3 млрд параметров; доступны веса PyTorch и TensorFlow. Модель предобучена на mC4 с задачей восстановления замаскированных фрагментов и не проходила supervised-обучение для прикладных задач. Перед использованием её нужно дообучить под конкретный сценарий: например, ответы на вопросы или другие задачи преобразования текста. ByT5 особенно хорошо подходит для зашумлённого текста; в README отмечено превосходство над mT5-xl на TweetQA. Поддерживаются многие языки, включая английский, испанский, французский, арабский, хинди, японский и корейский; обработка байтов позволяет подавать текст на разных языках без токенизатора. Работа с байтовыми последовательностями может быть менее эффективной по длине входа, чем токенизация. Модель опубликована Google и распространяется по лицензии Apache-2.0.

NeoChen1024/gemma-4-26B-A4B-it-qat-W4A16 — квантизированная версия мультимодальной instruct-модели Gemma 4 26B-A4B-it, разработанной Google. Модель предназначена для диалоговых сценариев и задач image-text-to-text, то есть обработки текста и изображений с генерацией текстовых ответов. Она ориентирована на развёртывание через vLLM и использует chat completions API. Модель преобразована из Q4_0 GGUF в формат compressed-tensors pack-quantized W4A16 с 4-битным симметричным групповым квантованием и group_size=32. Квантованные веса и масштабы сохраняются без потерь на уровне нибблов; масштабы имеют тип bfloat16 либо float16. Vision tower и прочие неквантованные тензоры хранятся в bfloat16. Для ускорения работы с Marlin применена padding-обработка размерностей MLP и MoE-блоков. В README не указаны точные размерности контекста и перечень поддерживаемых языков. К сильным сторонам относятся существенное снижение требований к памяти, совместимость с vLLM и сохранение исходных Q4_0-значений без потерь при конвертации. Ограничения связаны с особенностями развёртывания: для tensor parallelism с TP>1 плотные MLP-блоки рекомендуется оставлять неквантованными, что увеличивает потребление VRAM примерно на 725 MiB. Для работы необходим vLLM с поддержкой соответствующего формата и chat completions API; в README тестирование указано для vLLM 0.22.1 и GPU с CUDA compute capability 8.9, где модель загружается примерно в 16,4 GiB видеопамяти. Лицензия в предоставленных данных не указана.

Heretic-Scalpel-E2B — мультимодальная чат-модель на архитектуре Gemma 4 E2B, основанная на Google Gemma 4 E2B IT и дообученная автором репозитория. Карточка заявляет, что модель работает локально и офлайн, использует около 8 ГБ оперативной памяти и поддерживает контекст до 128K токенов; эти характеристики приведены в README автора. Модель предназначена для диалога и создания текста, включая суммаризацию и ответы на вопросы, а также для анализа изображений и аудио. Она принимает текстовые, визуальные и аудиовходы и выдаёт текст; в метаданных также отмечен интерфейс вызова инструментов. README описывает ослабление исходных ограничений безопасности, поэтому модель может отвечать на запросы без прежних отказов базовой модели. Возможны фактические ошибки, пробелы в знаниях и трудности с нюансами языка или сложными задачами; ослабленные ограничения безопасности повышают риск вредоносных ответов. Язык модели не указан в метаданных. Лицензия репозитория — Apache-2.0.

Keye-VL-2.0-30B-A3B-GGUF — мультимодальная модель семейства Keye, разработанная командой Kwai Keye. Она предназначена для обработки изображений, видео и текста, прежде всего для понимания длинных видеозаписей, временной локализации событий, OCR, анализа диаграмм и таблиц, визуального вопросно-ответного взаимодействия и мультимодального рассуждения. Модель также ориентирована на агентские сценарии: работу с кодом, инструментами, поиском, репозиториями и визуальной самопроверкой. Модель относится к 30B-классу и распространяется в формате GGUF с вариантами квантования BF16, F16, Q8_0 и Q4_K_M. В архитектуре используются разреженное внимание DSA (DeepSeek Sparse Attention), целевая агрегация признаков, параллелизм ViT-LM и оптимизированные вычислительные ядра, что предназначено для эффективной работы с длинными последовательностями. Заявлена поддержка контекста до 256K токенов и анализа видео продолжительностью до часа. В README явно указан английский язык; сведения о полноценной поддержке других языков отсутствуют. Сильными сторонами являются длинноконтекстное понимание видео, точная временная локализация, мультимодальное рассуждение и встроенные возможности для агентских задач. Ограничениями выступают высокие требования к ресурсам: размер файлов варьируется от 29 ГБ для Q8_0 до 58 ГБ для F16, а для работы с длинными видео и контекстом потребуется значительный объём памяти. Условия использования определяются лицензией Apache-2.0.

Модель dealignai/Qwen3.6-27B-MXFP8-CRACK-MTP — модифицированная версия Qwen 3.6 27B от dealignai. Это плотная мультимодальная модель с гибридной архитектурой GatedDeltaNet SSM и полным вниманием, 64 слоями и поддержкой изображений и видео. Репозиторий содержит веса SafeTensors в формате MXFP8 для запуска через MLX на компьютерах Apple Silicon; размер указан как 27 ГБ. Сохранена голова multi-token prediction для спекулятивного декодирования d3, для которого автор заявляет ускорение генерации примерно в 1,74 раза в совместимой среде vMLX. Модель предназначена для диалогов, рассуждений, ответов по изображениям и видео, а также сценариев с вызовом инструментов. Автор сообщает об удалении поведения отказа на уровне весов и приводит результаты HarmBench и MMLU, полученные через vMLX. README не описывает методику тестирования подробно, поэтому заявленные оценки и ускорение следует считать результатами автора, а не независимой проверкой. Лицензия — Apache-2.0. Модель рассчитана на использование с vMLX или совместимой средой MLX с поддержкой Qwen 3.6; формат MLX и ускорение MTP ориентированы на Apple Silicon. После изменения поведения отказа модель может выполнять запросы без обычных отказов по безопасности, поэтому необходим контроль её применения.

TeichAI разработала Qwen3.8-27B-Fable-Distill как лёгкое дообучение мультимодальной модели Qwen3.8-27B на датасетах Fable 5 и личных данных Fable 5. Модель предназначена для диалогов и многошаговых задач; в каталоге для неё указана задача image-text-to-text, а метаданные отмечают поддержку анализа изображений и интерфейс вызова инструментов. Модель плотная, содержит 27 млрд параметров и использует архитектуру Qwen3_5ForConditionalGeneration. Шаблон поддерживает режим enable_thinking и уровни reasoning_effort low, medium и xhigh; по умолчанию выбран xhigh, при котором модель подробно рассуждает в каждом ответе. В README приведены результаты ARC Challenge, ARC Challenge (Easy) и BoolQ, превосходящие показатели базовой модели на этих тестах. Указана лицензия Apache-2.0. Длина контекста и ограничения по качеству в карточке не описаны.

Apertus-v1.1-4B-Instruct — мультиязычная инструктивная языковая модель, разработанная Swiss AI Initiative как часть открытой экосистемы Apertus. Это плотный Transformer-декодер с grouped-query attention и активацией xIELU: 24 слоя, размерность модели 3072, 4,6 млрд параметров. Модель поддерживает контекст до 4096 токенов и предназначена для генерации текста в диалоговом формате, включая работу на устройствах с ограниченными ресурсами. Модель получена дистилляцией от Apertus-8B-2509, затем прошла дообучение на инструкциях и выравнивание. Разработчики заявляют нативную поддержку 1811 языков. Среди подходящих сценариев — многоязычный чат, ответы на вопросы, создание и преобразование текста. Репозиторий содержит веса в формате safetensors; библиотека для работы — Transformers. Лицензия Apache-2.0. Модель может выдавать фактически неверные или логически непоследовательные ответы и наследовать смещения обучающих данных; качество сложного следования инструкциям и решения продвинутых математических задач ограничено. Фильтр персональных данных для выходов не предоставляется, поэтому важные ответы следует проверять.

Clara v2 — дообученная модель на 8,4 млрд параметров, разработанная ayan4m1 на базе ibm-granite/granite-4.1-8b. Она предназначена для диалоговых сценариев и создана как более компактная по числу параметров замена Clara-24B; при дообучении использовались промпты Claude Opus 4.5–4.7. Модель работает с текстом и изображениями в формате image-text-to-text, поддерживает чат, а её контекстное окно составляет 131 072 токена. В метаданных указан английский язык. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

EraX-VL-7B-V1.0 — мультимодальная модель на базе Transformer, разработанная командой EraX и Bamboo Capital Group и дообученная на Qwen/Qwen2-VL-7B-Instruct. Она предназначена для распознавания текста на изображениях, визуальных вопросов и ответов, а также анализа документов и изображений; поддерживает диалог из нескольких ходов. Особенно хорошо модель ориентирована на вьетнамский язык, при этом заявлены также английский и китайский. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2-VL и принимает изображения с текстовыми запросами, выдавая текстовые ответы. Длина контекста — 32 768 токенов. Модель рассчитана на извлечение текста и сведений из медицинских форм, счетов, накладных, коммерческих предложений и медицинских записей, а также на описание изображений и ответы на вопросы по их содержимому. В отличие от специализированного OCR-инструмента, она является мультимодальной языковой моделью, поэтому результат зависит от формулировки запроса. Лицензия — Apache 2.0.

AxionML Gemma-4-12B-NVFP4 — квантизированная версия мультимодальной модели google/gemma-4-12B-it, разработанная AxionML для открытого использования и развертывания. Модель предназначена для задач преобразования изображений и текста в текст, а также для диалоговых сценариев и серверного инференса. Она содержит около 11,95 млрд параметров и распространяется с лицензией Apache-2.0. В модели используется квантизация NVFP4: линейные слои MLP в блоках Transformer квантизированы по схеме W4A4, тогда как слои внимания q/k/v/o сохранены в BF16. KV-cache квантизирован в FP8 E4M3, а эмбеддинги, lm_head и мультимодальные эмбеддеры для зрения и аудио оставлены в BF16. Размер чекпойнта составляет около 11 ГБ против примерно 24 ГБ у BF16-версии. Микроблоки имеют размер 16 элементов с FP8-масштабами; для калибровки использовались cnn_dailymail и Nemotron-Post-Training-Dataset-v2. Основное преимущество модели — существенное сокращение требований к памяти при заявленной потере точности на GSM8K, а также поддержка серверного инференса через SGLang и спекулятивного декодирования MTP/NEXTN с парной draft-моделью. Модель ориентирована прежде всего на видеокарты NVIDIA Blackwell B100, B200 и B300 с нативными FP4 Tensor Cores. Ограничением является зависимость от совместимого оборудования и специализированных версий TensorRT Model Optimizer и SGLang; квантизация внимания не применяется из-за чувствительности активаций Gemma-4 к выбросам, поэтому преимущества FP4 реализованы только для MLP-слоёв.

Это мультимодальная чат-модель семейства Qwen3.5 на 27 млрд параметров, созданная на основе TeichAI/Qwen3.8-27B-Fable-Distill. Автор применил Heretic v1.2.0 и метод Arbitrary-Rank Ablation: rank-2 обновление проекций внимания и MLP в слоях 30–64 вычислено в замкнутой форме, без градиентного дообучения. Модель предназначена для диалогов и задач с изображениями; метаданные также отмечают интерфейс вызова инструментов. Изменение направлено на снижение отказов: в тесте автора модель отказала на 5 из 100 вредоносных запросов против 91 из 100 у исходной модели. На безвредных запросах измеренная KL-дивергенция относительно исходной составила 0,1004. Модель опубликована в формате safetensors для Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

INCModel3/Qwen3.8-Flash-Next-MXFP4-Mixed-CT-AutoRound — смешанный вариант модели Qwen3.8-Flash-Next, подготовленный Intel с помощью AutoRound и сохранённый в формате llm_compressor. Экспертные слои MLP квантизованы до 4 бит с типом данных MXFP; README также указывает MXFP8 для остальных слоёв, кроме перечисленных исключений. Репозиторий содержит веса Safetensors и предназначен для работы через Transformers. Модель рассчитана на диалоговые задачи с текстом и изображениями, поддерживает интерфейс вызова инструментов. Подходит для ответов на вопросы по изображениям и текстового общения. README предупреждает, что ответы могут содержать фактические ошибки, предвзятость или оскорбительный контент; перед развёртыванием рекомендуется проверка безопасности. Следует соблюдать лицензию исходной модели; репозиторий указывает лицензию other.

Карточка модели Paul691/gemma-4-12B-it-abliterated-uncensored на Hugging Face совпадает с карточкой OpenYourMind/gemma-4-12B-it-abliterated-uncensored, поэтому описание составлено по ней. Gemma-4-12B-it-abliterated-uncensored — дообученная версия Gemma 4 12B Unified от автора OpenYourMind, созданная на основе google/gemma-4-12B-it. Веса BF16 содержат около 11,95 млрд параметров; архитектура — плотный decoder-only трансформер из 48 слоёв с единой мультимодальной обработкой без отдельных энкодеров для изображений и аудио. Модель предназначена для диалогов и генерации текста, а также для обработки изображений и аудио в мультимодальных запросах; в README также описана поддержка видеовхода. Вариант прошёл абляцию отказов, направленную на снижение стандартных отказов, при этом автор заявляет о сохранении рассуждений и мультимодальных возможностей исходной модели. Для запуска используются класс Gemma 4 в библиотеке Transformers и мультимодальный процессор; полные веса занимают около 24 ГБ. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; перед использованием необходимо соблюдать её условия. Снижение отказов может влиять на безопасное поведение, а качество и надёжность ответов для этой модификации в карточке не подтверждены независимой оценкой.

Llama-Breeze2-8B-Instruct-v01 — мультимодальная модель MediaTek Research с 8 млрд параметров, основанная на LLaMA 3.2 и архитектуре InternVLChat. Модель продолжает предварительное обучение на обширном корпусе для улучшения работы с традиционным китайским языком и культурным контекстом; визуальный энкодер и связующий модуль добавляют обработку изображений. Предусмотрены диалоговое следование инструкциям и вызов функций через шаблоны запросов и дополнительное обучение на данных вызова функций. Модель подходит для диалогов и инструкций на китайском и английском языках, вопросов по изображениям и сценариев, где языковая модель должна вызывать инструменты. Для использования заявлены веса в формате safetensors и библиотека Transformers версии 4.47.0. Указана лицензия Llama 3.2 Community License; применяются её условия.

bigscience/mt0-large — мультиязычная модель семейства mT0, разработанная BigScience. Это дообученная на смеси задач xP3 модель mT5-large с архитектурой MT5ForConditionalGeneration и примерно 608,4 млн параметров; она принимает текст и генерирует текстовый ответ. Модель предназначена для выполнения инструкций на естественном языке и переноса на незнакомые задачи в режиме zero-shot, в том числе для перевода, ответов на вопросы, классификации тональности и создания текстов. Модель обучалась на данных mC4 и xP3 и поддерживает широкий набор языков; карточка перечисляет 21 язык, включая английский, французский, немецкий, испанский, арабский, китайский японский и хинди, а также приводит языковые теги для дополнительных языков. Доступны веса PyTorch, Safetensors и ONNX. Лицензия — Apache-2.0. Результаты зависят от формулировки запроса: инструкции стоит задавать явно, обозначая границу входного текста и желаемый язык ответа. Как генеративная модель, она может выдавать неточные ответы; качество на конкретном языке или задаче может различаться.

dealignai подготовила модель Qwen3.6-27B-JANG_4M-CRACK на базе Qwen/Qwen3.6-27B. Это плотная мультимодальная модель на 27 млрд параметров с гибридной архитектурой линейного и полного внимания, предназначенная для диалога, рассуждений, работы с инструментами, изображениями и видео. Модель поддерживает английский и китайский языки, а режим рассуждений можно включать или отключать через шаблон чата. Веса обработаны методом CRACK, который, согласно карточке, удаляет усвоенные шаблоны отказа, и квантованы в формате JANG v2 с профилем 4M: слои внимания используют 8-битную точность, а MLP- и SSM-слои — 4-битную; средняя точность указана как 4,45 бита. Размер весов составляет около 16 ГБ. Для запуска нужны Apple Silicon и не менее 24 ГБ объединённой памяти; в карточке рекомендованы vMLX или jang-tools. Лицензия — Apache-2.0. Модель рассчитана на сценарии общего ассистента, включая ответы на вопросы, анализ изображений и видео, рассуждения и вызов инструментов. Карточка приводит результаты MMLU-200 и HarmBench-320, однако это самоотчёт разработчика. Удаление отказов означает, что модель может выдавать опасный или иной чувствительный контент; квантование также может влиять на точность относительно базовой модели.

Qwen3.8-Flash-Next — квантованная версия модели Qwen3.8-Flash-Next, опубликованная пользователем cmh и предназначенная для запуска в формате GGUF через llama.cpp. Модель относится к классу image-text-to-text и поддерживает работу с текстом и изображениями при наличии совместимого мультимодального проектора. Файл модели занимает 109,80 GiB. Используется смешанная квантализация с общей точностью 5,33 BPW: embedding представлен в Q8_0, а параметры MoE-к. Квантование выполнено с применением форматов IQ и Q4 для различных экспертных слоёв; часть нормализационных и других чувствительных параметров сохранена в F32. В README приведена конфигурация с контекстом до 131 072 токенов для режима с vision, однако фактические требования зависят от версии llama.cpp и доступной памяти. Рекомендированная тестовая конфигурация включает 64 ГБ RAM, 12 ГБ VRAM и 8 логических ядер. Модель ориентирована на локальный инференс, рассуждения и мультимодальные сценарии, включая анализ изображений, при использовании файла mmproj. В рекомендованных настройках предусмотрены сохранение рассуждений и высокий уровень reasoning effort. Ключевые ограничения — очень большой размер файла, высокие требования к оперативной памяти и необходимость совместимого программного окружения; сведения о языках, точном числе параметров и результатах бенчмарков в README отсутствуют. Лицензия указана как qwen-community-1.0; применяется нестандартная лицензия, полный текст доступен в файле LICENSE.

zecanard/gemma-4-26B-A4B-it-uncensored-heretic-ara-MLX-8bit-int8-affine — конвертированная в формат MLX версия модели trohrbaugh/gemma-4-26B-A4B-it-heretic-ara. Модель предназначена для мультимодальных задач, связанных с обработкой текста и изображений, включая генерацию ответов по текстовым запросам и анализ изображений. В карточке указаны английский язык и библиотека MLX; дополнительные сведения о разработчике базовой модели, языковой поддержке и полном наборе возможностей отсылаются к исходной карточке модели и здесь не приведены. Это vision-language model с эффективными 9,163 битами на параметр, подвергнутая 8-битному аффинному квантованию с размером группы 32. Версия создана с использованием mlx-vlm 0.6.3 и рассчитана на запуск в экосистеме MLX. В шаблон чата добавлены исправление вызова инструментов, учет текущей даты и включенное по умолчанию рассуждение, если оно поддерживается моделью. Для корректной обработки рассуждений может потребоваться настройка распознавания секции thought. Сильными сторонами модели являются поддержка входных изображений, квантованный формат для эффективного локального запуска и исправление, связанное с вызовом инструментов. Ограничения включают зависимость от MLX и mlx-vlm, а также отсутствие в предоставленной карточке точных сведений о контекстном окне, полном размере архитектуры, фактическом наборе языков и результатах тестирования. Модель распространяется по лицензии Apache-2.0 с учетом условий лицензии Gemma.

OrionLLM GRM-3.2-Cliff-GGUF — квантованная версия модели GRM-3.2-Cliff, разработанной OrionLLM и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель содержит около 9 млрд параметров и предназначена для локального запуска в приложениях, совместимых с llama.cpp. Модель поддерживает обработку текста и изображений при использовании дополнительного файла mmproj, поэтому может применяться для мультимодального анализа, ответов на вопросы по изображениям и обычных текстовых задач. Для работы предусмотрен специальный prompt format с ролями system, user и assistant; поддержка MTP отсутствует. Доступны варианты квантования от BF16 и Q8_0 до более компактных IQ3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемым компромиссом заявлен вариант Q4_K_M размером около 5,91 ГБ. Сильными сторонами являются мультимодальный ввод, широкий выбор квантований и возможность локального использования. К ограничениям относятся зависимость обработки изображений от файла mmproj, отсутствие сведений о языках, размере контекста и конкретной архитектуре, а также возможное снижение качества в компактных вариантах квантования. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-397B-A17B-MLX-4bit — это 4-битная квантованная версия модели Qwen3.5-397B-A17B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на компьютерах Apple Silicon. В карточке она обозначена как image-text-to-text, поэтому предназначена для задач преобразования изображений и текста в текстовый ответ. Модель имеет размер 397B-A17B, использует формат 4-bit и рассчитана на локальное выполнение в экосистеме MLX. Ключевые характеристики, включая поддерживаемые языки, размер контекстного окна и точные возможности мультимодального ввода, в README не указаны. Квантование снижает требования к памяти и делает запуск более доступным на совместимом оборудовании, но может сопровождаться потерей точности по сравнению с исходной моделью; также оптимизация ориентирована именно на Apple Silicon. Лицензия — Apache-2.0.