I.4Обработка документов и форм

Dingdust/Qwen3.8-27B-heretic — производная от Qwen3.8-27B версия, созданная методом abliteration: в README приведены параметры изменения весов и сравнение частоты отказов с исходной моделью. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, совместимая с Transformers и рассчитанная на диалог с текстом и изображениями. Семейство поддерживает также понимание видео; карточка этой версии описывает её как vision-language модель. Модель предназначена для диалога, анализа изображений и видео, а также сложных многошаговых задач, включая программирование, исследования и работу с документами. Архитектура основана на Qwen3.5 и сочетает Gated DeltaNet и Gated Attention; базовая модель имеет контекст 262 144 токена с расширением до 1 000 000. README сообщает, что режим рассуждений включён по умолчанию и может настраиваться. В сравнении с исходной моделью в карточке указано меньше отказов: 10 из 100 против 89 из 100; это указывает на ослабление отказного поведения, но не гарантирует конкретные ответы. Для производных весов модели отдельные оценки качества не приведены. Репозиторий распространяется по лицензии Apache-2.0.

Velvet-14B — языковая модель Almawave, разработанная командой Technology and Innovation. Это текстовая instruct-модель с диалоговыми возможностями, предназначенная для интеграции в приложения и AI-системы. Модель предварительно обучена на более чем 4 трлн токенов из общедоступных источников и дообучена на инструкциях, включая более 2 млн примеров для SFT и свыше 50 тыс. примеров по безопасности. Модель принимает и генерирует текст. Она подходит для генерации и завершения текста, суммаризации, извлечения информации, классификации, ответов на вопросы, перевода, перефразирования, задач естественного языкового вывода и многоходового диалога. Поддерживаемые языки — итальянский, английский, немецкий, испанский, французский и португальский. Для ответов, требующих фактической точности, разработчик рекомендует использовать внешние источники, например RAG. Модель распространяется по лицензии Apache 2.0. Она может выдавать неточные, неполные или повторяющиеся ответы, а также воспроизводить токсичный язык и социальные предубеждения; разработчикам следует проверять результаты и настраивать меры безопасности под свой сценарий использования.

unsloth/gemma-3-12b-it-GGUF — это GGUF-версия инструкционно дообученной модели Google Gemma 3 12B, опубликованная Unsloth. Модель создана Google DeepMind и относится к семейству компактных открытых моделей, разработанных на основе технологий Gemini. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Она мультимодальная: принимает текст и изображения, но генерирует текст. Для версии 12B заявлено контекстное окно до 128 000 токенов, максимальный объём генерируемого ответа — до 8192 токенов. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Gemma 3 поддерживает более 140 языков, однако для данной карточки явно указан английский язык. Сильными сторонами модели являются сочетание относительно компактного размера, мультимодальности, большого контекстного окна и пригодности для локального развёртывания на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре. Ограничения включают зависимость качества от выбранного GGUF-квантизованного варианта и аппаратных ресурсов, а также возможное снижение точности по сравнению с более крупными моделями; конкретные параметры квантизации в README не указаны. Модель распространяется по лицензии Gemma; условия использования определяются официальными Terms of Use Google.

Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

MiniMax-M3-MXFP8 — квантованная в формате MXFP8 версия нативной мультимодальной модели MiniMax-M3, разработанная компанией MiniMax AI. Модель предназначена для работы с текстом, изображениями и видео, а также для агентских сценариев, программирования и задач, требующих длительного взаимодействия с контекстом. Поддерживается контекст до 1 миллиона токенов. Модель использует разреженное внимание MiniMax Sparse Attention (MSA), уменьшающее вычислительные затраты и объём памяти по сравнению с GQA при сохранении качества. Общий размер составляет около 428 млрд параметров, из которых активируется примерно 23 млрд, что указывает на разреженную MoE-архитектуру. Доступны режимы рассуждений enabled, adaptive и disabled: они позволяют выбирать между постоянным рассуждением, его автоматическим включением при необходимости и минимизацией задержки. К сильным сторонам относятся нативное объединение текстовой, визуальной и видеомодальностей, эффективная работа с миллионным контекстом, а также ориентация на сложные агентские и кодировочные задачи. Ограничения связаны с очень большим общим размером модели и соответствующими требованиями к инфраструктуре; конкретные поддерживаемые языки и подробные аппаратные требования в README не указаны. Модель распространяется по лицензии MiniMax Community License, обозначенной как license: other.

Rioky/Mistral-Small-4-119B-2603-heretic-i1-gguf — набор GGUF-квантизаций модели Mistral Small 4 119B 2603 Heretic. Базовая модель разработана Mistral AI, а версия Heretic опубликована darkc0de; данный набор подготовлен Rioky. Модель предназначена для генерации текста, мультимодального анализа изображений и текста, агентских сценариев, вызова функций с JSON-выводом и задач, требующих длинного контекста. Заявлена поддержка режимов быстрого ответа и рассуждений с дополнительными вычислениями во время вывода. Модель использует архитектуру Mistral4 с разреженной Mixture-of-Experts и MLA-вниманием: всего 119 млрд параметров, из которых активируются 6,5 млрд на токен; доступны 128 экспертов, 4 из них активируются для каждого токена. Контекстное окно составляет до 256 тысяч токенов. Поддерживаются текстовый и графический ввод с текстовым выводом. Указана многоязычность, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, корейский, арабский и другие языки. К сильным сторонам относятся большой контекст, мультимодальность, функции для агентских приложений, системные инструкции и несколько вариантов квантизации с importance matrix, которая призвана лучше сохранять качество на низких битностях. Ограничения включают значительные требования к памяти: размер файлов варьируется примерно от 29 до 91 ГиБ, а качество и скорость зависят от выбранного варианта. Показатель отказов Heretic-версии в README составляет 27 из 100 против 98 из 100 у исходной модели, однако независимые оценки качества не приведены. Распространение заявлено по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование.

cafepm/Muse-Glimmer-30B-Q3Q4-GGUF — квантованная GGUF-сборка мультимодальной модели Muse Glimmer, подготовленная исследовательской командой TNT.Chat в рамках проекта LOCAL AI. В основе — meta-models/Muse-Glimmer-30B; исходная архитектура представляет собой плотный каузальный трансформер с энкодером восприятия и примерно 29,6 млрд параметров. В этой сборке около 20% весов хранятся в 4-битном формате Q4_K, остальные — в 3-битном Q3_K, чтобы уменьшить размер модели и требования к памяти. Репозиторий также содержит mmproj в формате BF16. Модель предназначена для локальных агентных сценариев: многошагового планирования, вызова инструментов, программирования и анализа изображений, включая скриншоты, графики и документы. Она принимает текст и изображения и генерирует текст; аудио не поддерживается. В README указано, что тестирование проводилось на внутреннем наборе из 51 вопроса, поэтому приведённые оценки не заменяют проверку на задачах конкретного применения. Возможны неточные, предвзятые или нежелательные ответы; для внедрения рекомендованы дополнительные защитные механизмы. Лицензия — Apache 2.0.

unsloth/Qwen3.5-4B-GGUF — компактная мультимодальная модель семейства Qwen3.5, разработанная командой Qwen и подготовленная в формате GGUF компанией Unsloth. Она предназначена для локального запуска, а также для задач, связанных с обработкой текста и изображений: рассуждений, программирования, визуального понимания и агентских сценариев. Модель поддерживает 201 язык и диалект. Это каузальная языковая модель с vision-энкодером и гибридной архитектурой, объединяющей Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Указанные характеристики делают её ориентированной на эффективный инференс с относительно низкими требованиями к ресурсам, однако фактическая скорость и доступный контекст зависят от используемого движка и оборудования. Сильные стороны модели — сочетание текстовых и визуальных возможностей, широкий языковой охват, длинный контекст и пригодность для локального развертывания и дообучения с помощью Unsloth. Ограничения, включая качество на конкретных языках, типах изображений и прикладных задачах, в README подробно не описаны и требуют самостоятельного тестирования. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-3-4b-it-unsloth-bnb-4bit — 4B-параметричная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind и представленная в 4-битном формате BNB благодаря Unsloth. Модель основана на google/gemma-3-4b-it и предназначена для запуска и дообучения с использованием библиотеки Transformers, в том числе на устройствах с ограниченными ресурсами. Модель поддерживает мультимодальный ввод: текст и изображения, при этом генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Заявлены контекст до 128K токенов для версии 4B и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, однако в метаданных этой конкретной карточки явно указан английский язык. Ключевое преимущество — уменьшенный размер и 4-битное квантование, упрощающие локальное развертывание и снижающие требования к памяти; Unsloth также заявляет о selectively quantized Dynamic Quants с улучшенной точностью по сравнению со стандартным 4-битным квантованием. Ограничения включают возможные потери качества из-за квантования, а также отсутствие в представленном README подробных данных о точной архитектуре, показателях качества и поддерживаемом наборе языков именно для этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Карточка модели RichardHuu/gemma-4-12B-it-assistant на Hugging Face совпадает с карточкой google/gemma-4-12B-it-assistant, поэтому описание составлено по ней. Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

ciocan/gemma-4-E4B-it-W4A16 — GPTQ-квантизированная 4-битная версия модели google/gemma-4-E4B-it, подготовленная с использованием auto-round в режиме RTN. Модель имеет 8 млрд параметров, из которых 4 млрд являются эффективными благодаря архитектуре PLE. Она предназначена для запуска и обслуживания через vLLM, включая использование OpenAI-совместимого API и вызов инструментов. Модель поддерживает текст, изображения, аудио и видео. Нативная длина контекста составляет 128K токенов, однако для видеокарт с 12 ГБ VRAM рекомендуется ограничивать её 8K токенами, а при нехватке памяти — 4K. Квантованию подвергнут только языковой модуль; vision- и audio-компоненты сохранены в полной точности BF16. Размер памяти при загрузке составляет около 9,65 GiB, что позволяет использовать модель на видеокартах уровня RTX 3080 Ti или RTX 4070 с 12 ГБ VRAM. К сильным сторонам относятся поддержка нескольких модальностей, совместимость с vLLM и OpenAI-совместимым интерфейсом, а также сниженные требования к видеопамяти. Ограничения связаны с необходимостью использовать vLLM и специфический GPTQ-совместимый формат: AutoAWQ и llm-compressor для этой архитектуры не поддерживаются. Модель распространяется по лицензии Apache 2.0.

Granite-4.0-H-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и продолжения кода. Это decoder-only плотная архитектура на 2,6 млрд параметров с компонентами GQA, Mamba2, SwiGLU и RMSNorm. Модель обучена с нуля на смеси открытых и проприетарных данных; контекст составляет до 131 072 токенов. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, генерацию текста с длинным контекстом и дополнение кода, включая Fill-in-the-Middle. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Это базовая модель без safety alignment, поэтому ответы могут содержать предвзятость, недостоверные сведения или проблемный контент; также отмечен риск дословного воспроизведения данных обучения. Лицензия Apache 2.0.

Muse-Glimmer-30B-ExecuTorch-PTE — вариант мультимодальной модели Muse Glimmer от Meta, подготовленный для запуска в формате ExecuTorch PTE. Это дообученная модель с плотным причинным трансформером и отдельным энкодером восприятия, примерно на 29,6 млрд параметров. Она принимает текст и изображения, поддерживает диалог и предназначена для агентных сценариев: многошагового планирования, вызова инструментов, восстановления после ошибок, программирования и анализа скриншотов, графиков и документов. В README заявлена поддержка более 100 языков и управление интенсивностью рассуждений. Модель рассчитана на локальных ИИ-агентов, кодинг-агентов, генерацию синтетических данных и оценку ответов других моделей. Репозиторий лицензирован по Apache 2.0. В данной серверной реализации доступны только текст и одно изображение JPEG или PNG на запрос; видео и аудио не поддерживаются. Сервер обрабатывает запросы последовательно, без пакетной параллельной обработки, а состояние сессий не сохраняется между перезапусками. Ответы могут быть неточными, предвзятыми или нежелательными; для практического развертывания авторы рекомендуют дополнительные защитные механизмы.

coder3101/Muse-Glimmer-30B-heretic-v2 — производная версия Muse Glimmer-30B от Meta Superintelligence Lab, изменённая методом abliteration для снижения частоты отказов. Это плотная причинная трансформерная модель с энкодером восприятия, примерно на 29,6 млрд параметров; она принимает текст и изображения и предназначена для диалогов, мультимодального анализа и агентных сценариев. Модель рассчитана на локальный запуск и поддерживает вызов инструментов, многошаговое планирование и восстановление после ошибок. Её можно применять для анализа скриншотов, диаграмм и документов, программирования, вызова функций и оценки ответов других моделей. В сравнении с исходной моделью в карточке указано 14 отказов из 100 против 58 из 100; это отражает снижение отказов, но не гарантирует точность или безопасность ответов. Карточка отдельно предупреждает о возможных ошибках в рассуждениях, смещённых или нежелательных ответах и ухудшении качества на недостаточно проверенных языках. Аудио не поддерживается, видео специально не оптимизировано. Лицензия — Apache 2.0.

FastFlowLM/Qwen3.5-9B-NPU2 — мультимодальная каузальная языковая модель с vision encoder, основанная на Qwen/Qwen3.5-9B. Модель предназначена для обработки текста и изображений, включая задачи рассуждения, программирования, работы с агентами и визуального понимания. Она поставляется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Модель содержит 9 млрд параметров, 32 слоя и использует гибридную архитектуру Gated Delta Networks со sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта, однако подробные сведения о распределении качества между языками в README не приведены. Сильными сторонами являются мультимодальность, длинный контекст, высокая эффективность архитектуры и ориентация на производительный инференс с низкой задержкой. Ограничения, требования к аппаратному обеспечению и характеристики варианта NPU2 отдельно не описаны; приведённые результаты тестов относятся к базовой Qwen3.5-9B и не обязательно отражают поведение FastFlowLM/Qwen3.5-9B-NPU2. Модель распространяется по лицензии Apache-2.0.

webhie/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Alibaba/Qwen. Квантизация выполнена с помощью Intel AutoRound по пресету auto-round-best, оптимизированному для сохранения максимальной точности при INT4. Модель предназначена для генерации текста, диалоговых сценариев, программирования, работы с изображениями и задач, поддерживающих vision-ввод. README не содержит сведений о языках модели, но указывает pipeline image-text-to-text и библиотеку Transformers. Используется схема W4A16: веса представлены в 4-битном формате, активации — в FP16; group size равен 128, квантизация симметричная. Базовая модель имеет 27 млрд параметров, а размер квантизированной версии составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Веса vision-энкодера MoonViT сохраняются в исходной точности BF16/FP16. Сохранённая MTP-голова Multi-Token Prediction поддерживает speculative decoding в vLLM; заявлены принятие черновых токенов на уровне около 85–90% и примерно двукратное ускорение генерации, однако эти показатели измерены на RTX 5090 и зависят от конфигурации. К сильным сторонам относятся уменьшенное примерно втрое потребление памяти, поддержка изображений без дополнительной обработки, совместимость с vLLM и сохранение MTP для ускоренной генерации. Ограничения включают необходимость совместимой версии vLLM для MTP, наличие специальных требований к окружению и зависимость производительности от оборудования. Модель распространяется по лицензии Apache-2.0.

btbtyler09/Qwen3.8-27B-GPTQ-8bit — квантизированная 8-битная версия мультимодальной модели Qwen/Qwen3.8-27B. Модель разработана на базе семейства Qwen и распространяется пользователем btbtyler09. Она предназначена для обработки текста и изображений, генерации ответов, анализа изображений, программирования и других задач общего назначения, а также поддерживает speculative decoding через модуль MTP. Модель имеет плотную архитектуру примерно на 27 млрд параметров без MoE, 64 слоя, включая 48 слоёв линейного внимания и 16 слоёв полного внимания, скрытый размер 5120 и контекст до 262 144 токенов. Полный vision encoder на базе ViT и MTP-модуль сохранены в формате BF16, а основные квантизируемые линейные слои текстового декодера переведены в INT8 с использованием GPTQ. Размер модели составляет около 31 ГБ против примерно 56 ГБ у исходной BF16-версии. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Ключевое преимущество — существенно меньшее потребление дискового пространства и видеопамяти при заявленной практически неизменной perplexity относительно BF16-оригинала. Модель рассчитана на развёртывание через vLLM и загрузку с помощью GPTQModel или transformers. Ограничения включают высокие требования к ресурсам, необходимость совместимого программного окружения и возможную проблему конфигурации в некоторых версиях vLLM, для которой в README приведён обходной патч. Модель распространяется по лицензии Apache-2.0.

Velvet-2B — языковая модель Almawave, разработанная командой Technology and Innovation. Она принимает и генерирует текст и предназначена для интеграции в приложения и системы на базе ИИ. Модель обучена на английском и итальянском языках; для диалога доступна в формате chat. Её можно запускать с Transformers, vLLM и Ollama. Модель предварительно обучена почти на 3 трлн токенов из общедоступных источников, а затем дообучена на наборах инструкций и более чем миллионе размеченных и синтетических примеров. Она поддерживает генерацию и продолжение текста, суммаризацию, извлечение информации, перефразирование, классификацию, машинный перевод, ответы на вопросы, рассуждение и сценарии RAG. Лицензия — Apache 2.0. Ответы могут быть неточными, неполными или избыточными, а данные обучения могут приводить к воспроизведению токсичных формулировок и социальных предубеждений. Для фактических ответов рекомендуется использовать внешние источники, например RAG, а для приложений — проверять результаты и применять подходящие меры безопасности.

pszemraj/granite-4.0-h-7b-heretic — производная диалоговая модель на основе IBM Granite 4.0 H Tiny. В метаданных указаны архитектура GraniteMoeHybridForCausalLM (гибридная MoE), 500,2 млн параметров, контекст до 131 072 токенов и формат Safetensors; README описывает абляцию, направленную на снижение отказов отвечать. По приведённому сравнению доля отказов составляет 6 из 100 против 98 из 100 у базовой модели, а KL-дивергенция — 0,03. Модель предназначена для генерации диалоговых ответов и может использоваться для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного общения. Наследует возможности Granite по следованию инструкциям и вызову инструментов, однако результаты приведены для ограниченного набора проб и сами по себе не подтверждают качество на других задачах. В карточке указаны английский как язык модели; README базовой модели перечисляет также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский, но не устанавливает их поддержку именно этой производной модели. Лицензия — Apache 2.0. Как и базовая модель, она может выдавать неточные, предвзятые или небезопасные ответы; снижение числа отказов требует тщательной проверки применения.

FadedRedStar/Qwen3.5-4B-heretic-GGUF — это квантованные GGUF-веса мультимодальной модели Qwen3.5-4B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантованием занимался FadedRedStar. Модель основана на плотном трансформере Qwen3.5 с примерно 4 млрд параметров, встроенным vision-энкодером раннего слияния и поддержкой текстовых и графических входов. Заявлены контекстное окно до 262 144 токенов с возможностью расширения примерно до 1 млн токенов, поддержка 201 языка и диалекта, формата запросов ChatML и вызова инструментов. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, работы с инструментами и агентских сценариев. Репозиторий содержит варианты Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы и файлы для speculative decoding; запуск мультимодального режима предполагает использование mmproj-файла, например через llama.cpp. Вариант Q4_K_M ориентирован на баланс размера и качества, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при большем потреблении памяти. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, выполненную автором исходной heretic-модели coder3101. Это снижает частоту отказов, однако заявленные метрики являются самотчётными и не подтверждены независимым тестированием; после такой модификации поведение и безопасность модели могут отличаться от оригинальной Qwen3.5-4B. Для 4- и 5-битных вариантов рекомендуется importance-matrix-калибровка, тогда как данный репозиторий особенно ориентирован на почти без потерь Q8_0. Модель распространяется по лицензии Apache-2.0.

Step-3.7-Flash-GGUF — набор GGUF-квантизаций модели Step-3.7-Flash, разработанной StepFun-ai. Это мультимодальная vision-language модель для понимания изображений и работы с текстом, ориентированная на агентные сценарии, включая вызов инструментов, многошаговое рассуждение, программирование и математические задачи. Модель поддерживает входные изображения через отдельный файл проектора mmproj и может запускаться с помощью llama.cpp. Исходная модель содержит около 198 млрд параметров и использует разреженную архитектуру Mixture-of-Experts, активируя примерно 11 млрд параметров на токен. Она включает языковую часть на 196 млрд параметров и vision-энкодер на 1,8 млрд параметров, поддерживает контекст до 256K токенов и три уровня рассуждения: low, medium и high. Заявлена поддержка английского, китайского, японского, корейского, арабского, хинди, немецкого, французского, испанского и русского языков. В набор входят варианты от BF16 до агрессивных IQ3_XXS и Q3-квантизаций размером примерно от 76 до 394 ГБ; отдельный vision-проектор F16 занимает около 4 ГБ. К сильным сторонам относятся мультимодальность, большой контекст, поддержка рассуждений и инструментального взаимодействия, а также возможность локального и приватного запуска. К ограничениям относятся очень высокие требования к памяти и зависимость качества от выбранного уровня квантизации: компактные варианты могут давать заметную потерю качества. Для работы с изображениями необходим отдельный mmproj-файл. Модель распространяется по лицензии Apache-2.0.

WhiskyAKM/Gemma-4-12B-it-qat-NVFP4-GGUF — сборка Gemma 4 12B IT от Google DeepMind, подготовленная WhiskyAKM в формате GGUF для llama.cpp и других совместимых движков. В репозитории есть варианты NVFP4 и BF16; NVFP4 уменьшает требования к памяти, а ускорение инференса на NVIDIA Blackwell зависит от совместимого оборудования и движка. Модель содержит 12 млрд параметров и мультимодальную архитектуру Gemma4ForConditionalGeneration. Модель предназначена для диалога и понимания текста, изображений и аудио с генерацией текстовых ответов; также заявлены работа с видео, многоязычность более чем на 140 языках, контекст до 256 тысяч токенов и поддержка вызова инструментов. Для обработки изображений и аудио требуется подключить файл проектора mmproj.gguf. Лицензия — Apache 2.0.

Gemma-4-31B-it 4-bit W4A16 AWQ — это квантизированная версия мультимодальной instruction-tuned модели Google Gemma-4-31B-it, опубликованная ebircak. Модель предназначена для генерации текста, диалоговых приложений, программирования, вызова инструментов и обработки задач, требующих работы с текстом и изображениями. Она оптимизирована для развертывания через vLLM. Модель использует архитектуру Gemma4ForConditionalGeneration с 60 декодерными слоями и размером скрытого представления 5376. Текстовый декодер квантизирован до 4-битных асимметричных весов W4A16 с активациями FP16 или BF16, размером группы 128 и форматом compressed-tensors. Vision tower на базе SigLIP и мультимодальный проектор сохранены в BF16 и не квантизированы. Заявлено контекстное окно до 262 тысяч токенов, при этом работа с контекстом 128 тысяч токенов подтверждена. Поддерживаемые языки в README не указаны. Ключевые преимущества — существенно сниженные требования к памяти по сравнению с полноразмерной моделью, сохранение мультимодальных компонентов и поддержка длинного контекста. Для работы рекомендуется vLLM с параметром --quantization compressed-tensors; указание режима awq несовместимо с используемой схемой сериализации. Для коротких контекстов требуется около 24 ГБ VRAM, для 128K токенов — около 48 ГБ, а для производственного использования с длинным контекстом рекомендуется 48 ГБ и более. Ограничения включают зависимость от совместимых сборок vLLM и GPU, а также отсутствие в README данных о качестве, бенчмарках и влиянии квантизации на точность. Модель распространяется по лицензии Apache-2.0.

MiniMax-Text-01 — большая языковая модель компании MiniMax для диалогов и генерации текста. В README указаны 456 млрд параметров, из которых на каждом токене активируются 45,9 млрд; архитектура сочетает Lightning Attention, Softmax Attention и смесь экспертов MoE с 32 экспертами и маршрутизацией Top-2. Метаданные каталога при этом указывают 21,6 млрд параметров, поэтому размер модели в источниках расходится. Модель предназначена для диалоговых приложений, задач генерации текста и работы с длинными контекстами. README сообщает о контексте до 1 млн токенов при обучении и до 4 млн при инференсе, тогда как метаданные указывают нативное окно в 10 240 000 токенов. Поддерживаются вызов функций со структурированными JSON-параметрами и интеграция с форматом OpenAI-compatible; заявлены результаты на академических тестах и бенчмарках длинного контекста. README рекомендует vLLM для развёртывания и описывает доступ к модели через онлайн API и чат-бот. Условия лицензирования в предоставленных данных не указаны. Языки модели также не установлены по доступным сведениям.

QuantTrio/Qwen3.5-27B-AWQ — это квантизированная версия мультимодальной модели Qwen3.5-27B, разработанная на основе базовой модели Qwen/Qwen3.5-27B. Репозиторий содержит веса в формате Hugging Face Transformers и использует data-free квантизацию AWQ, для которой не требуется калибровочный набор данных. Модель предназначена для генерации текста и обработки изображений вместе с текстом, включая задачи рассуждения, программирования, визуального понимания и создания агентных приложений. Модель имеет архитектуру causal language model с vision encoder, около 27 млрд параметров, 64 слоя и гибридную структуру из Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для запуска рекомендуются vLLM и совместимые инструменты, однако README указывает на необходимость актуальных экспериментальных версий зависимостей, CUDA 12.8 и настройки с двумя GPU. Сильными сторонами являются мультимодальность, большой контекст, широкое языковое покрытие и оптимизация AWQ для более эффективного использования памяти. Ограничения включают существенные аппаратные требования, зависимость от экспериментальных версий программного обеспечения и необходимость включения remote code. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная версия модели Qwen3.6-35B-A3B, переобработанная и опубликованная HauhauCS. Это MoE-модель для генерации и понимания текста, изображений и видео, предназначенная для общего общения, рассуждений, программирования, анализа визуального контента и других задач, где требуется модель без встроенных отказов. По данным README, модель полностью сохраняет заявленные возможности исходной модели, но ориентирована на максимально свободную генерацию; иногда она может добавлять короткие оговорки, не являющиеся отказом. Модель содержит 35 млрд параметров, из которых около 3 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 экспертов выбираются для каждого токена, 40 слоёв и гибридное сочетание linear attention и full softmax attention в соотношении 3:1. Заявлен нативный контекст 262 тыс. токенов. Поддерживаются текст, изображения и видео; указаны английский, китайский и другие языки. Распространяется в формате GGUF с вариантами квантования от Q2 до Q8, включая оптимизированные HauhauCS K_P-кванты; для визуального ввода требуется отдельный файл mmproj. Сильными сторонами являются мультимодальность, большой контекст, MoE-эффективность по числу активных параметров, широкий выбор квантований и отсутствие встроенных отказов, что подходит для сценариев, где нужна максимально неограниченная генерация. Ограничения включают потенциально менее безопасное поведение, необходимость достаточных вычислительных ресурсов для крупных квантов и зависимость мультимодального режима от дополнительного mmproj-файла. Модель распространяется по лицензии Apache-2.0.

AtomicChat/gemma-4-12B-it-GGUF — это квантизированная в формат GGUF версия мультимодальной модели google/gemma-4-12b-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также сценарии, требующие развитого рассуждения; для изображений в репозитории предусмотрен vision-проектор mmproj. Модель содержит около 11,95 млрд параметров и 48 слоёв. Это плотный decoder с гибридным вниманием: скользящее окно на 1024 токена сочетается с глобальным вниманием. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи; архитектура использует 16 attention heads и 8 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая IQ3_M и IQ4_XS с importance matrix. Q4_K_M указан как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность ценой требований к памяти. К преимуществам относятся мультимодальность, большой контекст, возможность локального запуска и квантизация с importance matrix, снижающая потери качества в низкобитных вариантах. Ограничения связаны с зависимостью качества и скорости от выбранного варианта квантизации и доступной RAM или VRAM; для корректного применения шаблона чата требуется режим --jinja, а для изображений — vision-проектор и совместимый интерфейс. Результаты в README относятся к базовой модели Google и не являются собственными измерениями Atomic Chat. Лицензия — Apache 2.0.

Kimi K2.5 — открытая мультимодальная модель от Moonshot AI, построенная продолжением предварительного обучения примерно на 15 триллионах визуальных и текстовых токенов на базе Kimi-K2-Base. Она сочетает понимание изображений и текста с диалоговыми и агентными возможностями, поддерживает режимы instant и thinking и может разбивать сложные задачи на параллельные подзадачи для специализированных агентов. Модель предназначена для визуальных вопросов и рассуждений, генерации кода по визуальным спецификациям, а также выполнения многошаговых задач с инструментами, например поиском в интернете и интерпретатором кода. Архитектура — смесь экспертов (MoE), всего около 1 трлн параметров, из которых активируются 32 млрд; в README для оценки указан контекст 256 тысяч токенов. Репозиторий использует safetensors и содержит нативную INT4-квантизацию. Модель принимает текст и изображения и генерирует текст. README описывает мультимодальное обучение, но не перечисляет поддерживаемые естественные языки. Лицензия указана как other, поэтому конкретные условия использования следует проверять на странице модели. Качество зависит от задачи и доступных инструментов; сложные агентные сценарии требуют подходящей инфраструктуры выполнения инструментов.

TeichAI/Qwen3.5-27B-Claude-Opus-4.6-Distill — плотная мультимодальная модель семейства Qwen3.5 с 27 млрд параметров, дообученная TeichAI на базе unsloth/Qwen3.5-27B. В README указаны датасет crownelius/Opus-4.6-Reasoning-2100x-formatted и личные данные Claude от EclipseMist; также отмечено, что LoRA предоставил EclipseMist. Модель предназначена для программирования, творческого письма, общего диалога и понимания изображений. Модель принимает текст и изображения и выдаёт текст; карточка также приводит рекомендации для работы с видео. Среди опубликованных проверок — ARC Challenge, GPQA Diamond, HellaSwag и отдельные разделы MMLU; результаты на ARC Challenge и HellaSwag выше, чем у указанной базовой модели, а на GPQA Diamond совпадают. Репозиторий содержит веса safetensors и опубликован под лицензией Apache-2.0. Метаданные относят модель к задачам image-text-to-text и указывают возможности чата и работы с изображениями.

Карточка модели RatanK/23B0059-Week05-Track1-40-Submission01 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.