I.4Обработка документов и форм

Granite-4.0-1B-Base — компактная базовая языковая модель IBM Granite Team для генерации текста в условиях ограниченных вычислительных ресурсов, включая мобильные устройства и IoT. Это декодерный плотный трансформер на 1,6 млрд параметров с архитектурой GraniteMoeHybrid, GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель обучена с нуля на смеси открытых и проприетарных данных; контекст — до 131 072 токенов. Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Также поддерживает заполнение пропусков в коде по префиксу и суффиксу (FIM). Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода; её также можно использовать как основу для дообучения под конкретные задачи. Небольшой размер рассчитан на быстрое выполнение и локальное использование, в том числе с сохранением данных на устройстве. Модель не прошла выравнивание безопасности и может выдавать предвзятые, неверные или проблематичные ответы, а также воспроизводить фрагменты обучающих данных. Распространяется по лицензии Apache 2.0.

Inkbot — разговорная языковая модель, разработанная автором репозитория Tostino и основанная на плотной архитектуре Llama. Она предназначена для генерации ответов по структурированным запросам, с дополнительным контекстом или без него. Модель насчитывает 12,9 млрд параметров, использует формат PyTorch и имеет нативное окно контекста 4096 токенов. В карточке описана настройка позиционных эмбеддингов для работы с контекстом до 8k токенов. Inkbot подходит для RAG-сценариев и ответов по предоставленному контексту, редактирования и упрощения текста, суммаризации, перефразирования, создания текстов и извлечения знаний в виде графа. Структурированный шаблон запроса принимает дату, задачу, системную инструкцию и контекст пользователя; модель рассчитана на более функциональные и лаконичные ответы. Для лучших результатов требуется соблюдать шаблон и ясно задавать контекст. На сложных задачах возможны зацикливание генерации, бесконечное добавление узлов графа знаний и потеря влияния пользовательского контекста через один-два запроса. Указана лицензия Llama 2.

Qwen3.5 Plus (April 2026) — крупная мультимодальная языковая модель Alibaba. Она принимает текст, изображения и видео и формирует текстовые ответы. Заявленное окно контекста составляет 1 млн токенов. Модель предназначена для диалогов и работы с визуальным содержимым, включая анализ изображений и видео. В доступных данных не раскрыты архитектура, число параметров, поддерживаемые языки и условия лицензии, поэтому эти характеристики не указаны.

Карточка модели nwzjk/Qwen3.6-34B-80L-Fable-5-Heretic на Hugging Face совпадает с карточкой hiebo/Qwen3.6-34B-80L-Fable-5-Heretic, поэтому описание составлено по ней. Qwen3.6-34B-80L-Fable-5-Heretic — мультимодальная модель семейства Qwen от hiebo, дообученная на основе Qwen/Qwen3.6-27B. По карточке, модель расширена с 64 до 80 слоёв и примерно 34 млрд параметров, обучена методом дистилляции на 4 665 агентных трассах Fable-5 с применением QLoRA, а затем объединена с головами MTP для спекулятивного декодирования. Архитектура — Qwen3_5ForConditionalGeneration; заявлены чередование линейного и полного внимания, чат и работа с изображениями. Модель предназначена для диалоговых сценариев с рассуждениями и использованием инструментов, а также для задач, где нужно совместно обрабатывать текст и изображения. В README указаны запуск через Transformers и vLLM и максимальная длина контекста 256K; конфигурация запуска по умолчанию задаёт 4096 токенов. Карточка заявляет ускорение генерации с MTP, но приводит показатель принятия токенов и ускорение только для vLLM. Модель опубликована в формате safetensors; README описывает BF16-веса. Лицензия в предоставленных данных не указана.

TaterTotterson/Qwen3.8-27B-GGUF-Tater-NoThink — это упаковка официальной модели Qwen3.8-27B в формате GGUF для работы с llama.cpp. Базовую модель разработала команда Qwen, а автор репозитория изменил только метаданные chat template, добавив режим Tater NoThink. Тензоры, квантизация, vision projector и MTP draft model не изменялись. Модель представляет собой плотную vision-language модель с 27 млрд параметров. Она предназначена для понимания текста, изображений и видео, поддерживает вызов инструментов, контекстное окно размером 262K токенов и Multi-Token Prediction (MTP) для speculative decoding. В комплект входят основная модель Q4_K_M, vision projector Q8_0 и MTP draft model Q8_0. Для использования мультимодальных возможностей требуется vision projector, а для speculative decoding — отдельная MTP-модель; эффективность ускорения зависит от аппаратного обеспечения, бэкенда, промпта и длины контекста. Главная особенность варианта NoThink — принудительное отключение режима рассуждений: генерация начинается с пустого блока <think></think> и сразу переходит к ответу, даже если клиент запрашивает thinking mode. Это может быть удобно для получения более прямых ответов и сокращения служебного вывода, но ограничивает использование явного режима рассуждений. Модель распространяется по лицензии Apache License 2.0.

Qwythos-27B-v1-GGUF — это GGUF-квантизированная версия модели Qwythos-27B-v1, разработанной empero-ai и подготовленной к распространению в формате GGUF пользователем mradermacher. Модель относится к семейству Qwen3.5 и ориентирована на задачи рассуждения, работы с текстом и изображениями, генерации текста по изображению и тексту, а также на мультимодальные сценарии. Заявлены поддержка английского языка, vision-возможностей, long-context с контекстом до 1M токенов, function calling, tool use и агентских приложений. Среди целевых областей также указаны кибербезопасность и биомедицина. Размер базовой модели — 27B параметров. Доступны варианты с разной степенью квантизации: от Q2_K до Q8_0, а также IQ-кванты и отдельные мультимодальные компоненты mmproj. Варианты Q4_K_S и Q4_K_M рекомендованы как быстрые, Q6_K описан как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с наилучшим качеством среди представленных. Основные ограничения связаны с использованием квантизации: качество, требования к памяти и скорость зависят от выбранного варианта, причём низкобитные варианты могут заметно уступать по качеству. README не содержит подробных результатов тестирования, точной архитектуры исходной модели или гарантии фактической поддержки всех заявленных возможностей. Лицензия модели указана как Apache-2.0.

duyntnet/gemma-3-12b-it-imatrix-GGUF — набор квантованных GGUF-вариантов инструкционно дообученной мультимодальной модели Gemma 3 12B IT, разработанной Google. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений с выдачей текстового ответа. Квантованные варианты ориентированы на локальный запуск с ограниченными ресурсами через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, LM Studio и другие. Модель принимает текст и изображения: изображения нормализуются до 896×896 пикселей и кодируются в 256 токенов каждое. Заявлены поддержка более 140 языков, контекст до 128K токенов для версии 12B и максимальный объём генерируемого текста до 8192 токенов. Использование imatrix-квантизации уменьшает требования к памяти по сравнению с полноразмерными весами, но конкретные характеристики качества и расхода ресурсов зависят от выбранного файла квантизации. Сильными сторонами являются мультимодальность, большой контекст, многоязычность и возможность локального развертывания. Ограничения включают зависимость от совместимого программного обеспечения: для запуска требуется llama.cpp версии b4875 или новее; квантование также может снижать точность по сравнению с исходной моделью. В README лицензия указана как other, без дополнительных условий, поэтому перед использованием необходимо проверить лицензионные положения исходной Gemma 3 12B IT и конкретного файла модели.

Это мультимодальная модель Gemma 4 E4B, разработанная Google DeepMind и представленная в формате GGUF. Данная версия основана на checkpoint coder3101/gemma-4-E4B-it-qat-q4_0-unquantized-heretic, прошла Quantization-Aware Training и предназначена для запуска через llama.cpp, в том числе на устройствах с ограниченными ресурсами. Модель работает с текстом, изображениями и аудио, поддерживает системные сообщения, нативный вызов функций и настраиваемый режим рассуждений. Архитектура использует гибридное внимание со скользящим окном и глобальным вниманием; модель содержит 42 слоя, размер скользящего окна составляет 512 токенов, а контекстное окно — 131 072 токена. Эффективный объём параметров заявлен на уровне 4,5 млрд при 8 млрд параметров с учётом embeddings. Основные текстовые тензоры представлены в формате Q4_0_PURE, согласованном с QAT-калибровкой; vision/audio projector доступен в вариантах Q8_0 и BF16. Для мультимодального ввода требуется отдельный projector-файл. Особенностью версии heretic является постобработка с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation, направленная на подавление отказов при сохранении рассуждений и мультимодальных возможностей. Заявленные показатели отказов являются самоотчётными и не подтверждены независимым тестированием. Использование формата ограничено Q4_0_PURE: стандартные варианты вроде Q4_K_M или Q5_K_M для этой QAT-модели не рекомендуются, поскольку могут ухудшить качество. Модель распространяется по лицензии Gemma; условия определяются официальными условиями Google Gemma.

LongChat-7B-v1.5-32k — языковая модель Large Model Systems Organization (LMSYS) для генерации текста и диалогов, рассчитанная на работу с длинными контекстами. Она основана на архитектуре LLaMA с причинно-языковой моделью LlamaForCausalLM и содержит около 6,6 млрд параметров. Конфигурация репозитория задаёт максимальную длину последовательности 32 768 токенов и масштабирование RoPE для длинного контекста. Модель подходит для диалоговых ответов, генерации текста и обработки длинных документов в одном запросе. Доступна по лицензии Apache-2.0. Метаданные каталога указывают 4096 native context tokens, тогда как конфигурация и назначение репозитория указывают расширенную длину до 32 768 токенов; фактическое качество на длинном контексте может зависеть от сценария использования.

MOTHER CORE V3 — языковая модель MediaStream AI (MSAI), разработанная MediaStream AI Limited в Великобритании. Это плотный трансформер с архитектурой MotherCoreForCausalLM и примерно 6,7 млрд параметров по метаданным (в README указано около 6,9 млрд). Контекст модели — 4096 токенов; для работы используется библиотека Transformers и пользовательский код модели через trust_remote_code. Модель предназначена для генерации текста и агентных сценариев: пошаговых рассуждений, вызова инструментов, поиска и синтеза ответов по документам с цитатами, многошаговых рабочих процессов, генерации кода и документов. В README заявлены навыки работы с математикой, научными и общими вопросами, а также вертикальными задачами в финансах, комплаенсе, страховании и управлении рисками. Упоминается обучение на английском, валлийском, ирландском и шотландском гэльском; метаданные подтверждают английский. README сообщает о результате 81 из 105 задач на внутреннем агентном бенчмарке и низкой склонности к деградации, но это оценка разработчика. Известные ограничения: маршрутизация по форматам файлов бывает неточной, арифметические ответы следует проверять, а знания модели ограничены временем обучения. Лицензия обозначена как other, без уточнения условий в предоставленных данных.

Salience-1.5-Flash — мультимодальная модель vectionlabs, представленная в виде квантованных файлов GGUF, подготовленных bartowski с использованием llama.cpp. Модель основана на vectionlabs/Salience-1.5-Flash и относится к семейству Qwen3-VL; в карточке указаны архитектура mixture-of-experts (MoE), поддержка работы с изображениями и текстом, рассуждений, программирования, агентских сценариев и использования инструментов. Заявленный язык — английский. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов, а также для диалоговых, аналитических, кодовых и инструментальных сценариев. В README не указаны точный размер модели, число экспертов, длина контекста и полный перечень поддерживаемых языков, поэтому эти характеристики нельзя определить по имеющимся данным. Доступны варианты от bf16 и Q8_0 до более компактных квантований Q3 и IQ3/IQ4; рекомендуемыми названы несколько вариантов Q4–Q6 с размером файлов примерно от 16,5 до 26,6 ГБ. К сильным сторонам относятся мультимодальность, MoE-архитектура, заявленная ориентация на рассуждения, программирование, агентское взаимодействие и работу с инструментами, а также возможность локального запуска через llama.cpp и совместимые приложения. Ограничения связаны с необходимостью выбирать подходящий уровень квантования и с отсутствием в карточке подробных результатов оценки качества, точных требований к оборудованию и спецификаций контекстного окна. Модель распространяется по лицензии Apache-2.0.

Opti-27B — сжатая мультимодальная версия Qwen3.8-27B с 27 млрд параметров. Модель поддерживает работу с текстом и изображениями: визуальный ввод обрабатывается через отдельный vision projector размером около 0,9 ГБ. В README разработчик Opti-27B явно не указан; базовой моделью названа Qwen/Qwen3.8-27B. Формат GGUF рассчитан на использование через llama.cpp и запуск на одной потребительской GPU с 16 ГБ памяти, включая место для контекста. Основное назначение модели — текстовая генерация, программирование, автономные агентные сценарии и задачи с анализом изображений. Файл модели занимает около 11,8 ГБ и использует в среднем 3,47 бита на параметр, что примерно в 4,6 раза меньше исходной 16-битной версии. На тесте wikitext-2 заявлена близкая к оригиналу perplexity: 6,487 против 6,456 у 16-битной модели; по этому показателю Opti также сопоставима с llama.cpp Q4_K_M при меньшем размере. Главное преимущество — сочетание компактности, поддержки vision и сохранения средней языковой способности при запуске на 16-ГБ GPU. Однако качество сжатия зависит от типа данных: на веб-тексте отклонение от 16-битной версии составляет около 4,2%, на исходном коде — 21,8%, а на тексте романа — 58,9%. Распределение вероятностей токенов также заметно отличается от оригинала, поэтому модель может хуже воспроизводить запомненные фрагменты и точный код; для таких задач в README рекомендуется Q4_K_M. Модель распространяется по лицензии opti-model-license, обозначенной как other; подробные условия находятся в файле LICENSE.

Qwen3.6-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной ByteShape с использованием ShapeLearn. Метод ShapeLearn выбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для локального запуска и инференса через llama.cpp или LM Studio, включая сценарии, требующие обработки текста и изображений. Модель относится к семейству с обозначением 35B-A3B; README не раскрывает точную архитектуру, размер контекста и поддерживаемые языки. Доступны варианты, оптимизированные для GPU и CPU: GPU-версии используют IQ-квантизацию, а CPU-версии — преимущественно KQ-квантизацию. Размер файлов составляет примерно от 9,42 до 18 ГБ для GPU-вариантов и от 11,7 до 14,7 ГБ для указанных CPU-вариантов, при диапазоне 2,17–4,15 бит на вес. Сильными сторонами являются поддержка vision-сценариев, возможность локального запуска на различном оборудовании и выбор между качеством, размером и скоростью инференса. Ограничения включают зависимость производительности от конкретного варианта и оборудования, а также отсутствие поддержки этой GGUF-модели в Ollama на момент публикации README. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OBLITERATED-OptiQ-4bit — мультимодальная vision-language модель семейства Qwen3.8, разработанная сообществом mlx-community на базе OBLITERATUS/Qwen3.8-27B-OBLITERATED. Квантованная версия предназначена для локального запуска на устройствах Apple Silicon с использованием MLX и инструментария mlx-optiq, без PyTorch и облачных сервисов. Модель содержит 27B параметров и поддерживает обработку текста и изображений, при этом в README явно указан английский язык. Она использует смешанную покомпонентную 4/8-битную квантизацию с размером группы 64: 237 компонентов представлены в 4-битном формате, 261 — в 8-битном. Среда хранения занимает около 21 ГБ. Сохранены vision tower в формате bf16 для работы с изображениями и MTP-голова для speculative decoding и multi-token prediction. Модель ориентирована на reasoning, long-context сценарии, function calling, tool use и агентские приложения. К сильным сторонам относятся мультимодальность, локальная работа на Apple Silicon, уменьшенный размер благодаря смешанной квантизации, поддержка ускоренной генерации через MTP и совместимый endpoint с интерфейсами OpenAI и Anthropic при использовании optiq serve. Ограничения включают необходимость установки mlx-optiq и запуска в экосистеме MLX, а также повышенные требования к памяти из-за размера модели. README не содержит точного максимального размера контекста и подробных результатов оценки качества. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI/Qwen3.8-Flash-Next-JANG_6S — квантованный пакет модели Qwen/Qwen3.8-Flash-Next, подготовленный Jinho Jang для запуска на Apple Silicon через MLX и vMLX. Это мультимодальная модель с архитектурой Qwen4-архитектуры: MoE на 125 млрд параметров с 6 млрд активных, гибридными слоями Gated DeltaNet и Qwen Sparse Attention, а также отдельной таблицей n-граммных эмбеддингов. Веса для текста, изображений и видео включены в пакет. Модель предназначена для диалога, рассуждений, агентных сценариев и использования инструментов, а также для понимания изображений и видео. Нативный контекст — 262 144 токена, его можно расширить до 1 млн с YaRN; сохранена голова многотокенного предсказания для ускоренного декодирования в поддерживаемых средах. Для вызовов инструментов требуется парсер диалекта Qwen XML; Hermes-only парсеры могут некорректно обрабатывать такие вызовы. Пакет ориентирован на запуск в vMLX, а работа с таблицей n-грамм на SSD и полная поддержка мультимодальности зависят от возможностей среды исполнения. В README заявлены лицензия «other» и необходимость доступа через ручное одобрение для vMLX; конкретные условия лицензии в предоставленных данных не раскрыты. Качество и скорость зависят от конфигурации и среды исполнения; заявленные в карточке измерения сопоставляют квантованный пакет с исходной версией bf16.

Apertus-v1.5-8B — мультимодальная языковая модель на 8 млрд параметров, разработанная Swiss AI. Она принимает текст, изображения и аудио и генерирует текст; подходит для диалогов, следования инструкциям, анализа визуального и аудиоввода, а также задач рассуждения в режиме thinking. Модель использует decoder-only Transformer с активацией xIELU и поддерживает контекст до 262 144 токенов. Это продолжение предварительного обучения Apertus 1.0 с мультимодальными данными и улучшенной настройкой для следования инструкциям и работы с инструментами. Семейство ориентировано на широкий набор языков и заявлено как полностью открытое: доступны веса, данные и сведения о процессе обучения. Для запуска README описывает модифицированные версии vLLM и Transformers; поддержка инструментария в стандартных выпусках на момент составления карточки находилась в разработке. Модель распространяется по лицензии Apache-2.0. Она может выдавать фактически неверные, логически непоследовательные или предвзятые ответы, поэтому важные сведения следует проверять. В режиме thinking вызов инструментов не поддерживается.

Dirk-Qwen3.8-27B-GGUF — это квантованная GGUF-версия плотной мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем npario. Модель предназначена для диалогов, агентного программирования, анализа изображений и других задач, требующих генерации текста с поддержкой vision-language. Она рассчитана на запуск через llama.cpp и совместимые рантаймы. Модель сохраняет веса исходной Qwen3.8-27B, vision-возможности и MTP-голову nextn для multi-token prediction и speculative decoding. В поставку включён Sharp chat template, ориентированный на краткие ответы и работу без дополнительной настройки шаблона. Поддерживаются английский и китайский языки. Доступны уровни reasoning_effort low, medium и xhigh; high является псевдонимом xhigh, а рассуждения можно полностью отключить. Контекстный размер в README не указан. Сильные стороны модели — компактные ответы, потенциально более высокая скорость генерации благодаря MTP и широкий выбор квантов Dynamic 3.0 UD размером примерно от 9,8 до 31,5 ГБ. Ограничения связаны с потерями качества у малобитных квантов, требованиями к видеопамяти и необходимостью использования совместимого vision-проектора mmproj-F16.gguf для работы с изображениями. Модель распространяется по лицензии Apache-2.0.

Gemma 3 4B IT QAT GGUF — квантизированная GGUF-версия инструкционно дообученной модели Gemma 3 с 4 млрд параметров. Модель разработана Google DeepMind, а данный вариант опубликован Unsloth. Она относится к семейству лёгких открытых моделей Gemma и предназначена для локального развёртывания и генерации текста. Модель поддерживает мультимодальный ввод: текст и изображения, при этом генерирует текст. Она подходит для ответов на вопросы, суммаризации, рассуждений и анализа изображений. Для версий 4B заявлено контекстное окно до 128K токенов, изображения нормализуются до 896×896 и кодируются в 256 токенов, максимальный объём генерируемого ответа составляет 8192 токена. Заявлена поддержка более 140 языков, однако в карточке отдельно указан английский язык. К сильным сторонам относятся сравнительно небольшой размер, возможность работы на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре, а также поддержка длинного контекста и изображений. Ограничения конкретного GGUF-файла, включая точный уровень квантизации, требования к памяти и производительность, в README не указаны. Модель распространяется по лицензии Gemma; применимые условия использования определяются соответствующими Terms of Use Google.

AtomicChat/gemma-4-E4B-it-GGUF — GGUF-квантизированная версия мультимодальной модели google/gemma-4-E4B-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также ориентирована на задачи, требующие рассуждений, с настраиваемыми режимами thinking. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом embeddings, 42 слоя и контекст до 128K токенов. Архитектура представляет собой плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используются 8 attention heads и 2 KV heads. В репозитории доступны варианты квантования от Q2_K до Q8_0, включая imatrix-квантизации. Importance matrix помогает уменьшить потерю качества в низкобитных вариантах; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству. Для обработки изображений поставляется vision-проектор mmproj. Сильные стороны модели — мультимодальность, большой контекст, возможность локального запуска и широкий выбор квантов под разные объёмы памяти. Ограничения связаны с потерями качества при наиболее компактном квантовании, потребностью правильно применять chat template Gemma 4 и необходимостью отдельного vision-проектора для изображений. Заявленные benchmark-результаты относятся к базовой модели Google, а не к независимым измерениям этого репозитория. Лицензия — Apache 2.0.

amd/Kimi-K3-Quark-MXFP4 — мультимодальная модель на базе moonshotai/Kimi-K3, разработанная и оптимизированная Advanced Micro Devices, Inc. Она предназначена для генерации текста по текстовым, графическим и видеовходам, а также для задач рассуждения, включая работу с инструментами. Архитектура указана как KimiK3ForConditionalGeneration; выход модели — текст. Модель квантизирована с помощью AMD-Quark: веса и активации используют формат OCP MXFP4, а слои self-attention — PTPC-FP8. В MoE-компонентах experts и shared_experts применяется OCP MXFP4. README не содержит сведений о количестве параметров, длине контекста и поддерживаемых языках. Для запуска заявлена совместимость с AMD MI350 и MI355, ROCm 7.1.1, PyTorch 2.10.0, Transformers 5.2.0 и Linux; в качестве inference engine используются vLLM и, для оценки, SGLang. К сильным сторонам относятся мультимодальность и снижение требований к памяти и вычислениям благодаря квантизации. На тесте GSM8K модель показала 96,36 против 96,82 у исходной moonshotai/Kimi-K3, что соответствует восстановлению 99,52% исходного результата. Ограничения включают зависимость от совместимого оборудования и программного стека, а также необходимость специальных настроек vLLM для воспроизведения указанной конфигурации. Лицензия обозначена как other с названием kimi-k3; модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

llmfan46/Qwen3.5-35B-A3B-ultra-uncensored-heretic — мультимодальная разговорная модель, созданная независимым автором на основе Qwen3.5-35B-A3B от Alibaba. Это дообученная версия с методом abliteration: по приведённому в карточке тесту она реже отказывает в ответах, при этом сохраняет близость к поведению исходной модели по метрике KL divergence. Модель принимает текст и изображения и формирует текстовые ответы; её можно использовать для диалога, анализа изображений, рассуждений и сценариев с вызовом инструментов. В основе лежит архитектура Qwen3.5 MoE с 35 млрд параметров всего и примерно 3 млрд активных параметров. Исходная модель поддерживает контекст до 262 144 токенов с возможностью расширения; карточка производной модели отдельно не подтверждает изменения этого предела. README указывает поддержку 201 языка и диалекта для семейства Qwen3.5, но не уточняет, насколько полно она сохранена в этой версии. Формат весов — Safetensors; заявлена совместимость с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

Ex0bit/Qwen3.6-35B-A3B-PRISM-NVFP4 — мультимодальная модель для генерации текста, основанная на Qwen/Qwen3.6-35B-A3B и доработанная проектом Ex0bit с использованием настройки PRISM. PRISM направлена на смягчение чрезмерных отказов, удаление нежелательных проявлений предвзятости и пропагандистских шаблонов при сохранении или улучшении качества выполнения задач, связности ответов и мультимодальных возможностей. Модель использует разреженную архитектуру Mixture-of-Experts: общий размер составляет 35 млрд параметров, около 3 млрд параметров активируются для каждого токена, предусмотрено 256 маршрутизируемых экспертов. Веса и активации квантованы в формат NVFP4 W4A4 с использованием compressed-tensors; некоторые компоненты, включая vision encoder, lm_head, роутеры, embeddings и состояние линейно-внимательной SSM, сохранены в BF16. Доступна поддержка мультимодального ввода и MTP draft head для ускоренного спекулятивного декодирования. В README приведён режим обслуживания с ограничением контекста 32768 токенов. Ключевые преимущества модели — существенно сниженные требования к хранению, поддержка мультимодальных сценариев, MoE-эффективность и возможность спекулятивного декодирования. Основные ограничения связаны с аппаратной и программной совместимостью: модель рассчитана прежде всего на GPU NVIDIA Blackwell с архитектурами SM120/SM121 и требует версии vLLM с поддержкой NVFP4; стандартные сборки могут работать некорректно, особенно на SM121. Лицензия Apache 2.0 унаследована от базовой модели.

QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4 — 4-битная NVFP4-версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и квантованной методом QUASAR. Модель предназначена для задач image-text-to-text, reasoning, работы с изображениями и текста, а также агентских и сценариев с длинным контекстом. Точный набор поддерживаемых языков в README не указан. Модель содержит 27 млрд параметров; все 496 из 496 линейных слоёв трансформера, включая компоненты attention и gated delta-net, представлены в формате NVFP4 W4A4. Размер модели составляет 19,7 ГБ. Она поддерживает контекст до 262 144 токенов при запуске через vLLM, а на видеокарте с 32 ГБ памяти, например RTX 5090, рекомендуется ограничить его 65 536 токенами. Для ускорения генерации заявлена поддержка speculative decoding с MTP. Ключевое преимущество — существенное уменьшение размера при сохранении качества, близкого к BF16-версии: результат GPQA-Diamond составляет 0,909 против 0,914 у оригинальной модели, а на AIME'26 заявлен результат 100%. Модель требует NVIDIA GPU с аппаратной поддержкой FP4, то есть Blackwell с compute capability 10.0 и выше, поэтому не подходит для систем без совместимого оборудования. Запуск возможен напрямую через vLLM без этапа конвертации. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа; при этом заявлено сохранение исходных текстовых, reasoning-, agentic-, image- и video-возможностей базовой модели. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой языков English, Chinese и других языков за счёт мультиязычной базы. Архитектура включает 64 слоя языковой модели, hidden size 5120, FFN size 17408, словарь размером 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживается нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. В поставку входят различные GGUF-квантизации, отдельный BF16 vision projector для изображений и видео, а также профиль HauhauCS FastMTP 32K для ускорения speculative decoding; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для reasoning-сценариев по сравнению с режимом без MTP. Сильные стороны модели — широкий набор модальностей, длинный контекст, сохранённые возможности Qwen3.8, выбор квантизаций от Q2 до Q8 и оптимизированные K_P-кванты, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских и критически важных задач, где предпочтительнее более сбалансированная настройка. Для мультимодального ввода требуется отдельный vision projector, а запуск требует значительных ресурсов: размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ в зависимости от квантизации. Модель распространяется по лицензии Apache-2.0.

Huihui-Qwen3.8-27B-abliterated-FP8-v2 — мультимодальная модель для обработки текста и изображений, созданная пользователем batsclamp на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это версия v2, квантизированная из upstream-релиза от 24 августа 2026 года; исходная модель основана на семействе Qwen3.8. Модель предназначена для генерации текста, рассуждений, работы с изображениями, а также сценариев с вызовом инструментов и использованием vLLM. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов при указанной конфигурации обслуживания. Используется гибридная архитектура с Mamba-проекциями и визуальной башней; 256 плотных линейных модулей квантизированы в FP8 E4M3 с поканальными статическими масштабами для весов и динамическим масштабированием по токенам для активаций. Формат хранения — compressed-tensors float-quantized. Визуальная часть, эмбеддинги, нормализации, lm_head и MTP-модуль сохранены в BF16, что позволяет использовать speculative decoding. Преимуществами являются уменьшенный размер по сравнению с BF16-версией, совместимость с vLLM и потенциально более высокая точность квантизации благодаря поканальному масштабированию. При этом качество FP8-варианта не подтверждено полноценными бенчмарками: заявлены только структурная проверка и тестовая генерация. Модель аблитерирована, поэтому у неё удалено исходное поведение отказа и отсутствуют гарантии безопасности оригинального релиза; при высоком уровне reasoning effort она может расходовать очень большой бюджет вывода и возвращать пустой ответ при преждевременном ограничении max_tokens. Лицензия — Apache 2.0.

Llama 4 Maverick — мультимодальная инструкционная модель Meta на архитектуре авто-регрессионного Mixture-of-Experts с ранним объединением модальностей. Вариант Maverick включает 17 млрд параметров и 128 экспертов; модель работает через библиотеку Transformers и распространяется в формате safetensors. Модель предназначена для диалогового помощника и задач визуального рассуждения: она принимает текст и изображения, распознаёт и описывает содержимое изображений, отвечает на вопросы о них и поддерживает вызов инструментов через соответствующий интерфейс. Поддерживаемые языки: арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский. В README указано, что модель проверялась для понимания до пяти входных изображений. Модель подходит для коммерческого и исследовательского применения на условиях пользовательской Llama 4 Community License. Карточка отмечает статичный характер текущего чекпойнта и ограничивает заявленные сценарии поддерживаемыми языками и возможностями; результаты для большего числа изображений требуют отдельной проверки и настройки.

Ornith-1.5-35B-A3B-AWQ-INT4 — это мультимодальная квантованная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, рассуждений, программирования и обработки изображений в сценариях image-text-to-text. Она поддерживает контекст до 262 144 токенов; конкретный набор языков в материалах не указан. Модель построена на архитектуре fine-grained Mixture of Experts: в каждом из 40 слоёв имеется 256 экспертов, из которых для каждого токена активируются 8. Квантирование выполнено методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричными 4-битными весами и размером группы 32. Около 90% параметров хранятся в 4-битном формате, а активации остаются в BF16. Зрительная башня, attention-компоненты, эмбеддинги, выходная голова и multi-token prediction head сохранены в BF16. MTP head поддерживает speculative decoding в SGLang. Релиз ориентирован на эффективный запуск через SGLang, в частности на Intel Arc Pro B-series. К сильным сторонам относятся уменьшенный объём весов, поддержка мультимодального ввода, длинного контекста и speculative decoding. Проверка качества ограничена детерминированным smoke-тестом на связность, арифметическое и логическое рассуждение, программирование и базовое распознавание изображения; полноценные бенчмарки и сопоставление с BF16 не заявлены. Производительность и качество зависят от оборудования и рабочего сценария. Модель распространяется по лицензии MIT.

Это дообученная модель генерации текста на архитектуре Llama 2 с 12,9 млрд параметров, созданная автором репозитория на основе NousResearch/Yarn-Llama-2-13b-64k. К модели применён merged QLoRA fine-tune ранга 64 на наборе инструкций Airoboros 2.1; базовая версия использует YaRN для расширения рабочего контекста до 65 536 токенов. Модель предназначена для ответов на инструкции и вопросы, а также генерации текста с учётом длинного контекста. В описании приведены результаты тестов на ARC, Hellaswag и MMLU и сравнение perplexity на разных длинах контекста. Репозиторий содержит веса safetensors; для запуска через Transformers требуется trust_remote_code=True и совместимая реализация YaRN. Автор указывает, что короткоконтекстные результаты конкурентны с некоторыми моделями сравнения, но также отмечает необходимость дальнейшей проверки качества на длинном контексте. Лицензия в доступных данных не указана.

Gemma 3 27B IT GGUF — квантизированная версия инструкционной модели Gemma 3 27B IT, разработанной Google. Модель подготовлена сообществом LM Studio, а GGUF-квантизацию выполнил bartowski на основе llama.cpp. Она предназначена для локального запуска и генерации текста, включая ответы на вопросы, суммаризацию и задачи рассуждения. Модель поддерживает мультимодальный ввод с изображениями, нормализованными до разрешения 896 × 896, а также текстовые сценарии. Заявленная длина контекста составляет до 128 000 токенов, максимальная длина вывода — 8 192 токена. В README не указаны полный перечень поддерживаемых языков, конкретный метод и уровень квантизации, а также требования к аппаратным ресурсам. К сильным сторонам относятся большой контекст, поддержка понимания изображений и пригодность для локального использования через формат GGUF. Ограничения связаны с зависимостью от совместимого llama.cpp runtime версии 1.19.0 или новее, причём актуальная версия runtime на момент публикации обозначена как beta. Как квантизированная сборка, модель может отличаться по качеству и потреблению ресурсов от оригинальной версии. Доступ и использование регулируются лицензией Gemma от Google.

Lemura Labs выпустила Gemma-4-12B-uncensored-bf16 — мультимодальную модель Google Gemma 4 на 11,95 млрд параметров, дообученную на основе google/gemma-4-12B-it. Разработчики удалили часть направлений отказа с помощью ablation toolkit; новые возможности при этом не добавлялись. Модель принимает текст, изображения, аудио и видео и предназначена для диалога, анализа мультимодальных данных, распознавания речи и перевода речи. Контекст базовой модели — 256 тысяч токенов; заявлена поддержка более 140 языков. Модель распространяется в формате bfloat16, занимает около 23,9 ГБ и работает через Transformers на CUDA и Apple Silicon MPS. В README приведена оценка на 100 вредоносных запросах: доля отказов снизилась с 99% у базовой модели до 12% у этой версии. Аудио ограничено 30 секундами, видео — 60 секундами при примерно одном кадре в секунду. Лицензия — Apache-2.0.