I.4Обработка документов и форм

Granite-3.0-3B-A800M-Instruct — инструктивная языковая модель семейства Granite 3.0, разработанная командой Granite в IBM. Это дообученная на инструкционных данных модель IBM Granite-3.0-3B-A800M-Base с разреженной архитектурой Transformer Mixture of Experts и декодером, содержащая 352,3 млн параметров по метаданным. Модель принимает текст и генерирует текст; её контекстное окно составляет 4096 токенов. Модель предназначена для ответов на общие инструкции и создания диалоговых помощников, в том числе для бизнес-приложений. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Диалоговый формат и интерфейс вызова инструментов подходят для построения ассистентов. Модель выпущена в октябре 2024 года и распространяется по лицензии Apache 2.0. По данным разработчика, качество на многоязычных задачах может уступать английскому; возможны неточные, предвзятые или небезопасные ответы. Для целевых сценариев рекомендуется проверка и настройка модели.

Mungert/Qwen3.5-122B-A10B-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий подготовлен Mungert с использованием llama.cpp и предназначен для локального запуска и эффективного инференса в совместимых инструментах, включая llama.cpp и связанные экосистемы GGUF. Модель представляет собой авторегрессионную языковую модель с vision encoder, поддерживающую обработку текста и изображений. Она рассчитана на рассуждения, программирование, работу с агентами, визуальное понимание и другие универсальные задачи. Заявлена поддержка 201 языка и диалекта. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture of Experts: всего 122 млрд параметров, из которых при генерации активируются около 10 млрд. Модель содержит 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Ключевое преимущество этой сборки — специальная стратегия квантизации: важные слои вручную переводятся в более высокую точность сверх стандартной конфигурации IMatrix. По заявлению автора, это особенно улучшает точность при низкой разрядности и для MoE-моделей, но увеличивает размер файлов. Фактические характеристики зависят от выбранного GGUF-варианта и аппаратного обеспечения; README не приводит подробностей о конкретных уровнях квантизации, требованиях к памяти или независимых результатах тестирования. Исходная модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT4 — производная версия Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурационные файлы в формате Hugging Face Transformers; модель совместима с Transformers, vLLM, SGLang и KTransformers. По идентификатору предполагается квантованный вариант AWQ с представлением INT4, однако подробности о процедуре квантования в README не приведены. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, рассуждений, программирования, визуального понимания и агентских сценариев. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель содержит около 9 млрд параметров, 32 слоя и имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. К сильным сторонам относятся мультимодальность, большой контекст, высокая эффективность архитектуры и широкий языковой охват. Ограничения конкретной квантованной сборки, включая возможные потери качества, требования к памяти и совместимость с определёнными аппаратными конфигурациями, в README не описаны. Модель распространяется по лицензии Apache 2.0.

Mungert/Qwen3.5-9B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, опубликованная Mungert и основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для генерации и понимания текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она совместима с llama.cpp и экосистемой инструментов, поддерживающих формат GGUF. Модель содержит около 9 млрд параметров и объединяет языковую модель с vision encoder. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; языковая часть включает 32 слоя, скрытую размерность 4096 и промежуточную размерность feed-forward-блоков 12288. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Особенность этой сборки — модифицированная квантизация GGUF: для отдельных важных слоёв вручную повышается точность сверх стандартной конфигурации IMatrix. Это увеличивает размер файла, но, по заявлению автора, может улучшать точность при низкой разрядности, особенно для моделей с MoE. Конкретные результаты тестирования данной сборки и доступные варианты квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

Карточка модели ArliAI/Qwen3.5-9B-RpRMax-v1 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-NVFP4 — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, созданная preetpatel на базе Qwen3.8-27B от Qwen. Исходная модель представляет собой abliteration/fine-tune без встроенных ограничений, ориентированный авторами на red teaming и исследования. Данный репозиторий изменяет числовой формат весов и не выполняет дополнительное обучение. Модель предназначена для генерации текста, рассуждений, программирования, работы в составе coding-agent, вызова инструментов и обработки изображений. Поддерживаются текстово-графические сценарии, function calling и вывод рассуждений через тег <think>. Заявлены английский и китайский языки. Модель использует гибридную архитектуру с gated-DeltaNet и linear-attention блоками; квантизация NVFP4 по схеме W4A4 применяется к весам и активациям линейных слоёв, а vision tower, lm_head и некоторые слои сохраняются в BF16. Размер весов составляет около 19 ГБ вместо примерно 56 ГБ в BF16. На одной RTX 5090 с 32 ГБ памяти заявлена работа с контекстом до 160 тысяч токенов при использовании vLLM и FP8 KV-cache. К сильным сторонам относятся низкое потребление видеопамяти, поддержка длинного контекста, изображений, структурированных вызовов инструментов и сценариев автономного агента. README сообщает об успешных тестах извлечения данных из контекста длиной до 155 тысяч токенов, параллельной обработке запросов и tool calling. Ограничения включают привязку оптимизаций к GPU Blackwell и совместимому окружению vLLM, а также небольшое дополнительное округление при слиянии некоторых квантизированных слоёв; возможное влияние на точные бенчмарки следует учитывать. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Ziya-LLaMA-13B-v1 — китайско-английская языковая модель семейства LLaMA, разработанная командой Fengshenbang. Это плотная авторегрессионная модель на 12,9 млрд параметров с контекстом 2048 токенов; для повышения эффективности работы с китайским текстом словарь LLaMA расширен китайскими символами. Модель обучалась в три этапа: продолженное предобучение, многозадачная настройка по инструкциям и обучение с обратной связью от людей. Модель предназначена для генерации текста и диалогов, перевода между китайским и английским, написания и анализа кода, классификации и извлечения информации, суммаризации, подготовки текстов, ответов на вопросы и математических задач. В README описаны многоходовый диалог и ролевые сценарии; репозиторий содержит веса PyTorch. Указанная лицензия — GPL-3.0, однако README отдельно предупреждает, что из-за лицензионных ограничений исходных весов LLaMA модель нельзя использовать коммерчески и требует соблюдать политику использования LLaMA.

Athena-1 1.5B — компактная языковая модель на 1,5 млрд параметров, дообученная разработчиком карточки на Qwen/Qwen2.5-1.5B-Instruct. Она предназначена для генерации текста по инструкциям и диалогов, а также для задач с кодом, математикой, документами и структурированными данными. Модель может формировать JSON и другие структурированные ответы; заявлена поддержка генерации до 8 тысяч токенов за один ответ. Модель использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. В README заявлена поддержка более 29 языков, включая английский, русский, китайский, французский, испанский, немецкий, японский и арабский; метаданные карточки отмечают английский. Размер модели рассчитан на применение в сценариях с ограниченными вычислительными ресурсами. Модель распространяется по лицензии Apache-2.0.

BMOJOF-primed-HQwen3-8B-Instruct — языковая модель для генерации текста, разработанная командой Hybrid Model Factory на основе Qwen3-8B. Это гибридная причинная модель с 7,6 млрд параметров: 18 слоёв Attention чередуются с 18 слоями B’MOJO-F. Каждый слой B’MOJO-F объединяет оконное внимание для точного извлечения недавнего контекста и модель пространства состояний для сжатого представления истории. Модель прошла настройку на следование инструкциям и поддерживает контекст до 131 072 токенов. Модель предназначена для диалога, ответов на вопросы, генерации и анализа текста, в том числе при работе с длинным контекстом. Разработчики сообщают об ускорении вывода до 1,75 раза на длинных контекстах при близком к исходной модели качестве; фактическая скорость зависит от среды и нагрузки. Чекпойнт не поддерживает вызов инструментов и не предназначен для генерации специальных токенов рассуждений. Для запуска используется Transformers, веса доступны в формате safetensors. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-3-27b-it-bnb-4bit — 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на основе модели Google Gemma 3 27B IT. Разработчик исходной модели — Google DeepMind. Модель имеет открытые веса и предназначена для запуска и дообучения с использованием Transformers, в том числе в средах с ограниченными ресурсами. Модель принимает текстовые запросы и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации, рассуждений, генерации текста и анализа изображений. Для версии 27B заявлены контекст до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, включая английский, указанный в метаданных модели. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее локальный запуск и дообучение по сравнению с полноразмерной моделью. При этом квантование может влиять на точность и качество ответов, а мультимодальные возможности, производительность и фактическая совместимость зависят от используемого программного обеспечения и оборудования. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия Google Gemma Terms of Use.

Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

Calcium-Opus-14B-Elite2-R1 — плотная языковая модель семейства Qwen2, разработанная PrithivMLmods и дообученная на синтетических данных на основе DeepSeek R1 для усиления рассуждений. Модель содержит 14 млрд параметров, принимает текст и предназначена для генерации ответов, следования инструкциям и многошагового решения задач. Метаданные указывают контекст до 131 072 токенов; карточка заявляет поддержку до 128K токенов и генерацию ответов до 8K токенов. Модель рассчитана на логические и математические задачи, программирование, работу со структурированными данными, создание длинных текстов и многоязычные диалоги. Карточка заявляет поддержку более 29 языков, а метаданные явно отмечают английский. Лицензия — Apache 2.0. Для эффективного вывода нужны значительные вычислительные ресурсы; качество может различаться между языками, длинные ответы могут содержать несогласованности, а знания ограничены данными обучения и могут быть неактуальными.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e — мультимодальная версия модели GLM-5.3-Flash, подготовленная Solstice-AI для Apple Silicon и библиотеки MLX. Исходная архитектура разработана Zhipu AI / ZAI, некensored-веса предоставлены dealignai. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Заявлена поддержка английского и китайского языков. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами, из которых около 18 млрд активируются для каждого токена. Используется смешанная квантизация oQ4e примерно на 4,6 бит на вес: основные веса представлены в 4-битном формате, отдельные критически важные компоненты защищены 8-битным или полным BF16/FP32-представлением. Vision Tower ViT и мультимодальный выравниватель сохранены в BF16. Заявлено нативное контекстное окно до 1 048 576 токенов и поддержка спекулятивного декодирования с drafter DFlash2. Сильными сторонами модели являются большой контекст, мультимодальное понимание изображений и видео, разреженная архитектура и оптимизация под чипы Apple M2, M3, M4 и M5. К ограничениям относятся высокая общая ёмкость модели, требовательность к памяти и совместимость с конкретным программным стеком MLX и аппаратной платформой; фактическая производительность зависит от конфигурации устройства. В README модель описана как uncensored, поэтому её ответы могут не включать стандартные механизмы отказа по чувствительным запросам. Указанная лицензия — MIT.

cyankiwi/granite-4.0-h-micro-AWQ-4bit — 4-битная AWQ-квантизованная версия Granite-4.0-H-Micro, разработанной командой Granite и IBM. Базовая модель содержит около 3 млрд параметров, относится к длинноконтекстным инструкционным языковым моделям и дообучена на открытых инструкционных и синтетических данных с применением supervised fine-tuning, reinforcement learning и объединения моделей. Модель предназначена для выполнения общих инструкций и создания AI-ассистентов, в том числе для бизнес-приложений. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи, связанные с кодом, function calling, многоязычный диалог и Fill-In-the-Middle для автодополнения кода. Заявлены улучшенные следование инструкциям и вызов инструментов. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевое ограничение — README не указывает точный размер контекстного окна, архитектурные детали и результаты бенчмарков. Квантизация AWQ-4bit рассчитана на более экономичное развертывание, однако конкретные требования к оборудованию и потери качества для этой версии не приведены. Модель распространяется по лицензии Apache 2.0.

Muse-Glimmer-30B-GGUF — набор GGUF-квантованных сборок модели Muse Glimmer-30B, разработанной Meta Superintelligence Lab и опубликованной пользователем NANI-Nithin. Это плотный причинно-следственный трансформер примерно на 30 млрд параметров с отдельным модулем восприятия для обработки изображений и текста; модель генерирует текст и предназначена для запуска через llama.cpp на локальном оборудовании. Репозиторий содержит варианты от BF16/F16 до экспериментальных низкобитных квантов, включая рекомендуемый Q4_K_M размером 15,77 ГБ, а также отдельный vision projector для работы с изображениями. Модель ориентирована на агентские сценарии: выполнение многошаговых задач, написание и отладку кода, работу с инструментами через схемные вызовы функций, планирование, восстановление после ошибок и длительные многоходовые взаимодействия. Она принимает интерливированные текст и изображения, включая скриншоты, графики и документы, с поддержкой до 4096 визуальных токенов на изображение. Заявлена поддержка более 100 языков и управляемого уровня рассуждений low, medium, high и xhigh. Среди сильных сторон — мультимодальность, агентские возможности и развитое многошаговое рассуждение; качество зависит от выбранного уровня квантования, а экстремальные варианты могут заметно снижать точность. DFlash-декодер для ускорения генерации в этот репозиторий не входит, а GGUF-сборки предназначены для llama.cpp и не загружаются стандартным способом через vLLM, SGLang или transformers. Модель и сборки распространяются по лицензии Apache-2.0. Для обработки изображений требуется отдельно скачать и подключить файл vision projector; объём памяти и дискового пространства зависит от выбранной версии квантования.

Qwen3.5-9B-GGUF — это квантизированная в формате GGUF версия модели Qwen3.5-9B, подготовленная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель имеет около 9 миллиардов параметров и поддерживает работу с текстом и изображениями, включая сценарии vision-language. Она предназначена для локального запуска и задач генерации текста, программирования, рассуждений, следования инструкциям и function calling; в README также указаны оценки на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K, IFEVAL и MMLU. Репозиторий предлагает варианты для GPU и CPU с разными компромиссами между размером, скоростью и качеством: от 2.81 до 5.10 bits per weight и примерно от 3.15 до 5.72 ГБ. Для запуска рекомендуются llama.cpp и LM Studio; llama.cpp автоматически загружает vision projector. Ollama на момент публикации README эту модель не поддерживает. Доступны оптимизированные варианты для различных аппаратных платформ, однако конкретный размер контекста, список поддерживаемых языков и подробные результаты тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit — 4-битная MLX-версия открытой мультимодальной модели Qwen3.6-35B-A3B. Модель разработана командой Qwen, а данная адаптация опубликована Unsloth. Это авторегрессионная языковая модель с vision encoder, предназначенная для генерации текста, анализа изображений, программирования и агентных сценариев. Модель имеет 35 млрд параметров, из которых 3 млрд активируются при обработке запроса. Архитектура сочетает Mixture of Experts с 256 экспертами, Gated DeltaNet и Gated Attention; содержит 40 слоёв и скрытое измерение 2048. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживаются текстовая и визуальная модальности, однако конкретный набор языков в README не указан. К сильным сторонам относятся улучшенная работа с кодированием, репозиториями и frontend-задачами, поддержка сохранения контекста рассуждений между сообщениями и улучшенный вызов инструментов, включая вложенные объекты. 4-битное представление снижает требования к памяти и подходит для запуска через MLX, но может уступать полноразмерным вариантам по точности, а производительность зависит от совместимого оборудования и программного окружения. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3.8-27B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.8-27B, разработанной Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Модель основана на архитектуре Transformer, содержит около 27 млрд параметров и предназначена для генерации текста и мультимодального понимания. Модель рассчитана на AI-агентов, чат-ботов, RAG-системы и другие приложения на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста достигает 262 тысяч токенов. Квантизация использует смешанный формат NVFP4/FP8: NVFP4 применяется к MLP-слоям и языковой голове, а FP8 — к слоям self-attention и linear attention. Для запуска указаны vLLM и SGLang на GPU NVIDIA Blackwell, предпочтительно в Linux. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных, оптимизация для ускоренного вывода на совместимом оборудовании NVIDIA и снижение требований к памяти благодаря квантизации. Ограничения включают зависимость от NVIDIA Blackwell и поддерживаемых сред выполнения, а также отсутствие раскрытых сведений о полном обучающем наборе данных, его размере и языковом составе. Перед промышленным использованием необходимы тестирование на прикладных данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и заявлена для коммерческого и некоммерческого использования.

RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead — мультимодальная плотная модель семейства Qwen3.8-27B, разработанная Qwen и подвергнутая квантованию RadixArk с помощью NVIDIA Model Optimizer. Это производный чекпойнт без дополнительного обучения или дообучения RadixArk: почти все тензоры используют смешанную NVFP4 W4A4-квантизацию, веса внимания — FP8, а lm_head, MTP и визуальные тензоры сохранены в исходной точности BF16. Размер модели — 27 млрд параметров. Модель предназначена для диалоговых систем, AI-агентов, чат-ботов, RAG-систем и других приложений с поддержкой текста, изображений и видео. Она принимает текст и визуальные данные, генерирует текст и поддерживает нативный контекст до 262 144 токенов. Для запуска заявлена интеграция с SGLang на Linux и совместимость с GPU NVIDIA Blackwell; чекпойнт проверен на GB300. В README приведены результаты на GSM8K — 96,13% — и Terminal-Bench 2.1 — 69,4% в одном из протоколов. Ключевое преимущество модели — предварительное квантование, рассчитанное на эффективное развертывание, при сохранении lm_head в BF16; заявленные результаты близки к результатам варианта с квантованным lm_head. Ограничения включают зависимость от совместимой инфраструктуры NVIDIA Blackwell и SGLang, а также типичные для базовой модели риски неточных, неполных, нерелевантных или предвзятых ответов. Лицензия — Apache License 2.0; возможности, обучение, ограничения и условия использования унаследованы от исходной модели Qwen3.8-27B.

Blossom-V7-27B — мультимодальная модель общего назначения с открытыми весами, разработанная командой Blossom. Это плотная модель семейства Qwen3.5, дообученная для работы в роли ассистента и предназначенная для локального запуска. Она принимает текст и изображения, поддерживает диалог, адаптивное рассуждение и вызов инструментов; подходит для повседневных вопросов, математики, программирования, веб-разработки и визуализации данных. Контекст достигает 262 144 токенов, при этом в README рекомендовано 131 072 токена для наилучших результатов. Для ускорения генерации поддерживается спекулятивное декодирование MTP в vLLM и llama.cpp. Модель рассчитана на развёртывание на GPU, где помещаются её веса. README указывает, что для многоходового диалога следует сохранять полное сообщение ассистента, включая поля рассуждения и вызовы инструментов. Также требуется использовать встроенный шаблон чата Blossom; подмена его шаблоном Qwen3.5 может нарушить работу. Репозиторий распространяется по лицензии Apache-2.0.

GLM-5.3-Flash — мультимодальная модель семейства GLM-5, разработанная командой GLM-5 и представленная Z.ai. Она предназначена для генерации текста, программирования, агентских сценариев, работы с инструментами и задачами, требующими обработки изображений и текста. Модель доступна для локального развёртывания и может использоваться через API-платформу Z.ai. Модель содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса. Она использует гибридную архитектуру с разреженным и линейным вниманием, а также Manifold-Constrained Hyper-Connections (mHC), что направлено на снижение стоимости обслуживания длинного контекста при сохранении точности. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлена поддержка английского и китайского языков; README также указывает нативную мультимодальность, но не уточняет полный перечень поддерживаемых типов входных данных и максимальный размер контекста. К сильным сторонам относятся высокая эффективность за счёт малого числа активных параметров, возможности работы с длинным контекстом, мультимодальность и производительность в задачах программирования и агентского взаимодействия. Ограничения, включая требования к аппаратному обеспечению, фактическое качество на отдельных задачах и особенности варианта NVFP4-Spark, в README не описаны. Указана лицензия MIT.

Inkling-Small-GGUF — квантованная версия Inkling-Small, разработанного Thinking Machines и опубликованная в формате GGUF с использованием подходов Unsloth. Это мультимодальная авторегрессионная модель с открытыми весами, предназначенная для исследований, дообучения и интеграции в сторонние продукты. Модель принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на диалоговые сценарии, следование инструкциям, создание AI-агентов и систем с использованием инструментов, разработку кодовых ассистентов, чат-ботов и решений с retrieval-augmented generation. Поддерживаются английский и другие языки с общими мультиязычными возможностями, а также различные языки программирования. Изображения должны быть пиксельными; рекомендуемый размер каждой стороны составляет от 40 до 4096 пикселей. Аудио подаётся в формате WAV с частотой 16 кГц, предпочтительно длительностью менее двух минут. Архитектура представляет собой 42-слойный decoder-only transformer со sparse Mixture-of-Experts: всего 276 млрд параметров, из которых для каждого токена активно около 12 млрд. Каждый токен направляется к 6 из 256 экспертов, дополнительно используются 2 общих эксперта; механизм внимания сочетает локальные и глобальные слои. Изображения обрабатываются иерархическим patch encoder, аудио — через дискретное токенизирование, после чего все модальности переводятся в общее скрытое пространство. Поддерживаются числовые форматы BF16 и NVFP4. Ограничения включают отсутствие заявленного в карточке размера контекстного окна и зависимость качества и требований к ресурсам от выбранного уровня квантования и среды запуска. Модель распространяется по лицензии Apache-2.0. Для локального запуска заявлена совместимость с SGLang, vLLM, TokenSpeed, Unsloth и Hugging Face; также доступны API и сторонние провайдеры инференса.

Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-Llama — модель от oktayd, распространяемая в формате GGUF для запуска через llama.cpp. Это локальный мультимодальный conversational-модельный вариант с поддержкой работы с текстом и изображениями, включая скриншоты, документы, диаграммы и сцены. Модель ориентирована на ответы на вопросы, объяснение научных и рабочих тем, программирование и отладку, работу с инструментами и агентскими сценариями, анализ визуальных данных, написание текстов, ролевое общение и настройку стиля диалога. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture of Experts с примерно 35 млрд параметров всего и около 3 млрд активных параметров на токен; конфигурация выбирает 8 из 256 маршрутизируемых экспертов. Заявленный нативный контекст составляет 262 144 токена, однако для рекомендуемого запуска указан профиль на 131 072 токена. Доступны квантованные GGUF-варианты разных размеров, а исходная BF16-версия сохраняет vision- и MTP-тензоры. Поддержка языков подробно не указана, но в обучающих материалах присутствуют многоязычные подписи. Сильные стороны модели — сочетание текстовых, программных, инструментальных и визуальных сценариев, относительно экономичная по вычислениям MoE-архитектура и возможность локального запуска. При этом общий объём параметров требует значительных ресурсов хранения и памяти даже при активации только части экспертов. Модель может ошибаться или повторяться, её ответы требуют проверки, а заявленные возможности не являются гарантией высокой точности. В README также указана аблитерированная, uncensored-направленность и наличие материалов для взрослой тематики, поэтому модель подходит не для всех аудиторий. Лицензия — Apache-2.0.

Это квантованная сборка Qwen3.8-27B, подготовленная автором репозитория для запуска на Apple Silicon через oMLX. В основе — плотная мультимодальная архитектура Qwen3.5 с 27,8 млрд параметров, гибридом GatedDeltaNet и полнослойного attention, визуальным модулем в стиле SigLIP и контекстом до 256 тыс. токенов. Веса квантованы методом AWQ в среднем до 4,85 бита на параметр; размер сборки — 16,83 ГБ. Модель предназначена для диалогов, анализа изображений, программирования, математических и многошаговых задач. В README приведены результаты HumanEval, GSM8K и MMLU, близкие к исходной версии bf16 на использованных тестовых выборках. Интерфейс поддерживает вызов инструментов; для ускорения генерации доступна голова MTP. Для корректной загрузки требуется oMLX: README предупреждает, что другие загрузчики могут неверно обработать веса и выдавать некорректный текст. Для быстрой обработки длинного префикса требуется настроить указанные в карточке переменные окружения, пока исправление не включено в oMLX. Лицензия — Apache-2.0. Указанные языки в карточке модели не перечислены.

lovedheart/Qwen3.8-Flash-Next-NVFP4-FP8 — квантованная версия мультимодальной модели Qwen3.8-Flash-Next, разработанной Qwen и обработанной с помощью NVIDIA Model Optimizer. Это частный кандидатный релиз для разработчиков, оценивающих запуск Qwen3.8-Flash-Next в агентных системах, чат-ботах, задачах программирования и мультимодального рассуждения. Модель использует гибридную архитектуру Transformer с сочетанием GDN и разреженного QSA-внимания, multi-hyperconnection streams и PLE n-gram injection. Это MoE-модель примерно на 180 млрд параметров с 48 декодерными слоями, 512 маршрутизируемыми экспертами на слой, выбором top-10 экспертов, общим экспертом и одним MTP-слоем. Она принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Квантование выполнено по смешанной схеме: маршрутизируемые эксперты используют NVFP4, а отдельные проекции внимания — FP8 E4M3 с блочной схемой 128×128. Сильные стороны модели — мультимодальность, MoE-архитектура, снижение требований к памяти по сравнению с исходной BF16-версией и поддержка длинного контекста. Ограничения включают необходимость патченной версии SGLang: стандартные сборки могут выдавать некорректный текст. Модель проверена на NVIDIA Blackwell, включая RTX PRO 6000 Blackwell, GB300 и B300, и ориентирована на Linux; совместимость с другими платформами не указана. Лицензия обозначена как other, а условия использования следует уточнять по лицензии исходной модели Qwen3.8-Flash-Next.

Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-BF16 — это производная модель на архитектуре DeepSeek-V4, созданная автором Baekpica на основе deepseek-ai/DeepSeek-V4-Flash-0731. Это MoE-чекпойнт с 119,8 млрд основных параметров и примерно 13,8 млрд активных параметров на токен; эксперты были объединены методом REAM с последующим дообучением для восстановления поведения. Веса BF16 сохранены в формате safetensors, обновления SFT и маршрутизатора объединены с весами, поэтому отдельный адаптер не требуется. Метаданные указывают контекст до 1 048 576 токенов. Модель предназначена для генерации текста, диалогов, написания кода, многоязычных инструкций и работы с длинным контекстом, включая извлечение сведений из объёмного текста. Карточка описывает отдельные успешные проверки JSON, кода и длинного извлечения, но также фиксирует ошибки в арифметике, повторяющийся цикл самокоррекции и изменение поведения после слияния экспертов. Эти проверки не подтверждают общее качество длинноконтекстной работы или сохранение исходных бенчмарков. Лицензия — MIT; применяются условия и ограничения исходной модели.

ente-ai/gemma-4-E2B-it-GGUF — это GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной для распространения в формате GGUF. Модель принимает текст, изображения и аудио, а генерирует текст; поддерживает более 140 языков. Она предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с вызовом функций. Модель имеет 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоёв и контекстное окно до 128K токенов. В архитектуре используется гибридное внимание: локальное sliding window attention с окном 512 токенов чередуется с глобальным вниманием. Поддерживаются настраиваемые режимы рассуждений, системные промпты и native function calling. Небольшой размер и оптимизация для устройств являются сильными сторонами, однако по возможностям и качеству сложных задач модель уступает более крупным вариантам семейства; конкретные характеристики также зависят от используемой GGUF-квантизации. Модель распространяется по лицензии Apache 2.0. README не указывает точный уровень квантизации данного файла и требования к аппаратному обеспечению.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-NVFP4 — мультимодальная версия GLM-5.3-Flash с архитектурой от Zhipu AI / ZAI, некорректированными в сторону отказов весами от dealignai и упаковкой NVFP4 от Solstice-AI. Модель предназначена для диалогов, рассуждений, программирования, математических задач, анализа изображений и понимания видео. Заявлена поддержка контекста до 1 048 576 токенов. Это foundation-модель общим размером 320 млрд параметров на основе MoE с 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Используется смешанная точность W4A16: веса маршрутизируемых экспертов представлены в 4-битном формате NVFP4, а attention-слои, общие эксперты и активации сохраняются в BF16/FP16. Мультимодальный модуль включает 24-слойный ViT и проектор с размерностью 10 240; заявлена обработка изображений высокого разрешения и временных последовательностей видео. В комплект также входит DFlash 2 для speculative decoding. К сильным сторонам относятся большой контекст, нативные возможности работы с изображениями и видео, сниженные требования к памяти благодаря квантизации и потенциальное ускорение генерации с DFlash 2. Модель позиционируется для NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere, включая B200, H100/H200, RTX 4090/L40S и A100. Ограничениями являются высокая общая размерность модели, зависимость производительности от совместимого ПО и GPU, а также отсутствие встроенного отказного поведения: это может быть полезно для исследовательских и специализированных сценариев, но повышает риски небезопасного применения. Приведённые в карточке результаты бенчмарков следует считать заявленными авторами модели. В карточке указана лицензия MIT; отдельно отмечены атрибуция базовой архитектуры Zhipu AI / ZAI, калибровка dealignai и упаковка Solstice-AI.

NVIDIA MiniMax-M3-NVFP4 — квантизированная версия мультимодальной модели MiniMax-M3, подготовленная с помощью NVIDIA Model Optimizer. Это модель архитектуры Transformer с Mixture-of-Experts: всего 428 млрд параметров, из которых активно около 23 млрд на токен. Она принимает текст, изображения и видео, а также выдаёт текст; контекстное окно составляет до 1 млн токенов, видео — до 30 минут. Модель предназначена для понимания изображений и длинных видео, программирования на продолжительных задачах, диалогов с инструментами и агентных сценариев. Режим рассуждения можно переключать между углублённым и менее затратным по задержке. Квантизация NVFP4 уменьшает объём весов и требования к памяти примерно вдвое относительно 8-битной версии; в приведённых тестах показатели близки к FP8-базе. Для запуска README указывает vLLM и NVIDIA Blackwell; поддержка MiniMax-M3 NVFP4 доступна в nightly-сборке vLLM. Веса самой модели разработаны не NVIDIA, а сторонней организацией. Лицензия обозначена как other, модель разрешена для некоммерческого использования. Ответы могут быть неточными, неполными или избыточными; модель может воспроизводить токсичность и предвзятость из обучающих данных.

Qwen2.5-1.5B-Instruct-GGUF — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это вариант базовой модели Qwen2.5-1.5B-Instruct в формате GGUF для локального запуска, в том числе с использованием llama.cpp. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также генерации структурированных ответов, включая JSON. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд приходятся на параметры без учёта эмбеддингов, имеет 28 слоёв и GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Указана поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся небольшой размер, возможность локального запуска, улучшенные следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также устойчивость к различным системным промптам. Ограничения связаны с компактным масштабом в 1,5 млрд параметров и потерями точности, возможными при квантовании; конкретные показатели производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.