I.4Обработка документов и форм

Muse-Glimmer-30B-heretic — модифицированная версия мультимодальной модели Meta Muse-Glimmer-30B, подготовленная richardyoung с помощью воспроизводимого запуска Heretic. Это плотный трансформер с энкодером восприятия и примерно 29,6 млрд параметров: модель принимает текст и изображения и поддерживает диалог, управляемое рассуждение и вызов инструментов. Abliteration изменяет веса, ослабляя отказы модели без повторного обучения; в README указано, что выбран один из 200 вариантов с меньшим числом отказов при ограниченном отклонении от исходной модели. Модель предназначена для локальных агентов и сценариев, где нужно анализировать изображения вместе с текстом, планировать шаги, вызывать инструменты, писать и отлаживать код, создавать синтетические данные или оценивать ответы других моделей. Она может соглашаться на запросы, от которых исходная модель отказывается, поэтому ответы могут быть неточными, предвзятыми или нежелательными; многошаговое рассуждение ошибается, а качество на языках вне основного набора может снижаться. Видео не является целевой модальностью, аудио не поддерживается. Веса распространяются по Apache-2.0; README также указывает на политику использования исходной модели Meta, требования которой следует учитывать.

Qwen3.6-27B-Fable-Uncensored — 27-миллиардная плотная модель семейства Qwen3.5 от Lemura Labs, дообученная на основе lemuralabs/Qwen3.6-27B-Fable-Agentic. Она предназначена для диалогов, пошаговых рассуждений, общих вопросов и многошагового вызова инструментов. Архитектура поддерживает текст и изображения; README описывает работу с инструментами в нескольких ходах диалога. В тестах, приведённых авторами, модель показала 88,29% на MMLU-Pro, 97,67% на GSM8K и 56,57% на GPQA-Diamond. У модели снижено число отказов от запросов, поэтому она может отвечать на запросы, которые отклонила бы модель с более строгими ограничениями. Указанная в метаданных лицензия — Apache-2.0; README также рекомендует учитывать лицензии базовой модели и обучающих данных. Длина контекста в метаданных не приведена; пример запуска задаёт максимальную длину 16 384 токена, что является параметром конфигурации запуска.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, выпущенная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальное вступление и отсутствие отказного поведения, поэтому подходит для задач, где требуется максимально свободная генерация. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, дополненный профилем ускорения HauhauCS FastMTP 32K. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки. Для изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются большой контекст, поддержка текста, рассуждений, агентских задач и мультимодального ввода, а также варианты квантизации от Q2 до Q8 для разного соотношения качества и требований к памяти. Aggressive-профиль может быть менее безопасным и менее подходящим для надёжных длинноконтекстных агентских сценариев, где рекомендуется более сбалансированная версия. Квантизация также может влиять на качество, а FastMTP и vision projector распространяются отдельными файлами. Модель и указанные компоненты распространяются по лицензии Apache-2.0.

Jais-2-70B-Chat — двуязычная языковая модель MBZUAI, Inception и Cerebras, обученная с нуля для диалогов и генерации текста на арабском и английском языках. Она рассчитана на современный литературный арабский, региональные диалекты и переключение между арабским и английским в одном сообщении. Это decoder-only Transformer с multi-head self-attention и 70 млрд параметров. Модель использует собственный арабоцентричный словарь размером 150 272 токена, RoPE и активацию Squared-ReLU; длина контекста — 8 192 токена. Подходит для чат-ассистентов, генерации и обработки двуязычных документов, анализа тональности и создания арабоязычного контента. В описанных авторами оценках модель показала конкурентные результаты на IFEval для арабского и английского и высокие результаты на AraGen-12-24. Авторы предупреждают, что её не следует применять для языков, отличных от арабского и английского, или для медицинских, юридических, финансовых и других критически важных решений без контроля человека. Лицензия — Apache-2.0.

Это конвертированная в формат MLX версия Llama 3.3 70B Instruct от Meta, опубликованная сообществом mlx-community. Модель с плотной архитектурой LlamaForCausalLM содержит 69,5 млрд параметров и предназначена для генерации текста и диалоговых сценариев; также поддерживает интерфейс вызова инструментов. Веса представлены в формате safetensors с точностью fp16, а нативный контекст составляет до 131 072 токенов. Модель поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Для использования требуется MLX; README указывает конвертацию из meta-llama/Llama-3.3-70B-Instruct с помощью mlx-lm 0.22.2. Лицензия — Llama 3.3 License; перед использованием следует соблюдать её условия. Это крупная модель, поэтому для запуска требуются соответствующие аппаратные ресурсы.

Llama-SEA-LION-v3-8B-IT — инструктивно дообученная языковая модель AI Singapore, разработанная командой Products Pillar при финансировании Национального исследовательского фонда Сингапура. Это плотная декодерная модель на архитектуре Llama 3.1 с 7,5 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций. Она принимает текст и генерирует текст; заявленная длина контекста — 128 тыс. токенов. Модель обучена следовать инструкциям на английском, индонезийском, яванском, сунданском, тамильском, тайском и вьетнамском языках. Карточка также заявляет поддержку бирманского, китайского, филиппинского, кхмерского, лаосского и малайского; метаданные каталога отдельно отмечают английский, китайский, вьетнамский, индонезийский, тайский и тамильский. Подходит для многоязычных диалогов, ответов на вопросы, суммаризации, перевода и других текстовых задач. Распространяется по лицензии Llama 3.1 Community License. Модель может галлюцинировать, выдавать нерелевантные ответы и непоследовательно рассуждать; её безопасность специально не настраивалась, поэтому ответы и сценарии использования требуют проверки.

CultriX/Qwen2.5-14B-BrocaV9 — объединённая модель генерации текста семейства Qwen2.5, созданная CultriX с помощью mergekit. В качестве базовой использована CultriX/Qwen2.5-14B-Wernickev3; в объединение также вошли SeQwence-14Bv1, QwenSlerp6-14B, Qwen2.5-Math-14B-Instruct, Qwenfinity-2.5-14B и Q2.5-Veltha-14B-0.5. Метод слияния — della_linear. Модель предназначена для диалогового общения и генерации текста; её можно использовать для ответов на вопросы, написания и продолжения текстов, а также задач рассуждения и математики. Это плотная причинно-языковая архитектура Qwen2 с 14 млрд параметров, доступная в формате safetensors и поддерживающая контекст до 131 072 токенов. Карточка указывает лицензию Apache-2.0.

QAYSER12/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это открытая мультимодальная модель на базе Qwen3.6 27B, представленная в формате GGUF. Она создана как результат многоэтапного дообучения и слияния моделей при участии DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; использовались датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель поддерживает английский и китайский языки, а также работу с изображениями. Размер контекстного окна в README не указан. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, анализа и творческой работы, включая написание художественных текстов и ролевые сценарии. Заявлены улучшенные instruction following, общее качество рассуждений и problem solving по сравнению с базовой моделью. Доступны обычные и MTP-варианты GGUF-квантов, включая 4- и 8-битные сборки; используется NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. Для MTP-вариантов рекомендуется temperature не выше 1 и rep penalty 1; при низком token acceptance rate следует использовать обычные кванты. К сильным сторонам относятся широкий набор сценариев применения, поддержка vision, reasoning и работы на потребительском оборудовании, а также заявленные высокие результаты внутренних бенчмарков. Ограничения включают отсутствие в README подробностей об архитектуре поверх базовой Qwen3.6 27B, точном размере контекста, системных требованиях и независимой проверке заявленных результатов. Модель описывается как uncensored и heretic, поэтому её поведение и защитные ограничения могут отличаться от официальной базовой модели. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель, созданная HauhauCS на базе Qwen/Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, агентских сценариев, анализа изображений и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа на сложные запросы. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120 и FFN-размером 17408. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention, встроенный MTP/NextN для speculative decoding и дополнительный профиль HauhauCS FastMTP 32K для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки; для работы с изображениями и видео требуется отдельный vision-проектор BF16. Сильные стороны модели — сочетание текстовых, рассуждающих, агентских и мультимодальных возможностей базовой Qwen3.8-27B, большой контекст и варианты GGUF-квантизации от Q8_K_P до IQ2_M, совместимые с llama.cpp, LM Studio и другими GGUF-рантаймами. FastMTP может повысить скорость генерации, однако фактический выигрыш зависит от оборудования и программной поддержки. Ограничения включают отсутствие защитного поведения и отказов в Aggressive-варианте, что может быть нежелательно для надёжных агентских систем, а также потерю качества при использовании более сильной квантизации. Модель распространяется по лицензии Apache-2.0.

enfuse/smol-tools-4b-32k — языковая модель для агентских сценариев и вызова инструментов, разработанная enfuse на базе Jackrong/Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled. Модель дообучена методом LoRA на 8 059 примерах, включая многошаговые диалоги с использованием инструментов длиной до 32K токенов. Она предназначена для выбора одного или нескольких инструментов, формирования структурированных вызовов функций, работы с результатами инструментов в многоходовых диалогах, анализа длинных документов и выполнения сложных агентских рабочих процессов. Архитектура — Qwen3_5ForCausalLM с 4 млрд параметров, 32 слоями и гибридным вниманием: 24 слоя используют линейное внимание, 8 — полное. Модель текстовая, поддерживает английский язык и контекст до 32 768 токенов. Доступны BF16 safetensors размером 9,7 ГБ, а также варианты GGUF Q8_0 на 4,9 ГБ и Q4_K_M на 2,9 ГБ. Заявлены 100% валидность JSON, 100% корректность аргументов и 100% точность отказа от инструментов, а F1 выбора инструментов составляет 0,940 на отложенной выборке из 200 примеров. Сильные стороны модели — длинный контекст, высокая надежность структурированного вывода, поддержка последовательных и параллельных вызовов инструментов и сохранение точности в многоходовых сценариях. Ограничение — некоторое снижение F1 выбора инструментов по сравнению с 4K-версией: 0,940 против 0,955; в сложных многошаговых рабочих процессах показатель составляет 0,818, а в сценариях с интенсивным рассуждением — 0,914. Модель распространяется по лицензии Apache-2.0.

TERNARY-BONSAI-2-27B-DERISKED-GGUF — мультимодальная производная модель семейства TERNARY BONSAI, выпущенная Blackfrost AI на основе prism-ml/Ternary-Bonsai-2-27B-gguf и в конечном счёте Qwen/Qwen3.8-27B. Модель предназначена для диалоговых сценариев и работы с текстом, а при загрузке соответствующего мультимодального проектора также поддерживает входные изображения. Доступна через llama.cpp и совместимый с OpenAI API интерфейс. В релиз входят две языковые версии: высокоточная BF16 и компактная нативная тернарная PQ2_0 с групповой FP16-масштабизацией. Архитектура описана как гибридная causal language model на базе Qwen3.8, примерно на 27,36 млрд параметров и с 64 трансформерными блоками. Заявленное upstream-окно контекста составляет 262 144 токена, однако для данного релиза валидировано только 32 768 токенов; также проверена работа с одним параллельным потоком генерации. Для изображений используются отдельные проекторы BF16 или Q8_0, соответствующие языковой версии. BF16-вариант ориентирован на качество и точность, тогда как PQ2_0 существенно компактнее и демонстрирует более высокую наблюдаемую скорость декодирования в заявленной конфигурации. Обе версии прошли проверку связности оператором и HITL, а PQ2_0 указан как принятый компактный кандидат без зацикливания. При этом комплексные тесты программирования, безопасности, длинного контекста и мультимодальности ещё не опубликованы, оценка отказов находится в ожидании, а приведённые скорости не являются гарантией производительности. Процесс поведенческой модификации является проприетарным и не распространяется. Лицензия Apache-2.0 унаследована от непосредственной родительской модели.

WuQi-V3-Onyx-27B — созданная проектом WuQi агентная модель для диалогов и многоэтапных задач. Она дообучена методом LoRA на базе мультимодальной Qwen3.8-27B, после чего адаптер объединён с весами. Модель распространяется в формате Transformers и совместима с Transformers, vLLM и SGLang. Лицензия — Apache 2.0. Модель настроена на планирование и выполнение задач с инструментами, проверку наблюдений и гибкое принятие решений. В README описана адаптация для 12 инструментов среды DeepSeek Harness, включая работу с файлами и кодом, веб-поиск и делегирование подзадач. Архитектура — плотная Qwen3.5 с поддержкой изображений; заявленная длина контекста в конфигурации развертывания — 262144 токена. Основной язык карточки — китайский. Это предварительная версия. Заявленные в карточке результаты относятся к оценке DSH-ABench-Basic и внутренним замерам токенов; они не гарантируют аналогичного качества в других сценариях. Для активации дообученной манеры работы README рекомендует специальный system prompt; внешняя инструкция Harness может его переопределить.

xGen-small-9B-instruct-r — диалоговая языковая модель Salesforce из семейства xGen-small, предназначенная для генерации ответов и ведения чата. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM; в метаданных указано 10,2 млрд параметров и контекст до 262 144 токенов. Вариант instruct дообучен для диалогового использования. Модель подходит для длинных текстовых запросов и ответов, требующих работы с обширным контекстом, а также для общих задач рассуждения и знаний. В README приведены сравнительные результаты для тестов MMLU, MMLU-Pro и Arena-Hard; это результаты оценок, а не гарантия качества в прикладных сценариях. Salesforce описывает xGen-small как компактную модель с предметно-ориентированным отбором данных, масштабируемым предварительным обучением, расширением контекста и дообучением с RL. Выпуск предназначен для исследований; README рекомендует проверять точность, безопасность и справедливость перед применением, особенно в сценариях с высоким риском. Лицензия — CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.

ghostlamp/2 — объединённая языковая модель на архитектуре Llama, созданная с помощью mergekit методом DARE TIES на основе Princeton NLP Llama-3-8B-ProLong-512k-Base, Arkana08/LexiMaid-L3-8B и DavidAU/L3.1-Dark-Planet-SpinFire-Uncensored-8B. В репозитории представлены веса SafeTensors в формате bfloat16; размер модели составляет 7,5 млрд параметров. Модель предназначена для генерации текста и диалогового общения. Базовая модель поддерживает контекст до 524 288 токенов, что подходит для работы с длинными текстовыми запросами и документами. Карточка не сообщает отдельные целевые языки и прикладные области. Лицензия в предоставленных данных не указана.

German-RAG-LLAMA-3.1-8B-MERGED-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Это объединённая модель семейства Llama 3.1 объёмом 7,5 млрд параметров, предназначенная для немецкоязычных RAG-систем и задач ответов на вопросы по предоставленному контексту. Она также подходит для извлечения релевантных сведений и краткого пересказа источников; в карточке заявлена поддержка немецкого и английского языков. Нативная длина контекста — 131 072 токена. Модель распространяется в формате safetensors и поддерживает чатовый режим. Метаданные Hugging Face указывают лицензию llama3.1, тогда как README заявляет Apache 2.0; лицензионные условия следует уточнить перед использованием. В оценке объединённая версия показала более низкий результат извлечения, чем варианты SFT и ORPO из той же серии. Ответы могут содержать фактические ошибки, а без фильтрации модель может генерировать вредный или чувствительный контент.

parasail-ai/GritLM-7B-vllm — копия модели GritLM 7B от ContextualAI, в которой изменено имя архитектуры в конфигурации для упрощения использования с vLLM. GritLM — инструкционно дообученная языковая модель на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель объединяет генерацию текста и получение текстовых представлений (эмбеддингов), поэтому подходит для диалогов, генерации ответов и задач семантического поиска или классификации текста. В метаданных указаны теги для разговорного использования и датасет GritLM/tulu2. Репозиторий содержит веса PyTorch в формате safetensors и распространяется по лицензии Apache 2.0.

alpharomercoma/LFM2.5-2.6B-heretic — текстовая модель, созданная на основе LiquidAI/LFM2.5-2.6B с помощью направленной абляции отказного направления в остаточном потоке и подбора весов абляции по слоям. Веса объединены, поэтому модель загружается как обычная Lfm2ForCausalLM; размер составляет 2,6 млрд параметров, а контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогов. В ней сохранены шаблон чата и токены вызова инструментов базовой модели; многоязычные возможности и сценарии локального запуска, включая RAG и длинноконтекстные агентные задачи, унаследованы от неё. В репозитории находятся веса Safetensors для Transformers, а не готовая скомпилированная сборка ExecuTorch. Абляция снижает склонность модели отказывать, стараясь сохранить близость к исходному поведению по KL-дивергенции. При этом намеренно удалена защитная настройка базовой модели, поэтому ответы могут включать небезопасный контент. Лицензия обозначена как «other»; README не уточняет её условия.

0x Mini — языковая модель Ozone AI для генерации текста и диалоговых приложений. Это плотная авторегрессионная модель семейства Llama, дообученная на основе meta-llama/Llama-3.1-8B-Instruct; в репозитории указано 7,5 млрд параметров и формат safetensors. Модель предназначена для продолжения текста, суммаризации, перевода, чат-ботов и создания контента, в том числе при ограниченных вычислительных ресурсах. Модель принимает текст и генерирует текст; метаданные также отмечают интерфейс для вызова инструментов. Для базовой модели указан контекст до 131 072 токенов. Карточка заявляет быструю генерацию и пригодность для компактного развёртывания, но не приводит сравнительных тестов, подтверждающих эти заявления. Используется лицензия Llama 3.1; применяйте модель с учётом её условий.

Llama3-ChatQA-1.5-70B-GGUF — квантизированная в формате GGUF версия модели Llama3-ChatQA-1.5-70B, разработанной NVIDIA. Квантизацию выполнил bartowski на основе llama.cpp. Модель построена на базовой архитектуре Llama 3 и содержит 70 миллиардов параметров. Основное назначение модели — conversational question answering и retrieval-augmented generation (RAG): ответы на вопросы с опорой на предоставленный контекст, извлечение сведений и суммаризация контекста. Она ориентирована прежде всего на англоязычные сценарии и также может применяться для общего текстового общения. Улучшенная обучающая методика и дополнительные данные для conversational QA повышают возможности работы с таблицами и арифметическими вычислениями. Модель является текстовой и поддерживает генерацию текста; заявленный язык — английский. Рекомендуется явно передавать релевантный контекст и указывать модели сообщать, если ответ отсутствует в нём. README не содержит сведений о размере контекстного окна и конкретном типе квантизации, поэтому эти характеристики нельзя уточнить. Лицензия указана как llama3; условия её применения следует проверять по лицензии исходной модели NVIDIA.

Qwen3.5-397B-A17B-VQ-3.1bpw — векторно-квантизированная сборка базовой модели Qwen3.5-397B-A17B, опубликованная TheDrainFlorist для запуска в экосистеме MLX на машинах Apple Silicon. Модель предназначена для генерации текста, а после исправления от 19 сентября 2026 года также поддерживает обработку изображений через mlx-vlm. В метаданных указан английский язык, однако полный набор поддерживаемых языков и максимальный размер контекста не приведены. Сборка использует vector quantization с эффективностью 3.1 бита на параметр, размер весов составляет около 143,7 GiB. Указана архитектура с MoE-экспертами, а также плоская конфигурация d4/K2048; дополнительные сведения о числе активных параметров и точной архитектуре не раскрыты. По измерениям авторов, модель показывает perplexity 2,3410 на Wikitext и 2,5963 на смешанном наборе для кода, превосходя приведённую 3.5-битную сборку по Wikitext и находясь с ней на сопоставимом уровне по коду. Главные ограничения — очень высокие требования к памяти, необходимость совместимого runtime и зависимость от специальных загрузчиков. Для текста требуется mlx-lm с поддержкой model_file, для изображений — mlx-vlm версии 0.6.16 или новее; устаревшие версии могут не загрузить модель. Это квантизированная сборка, поэтому её характеристики могут отличаться от исходной модели, а заявленные результаты относятся к конкретному артефакту и методике измерений. Лицензия Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-DARK-ROAST-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP — мультимодальная плотная модель семейства Qwen3.5 с 9 млрд параметров, разработанная DavidAU совместно с Nightmedia. Это многоэтапный fine-tune и merge нескольких моделей Qwen3.5-9B; карточка описывает полноточную версию в 16-битном формате и отдельно упоминает варианты GGUF с NEO IMATRIX и MTP для ускоренной генерации. В метаданных указан формат safetensors и библиотека Transformers. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма и ролевых сценариев. Она принимает текст и изображения, поддерживает английский и китайский языки и, согласно карточке, контекст до 256 тысяч токенов. Также заявлен интерфейс вызова инструментов. Автор приводит результаты бенчмарков, но они не гарантируют превосходства на любых пользовательских задачах; видео не тестировалось. Автор характеризует модель как полностью uncensored и сообщает об удалении отказов; это может приводить к генерации нежелательного или небезопасного содержания. Лицензия — Apache-2.0. Для использования зрения в описанных GGUF-вариантах требуется отдельный файл mmproj.

Frozenlock/Qwen3.8-27B-int4-AutoRound — это мультимодальная квантованная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем или организацией Frozenlock. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска и обслуживания через vLLM, включая сценарии генерации текста, работы с изображениями и инструментами. Модель использует квантование INT4 по схеме W4A16 с размером группы 128 и симметричным представлением, выполненное с помощью AutoRound 0.14.2 и упаковки auto_gptq. Квантованы основные языковые блоки и слои MTP, тогда как 96 тензоров GDN-линейного внимания in_proj_a и in_proj_b, а также vision tower и эмбеддинги сохранены в bf16. Размер весов составляет около 18 ГБ. Поддерживаются мультимодальные входные данные, вызов инструментов и спекулятивное декодирование MTP; заявленный нативный контекст — 262 144 токена, а базовая модель поддерживает расширение YaRN до 1 миллиона токенов. Ключевое преимущество сборки — совместимость квантованной MTP-головы со спекулятивным декодированием в vLLM, что в измерениях README почти удваивало скорость декодирования, хотя коэффициент принятия черновых токенов зависит от типа текста и составлял примерно 41–67%. Компактные веса также позволяют оставить больше памяти под KV-кэш, однако для эффективной работы требуются совместимые версии vLLM и Marlin W4A16, а мультимодальность, поддерживаемые языки и точные показатели качества отдельно не описаны. Производительность зависит от GPU, настроек KV-кэша, длины контекста и режима tensor parallelism.

Gemma-4-26B-A4B-it-NVFP4A16 — пользовательская NVFP4-квантизация инструкционной модели google/gemma-4-26B-A4B-it, выполненная Mario Iseli. Это мультимодальная Mixture-of-Experts-модель для генерации текста и диалоговых сценариев с поддержкой текста, изображений и видео. Всего модель содержит 25,2 млрд параметров, из которых 3,8 млрд активируются для каждого токена; архитектура включает 128 экспертов, 8 из которых выбираются на токен. Контекстное окно составляет до 256 тысяч токенов. Модель использует квантизацию W4A16: веса представлены в FP4, а активации — в FP16. Размер на диске уменьшен примерно с 49 до 16,5 ГБ, то есть примерно в три раза, при сохранении исходного числа параметров. Vision encoder оставлен в BF16. Квантизация выполнена с помощью NVIDIA Model Optimizer на данных CNN/DailyMail; это общественная, а не официальная сборка Google или NVIDIA. Основное преимущество — существенное снижение требований к памяти при сохранении мультимодальности, MoE-архитектуры и длинного контекста. Для запуска через vLLM требуется версия с transformers не ниже 5.4, backend Marlin для MoE и специальный патч gemma4_patched.py для корректной загрузки NVFP4 scale-параметров; конфигурация ориентирована, в частности, на NVIDIA DGX Spark с GB10 Blackwell. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Gemma 4 26B-A4B-it-qat-MXFP4-CRACK — мультимодальная модель dealignai на основе Google Gemma 4 26B-A4B-it. Это вариант с удалённым отказом на запросы, который сохраняет работу с изображениями, ответы на вопросы, многошаговые рассуждения и генерацию кода. По данным карточки, в тесте HarmBench модель выполнила 58 из 60 запросов из вредоносных категорий, а результат MMLU составил 78,5% против 83,3% у базовой модели. Модель использует архитектуру MoE с 128 экспертами и восемью активными экспертами, а веса представлены в квантизации MXFP4 с точностью 4 бита. Для запуска автор рекомендует vMLX с поддержкой Gemma 4 на компьютерах Apple Silicon с достаточным объёмом объединённой памяти; стандартные mlx_lm и mlx_vlm, согласно README, не обеспечивают полной поддержки Gemma 4. Модель распространяется по лицензии Gemma. Она рассчитана на универсальный диалог с текстом и изображениями, но заметно снижает барьеры отказа на вредоносные запросы; результаты тестов приведены автором модели.

GLiClass Multilang Edge от Knowledgator — компактная модель семейства GLiClass для классификации последовательностей с произвольными метками в zero-shot и few-shot режимах. Модель насчитывает около 140 млн параметров и предназначена для эффективной классификации текста; карточка указывает архитектуру GLiClassModel и формат safetensors. Модель поддерживает тематическую и тональную классификацию, определение намерений, проверку следования правилам и безопасности LLM, выявление галлюцинаций, NLI и оценку релевантности текстовых фрагментов. Можно задавать описания меток, пользовательские инструкции и иерархии меток; текст и метки могут быть на разных языках. По карточке, модель обучена для 20 языков: шведского, норвежского, чешского, польского, литовского, эстонского, латышского, испанского, финского, немецкого, французского, румынского, итальянского, португальского, нидерландского, украинского, хинди, китайского, арабского и иврита. Английский также присутствует в метках языков карточки. Небольшой размер обеспечивает высокую скорость: в тесте автора средняя пропускная способность составила 553,6 примера в секунду при пакетной обработке на RTX PRO 6000 Blackwell. Качество зависит от языка и задачи; приведённые в карточке результаты показывают более низкие средние показатели Edge по сравнению с более крупными вариантами multilang-mini и multilang-ultra. Лицензия — Apache-2.0.

Kiel-2-Sol — диалоговая языковая модель KielTech для генерации текста, созданная дообучением Meta Llama 3.2 3B Instruct с помощью параметрически эффективной адаптации слоёв внимания и MLP. Модель содержит 3,2 млрд параметров, использует плотную архитектуру Transformer и поддерживает контекст до 131 072 токенов; в репозитории есть веса Safetensors и варианты GGUF Q4_K_M и Q8_0. Модель предназначена для многоходовых диалогов, многошаговых рассуждений, структурированного вывода, включая JSON, и автоматизации API-сценариев. В карточке заявлен английский язык и лицензия Apache 2.0. Метаданные отмечают возможность чата; README предлагает развёртывание через vLLM, но пример ограничивает длину контекста до 2048 токенов.

Ornith-1.0-35B-MTPLX-Vision — мультимодальная модель для чата с текстом и изображениями, собранная Jonandrop на основе моделей Ornith-1.0-35B и упакованная для Apple Silicon. Она сочетает языковую часть Ornith с восстановленной башней зрения и поддерживает обработку изображений; README также заявляет поддержку видеовхода, хотя метаданные Hugging Face указывают задачу image-text-to-text. Архитектура относится к семейству Qwen 3.5 MoE; корпус модели и MTP-головы квантизированы до 4 бит, а башня зрения хранится в bf16. Модель использует MTPLX с многотокенным предсказанием для ускорения генерации и может работать как локальный OpenAI-совместимый сервер на Apple Silicon. Модель подходит для программирования, диалога и вопросов по изображениям в локальном окружении. README приводит измерения скорости на Apple M5 Pro с 64 ГБ памяти; это результаты конкретной конфигурации, а не универсальные гарантии производительности. Лицензия производной модели — MIT; для перенесённых MTP-тензоров также применяются условия Apache-2.0 и NOTICE проекта Qwen3.5-35B-A3B.

Карточка модели Mihaiii/Pallas-0.3 на Hugging Face совпадает с карточкой Mihaiii/Pallas-0.4, поэтому описание составлено по ней. Mihaiii/Pallas-0.4 — инструкционная дообученная языковая модель на архитектуре Llama, созданная на базе migtissera/Tess-34B-v1.4. Она содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для рассуждений и понимания текста, хорошо работает с длинными системными промптами. Её можно использовать для ответов на вопросы и анализа длинных текстовых материалов; для художественного повествования она не предназначена. Обучение выполнено на частном датасете. Лицензия указана как other.

PowerBot-8B — объединённая модель на базе Llama 3, созданная автором репозитория с помощью Mergekit из nvidia/Llama3-ChatQA-1.5-8B и refuelai/Llama-3-Refueled. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы по документам с сохранением полного документа в контексте. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Она принимает текст, поддерживает английский язык и имеет контекстное окно 8192 токена. Веса опубликованы в формате Safetensors и bfloat16; модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-nvfp4-NInfer — это квантованное мультимодальное представление модели Qwen3.6-27B, подготовленное Neroued для собственного движка NInfer. Модель преобразована из сборки Qwen3.6-27B-PrismaSCOUT-Blackwell-NVFP4-BF16-vllm в нативный формат артефакта .ninfer. Архитектура указана как Qwen3_5ForCausalLM, размер артефакта составляет около 17,07 ГиБ, а веса используют смешанное представление NVFP4/BF16 с оптимизированными путями W4A4 Tensor Core для prefill и A16 NVFP4 для decode. Модель предназначена для генерации текста в режимах с рассуждением и без него, а также для мультимодальных сценариев с изображениями, несколькими изображениями, видео и смешанными сообщениями. Поддерживаются MTP-спекулятивная генерация, повторное использование prefix, CLI и локальное серверное выполнение через общий Engine-маршрут. В карточке приведены результаты оценки: 93,33% на AIME 2025, 93,33% на AIME 2026 и 84,34% на GPQA-Diamond; эти показатели заявлены для режима zero-shot. Основные ограничения связаны с совместимостью: артефакт предназначен только для NInfer и не является checkpoint для Transformers, распространением Safetensors или файлом GGUF. Для работы требуются 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a, CUDA Toolkit 13.1 или новее и сборка NInfer из исходников указанной ревизии или более поздней. В README указана лицензия Apache-2.0. Языки и точный максимальный контекст самой модели явно не указаны; пример сервера демонстрирует логический предел запроса в 240 000 токенов.