I.4Обработка документов и форм

Gemma4-12B Uncensored-HauhauCS-1M-GGUF — GGUF-версия модели, опубликованная satgeze и основанная на HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced, которая, в свою очередь, использует 12-миллиардный dense-чекпойнт Google с квантизацией QAT. Модель предназначена для генерации текста, работы с длинными документами и задач, требующих извлечения информации из больших контекстов. Также заявлена поддержка изображений благодаря vision tower и ускоренного вывода через MTP speculative decoding; запуск ориентирован на llama.cpp и Ollama. Ключевая характеристика модели — контекстное окно до 1 048 576 токенов, увеличенное в четыре раза относительно исходных 262 144 токенов. В README сообщается о сертифицированном needle-in-a-haystack извлечении на всём диапазоне от 64K до 1M токенов, а также о сохранении цепочек многошагового поиска на полном миллионном контексте. MTP ускоряет генерацию примерно на 51% в заявленных тестах, до 218,4 токена в секунду на RTX 5090. Языки явно не указаны. Сильные стороны модели — очень длинный контекст, точное позиционное извлечение и поддержка изображений. Ограничения проявляются в задачах, требующих агрегации данных по всему окну: на больших длинах качество снижается, а режим thinking, по данным README, существенно ухудшает результаты и может зацикливаться или исчерпывать лимит генерации. Для длинноконтекстного извлечения рекомендуется отключать thinking. Модель описана как uncensored и распространяется по лицензии Gemma; конкретные условия лицензии следует учитывать при использовании.

Granite-4.0-Tiny-Base-Preview — базовая языковая модель команды Granite компании IBM для генерации текста и адаптации под специализированные сценарии. По карточке это гибридная MoE-модель с компонентами Mamba-2 и softmax-вниманием; метаданные указывают архитектуру GraniteMoeHybridForCausalLM и 423,3 млн параметров. Контекст составляет 131 072 токена. README также описывает вариант архитектуры с GQA, NoPE, SwiGLU и RMSNorm, однако расходится с метаданными по числу параметров и некоторым деталям архитектуры. Модель предназначена для суммаризации, классификации и извлечения информации из текста, ответов на вопросы и других задач с длинным контекстом. Она обучалась на данных из веба, кода, академических источников, книг и математических материалов; второй этап обучения включал отобранные данные и инструкции. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Выпущена в формате safetensors для Transformers и распространяется по лицензии Apache 2.0. Модель не проходила safety alignment, поэтому может генерировать проблемный или недостоверный текст; README также отмечает риск дословного воспроизведения обучающих данных. Перед практическим применением результаты следует проверять. Несмотря на слово Tiny в названии, доступные сведения о размере противоречат друг другу, поэтому точный размер по этим источникам установить нельзя.

Ornith-1.0-35B-1M-GGUF — GGUF-сборка модели Ornith-1.0-35B от DeepReinforce, опубликованная satgeze. Это текстовая генеративная модель на базе 35B MoE-архитектуры семейства Qwen3.5 с примерно 3B активных параметров. Сборка предназначена для локального запуска через llama.cpp и Ollama и расширена поддержкой длинного контекста, speculative decoding через MTP и обработки изображений. Ключевая особенность — контекстное окно до 1 048 576 токенов: масштабирование RoPE по YaRN встроено в метаданные GGUF, поэтому для llama.cpp и Ollama не требуются дополнительные параметры. В README заявлена проверка поиска информации по длинному контексту: 50 из 50 тестовых фрагментов найдены на диапазоне до 1M токенов. MTP-сборка Q6_K показала рост скорости декодирования с 267,9 до 382,9 токена в секунду, или примерно на 43%; для APEX-Compact заявлен прирост 14%. Визуальный модуль подключается отдельным файлом mmproj и, по данным README, распознаёт текст на изображениях и объекты. Модель подходит для генерации текста, работы с большими документами и другими задачами, требующими очень длинного контекста, а также для мультимодальных сценариев с изображениями. Доступны варианты квантования различного размера; рекомендуемые MTP-файлы занимают 17,0 и 29,2 ГБ, а визуальный модуль — 899 МБ. Ограничения включают высокие требования к оперативной или видеопамяти, зависимость производительности от оборудования и потенциальные потери качества при выборе более агрессивного квантования. Модель распространяется по лицензии MIT.

ShayanCyan/phi4-multimodal-quantisized-gguf — это набор предварительно сконвертированных GGUF-весов модели microsoft/Phi-4-multimodal-instruct, подготовленный для локального запуска через специализированную ветку llama.cpp. Репозиторий содержит квантизированную языковую модель phi4-mm-Q4_K_M.gguf и отдельный мультимодальный проектор phi4-mm-omni.gguf с визуальным энкодером на основе SigLIP/Navit-style и аудиоэнкодером Conformer. Нового обучения или новых обучающих данных набор не добавляет. Модель предназначена для локального инференса, исследований, экспериментов и создания прототипов агентов, работающих с текстом, изображениями и аудио. Она поддерживает следование инструкциям, рассуждения, программирование и многоходовой диалог, визуальные вопросы и ответы, создание описаний изображений, анализ документов и графиков, а также автоматическое распознавание речи, перевод с английского на французский и суммаризацию аудио при наличии соответствующего Conformer-пути. Заявленные языки: английский, урду, немецкий, испанский, турецкий, французский и итальянский. Основная языковая модель использует 4-битную групповую квантизацию Q4_K_M, тогда как мультимодальный проектор хранится в F16/F32 для сохранения качества работы с изображениями и аудио. Для запуска требуются совместимые возможности llama.cpp и одновременное подключение языковой модели и mmproj-файла. К преимуществам относятся локальная работа, поддержка нескольких модальностей и снижение требований к памяти за счёт квантизации. Ограничения включают возможные галлюцинации и ошибки интерпретации; модель не следует применять для медицинских, юридических или критически важных решений без проверки человеком. Использование регулируется лицензией phi4-model-license от Microsoft; необходимо соблюдать условия исходной лицензии.

PLLuM-12B-instruct-2512 — польскоязычная инструктивная языковая модель семейства PLLuM, разработанная консорциумом PLLuM и продолжаемая альянсом HIVE AI. Модель предназначена для диалогов и общих языковых задач, включая генерацию и суммаризацию текста, извлечение информации и ответы на вопросы; также её можно использовать как основу специализированных ассистентов, в том числе для польской государственной администрации и юридических или бюрократических тем с подключённым поиском по документам. Это плотная авторегрессионная модель архитектуры MistralForCausalLM с 12,1 млрд параметров и контекстом до 131 072 токенов. Обучение включает продолжение предобучения на польских и английских текстах, инструктивную настройку и обучение на предпочтениях. Модель ориентирована прежде всего на польский язык, английский использован для расширения обобщения. Для прикладного использования опубликована в формате safetensors; лицензия — Apache 2.0. Карточка сообщает о хороших результатах на собственных тестах для польской публичной администрации и общих польскоязычных задачах, но не приводит численных оценок для этой версии. Для работы с актуальными или специализированными документами модель следует сочетать с поиском или RAG; ответы могут содержать ошибки и требуют проверки.

PLLuM-4B-chat-2512 — чат-модель семейства PLLuM, разработанная командой HIVE AI на базе Gemma 3 4B. Она продолжает предварительное обучение на польских и английских текстах и дообучена следовать инструкциям и предпочтениям людей. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, суммаризацию и извлечение информации; её ориентир — польский язык, в том числе задачи для государственного управления. Для работы с внутренними или отраслевыми документами модель можно применять в RAG-сценариях совместно с поиском и хранилищем документов. В README указано, что версия chat выровнена по человеческим предпочтениям и рассчитана на более безопасные и эффективные диалоги; разработчики также сообщают о высоких результатах на польских языковых и административных бенчмарках. Модель распространяется в формате safetensors по лицензии Apache-2.0.

hamishivi выпустил дообученную версию мультимодальной модели Qwen3.5-4B в формате Transformers. Это причинная языковая модель с визуальным энкодером на 4 млрд параметров, которая принимает текст и изображения и формирует текстовые ответы. Модель поддерживает диалог, визуальное понимание и вызов инструментов через соответствующий интерфейс. Модель предназначена для ответов на вопросы по изображениям, диалоговых и рассуждающих задач, работы с длинными текстовыми контекстами и сценариев с агентами и инструментами. В README заявлены поддержка 201 языков и диалектов, контекст 262 144 токена с расширением до 1 010 000 токенов и режим рассуждения по умолчанию. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Весовые файлы совместимы с Transformers, vLLM, SGLang и KTransformers; лицензия — Apache-2.0. Изменённый шаблон чата сохраняет промежуточные рассуждения, а запуск с длинным контекстом может требовать значительных ресурсов памяти.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-сборка плотной мультимодальной causal language model Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео. Вариант Aggressive ориентирован на прямые ответы без выраженного отказного поведения и с минимальным предварительным вступлением в сложных запросах. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются встроенные MTP/NextN и профиль ускорения HauhauCS FastMTP 32K; заявлены ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно варианта без MTP. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Для визуального ввода используется отдельный vision-проектор BF16. Заявлены английский, китайский и мультиязычный режимы. Сильными сторонами являются большой контекст, текстовые и визуальные возможности, поддержка нескольких уровней квантизации GGUF и ускорение FastMTP. Aggressive-профиль может быть удобен там, где нужны краткие прямые ответы, однако его сниженное отказное поведение может быть менее подходящим для надёжных и критичных к безопасности приложений; автор README рекомендует для таких агентских задач Balanced-вариант, если он доступен. Доступны квантизации Q2–Q8 и пользовательские K_P-кванты, оптимизированные для сохранения качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это квантизованная GGUF-версия мультимодальной модели Qwen3.8-27B, созданная HauhauCS на базе Qwen/Qwen3.8-27B. Релиз сохраняет исходные текстовые, reasoning, агентские, графические и видеовозможности, но использует профиль Aggressive uncensoring: модель ориентирована на прямые ответы, минимальное вступление и отсутствие отказного поведения. Доступны варианты с квантизацией Q2_K_P–Q8_K_P, IQ2_M–IQ4_XS и отдельный BF16 vision projector для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, FFN-размером 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и мультиязычные сценарии. Встроенный NextN/MTP сохранён, а FastMTP от HauhauCS предоставляет дополнительное ускорение спекулятивного декодирования; заявлен прирост скорости до 3,02 раза для документов и до 1,93 раза для reasoning по сравнению с режимом без MTP. Модель подходит для генерации и анализа текста, рассуждений, агентских задач, работы с изображениями и видео, а также для сценариев, где важны быстрые и максимально прямые ответы. К сильным сторонам относятся большой контекст, мультимодальность, широкий выбор квантизаций и ускорение FastMTP. Ограничение профиля Aggressive — повышенный риск менее осторожных или менее надёжных ответов в критически важных агентских сценариях; для них авторы рекомендуют Balanced-релиз, если он доступен. Модель распространяется по лицензии Apache-2.0.

Карточка модели llmware/slim-boolean-phi-3 на Hugging Face совпадает с карточкой llmware/slim-xsum-phi-3, поэтому описание составлено по ней. llmware разработала llmware/slim-xsum-phi-3 — дообученную на базе Microsoft Phi-3 модель серии DRAGON для ответов на вопросы по контексту в RAG-сценариях. Она предназначена для работы с текстовыми фрагментами и выдаёт ответы, извлечённые из предоставленных материалов; типовые задачи включают ответы на вопросы, извлечение значений и краткое суммирование. В карточке модели сообщается о тестировании на наборе RAG-инструкций, включая вопросы с ответом «не найдено», логические задачи и суммирование. Модель имеет плотную архитектуру Phi-3 с 3,7 млрд параметров и контекстное окно 4096 токенов. Указанный язык — английский. Репозиторий содержит веса PyTorch, модель поддерживает чат и распространяется по лицензии Apache 2.0. Результаты внутренних тестов не гарантируют точности на других данных: ответы могут быть неполными или неверными, поэтому их следует проверять.

Solar Pro 4 — большая языковая модель компании Upstage, предназначенная для длительных задач и агентных сценариев. В карточке указано контекстное окно размером 524 тыс. токенов. Модель рассчитана на работу с длинными документами и задачи офисной продуктивности. README также отмечает поддержку агентных рабочих процессов, но не приводит подробностей об архитектуре, размере модели, языках или условиях лицензии.

BLING-QWEN-1.5B — модель llmware из серии BLING, дообученная для ответов на вопросы по контексту сложных деловых и юридических документов. Это плотная причинно-языковая модель семейства Qwen2 с 1,5 млрд параметров; метаданные указывают контекст до 131 072 токенов и формат PyTorch. Модель рассчитана на сценарии RAG: получает текстовый фрагмент и вопрос, чтобы дать краткий фактический ответ, извлечь значения полей или выполнить базовое суммирование. Модель ориентирована на автоматизацию рабочих процессов в компаниях, в том числе в финансовой, юридической и регуляторной сферах. В тестировании RAG-Instruct-Benchmark-Tester авторы сообщают 93,5 балла из 100 и отсутствие наблюдавшихся галлюцинаций в тестовых прогонах; эти результаты получены на 4_K_M-квантизованной версии bling-qwen-mini-tool и не являются гарантией для данного чекпойнта. Поддерживаемый в карточке язык — английский. Лицензия — Apache 2.0. Ответы могут быть неполными или неточными, поэтому их следует проверять.

gaunernst/gemma-3-12b-it-int4-awq — инструкцияно дообученная мультимодальная модель семейства Gemma 3, разработанная Google DeepMind. Данный репозиторий содержит QAT INT4 Flax-чекпойнт, преобразованный в формат HF+AWQ для использования с Transformers; при этом квантование AWQ непосредственно не применялось. Базовая модель — google/gemma-3-12b-it. Модель принимает текст и изображения и генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений, включая описание визуального содержимого. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Контекстное окно составляет 128K токенов, максимальный объём генерируемого вывода — 8192 токена. Заявлена поддержка более 140 языков. Ключевые преимущества — мультимодальность, большое контекстное окно и сниженные требования к ресурсам благодаря представлению INT4, что может упростить развёртывание на локальной инфраструктуре или в облаке. Ограничения включают зависимость от совместимой версии Transformers и необходимость учитывать особенности формата конвертированного чекпойнта; README не содержит результатов бенчмарков или подробностей о качестве на отдельных языках и задачах. Использование регулируется лицензией Gemma и условиями Google; доступ к исходной модели на Hugging Face требует принятия соответствующей лицензии.

Gemma 3n E2B IT — мультимодальная инструктивная модель Google для работы на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио, а выдаёт текст; запуск поддерживается библиотекой Hugging Face Transformers. Модель основана на архитектуре MatFormer с выборочной активацией параметров и использует вложенную подмодель из Gemma 3n E4B IT. При общем количестве около 6 млрд параметров её эффективный размер и требования к памяти сопоставимы с традиционной моделью на 2 млрд параметров. Модель подходит для диалоговых помощников, создания и обобщения текстов, ответов на вопросы по визуальным материалам, расшифровки речи и перевода речи в текст. Обучение охватывало более 140 разговорных языков, но карточка не выделяет основной язык. Возможности включают мультимодальный ввод с изображениями и видео, а также аудио; метаданные каталога подтверждают задачу image-text-to-text и возможности чата и зрения. Ответы могут содержать фактические ошибки и отражать предвзятость обучающих данных; модели также бывает трудно обрабатывать неоднозначность и сложные открытые задачи. Лицензия Gemma; применяйте модель с учётом условий лицензии Google Gemma.

DazzlingShadow публикует вариант Qwen3.5-122B-A10B с изменённым профилем отказов (abliteration). В приведённом сравнении частота отказов снизилась с 88 до 16 из 100 запросов при KL-дивергенции 0,0233 относительно исходной модели. Это мультимодальная модель для диалога, генерации текста и понимания изображений; карточка описывает её как причинную языковую модель с визуальным энкодером и разреженной архитектурой Mixture-of-Experts с Gated Delta Networks. Всего 122 млрд параметров, активируется 10 млрд; контекстное окно — 262 144 токена с возможностью расширения до 1 010 000. Исходная модель заявляет поддержку 201 языка и диалекта, однако карточка не уточняет, какие языки сохраняются в этом производном варианте. Модель доступна в формате Safetensors и предназначена для Transformers и совместимых серверов инференса. Лицензия — Apache-2.0. Снижение отказов не гарантирует их полного отсутствия; производительность и совместимость зависят от используемого фреймворка и ресурсов.

SauerkrautLM-ColQwen3-8b-v0.1 — мультимодальная модель VAGOsolutions для поиска по визуальным документам. Она дообучена на базе Qwen/Qwen3-VL-8B и формирует многовекторные представления размерностью 128 для позднего взаимодействия в стиле ColBERT. Модель принимает изображения документов и текстовые запросы, учитывает их визуальную структуру, включая таблицы, формы и диаграммы, и предназначена для извлечения релевантных страниц без отдельного этапа OCR. Модель содержит 8 млрд параметров, поддерживает до 1540 визуальных токенов на изображение и обучалась для работы на английском, немецком, французском, испанском, итальянском и португальском языках. В README указаны результаты на наборах ViDoRe и MTEB; лицензия — Apache-2.0. Заявленные показатели относятся к оценкам автора и могут отличаться на других данных и в иных условиях.

CataLlama-v0.2-Instruct-SFT — авторегрессионная плотная языковая модель семейства Llama 3 с 7,5 млрд параметров, разработанная Лауренциу Петреа на основе CataLlama-v0.2-Base от catallama и дообученная методом SFT на наборе Catalan-Instruct-V2. Контекст модели составляет 8192 токена; она распространяется в формате safetensors и предназначена для диалогового взаимодействия и генерации текста по инструкциям. Модель ориентирована прежде всего на работу на каталанском языке: извлечение информации для RAG, распознавание именованных сущностей, перевод между каталанским и английским, краткое и развёрнутое суммирование, анализ тональности и чат. В карточке сообщается об улучшении относительно CataLlama-v0.1 на перечисленных задачах и приведены результаты тестов MMLU и GSM8K, однако эти показатели не гарантируют качество в прикладных сценариях. Лицензия — Llama 3 Community License. Карточка указывает, что базовые условия Llama 3 ограничивают предполагаемое применение английским языком, но также допускают дообучение для других языков при соблюдении лицензии и Acceptable Use Policy; поэтому условия использования каталанской версии следует сверять с актуальными положениями лицензии.

danskgpt-v4-31b — дообученная на датских данных текстовая модель syvai на базе google/gemma-4-31B-it. Это плотная причинная языковая модель Gemma4ForCausalLM с 27,4 млрд параметров, поддерживающая диалоги и контекст до 262 144 токенов. Для работы следует использовать шаблон чата Gemma-4. Модель предназначена для задач на датском языке: понимания текста, ответов на вопросы по знаниям и рассуждениям, классификации, распознавания именованных сущностей и работы в роли общего помощника. Она также подходит для перефразирования и краткого пересказа датских текстов. Чекпойнт описан как текстовый; формат файлов — safetensors, обучение выполнено методом QLoRA. На открытых запросах модель может отвечать более кратко и категорично, чем исходная модель. Она наследует смещения и ограниченность знаний базовой модели; для решений с высокими последствиями требуется проверка человеком. Лицензия — CC BY 4.0.

DeepSeek-VL-7B-Chat — мультимодальная модель понимания изображений и текста, разработанная командой DeepSeek. Это версия с инструкционным дообучением на основе DeepSeek-VL-7B-Base; базовая модель использует языковую основу DeepSeek-LLM-7B-Base и гибридный визуальный энкодер SigLIP-L и SAM-B. Модель принимает изображения размером до 1024 × 1024 вместе с текстовыми запросами и формирует текстовые ответы. Модель предназначена для диалога по изображениям и решения задач визуально-языкового понимания: анализа логических диаграмм и веб-страниц, распознавания формул, чтения научной литературы, описания естественных изображений и понимания сложных сценариев. Веса опубликованы в формате safetensors. В метаданных указана лицензия other; конкретные условия использования следует проверять в репозитории модели.

Gemma-4-31B-it-Quark-W8A8-INT8 — мультимодальная модель для работы с текстом и изображениями, опубликованная под идентификатором nameistoken/Gemma-4-31B-it-Quark-W8A8-INT8 на основе google/gemma-4-31B-it от Google. Она предназначена для диалоговых сценариев, генерации текста, анализа изображений и задач vision-language. В описании заявлен английский язык. Модель использует архитектуру Gemma4ForConditionalGeneration и включает текстовый декодер на 31 млрд параметров, vision tower и визуальные embedding-слои. Текстовая часть квантизирована в W8A8 INT8: веса используют статическую симметричную per-channel-квантизацию, а активации — динамическую per-token-квантизацию. lm_head, embed_tokens и компоненты зрения сохранены в BF16, поэтому мультимодальные возможности не удалены. Размер файла модели составляет около 32 ГБ против примерно 62,5 ГБ у исходной BF16-версии, что дает двукратное сокращение объема. По результатам теста GSM8K на 1319 задачах модель показала точность 96,66% против 96,74% у BF16-базовой версии, то есть снижение составило 0,08 процентного пункта. Для запуска рекомендуется vLLM; в README приведена конфигурация с максимальной длиной контекста 8192 токена. Минимально требуется GPU с объемом памяти от 48 ГБ, например AMD MI300X, MI350X, MI355X, NVIDIA A100-80G или H100. Для длинного контекста и больших пакетов может потребоваться распределение на несколько GPU. Лицензия — Apache 2.0.

LibertAIDAI/GLM-5.3-Flash-NVFP4 — квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai; квантизацию выполнила LibertAI, не связанная с Z.ai. Модель предназначена для работы с текстом и изображениями, включая задачи image-text-to-text, рассуждения и вызов инструментов. Поддерживаются английский и китайский языки. Это разреженная MoE-модель общим объёмом 320B параметров, из которых при обработке активны 18B. Она сочетает 34 слоя линейного внимания KDA и 11 слоёв разреженного внимания DeepSeek, имеет нативную мультимодальность и контекст до 1M токенов. Квантизация NVFP4-A16 применяется преимущественно к routed-expert FFN-тензорам, занимающим около 97% параметров; активации, механизм внимания, vision tower, эмбеддинги, нормализации и другие чувствительные компоненты сохраняются в BF16. Это уменьшает размер с 598,5 до 181 ГиБ при заявленном round-trip cosine 0,99665. Сильными сторонами являются значительное снижение требований к памяти, сохранение мультимодального поведения vision tower без изменений и совместимость с современными ускорителями NVIDIA Blackwell, включая H100, B200, GB200 и GB10/DGX Spark. Для запуска требуются поддерживаемые специализированные сборки vLLM или SGLang и корректная конфигурация движка; vLLM и SGLang пока не имеют полной поддержки архитектуры glm5_next в стандартных версиях. llama.cpp и формат GGUF не поддерживаются. Указанная лицензия — MIT.

Granite-3.0-2B-Base — базовая языковая модель IBM Granite Team для генерации текста и других задач преобразования текста. Это плотный decoder-only Transformer на 2,5 млрд параметров, обученный с нуля в два этапа на разнообразных данных; архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель принимает текст и выдаёт текст, поддерживает контекст до 4096 токенов и предназначена в том числе для суммаризации, классификации, извлечения информации и ответов на вопросы, а также как основа для специализированного дообучения. В карточке заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Обучающие данные охватывают веб, код, академические материалы, книги и математику. Модель выпущена под лицензией Apache 2.0. Она не проходила выравнивание по безопасности, поэтому может генерировать нежелательные или недостоверные ответы; для меньших моделей также отмечен риск дословного воспроизведения обучающих данных.

FireFunction V2 — языковая модель Fireworks AI для диалогов и вызова функций, дообученная на Llama 3. Она построена на плотной архитектуре Llama, содержит 69,5 млрд параметров и принимает текстовый контекст длиной до 8192 токенов. Модель поддерживает обычные инструкции и чат, одиночный и параллельный вызов функций, а также извлечение структурированной информации; в одном запросе можно описать до 20 функций. В карточке Fireworks сообщает о результатах, сопоставимых с GPT-4o на наборе публичных оценок вызова функций, и об улучшении относительно FireFunction v1. Модель не оптимизирована для сотен описаний функций или вложенных вызовов. Лицензия указана как llama3; применение следует сверять с её условиями.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-quantized.w4a16 — мультимодальная instruct-модель, разработанная Red Hat совместно с Neural Magic на основе Meta Llama-4-Scout-17B-16E-Instruct. Она предназначена для диалоговых приложений, генерации и обработки текста, а также задач image-text-to-text с изображениями и текстовыми запросами на входе и текстом на выходе. Поддерживаются арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель использует архитектуру Llama4ForConditionalGeneration. Её веса квантизированы в INT4 по схеме W4A16 без квантизации активаций, что примерно на 75% снижает требования к памяти GPU и размер на диске по сравнению с представлением весов в 16 бит. Для инференса предусмотрена интеграция с vLLM, Red Hat AI Inference Server, Red Hat Enterprise Linux AI и OpenShift AI; модель валидирована в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и сниженные требования к ресурсам благодаря квантизации. README не указывает число активируемых параметров, максимальную длину контекста, точные показатели качества или аппаратные требования, поэтому производительность в конкретных сценариях следует проверять отдельно. Модель выпущена 25 апреля 2025 года и распространяется по лицензии Llama 4; применяются условия лицензии Meta Llama 4.

Meno-Tiny-0.1 — компактная языковая модель на 1,5 млрд параметров, разработанная как дообученная версия Qwen/Qwen2.5-1.5B-Instruct на специальном русскоязычном наборе инструкций. Это декодерная Transformer-модель семейства Qwen2 с архитектурой Qwen2ForCausalLM; для работы используется библиотека Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и ориентирована прежде всего на русский язык. Модель предназначена для диалогов и генерации текста, в частности для ответов на вопросы по документам в RAG-сценариях. Среди описанных задач — суммаризация, разрешение анафоры, оценка токсичности и детоксикация текста, а также исправление ошибок распознавания речи. Компактный размер рассчитан на сценарии с ограничениями по памяти и вычислениям или требованиями к низкой задержке. Модель выпущена под лицензией Apache-2.0. Карточка предупреждает о возможных неточностях, предвзятости и небезопасных или оскорбительных ответах; качество на языках, отличных от русского, может быть ниже. Для старых версий Transformers до 4.37.0 указана несовместимость с архитектурой qwen2.

Mistral-Small-3.2-24B-Instruct-2506-MLX-8bit — это 8-битная квантованная версия мультимодальной инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной компанией Mistral AI. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm. Модель предназначена для запуска на устройствах с Apple Silicon и поддерживает сценарии генерации текста по инструкциям, а также обработки изображений и текста, о чём свидетельствует мультимодальный профиль image-text-to-text. Она поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и другие языки, перечисленные в карточке модели. Ключевые характеристики — 24 млрд параметров в исходной модели, 8-битное представление весов и оптимизация для экосистемы Apple Silicon. Квантование снижает требования к памяти и делает локальный запуск практичнее, однако может немного повлиять на точность по сравнению с полной версией. Длина контекста в README не указана. Модель распространяется по лицензии Apache 2.0; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность генерируемого содержимого.

PLLuM-4B-instruct-2512 — инструктивная языковая модель семейства PLLuM, разработанная альянсом HIVE AI на основе Gemma 3 4B. Модель продолжительно обучали на польских и английских текстах, затем дообучали на инструкциях и настраивали с помощью предпочтений людей. Это плотная модель с архитектурой Gemma3ForConditionalGeneration и 4 млрд параметров; она распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для диалога и генерации текста, включая ответы на вопросы, суммаризацию и извлечение сведений. Она особенно ориентирована на польский язык и может применяться для создания помощников, в том числе для польской публичной администрации и юридических или бюрократических тем с использованием поиска по документам. README также указывает на английские данные для более широкой обобщающей способности. Ограничение контекстом и доступностью языков зависит от конкретной конфигурации; подтверждены польский и английский. Для актуальных ответов по нормативным и другим документам модель следует сочетать с поиском по источникам, поскольку сама генерация не гарантирует фактическую точность.

88plug/Qwen3.6-27B-W8A16 — квантованная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen и опубликованной пользователем 88plug. Модель предназначена для обработки изображений и текста с генерацией текста: анализа изображений, визуально-текстовых запросов, рассуждений и задач общего назначения. Поддерживает английский язык; заявленный контекст составляет до 262 144 токенов. Это плотная модель примерно на 27 млрд параметров без MoE, с гибридной архитектурой Gated DeltaNet и полносвязных MLP-блоков. В ней 41 чередующийся слой полной и линейной внимания. Применена посттренировочная квантование AutoRound W8A16: веса хранятся в INT8, а активации — в BF16; размер группы квантования равен 32. Модель занимает около 27 ГБ и рассчитана на запуск на GPU Ampere и новее, включая RTX 4090, A6000 и A100-40. Для развёртывания предпочтителен vLLM версии 0.21 или новее с форматом compressed-tensors. К сильным сторонам относятся существенно меньшие требования к памяти по сравнению с BF16-версией, поддержка длинного контекста и возможность работы на распространённых GPU без ограничений, характерных для FP8. Текстовые компоненты калибровались на смешанном наборе UltraChat-200k и WikiText-103, однако визуальный энкодер получил некалиброванное RTN-квантование INT8, поэтому качество обработки изображений может быть менее проверенным. Формат compressed-tensors не поддерживается TGI, а виджет Hugging Face может работать нестабильно. Модель распространяется по лицензии Apache-2.0.

btbtyler09/Qwen3.6-35B-A3B-GPTQ-8bit — это 8-битная GPTQ-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая понимание изображений, генерацию текста, рассуждения, вызов инструментов и поддержку speculative decoding через модуль MTP. README не указывает конкретный список поддерживаемых языков. Модель использует архитектуру Mixture-of-Experts с примерно 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. В каждом из 40 слоёв используется 256 экспертов и один общий эксперт; на токен выбираются 8 экспертов. Архитектура сочетает 30 слоёв линейного внимания и 10 слоёв полного внимания. Контекстное окно составляет до 262 144 токенов. В состав входят полноразмерный vision encoder на базе ViT с 27 блоками и модуль MTP; vision encoder и MTP сохранены в BF16, а экспертные модули квантизованы в INT8. Ключевое преимущество версии — существенное уменьшение размера примерно с 67 до 40 ГБ при практически незаметном ухудшении perplexity относительно исходной BF16-модели. При этом для запуска требуется значительный объём видеопамяти и, согласно README, рекомендуется использовать vLLM с распределением модели минимум на несколько GPU. GPTQModel и transformers на момент публикации не поддерживают непосредственную загрузку этой мультимодальной сборки, поэтому для инференса следует использовать vLLM; также возможна необходимость исправления ошибки совместимости в некоторых версиях vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-3bit-MLX — мультимодальная vision-language модель, разработанная на основе Qwen/Qwen3.8-27B и конвертированная пользователем lukaskremla в формат MLX с помощью mlx-vlm 0.6.13. Модель предназначена для диалоговых сценариев, обработки текста и изображений, а также задач, связанных с видео, рассуждениями и использованием инструментов. Она поддерживает мультиязычную работу и длинный контекст, однако точный размер контекста и перечень языков в представленном README не указаны. Модель использует 3-битное квантование весов с group size 64, affine- и RTN-квантованием, при этом vision tower сохранён в формате BF16. Такой формат ориентирован на запуск в экосистеме MLX и снижает требования к памяти по сравнению с полноразмерной версией, но квантование может ограничивать точность относительно исходной модели. README также предупреждает, что Hugging Face может некорректно отображать число параметров MLX-квантизаций. Модель распространяется по лицензии Apache-2.0.