I.4Обработка документов и форм

t-firefly/gemma4-e2b-rknn3-rk1820 — сборка Gemma 4 E2B IT для запуска на устройстве RK1820 через LlamaPi. Исходную модель разработала Google DeepMind; это компактная инструкционно настроенная мультимодальная модель семейства Gemma 4 с плотной архитектурой генерации. В репозитории указаны форматы GGUF и safetensors, а метаданные отмечают возможность диалогового взаимодействия. Модель принимает текст, изображения и аудио, а выдаёт текст. Она предназначена для диалогов, рассуждений, программирования и мультимодального анализа на устройствах и периферийных системах; заявлены контекст до 256 тысяч токенов и поддержка более 140 языков. Для запуска предлагается LlamaPi. Лицензия репозитория — Apache-2.0. Карточка описывает возможности исходной Gemma 4 E2B IT, но не приводит отдельных результатов оценки качества для сборки RK1820. Практическая применимость мультимодального ввода и заявленного контекста зависит от реализации LlamaPi и аппаратных ресурсов устройства.

Qwen3.6-35B-A3B-NInfer — это конвертированная версия мультимодальной модели Qwen3.6-35B-A3B, подготовленная разработчиком Neroued для нативного формата NInfer. Артефакт предназначен исключительно для запуска в NInfer и не является checkpoint для Transformers, Safetensors-дистрибутивом или файлом GGUF. Дополнительные веса DFlash предоставлены проектом z-lab/Qwen3.6-35B-A3B-DFlash. Модель рассчитана на диалоговую генерацию текста, работу с изображениями и видео, а также сценарии локального инференса через CLI или HTTP-сервер NInfer. Архитектура указана как Qwen3_5MoeForCausalLM; размер файла составляет около 21,23 GiB. В артефакт входят текстовые и vision-компоненты, MTP, DFlash, оптимизированная proposal head и frontend-ресурсы. Поддерживаются speculative decoding через MTP и DFlash, мультимодальные запросы и контекст до 240 000 токенов при серверном запуске. В README не указаны полный перечень языков и точное число активных или всех параметров, однако обозначение модели содержит 35B-A3B. К сильным сторонам относятся мультимодальность, большой заявленный контекст, локальный запуск и ускорение генерации с помощью MTP или DFlash. В приведённых оценках модель получила 90% на AIME 2025 и AIME 2026 и 85,35% на GPQA-Diamond; результаты заявлены для режима zero-shot. Ограничения включают жёсткую зависимость от NInfer, 64-битного Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее, а также необходимость сборки NInfer из исходного кода. Распространение указано по лицензии Apache-2.0.

Qwen3.6-35B-A3B-w4a16-llmcompressor — квантизированная версия модели Qwen3.6-35B-A3B, созданная AMD с использованием LLM Compressor и формата compressed-tensors. Модель предназначена для генерации текста и обработки изображений и текста; её архитектура обозначена как Qwen3_5MoeForConditionalGeneration. Основной сценарий использования — инференс на CPU AMD EPYC под Linux через vLLM с оптимизациями ZenDNN. Модель использует 4-битную квантизацию только весов W4A16 по алгоритму GPTQ: веса представлены в INT4, симметрично и группами по 128 параметров, а активации сохраняются в BF16. Размер весов уменьшен примерно с 67,0 до 18,1 GiB, то есть примерно на 73%. Квантизации подвергнуты, в частности, 256 маршрутизируемых MoE-экспертов, общий эксперт и проекции линейного внимания; vision tower, маршрутизатор MoE, отдельные gate-компоненты, lm_head, эмбеддинги и layer norms сохранены в BF16. В README явно указан английский язык, но сведения о полном контекстном окне отсутствуют. Сильными сторонами являются существенное сокращение объёма модели и ориентация на эффективный CPU-инференс на аппаратной платформе AMD при сохранении наиболее чувствительных к качеству компонентов в BF16. Ограничения связаны с зависимостью от совместимого стека: ZenDNN 6.1.0, ZenTorch 2.13.0.0, PyTorch 2.13.0.0, LLM Compressor 0.12.0 и vLLM 0.28.0, а также с потенциальными потерями качества, характерными для 4-битной квантизации. Модель распространяется по лицензии Apache-2.0.

airoboros-7b-gpt4 — дообученная модель семейства LLaMA с 6,6 млрд параметров, созданная Jondurbin на синтетических обучающих данных, сгенерированных GPT-4. Она предназначена для диалоговой генерации текста и отвечает на вопросы по заданному контексту, а также решает задачи на эрудицию, математику и рассуждение, программирование, тесты с выбором ответа, заполнение пропусков и общие темы. Для общения используется шаблон Vicuna; максимальная длина контекста по метаданным — 4096 токенов. Модель обучена следовать предоставленному контексту и ограничивать ответы его содержимым, чтобы уменьшить галлюцинации. Автор отмечает, что качество математических рассуждений ограничено, а результаты примеров для версии 13B могут отличаться от версии 7B. Модель распространяется под лицензией CC BY-NC 4.0, допускающей использование с указанием авторства, но запрещающей коммерческое использование.

RedHatAI/diffusiongemma-26B-A4B-it-NVFP4 — это квантизированный вариант модели google/diffusiongemma-26B-A4B-it, подготовленный Red Hat AI. Модель предназначена для генерации текста и обработки задач image-text-to-text; поддерживает работу через Transformers и vLLM. Веса и активации квантизированы в формат NVFP4 с 4-битным представлением, а сохранение выполнено в формате compressed-tensors с использованием llm-compressor. Исходная модель содержит около 25,8 млрд параметров, включая примерно 22,8 млрд экспертных и 3 млрд неэкспертных параметров. В составе указаны текстовые и визуальные компоненты, включая vision tower, однако точные поддерживаемые языки и размер контекстного окна в карточке не приведены. Модель ориентирована на диалоговые сценарии, рассуждения, решение математических и научных задач, следование инструкциям и обработку мультимодальных запросов. Сильная сторона версии NVFP4 — существенное снижение требований к памяти и возможность эффективного развёртывания на совместимом оборудовании. По приведённым тестам на одной GPU B200 качество в большинстве задач близко к исходной неквантизированной модели: показатели сохранения качества составили около 97–100% на AIME 2025, GPQA Diamond, IFEval и GSM8K, а на MMLU 0-Shot результат оказался выше исходного. Ограничения включают возможные потери качества из-за квантизации и зависимость от совместимых версий Transformers, vLLM и параметров запуска; в карточке также не приведены подробные ограничения применения и результаты для языков. Модель распространяется по лицензии Apache 2.0. Для развёртывания заявлена проверка совместимости с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0.

Giraffe-v2-70b-32k — авторегрессионная языковая модель на базе Transformer, разработанная Abacus.AI и дообученная на Llama 2 70B для работы с увеличенным контекстом. Модель содержит 68,7 млрд параметров, использует архитектуру Llama и принимает текст для генерации текста в диалоговых сценариях. Заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и обработки длинных запросов и документов в чат-сценариях. Для работы с увеличенной длиной контекста требуется специальная настройка интерполяции; загрузка через стандартный AutoModel из Transformers без такой модификации не поддерживается. Лицензия — Llama 2 Community License.

JANGQ-AI/GLM-5.3-Flash-JANG — квантованная для Apple Silicon и MLX сборка GLM-5.3-Flash, подготовленная Jinho Jang. Это модель семейства GLM с архитектурой MoE примерно на 300 млрд параметров и 288 экспертами; в README также описаны линейное внимание KDA, гибрид MLA/DSA и отдельные компоненты для обработки изображений и видео. Размер весов составляет около 95,5 GiB, заявленный нативный контекст — 1 млн токенов. По данным карточки, квантование распределено по модулям: внимание, маршрутизация и параметры gating сохранены в 8-битном или полном формате, а снижение точности сосредоточено в экспертных блоках. Разработчик приводит измерения сходства выходных логитов с официальной FP8-версией на отложенных запросах; это не заменяет независимую оценку качества на прикладных задачах. Сборка предназначена для диалогов, рассуждений, агентных сценариев и работы с изображениями и видео на Mac с 128 ГБ памяти. README предупреждает, что публичная поддержка новой архитектуры в runtime vMLX ещё разрабатывается и на момент публикации карточки эти веса корректно загружались только во внутренней среде оценки. Модель наследует базовую GLM-5.3-Flash, а репозиторий распространяет её под лицензией MIT.

SanctumAI/Llama-3.2-3B-Instruct-GGUF — квантизированная версия языковой модели Meta Llama 3.2 3B Instruct, подготовленная SanctumAI. Это текстовая модель формата GGUF с генерацией текста на входе и выходе, предназначенная для многоязычного диалога, агентского поиска с извлечением данных и суммаризации. Модель имеет 3 млрд параметров и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В репозитории доступны варианты квантизации Q2_K–Q8_0, а также f16; их размер составляет примерно от 1,36 до 6,43 ГБ, а требуемый объём памяти — от 4,66 до 9,38 ГБ. Квантизация облегчает локальный запуск на устройствах с ограниченными ресурсами, однако может снижать точность по сравнению с исходной моделью. README не содержит сведений о размере контекстного окна и конкретной архитектуре. Модель ориентирована на прикладные сценарии общения и обработки текста, но, как и другие компактные языковые модели, может генерировать неточные, вредные или неподходящие ответы. Для использования рекомендуется применять шаблон чата Llama 3. Лицензия указана как Llama 3.2; исходная модель принадлежит Meta, при этом SanctumAI отвечает за квантизацию данного варианта.

Loxa-4B — языковая модель на 4 млрд параметров, опубликованная frameai. Она построена на плотной архитектуре семейства Llama и предназначена для генерации текста; в карточке также описаны сценарии классификации, ответов на вопросы, перевода и суммаризации. Модель поддерживает контекст до 131 072 токенов и работает через библиотеку Transformers; доступны веса в формате safetensors и интерфейсы чата и вызова инструментов. Модель рассчитана на исследовательскую и разработческую работу с текстом и кодом. Автор заявляет о работе на CPU и видеокартах GTX, однако не приводит проверяемых бенчмарков или подробностей обучения; заявленные 96% точности нельзя однозначно интерпретировать. Возможны предвзятые или фактически неверные ответы, поэтому результаты следует проверять, особенно в критически важных сценариях. Лицензия в предоставленных данных не указана.

MegaBeam-Mistral-7B-300k — языковая модель AWS, дообученная на базе Mistral-7B-Instruct-v0.2. Она предназначена для диалоговой генерации текста и работы с длинными документами: заявленная длина входного контекста достигает 320 тысяч токенов, а метаданные указывают нативный контекст около 288,8 тысячи токенов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Модель подходит для вопросов и ответов по объёмным документам, извлечения сведений из длинного контекста и диалоговых сценариев. В опубликованной карточке приведены результаты оценки на InfiniteBench, включая задачи поиска ключей и чисел в длинном контексте; показатели различаются между задачами. README описывает запуск на крупном экземпляре AWS и через vLLM или SageMaker DJL. Поддерживаемые языки отдельно не перечислены. Модель распространяется по лицензии Apache 2.0. Перед применением AWS рекомендует самостоятельно оценить её качество и соответствие требованиям конкретного использования.

MIRALABS/Ornith-1.5-35B-A3B-W4A16-SYM — симметрично переквантизированная версия мультимодальной модели Ornith-1.5-35B-A3B, разработанная командой Milner Team (MIRALABS) на основе модели ornith-ai. Модель относится к семейству Qwen3.6/3.5 A3B MoE и предназначена для локального запуска и обслуживания через vLLM, включая задачи генерации текста, рассуждений и обработки изображений и видео. В README также указана встроенная поддержка reasoning/tool parser для конфигурации первого запуска. Это MoE-модель с заявленным размером 35B и активной конфигурацией A3B. Маршрутизируемые экспертные слои переквантизированы в W4A16 symmetric с 4-битными весами, 16-битными активациями и размером группы 32; vision tower и MTP head сохранены в BF16. Формат хранения — compressed-tensors/pack-quantized, поддерживается vLLM версии 0.19 и новее с Marlin backend. Заявленный максимальный контекст — 32 768 токенов. Поддерживаемые языки в README не указаны. Сильная сторона модели — возможность запуска MoE-варианта на NVIDIA GPU через vLLM с существенно меньшими требованиями к памяти; на двух RTX 3090 заявлена загрузка примерно по 20 ГБ на GPU. К ограничениям относятся потери качества и расхождения с BF16-версией из-за 4-битной квантизации, а также необходимость совместимой конфигурации vLLM и оборудования. Модель распространяется по лицензии MIT.

Qwen-2.5-Aether-SlerpFusion-7B — слитая текстовая модель на архитектуре Qwen2, созданная ZeroXClem с помощью mergekit и метода SLERP. Она объединяет Locutusque/StockQwen-2.5-7B и allknowingroger/QwenSlerp8-7B; размер модели составляет 7,1 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая создание контента, суммаризацию, перевод и чат-ботов. README также предлагает использовать её для юридических, медицинских и технических задач, однако не приводит специализированных оценок или подтверждения качества в этих областях. Модель принимает текст и генерирует текст; метаданные указывают английский и китайский языки. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, включая диалоговые сценарии, ответы на вопросы, подготовку и преобразование текстов, а также другие задачи общего назначения. Вариант распространяется в формате GGUF и создан bartowski на основе llama.cpp release b6096; LM Studio выступает площадкой распространения, а не разработчиком модели. Модель содержит 4 миллиарда параметров и относится к текстовым autoregressive-моделям для text generation. Формат GGUF и поддержка llama.cpp упрощают локальный запуск и позволяют использовать её в совместимых инструментах, однако конкретные уровни квантования, размер контекста, поддерживаемые языки и дополнительные характеристики в README не указаны. К преимуществам относятся относительно компактный размер и возможность локального использования; ограничения включают возможное снижение точности из-за квантования, меньшие возможности по сравнению с более крупными моделями и типичные риски генерации неточной или неподходящей информации. Лицензия в предоставленных данных не указана.

Qwen3.8-27B Uncensored NVFP4-NInfer — это квантованный мультимодальный вариант Qwen3.8-27B, подготовленный igorls в формате .ninfer для собственного fork NInfer. Исходную abliterated-модель и смешанные веса NVFP4/FP8 разработала OrcaRouter, а для speculative decoding включён сопутствующий компонент DFlash2 от Inco AI. При конвертации дообучение и отдельное удаление отказов не выполнялись; сохранены BF16-эмбеддинги токенов и полная выходная голова. Модель предназначена для диалоговых и conversational-сценариев, обработки текста, а также анализа изображений и видео при сборке NInfer с поддержкой media. Заявлены английский и китайский языки. Артефакт включает целевую 27B-модель, Vision- и MTP-компоненты, оптимизированную proposal head, DFlash2-компаньон, токенизатор, шаблоны и медиаресурсы. Размер файла — около 26,27 ГБ; квалифицированная конфигурация — RTX PRO 6000 Blackwell Workstation Edition с 96 ГБ видеопамяти под Windows, CUDA target sm_120a. В приведённом примере ограничение контекста составляет 32K токенов, а общий KV-пул — 64K. Сильные стороны модели — готовая интеграция компонентов для обычной генерации и speculative decoding через MTP или DFlash2, поддержка OpenAI-совместимого API, JSON Schema, потоковой выдачи и мультимодального ввода. Ограничения связаны с форматом .ninfer: модель не загружается напрямую в Transformers, vLLM, Ollama или llama.cpp. Потребление видеопамяти превышает размер файла и зависит от контекста, CUDA-графов и параллелизма; меньшие GPU и максимальный контекст не квалифицировались. Интеграция распространяется по лицензии Apache 2.0.

T5-3B — языковая модель семейства Text-To-Text Transfer Transformer, разработанная Colin Raffel, Noam Shazeer и соавторами. Она представляет задачи обработки естественного языка в формате преобразования текста в текст: принимает текст и генерирует текстовый ответ. В метаданных указано 385,2 млн параметров, архитектура T5WithLMHeadModel и контекст до 512 токенов; README называет чекпойнт T5-3B моделью с 3 млрд параметров, поэтому размер в источниках расходится. Модель предназначена для машинного перевода; подход T5 также применим к суммаризации документов, ответам на вопросы, классификации, анализу тональности и перефразированию. Она обучалась на C4 и смеси задач денойзинга и контролируемого обучения. Указанные языки — английский, французский, румынский и немецкий. Модель распространяется по лицензии Apache 2.0. README не приводит конкретных результатов оценки или подробных ограничений; контекст в 512 токенов ограничивает длину входа и выхода.

Tess-2.0-Yi-34B-200K — универсальная большая языковая модель серии Tess, разработанной migtissera. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров, обученная на базовой модели 01-ai/Yi-34B-200K. Она предназначена для генерации текста и диалогов; в карточке приведён формат запросов с ролями SYSTEM, USER и ASSISTANT. Контекст модели составляет до 200 000 токенов. Модель работает с текстом и заявлена как uncensored, поэтому может создавать предвзятый, оскорбительный или неподходящий контент. Ответы могут быть неточными или вводящими в заблуждение, их следует проверять. В репозитории указаны веса safetensors. Лицензия обозначена как other, поэтому условия использования следует сверять с лицензией репозитория.

Cohere и Cohere Labs разработали Cohere Labs Tiny Aya Global — авторегрессионную языковую модель на основе оптимизированного Transformer с 3,35 млрд параметров. Модель дообучена с помощью supervised fine-tuning и обучения предпочтениям, поддерживает диалог и предназначена для эффективного запуска при ограниченных вычислительных ресурсах. Контекст составляет 8K токенов; модель принимает текст и генерирует текст. Модель ориентирована на многоязычную генерацию и диалог, включая суммаризацию, перевод и межъязыковые задачи. Она охватывает более 70 языков, в том числе русский и ряд языков с ограниченными ресурсами; заявленный баланс между языками и регионами — ключевая особенность версии Global. Модель также подходит для адаптации под конкретные задачи и исследований многоязычной обработки естественного языка. Сильные стороны — генерация текста на широком наборе языков и сравнительно хорошая работа с языками, для которых доступно меньше обучающих данных. Качество рассуждений, включая многоязычную математику, слабее, чем открытая генерация и диалог; фактические ошибки и нестабильность вероятнее для низкоресурсных языков, а сложные инструкции могут быть трудны для модели. Лицензия CC-BY-NC-4.0 ограничивает использование некоммерческими целями; также требуется соблюдать политику допустимого использования Cohere Labs.

AquilaChat2-34B-16K — диалоговая языковая модель BAAI из серии Aquila2, предназначенная для генерации ответов и работы с длинными текстами. Модель основана на плотной авторегрессионной архитектуре AquilaForCausalLM и содержит 33,1 млрд параметров; максимальная длина контекста — 16 384 токена. Доступны веса в формате PyTorch. Модель подходит для диалогов, генерации и суммирования длинных текстов, а также выполнения инструкций в обычных сценариях общения. В README описана версия V1.2, в которой улучшены синтез длинных текстов и выполнение инструкций по сравнению с V1. Для модели указана лицензия other; конкретные условия следует сверять с лицензией репозитория.

FLAN-T5-XXL — языковая модель семейства T5, разработанная Google и дообученная по инструкциям на более чем тысяче дополнительных задач. Это вариант с 5,8 млрд параметров, построенный на архитектуре encoder-decoder T5; модель принимает текст и генерирует текст в формате text-to-text. Она предназначена для выполнения разнообразных задач по текстовой инструкции, включая ответы на вопросы, рассуждения и few-shot- или zero-shot-сценарии. Карточка указывает английский, немецкий и французский языки; метаданные также отмечают румынский и многоязычность. Модель распространяется в форматах PyTorch и safetensors по лицензии Apache 2.0. FLAN-T5-XXL может служить основой для прототипов и исследований языковых моделей, обработки естественного языка и обучения на примерах в запросе. Авторы сообщают о сильных результатах на разных бенчмарках, однако модель не тестировалась в реальных приложениях. Она может воспроизводить смещения и неподходящий контент из обучающих данных, поэтому перед применением в конкретном продукте необходима оценка качества, безопасности и справедливости.

HopCoder Mini 35B A3B VL36 Full-SFT GGUF — это конверсия и набор GGUF-квантовок модели TaimoorSiddiqui/HopCoder-Mini-35B-A3B-VL36-fullsft, разработанной TaimoorSiddiqui. Модель получила 400 шагов full fine-tuning и предназначена для запуска через llama.cpp, включая сценарии генерации текста, vision-language задач и агентских приложений с вызовами инструментов. Формат вызова инструментов использует JSON внутри тегов <tool_call>. Архитектура относится к классу mixture-of-experts (MoE) и обозначена как 35B A3B; точные параметры модальностей, размер контекста и языковая поддержка в README не указаны, за исключением английского языка в метаданных. Репозиторий содержит варианты от BF16 и F16 до различных квантовок Q2–Q8 и TQ2, что позволяет выбирать компромисс между качеством, размером файлов и требованиями к ресурсам. Квантовки низкой точности IQ2_*, IQ3_*, IQ4_* и Q2_K_S отсутствуют, поскольку требуют importance matrix calibration, которая не применялась. Лицензия указана как other. Обучающий набор включает источники с лицензиями Apache-2.0, AGPL-3.0, MIT и other, поэтому производную модель нельзя автоматически считать распространяемой на условиях permissive-лицензии; условия использования следует проверять отдельно.

Kurage — многоцелевая модель Lightblue для генерации текста и сценариев RAG, дообученная на базе Qwen/Qwen2-7B-Instruct. Это плотная причинно-языковая модель на 7,1 млрд параметров с контекстом до 32 768 токенов; веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель умеет отвечать на вопросы по одному или нескольким фрагментам контекста, указывать релевантные фрагменты, расширять краткий ответ и генерировать пары вопросов и ответов из текста для предварительной индексации. Заявлена поддержка RAG на 44 языках, в том числе с контекстом на одном языке и вопросом на другом; метаданные отдельно перечисляют языки карточки модели.

LLaMA-2-7B-32K — языковая модель с длинным контекстом, разработанная Together и дообученная на основе Meta Llama 2 7B. Это плотная авторегрессионная модель семейства Llama, содержащая 6,6 млрд параметров и поддерживающая контекст до 32 768 токенов благодаря интерполяции позиционных представлений. Для обучения использовались смеси данных RedPajama, The Pile, UL2 Oscar и наборов для instruction tuning. Модель предназначена для генерации текста с большим объёмом входного контекста: ответов на вопросы по нескольким документам, суммаризации длинных текстов и работы с примерами в контексте. README описывает англоязычные данные и сценарии; метаданные также указывают английский язык. Модель доступна в формате PyTorch через Transformers и подходит для дальнейшей адаптации под конкретные задачи. Модель может выдавать неверную или предвзятую информацию. Лицензия — Llama 2; условия использования определяются лицензией Meta Llama 2.

Tess-4-27B-GGUF — это квантизированная версия модели Tess-4-27B, разработанной migtissera. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. По данным карточки, модель ориентирована на мультимодальные сценарии image-text-to-text, агентные задачи, рассуждения, работу с длинным контекстом и использование инструментов. Указана архитектурная принадлежность к семейству Qwen3, однако точный размер контекста, поддерживаемые языки и подробные характеристики модальностей в README не приведены. Доступны варианты от BF16 до низкоразрядных Q2–Q8-квантизаций; размеры файлов составляют примерно от 13 до 55 ГБ. Варианты Q5–Q6 обозначены как высококачественные, а Q4_K_M — как типичный вариант для большинства сценариев. Сильной стороной являются различные уровни квантизации, позволяющие выбирать между качеством, скоростью и требованиями к памяти, а также поддержка экосистемы llama.cpp. Более низкоразрядные варианты экономят память, но могут заметно уступать по качеству; некоторые форматы являются устаревшими или не рекомендуются. Модель и её квантизированные варианты распространяются по лицензии Apache-2.0.

mT5-base — многоязычная модель Google на архитектуре encoder-decoder Transformer семейства T5 с 291,2 млн параметров. Она предварительно обучена в формате text-to-text на корпусе mC4, собранном из Common Crawl и охватывающем 101 язык. Веса доступны в форматах PyTorch, TensorFlow и Flax; лицензия — Apache-2.0. Модель служит базой для дообучения под прикладные задачи обработки естественного языка: например, перевод, суммаризацию и ответы на вопросы. Предварительное обучение не включало обучение на размеченных задачах, поэтому для использования в конкретном сценарии модель необходимо дообучить.

LuffyTheFox/Ornith1.5-35B-A3B-Genesis-Hermes-GGUF — экспериментальная мультимодальная модель в формате GGUF, созданная на основе Ornith-1.5-35B-A3B от ornith-ai. В её основу также перенесены данные из Hermes-файнтюна DJLougen/hermes-qwen3.5-35b-a3b-GGUF, ориентированного на агентские сценарии и вызов функций. Релиз относится к проекту Genesis, автор которого заявляет о посттренировочной численной обработке весов без дополнительного обучения; эти заявления не подтверждены независимыми оценками в представленном описании. Модель предназначена для генерации текста и обработки изображений с текстовыми инструкциями, а также для диалогов, программирования, агентских задач и function calling. Заявлены поддержка английского и китайского языков, а также многоязычность. Архитектура — Mixture of Experts с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров; точный размер контекста в README не указан. К потенциальным сильным сторонам относятся мультимодальность, MoE-архитектура и ориентация на следование инструкциям и агентские рабочие процессы. Модель экспериментальная, а заявленные улучшения стабильности, снижения шумов и качества не сопровождаются результатами бенчмарков, поэтому фактическую производительность следует проверять самостоятельно. Для запуска рекомендуется использовать совместимый GGUF-движок; README также содержит настройки для GPU-offload, MoE и KV-кэша. Указана лицензия MIT.

Ornith-1.5-9B-GGUF — квантованные сборки мультимодальной модели Ornith 1.5 9B, разработанной ornith-ai и преобразованной и измеренной AtomicChat. Модель распространяется в формате GGUF для локального запуска с llama.cpp и поддерживает сценарии диалога, работы с изображениями и agentic coding. Для текстового режима vision projector можно не использовать; для обработки изображений требуется отдельный проектор объёмом около 0,92 ГБ. Доступны варианты от BF16 размером 17,9 ГБ до сильно сжатых IQ2/IQ1-сборок размером 2,81–3,38 ГБ. Рекомендуемый компромисс для видеопамяти около 8 ГБ — AD-Q5_K-Q4_K: он занимает 5,93 ГБ и показывает 93,10% совпадения следующего токена с эталонной BF16-моделью. Для более высокой точности доступны Q8_0 и BF16, а варианты с низкой разрядностью заметно теряют качество: самая компактная сборка имеет согласие лишь 53,74%. В README указаны запуск с контекстом до 8192 токенов и поддержка vision, но языки модели и дополнительные архитектурные характеристики не описаны. Сильные стороны модели — возможность локального запуска, широкий выбор квантований под разный объём видеопамяти и наличие мультимодального режима. Ограничения связаны с компромиссом между размером и точностью: самые компактные варианты авторы не рекомендуют для практического использования, а качество измерялось на отдельном нейтральном корпусе и не гарантирует результаты во всех задачах. Модель и сборки распространяются по лицензии MIT.

Ornstein-Hermes-3.6-27b-i1-GGUF — квантизированная версия модели Ornstein-Hermes-3.6-27b, разработанной GestaltLabs и подготовленной в формате GGUF пользователем mradermacher. В README также указано использование набора данных DJLougen/Acta и наличие тегов, связанных с семейством Qwen, мультимодальностью и Hermes. Модель предназначена для генерации текста на английском языке, обработки изображений вместе с текстом, вызова функций, работы с инструментами и агентских сценариев. Заявлены мультимодальные возможности image-text-to-text, function calling и tool use, однако точный размер контекстного окна и подробности архитектуры в README не указаны. Доступно множество вариантов квантизации с размером файлов примерно от 7,2 до 22,2 ГБ. Варианты различаются балансом между размером, скоростью и качеством: README отмечает, что некоторые низкобитные варианты имеют низкое качество, а i1-Q4_K_M рекомендуется как быстрый вариант. Качество конкретной версии зависит от выбранного типа квантизации. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-PRISM-LITE-GGUF — мультимодальная GGUF-версия Qwen3.5-122B-A10B, подготовленная Ex0bit с применением PRISM-процесса для частичного снижения чрезмерных отказов. Модель предназначена для диалогов, рассуждений и анализа изображений и видео; поддерживает режимы Thinking и Instant. В README заявлены 122 млрд параметров, из которых 10 млрд активны на токен, архитектура MoE с 256 маршрутизируемыми и одним общим экспертом на слой, а также сочетание GatedDeltaNet и пол attention. Контекст составляет 262 144 токена. Поставляется в формате GGUF с динамической поканальной квантизацией размером около 57,7 ГБ; для работы с изображениями включён файл vision encoder mmproj. Метаданные указывают лицензию Apache-2.0 и библиотеку llama.cpp. Вариант LITE снижает чрезмерные отказы лишь частично; заявления README о сохранении связности и удалении отказов не сопровождаются независимыми оценками. Базовая модель поддерживает широкий набор языков, включая русский.

Qwen3.8-27B-OBLITERATED-FP8 — это FP8-квантизированная версия мультимодальной модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, подготовленная MrPewpy. Модель предназначена для генерации текста, диалоговых сценариев, работы с изображениями и текстом, а также использования через vLLM и Transformers. Лицензия — Apache-2.0. Модель содержит около 27 млрд параметров и использует гибридную архитектуру с линейным вниманием Gated-DeltaNet и полным attention. Заявлена поддержка мультимодальных задач image-text-to-text, английского языка и контекста до 262 144 токенов. Квантизация выполнена в формате FP8_DYNAMIC: веса представлены в FP8, активации квантизуются динамически, а чувствительные проекции линейного внимания сохраняются в BF16. Размер модели сокращён примерно до 28 ГБ по сравнению с 51,6 ГБ у базовой BF16-версии. Сильными сторонами являются уменьшенный объём хранения, нативная поддержка vLLM, возможность запуска на GPU NVIDIA Ampere, Hopper и Blackwell, а также заявленная оптимизация базовой модели для снижения отказов. В README приведены непроверенные результаты на MMLU, ARC-Challenge, HellaSwag, WinoGrande, GSM8K и TruthfulQA; они не гарантируют аналогичную производительность в прикладных задачах. Для запуска рекомендуется vLLM, а аппаратные требования и качество могут зависеть от используемого движка, настроек и поддержки мультимодальных функций.

Vontra/Qwen3.8-Flash-Next-MLX-8bit-MTP — конверсия модели Qwen/Qwen3.8-Flash-Next, подготовленная Vontra для Apple Silicon в формате MLX safetensors. Модель предназначена для мультимодальных сценариев с обработкой текста и изображений, включая чат и использование через OpenAI-совместимый API при наличии совместимого runtime. Архитектура представляет собой vision-language модель с разреженной mixture-of-experts архитектурой Qwen4Exp и причинным языковым моделированием. Всего языковая часть содержит около 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно заявлены 51 млрд параметров в hashed bigram/trigram embedding и 4 млрд параметров в блоке native MTP. Модель поддерживает контекст до 262 144 токенов. Применяется равномерная 8-битная affine-квантизация с group size 32, тогда как мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Native MTP включает один draft-блок Qwen4Exp для speculative decoding. Сильными сторонами являются уменьшенный по сравнению с BF16-вариантом объём весов, поддержка длинного контекста и потенциальное ускорение генерации с MTP: в приведённом тесте на Apple M3 Studio скорость выросла с 20,07 до 24,90 токена в секунду. Ограничения включают размер весов около 202,951 ГБ, необходимость runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Приведённые показатели относятся только к генерации текста и могут меняться в зависимости от оборудования и условий запуска. Модель распространяется по Qwen Community License 1.0. Языки, точный перечень разрешённых сценариев и дополнительные ограничения лицензии в README не описаны.