I.4Обработка документов и форм

trohrbaugh/Qwen3.5-122B-A10B-heretic — мультимодальная разговорная модель на основе Qwen3.5, опубликованная пользователем trohrbaugh. Это вариант с abliteration: в README указано, что на тесте из 100 запросов отказов было 9 против 99 у исходной модели; приведённое значение KL divergence — 0,0916. Модель принимает текст и изображения и предназначена для диалога, визуального понимания, рассуждений и использования инструментов. Архитектура сочетает vision encoder, Gated Delta Networks и разреженный Mixture of Experts: всего 122 млрд параметров, из которых активны 10 млрд; 48 слоёв, 256 экспертов, из которых на токен активируются 8 маршрутизируемых и 1 общий. Контекст — 262 144 токена с расширением до 1 010 000. Репозиторий содержит веса в формате safetensors для Transformers и совместимых движков. README сообщает об исправлении раскладки MoE-весов 2 мая 2026 года и рекомендует заново получить репозиторий, если он был клонирован раньше. Модель поддерживает широкий набор языков; в README для семейства Qwen3.5 заявлена поддержка 201 языка и диалекта. Лицензия — Apache-2.0. Показатель отказов относится только к описанному в карточке тесту и не гарантирует поведение на других запросах; характеристика abliteration также не означает отсутствия всех ограничений или защитных механизмов.

leok7v/Qwen3.8-27B — мультимодальная квантизованная сборка базовой модели Qwen3.8-27B, разработанной Qwen и Alibaba. Квантизацию выполнила unsloth, упаковку — leok7v. Модель предназначена для автономного запуска на устройстве: чата, суммаризации, подготовки текстов, ответов на вопросы по предоставленному контексту и описания изображений в офлайн-режиме или сценариях, чувствительных к конфиденциальности. Это плотная гибридная авторегрессионная языковая модель с чередованием трёх блоков линейного внимания Gated DeltaNet и одного блока полного внимания, дополненная vision encoder. Линейные блоки используют компактное рекуррентное состояние вместо растущего KV-кэша, а блоки полного внимания поддерживают дальний контекст. Веса представлены в нескольких вариантах квантизации от 1 до 4 битов размером примерно от 6,88 до 15,17 GiB. В каждый файл встроены vision tower, токенизатор, chat template, параметры семплирования и drafter для speculative decoding. Сильные стороны модели — мультимодальность, полностью автономная поставка в одном файле, отсутствие необходимости обращаться к серверу и потенциально сниженное потребление памяти благодаря гибридной архитектуре. Ограничения включают зависимость формата .ggxf от runtime Gadeon: совместимость со сторонними GGUF-инструментами не проверялась, а некоторые из них могут не поддерживать встроенный vision tower или тип iq4_nl. Квантизация снижает точность, особенно в 1- и 2-битных вариантах; возможны фактические ошибки, накопление ошибок в многошаговых рассуждениях и расхождения с исходной моделью. Модель не содержит дополнительного safety-тюнинга или фильтрации и не предназначена для принятия юридических, медицинских, финансовых и иных высокоставочных решений без проверки человеком. Лицензия — Apache 2.0, унаследованная от базовой модели.

AetherKelly00/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий также содержит материалы Unsloth для запуска и квантизации. Это причинная языковая модель с визуальным энкодером, предназначенная для обработки текста и изображений, диалоговых сценариев, анализа документов и агентских задач с длинным контекстом. Для запуска рекомендуются llama.cpp или Unsloth Desktop. Модель использует архитектуру с гибридным вниманием: Gated DeltaNet сочетается с Qwen Sparse Attention, работающим на уровне микроблоков. Также применяются Gated Residual, n-gram embedding и Mixture of Experts. Заявлено 125 млрд параметров, из которых активируется около 6 млрд, дополнительно 51 млрд параметров приходится на n-gram embedding и 4 млрд — на MTP. Архитектура включает 48 слоёв, 512 экспертов с 10 маршрутизируемыми и одним общим активным экспертом. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживаемые языки в README не указаны. К сильным сторонам относятся высокая вычислительная эффективность за счёт разреженной активации экспертов, оптимизации длинного контекста и возможность локального запуска в формате GGUF. Ограничения включают экспериментальный статус архитектуры, необходимость совместимого программного обеспечения и отсутствие в представленном README подробных результатов тестирования, конкретных требований к памяти и информации о поддерживаемых вариантах квантизации. Модель распространяется по лицензии qwen-community-1.0; указанный тип лицензии — other.

EntityBERT — компактная модель Boltuix для распознавания именованных сущностей в английском тексте. Это дообученная для классификации токенов модель на базе boltuix/bert-mini с архитектурой BERT, примерно 5 млн параметров и контекстом до 512 токенов. Она размечает последовательность токенов 36 тегами BIO, охватывающими 18 типов сущностей, включая людей, организации, места и даты. Модель предназначена для извлечения сущностей из новостей, пользовательских текстов и исследовательских корпусов, а также для подготовки структурированных данных для чат-ботов, поиска и графов знаний. В README приведён F1 0,85 на тестовой части boltuix/conll2025-ner; компактный размер подходит для сценариев с ограниченными ресурсами. Модель распространяется по лицензии Apache-2.0. EntityBERT ориентирована на английский язык и может хуже работать с неформальными текстами, редкими сущностями и данными из областей, отличных от обучающего корпуса. Для медицинской, юридической, финансовой или иной специализированной разметки может потребоваться адаптация.

Gemma 3 27B PT — предварительно обученная мультимодальная модель Google из семейства Gemma 3 с открытыми весами. Она принимает текст и изображения и генерирует текст; размер модели — 27 млрд параметров. Модель предназначена для понимания изображений и генерации текста: ответов на вопросы, суммаризации, рассуждений, диалогов и создания контента. Контекстное окно — до 128 тыс. токенов, заявлена поддержка более 140 языков. Вариант PT является базовой предварительно обученной моделью, а не версией, настроенной для следования инструкциям. Модель можно применять для описания изображений и извлечения из них данных, создания текстовых ассистентов, составления кратких пересказов и исследовательских экспериментов с VLM и NLP. Google отмечает, что ответы могут содержать фактические ошибки, отражать смещения обучающих данных и хуже справляться со сложными запросами, неоднозначностями и тонкими языковыми нюансами. Лицензия — Gemma; перед использованием следует учитывать условия лицензии и политику запрещённого использования Gemma.

Gevva e2b Multimodal — мультимодальная модель-классификатор, созданная Дэйвом Бёрхансом и дообученная на основе google/gemma-4-E2B-it. Она предназначена для быстрых решений по тексту и изображениям: проверки утверждений по источникам, выявления галлюцинаций, маршрутизации запросов к инструментам и проверки того, подтверждают ли диаграммы, таблицы или документы заданное утверждение. В README заявлена обработка контекста до 128 000 токенов, задержка около 15 мс на GPU и около 147 мс на обычном CPU; модель распространяется в формате safetensors и рассчитана на использование через Transformers. Модель поддерживает английский, французский, испанский, немецкий, китайский, арабский, хинди, русский, суахили и вьетнамский языки. README также описывает применение для проверки ответов учащихся по эталону. Заявления о лидерстве на JevBench, скорости и точности приведены авторами модели и зависят от условий измерений. Лицензия — Apache 2.0.

Heretic-Scalpel-E2B — мультимодальная чат-модель на архитектуре Gemma 4 E2B, основанная на Google Gemma 4 E2B IT и дообученная автором репозитория. Карточка заявляет, что модель работает локально и офлайн, использует около 8 ГБ оперативной памяти и поддерживает контекст до 128K токенов; эти характеристики приведены в README автора. Модель предназначена для диалога и создания текста, включая суммаризацию и ответы на вопросы, а также для анализа изображений и аудио. Она принимает текстовые, визуальные и аудиовходы и выдаёт текст; в метаданных также отмечен интерфейс вызова инструментов. README описывает ослабление исходных ограничений безопасности, поэтому модель может отвечать на запросы без прежних отказов базовой модели. Возможны фактические ошибки, пробелы в знаниях и трудности с нюансами языка или сложными задачами; ослабленные ограничения безопасности повышают риск вредоносных ответов. Язык модели не указан в метаданных. Лицензия репозитория — Apache-2.0.

RedHatAI/Inkling-FP8-dynamic — мультимодальная модель, разработанная RedHatAI на основе thinkingmachines/Inkling. Она предназначена для генерации текста по текстовым, графическим и аудиовходам, включая диалоговые сценарии, анализ изображений и аудио, а также универсальные задачи рассуждения и обработки мультимодального контента. Модель использует архитектуру InklingForConditionalGeneration и Mixture-of-Experts с 975 млрд общих параметров, из которых 41 млрд активируются для отдельного запроса. Веса и активации языкового блока квантизированы в FP8: веса используют статическое поканальное масштабирование, а активации — динамическое масштабирование на уровне токенов. Энкодеры изображений и аудио, эмбеддинги, нормализация, смещения, маршрутизация MoE и отдельные слои сохранены в исходной точности. Квантизация примерно вдвое уменьшает размер модели на диске и требования к памяти по сравнению с 16-битным представлением. В конфигурации развертывания заявлена поддержка контекста до 131 072 токенов и до четырёх изображений и одного аудиофайла на запрос. К сильным сторонам относятся поддержка нескольких модальностей, высокая общая ёмкость MoE-модели, снижение требований к GPU-памяти благодаря FP8 и готовность к инференсу через vLLM. Ограничения включают значительный абсолютный размер модели, необходимость совместимой версии vLLM с поддержкой FP8 для Inkling и отсутствие в README сведений о языках, результатах бенчмарков и качестве после квантизации. Модель распространяется по лицензии Apache-2.0.

Ornith-1.5-35B-A3B-NInfer — квантованный артефакт модели Ornith-1.5-35B-A3B, разработанной shisa-ai на базе архитектуры Ornith и с компонентами, связанными с Qwen3.6-35B-A3B. Модель упакована в единый файл формата NInfer и предназначена для локального сервинга через NInfer, включая совместимый с OpenAI API интерфейс. Она ориентирована на текстовые и визуально-текстовые сценарии, а также на ускоренную генерацию с использованием speculative decoding. Модель построена по архитектуре Mixture-of-Experts размером 35B параметров: используется 256 экспертов, из которых 8 активируются для каждого токена. Архитектура включает 40 гибридных слоёв с линейным и полным вниманием, vision tower, однос слой MTP и контекст длиной до 262144 токенов. В артефакт встроены квантованные groupwise-int веса, MTP-голова, DFlash draft-модель, vision tower, токенизатор и официальный frontend Qwen. Размер файла составляет около 21,22 GiB; заявлена работа на одной видеокарте RTX 5090 с 32 ГБ памяти, при этом NInfer ориентирован на sm_120a. Сильными сторонами являются большое контекстное окно, поддержка изображений, единый переносимый артефакт и ускорение генерации за счёт MTP и DFlash. В README указано ожидаемое принятие спекулятивных токенов около 80% и примерно 3,4 токена за раунд для окна из 3 токенов, однако на дообученных сценариях скорость может снижаться, поэтому производительность следует измерять на собственных данных. Артефакт распространяется по лицензии Apache-2.0; он не является официальным релизом Qwen, shisa-ai, ornith-ai или NInfer.

Qwen3.8-27B-Pessoa-5090 (AR11) — квантованный вариант Qwen/Qwen3.8-27B, подготовленный автором lribeiro. Это vision-language model для обработки текста и изображений, включая сценарии image-text-to-text; языковая часть поддерживает multilingual-данные. Модель предназначена для запуска через vLLM на одной видеокарте NVIDIA RTX 5090 с архитектурой Blackwell SM120 и поддерживает speculative decoding с помощью MTP. Модель содержит 27,79 млрд параметров и использует архитектуру Qwen3_5ForConditionalGeneration: 27-слойный ViT-энкодер изображений и языковую модель из 64 слоёв, объединяющую 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания. Максимальный контекст составляет 262 144 токена, словарь — 248 320 токенов. Квантование выполнено методом AutoRound 0.14.2 в формате compressed-tensors: ранние MLP-слои используют INT4, поздние — INT5, а проекции внимания — INT6; активации, KV-cache, визуальный энкодер, эмбеддинги, lm_head и MTP-head сохраняются в BF16. Главное преимущество — уменьшение размера с 55,6 до 22,59 ГБ при сохранении качества: заявлены KLD 0,00397 наты и совпадение top-1 в 97,64% случаев на тесте из 278 392 позиций. Ограничения включают зависимость от совместимого стека vLLM, FlashInfer и оборудования Blackwell, а также потенциальные потери точности из-за квантования весов. Модель распространяется по лицензии Apache-2.0.

NovaeonStudio/Qwen3.8-Flash-Next-Uncensored-oQ3e-fp16-mtp — сборка Novaeon.Studio на базе orcarouter/Qwen3.8-Flash-Next-Uncensored. Это неконтентно-ограниченная мультимодальная MoE-модель с поддержкой изображений, подготовленная для запуска через oMLX на компьютерах Apple Silicon с большим объёмом оперативной памяти, прежде всего на системах с 128 ГБ и более. Модель предназначена для генерации текста, объяснений, рассуждений, анализа изображений, работы с длинными контекстами и интеграции с инструментами. Архитектура обозначена как qwen4_exp: 48 слоёв, скрытое представление размерностью 2560, 512 экспертов, из которых активно 10, сочетание линейного внимания GatedDeltaNet и полного внимания, а также PLE/n-граммный стек эмбеддингов и 27-слойная vision-башня с размерностью 1152. Поддерживаются английский язык и контекст до 262 144 токенов. Сохранён нативный MTP-модуль для спекулятивного декодирования; в измерениях на Apple M5 Max он повысил скорость генерации примерно на 67%. Квантование oQ3e использует преимущественно 3-битное представление с выборочными участками повышенной точности и fp16 для критически важных компонентов. Размер модели составляет около 85,2 ГБ на диске и 79,5 ГБ в памяти oMLX. Сильные стороны модели — связная генерация, рассуждения, анализ изображений, извлечение данных из контекста длиной до 80 тысяч токенов и отсутствие отказов на проверенных запросах. Ограничение — слабая надёжность параллельных и многошаговых вызовов инструментов, поэтому модель не является оптимальным выбором для сложных агентных сценариев. Сборка носит экспериментальный характер и требует версии oMLX с поддержкой исправленного загрузчика qwen4_exp, начиная с 0.7.0.dev2. Распространяется по лицензии Apache-2.0.

Rapido NER + Entity Embedding — модель распознавания именованных сущностей и получения их векторных представлений, разработанная автором репозитория pierre-tassel. Она дообучена на базе многоязычного энкодера Alibaba-NLP/gte-multilingual-mlm-base и объединяет классификационную голову для разметки токенов, CRF-декодирование с ограничениями BIO, пулинг упоминаний с помощью внимания и проекционные слои с учётом типа сущности. Модель предназначена для многоязычного NER, а также для кластеризации, поиска и связывания упоминаний сущностей. Для выбранного упоминания она может выдавать L2-нормализованный вектор размерности 768; предусмотрено разделение представлений по типам PER, ORG и LOC. Контекст модели составляет до 4096 токенов, входная модальность — текст. В README указано обучение на корпусе из 55 языков; метаданные перечисляют поддерживаемые языки, включая русский. Модель распространяется по лицензии Apache 2.0. Качество может зависеть от языка и предметной области; заявленные возможности не гарантируют одинаковую точность на любых текстах. Для получения векторов упоминаний требуется передать mention_mask.

GPT-4o — мультимодальная модель OpenAI, принимающая текст и изображения и формирующая текстовые ответы. Название «omni» отражает поддержку нескольких типов входных данных; в доступной карточке заявлены текстовый и визуальный ввод. Модель подходит для диалога и ответов на вопросы по тексту или изображениям, например для описания изображений и анализа визуальной информации. По метаданным каталога её задача — image-text-to-text. Карточка также сравнивает её уровень интеллекта с GPT-4 Turbo, но не содержит завершённых сведений о размере, контекстном окне, языках и лицензии.

GPT-4o mini — компактная мультимодальная модель OpenAI, представленная как модель семейства GPT-4o. Она принимает текст и изображения и формирует текстовые ответы, поэтому подходит для диалога, ответов на вопросы и анализа изображений с текстовым описанием или инструкцией. В карточке она охарактеризована как более доступная по стоимости модель по сравнению с более крупными моделями OpenAI. Сведения о лицензии и ограничениях использования в предоставленных данных отсутствуют.

CYFRAGOVPL/Llama-PLLuM-8B-instruct-2512 — языковая модель семейства PLLuM, разработанная для польского языка при участии консорциума PLLuM и альянса HIVE AI. Это плотная авторегрессионная модель Llama с 7,5 млрд параметров, настроенная следовать инструкциям и вести диалог. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации и обобщения текста, извлечения сведений, ответов на вопросы и создания специализированных ассистентов. В карточке отмечена особая применимость к польской государственной администрации, а также к юридическим и бюрократическим темам, особенно в системах с поиском по документам. Обучение включало продолжение предобучения на польских и английских текстах, настройку на инструкциях и обучение предпочтениям. Модель ориентирована прежде всего на польский язык, с дополнительными данными на английском. Репозиторий содержит веса в формате safetensors. Указана лицензия llama3.1; перед использованием следует учитывать её условия. Для юридических и административных ответов карточка рекомендует подключать поиск по актуальным документам, а сама модель может ошибаться в фактах.

MistralLite — языковая модель на архитектуре Mistral-7B, дообученная участниками AWS для работы с длинным контекстом. Она предназначена для поиска сведений в длинных текстах, извлечения тем и строк, суммаризации и ответов на вопросы по предоставленному контексту. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. При дообучении использованы адаптация Rotary Embedding с rope_theta = 1 000 000 и окно скользящего внимания размером 16 384 токена. README сообщает об улучшении результатов на задачах извлечения и ответов по длинному контексту; основной язык модели — английский. Указанная лицензия — Apache 2.0. Для запросов с входным контекстом длиннее 12 000 токенов README рекомендует использовать специальный контейнер TGI. Разработчики советуют самостоятельно оценивать качество и проверять соответствие применения местным правилам, лицензиям и требованиям контроля качества.

Mistral Small 3.2 24B Instruct 2506 GGUF — мультимодальная инструкционная модель, разработанная Mistral AI и распространяемая в формате GGUF сообществом LM Studio. Квантизация выполнена lmmy на основе llama.cpp. Модель принимает текстовые и графические данные и генерирует текст, поэтому предназначена для диалоговых систем, обработки инструкций, анализа изображений с текстовым ответом и других локальных сценариев работы с мультимодальными запросами. Модель поддерживает контекст длиной до 128 000 токенов и десятки языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский, индонезийский, малайский, непальский, польский, румынский, сербский, шведский, турецкий, украинский, вьетнамский, хинди и бенгальский. Точный вариант архитектуры и параметры квантизации в README не указаны; из названия следует размер базовой модели 24B. Производительность вызова инструментов может быть снижена. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что это community-сборка, а не оригинальная публикация разработчика: LM Studio не гарантирует её точность, безопасность, доступность или пригодность для конкретных задач, а сгенерированные ответы могут быть ошибочными или неприемлемыми.

Это крупная модель распознавания именованных сущностей для английского языка, поставляемая вместе с библиотекой Flair. Она присваивает токенам 18 типов сущностей, включая даты, числовые значения и названия событий, и предназначена для разметки сущностей в англоязычных текстах. Модель использует документные эмбеддинги XLM-R и архитектуру FLERT; для OntoNotes в карточке указан F1-score 90,93. Репозиторий содержит веса PyTorch, а для применения требуется библиотека Flair. Сведения о лицензии в предоставленных данных отсутствуют.

mlx-community/openai-privacy-filter-8bit — 8-битная модель для MLX, созданная сообществом mlx-community на основе openai/privacy-filter и подготовленная с помощью mlx-embeddings 0.1.1. Это двунаправленный разреженный MoE-классификатор токенов: он размечает BIOES-фрагменты с персональными данными в восьми категориях — имя человека, адрес электронной почты, телефон, URL, адрес, дата, номер счёта и секрет. Модель предназначена для локального обнаружения и последующего маскирования персональных данных в тексте. Репозиторий содержит 145,4 млн параметров и использует формат safetensors; указанное окно контекста — 131072 токена. Лицензия — Apache-2.0. README описывает конверсию в формат MLX, а метаданные классифицируют связь с базовой моделью как дообучение.

Модель Forrest20231206/pii-zh-qwen3-0.6b-24class — дообученный на базе ZJUICSR/AIguard-pii-detection-fast токен-классификатор для поиска символьных фрагментов с персональными и другими чувствительными данными в текстах на упрощённом китайском языке. Её разработчик — Forrest20231206. Модель рассчитана на выявление 24 типов сущностей, включая имена, телефоны, адреса, идентификаторы, банковские реквизиты и секреты; она выдаёт метки токенов, из которых декодер формирует границы найденных фрагментов. Архитектура — Qwen3BiForTokenClassification с примерно 0,6 млрд параметров, 28 слоями и размером скрытого состояния 1024. Используется двунаправленное full attention без causal mask; схема из 73 меток и constrained-Viterbi декодирование обеспечивают допустимые последовательности B/I/E. Контекст модели — 40 960 токенов. Для корректного получения границ README рекомендует специальный загрузчик проекта с constrained-Viterbi, а не стандартную агрегацию токенов Transformers. Обучающая, валидационная и тестовая выборки этой версии состоят из синтетических данных. На независимом синтетическом тесте строгий micro F1 составил около 0,952, но показатели на другом синтетическом тесте и публичном китайском бенчмарке заметно ниже. Поэтому модель предназначена для расширения охвата типов сущностей в китайском PII-детекторе, а не для безусловной замены зрелого основного детектора; перед применением требуется проверка на целевом домене. Лицензия репозитория — Apache-2.0, при этом условия базовой модели следует проверять отдельно.

Qwen3.8-27B-Della-Carnice-Ostrich-Salience-Glimmer-v5 — 基于 Qwen/Qwen3.8-27B 构建的 270 亿参数稠密多模态模型，由 YFC-112358 通过 della_linear 方法融合多个模型得到。模型面向对话，可接收文本和图像并生成文本；元数据还标注了工具调用接口和视觉能力。模型权重以 safetensors 格式发布，使用 Transformers 加载。 该版本采用单阶段融合，合并了 Ostrich、Carnice、Salience 等模型及一个 Glimmer 版本；README 说明 tokenizer 和配置沿用 Qwen/Qwen3.8-27B。融合过程使用 fp32 计算并以 bf16 保存，README также описывает разреживание по блокам строк и особенности весовых коэффициентов, которые могут влиять на итоговый вклад источников. Лицензия в предоставленных данных не указана.

Qwen3.8-27B-MLX — сборка официальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и адаптированной OrcaRouter для MLX. Это мультимодальная vision-language модель с поддержкой текста и изображений, ориентированная на запуск на устройствах Apple Silicon. Заявлены английский и китайский языки, управление режимом рассуждений, вызов инструментов и Multi-Token Prediction (MTP) для ускорения спекулятивной генерации. Модель имеет 27 миллиардов параметров и плотную гибридную архитектуру, сочетающую линейное внимание Gated DeltaNet с полноразмерным attention. Доступны аффинные варианты квантования на 4, 6 и 8 бит: примерно 16, 24 и 31 ГБ соответственно. Визуальная башня, нормализационные и свёрточные слои сохраняются в BF16, а линейные веса языковой модели квантуются. Вариант 8-bit обеспечивает качество, близкое к BF16, 6-bit предлагает компромисс между качеством и объёмом, а 4-bit предназначен для повседневного использования при меньших требованиях к памяти. Модель подходит для диалоговых приложений, анализа изображений, генерации текста, задач рассуждения и сценариев с вызовом функций. Для ускорения генерации доступен отдельный MTP-драфтер, совместимый с любой основной точностью. Ограничениями являются значительные требования к оперативной памяти, зависимость от актуальных версий mlx-vlm и MLX, а также преимущественная ориентация на Apple Silicon; для vision-режима на CUDA требуется дополнительная настройка. Репозиторий распространяется по лицензии Apache 2.0.

navispace/Qwen3.8-27B-W8A16-GPTQ — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач генерации текста и работы с изображениями и текстом; в карточке она классифицирована как image-text-to-text. Эта сборка использует 8-битное квантизирование весов W8A16 в формате GPTQ с группами размера 32, тогда как активации выполняются в FP16. Размер весов уменьшен примерно с 51,7 до 31,2 GiB, что позволяет разместить модель на двух видеокартах по 24 ГБ с дополнительной памятью под KV-кэш. Квантизирование выполнено методом round-to-nearest без калибровочного набора данных, с симметричным масштабированием по группам и поиском оптимального коэффициента уменьшения масштаба. Квантизированы основные проекции MLP, attention и linear attention; vision tower, embeddings, lm_head, нормализации и ряд компонентов оставлены в BF16. Заявленная относительная ошибка восстановления весов составляет в среднем 0,567%. Базовый контекст модели составляет 262 144 токена, а с расширением YaRN в указанной конфигурации может достигать 524 288 токенов. Языки в README не указаны. Сильными сторонами являются существенное снижение требований к памяти, поддержка длинного контекста и совместимость с vLLM, включая сценарии на AMD Radeon RX 7900 XTX под ROCm. Ограничения включают необходимость FP16-активаций для INT8-ядер Exllama на ROCm, потенциальную нестабильность FP16 на длинных генерациях и отсутствие сравнительных бенчмарков с исходными BF16-весами. Лицензия — Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6 — это общественная MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Конверсия предназначена для запуска на Apple Silicon через совместимые MLX-VLM или oMLX. Модель относится к vision-language системам и поддерживает обработку текста и изображений; в поставку также входят исходные токенизатор, шаблон диалога, обработчик изображений и конфигурация генерации. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и хешированными bigram/trigram embeddings. Всего заявлено 125 млрд параметров языковой части, из которых активно 6 млрд, а таблицы n-грамм содержат 51 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий, 24 attention heads и 2 KV heads; размер скрытого состояния — 2560, настроенный контекст — до 262144 токенов. Веса представлены в формате MLX safetensors и занимают около 155,78 ГБ; используется смешанная 6-битная квантизация с отдельными модулями точностью 6/8 бит. Сильными сторонами являются поддержка мультимодальных сценариев, большой контекст, разреженная архитектура и оптимизация для Apple Silicon. На Apple M3 Studio в README указана скорость генерации примерно 19,5–23,1 токена в секунду в зависимости от режима. Ограничения включают очень большой объём весов, необходимость runtime с явной поддержкой qwen4_exp и отсутствие встроенной native MTP head в данной сборке. Приведённые показатели относятся к конкретной конфигурации и могут изменяться в зависимости от длины запроса, настроек генерации, версии runtime и доступной памяти. Это неофициальный релиз Qwen, а конверсия и упаковка Vontra. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

BgGPT-Gemma-3-27B-IT — мультимодальная модель для диалогов и выполнения инструкций, адаптированная для болгарского языка институтом INSAIT на базе Google Gemma 3 27B IT. Это плотная модель семейства Gemma 3 с поддержкой текста и изображений; карточка указывает эффективный контекст до 131 тыс. токенов. Модель рассчитана на многоходовые беседы, сложные инструкции и задачи, где нужно совместно учитывать текст и изображения. Модель подходит для вопросов и ответов на болгарском языке, диалоговых помощников и анализа изображений с текстовыми запросами. Также поддерживает английский язык. В README указаны данные предобучения до мая 2025 года и дообучения по инструкциям до октября 2025 года. Репозиторий содержит веса Safetensors и использует лицензию Gemma; применение регулируется её условиями.

EvoQwen2.5-VL-Retriever-3B-v1 — мультимодальная модель поиска по визуальным документам, разработанная ApsaraStackMaaS. Она основана на Qwen2.5-VL-3B-Instruct и дообучена методом Evo-Retriever; использует плотные многовекторные представления и позднее взаимодействие для сопоставления текстовых запросов с изображениями документов. Модель содержит 3,1 млрд параметров, принимает изображения и текстовые запросы, а на выходе формирует векторы для оценки релевантности. Указанная длина контекста — 128 000 токенов. Модель предназначена для поиска нужных страниц и сведений в визуально сложных документах, включая запросы на естественном языке к содержимому изображений. В README заявлено преимущество по точности над моделями сопоставимого размера и пригодность для сценариев с ограниченными ресурсами; приведены примеры текстового поиска по изображениям. Для загрузки и обработки в README перечислены Transformers, Torch, Pillow и colpali-engine. Лицензия — Apache-2.0. Данные карточки указывают английский язык; поддержка других языков не подтверждена. Оценочные таблицы в README опущены, поэтому количественные показатели качества проверить по предоставленным сведениям нельзя.

Gemma 3 12B IT QAT GGUF — мультимодальная instruction-tuned модель, разработанная Google и представленная сообществом LM Studio в формате GGUF. Это квантизированная версия базовой модели google/gemma-3-12b-it, подготовленная с применением Quantization Aware Training для повышения качества 4-битного вывода. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммаризацию, рассуждения и другие сценарии обработки текста и изображений. Она поддерживает контекст до 128 000 токенов и максимальную длину вывода 8 192 токена. Изображения обрабатываются после нормализации до разрешения 896 × 896. Сведения о поддерживаемых языках и точном числе параметров, помимо обозначения 12B, в README не указаны. Ключевое преимущество — сочетание мультимодальности, длинного контекста и оптимизированного 4-битного квантования, что может снизить требования к ресурсам по сравнению с полноточной моделью. Ограничения включают возможные неточности, вредные или неподходящие ответы, характерные для генеративных моделей. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

RedHatAI/Kimi-K3-NVFP4 — квантизированная версия модели moonshotai/Kimi-K3, разработанная RedHatAI. Это мультимодальная модель архитектуры KimiK3ForConditionalGeneration, принимающая текст и изображения и генерирующая текст. Модель предназначена для задач понимания и обработки текста и изображений, включая сценарии инференса через vLLM. В модели применена FP4-квантизация весов и активаций MoE-экспертов с использованием LLM Compressor и формата compressed-tensors. Линейные операторы MoE-экспертов квантизированы с 16 до 4 бит, что уменьшает размер на диске и требования к памяти GPU для этих слоёв примерно на 75%. Attention, shared experts и другие неквантизированные слои сохраняют исходную точность. Размер модели, поддерживаемые языки и длина контекста в README не указаны. К сильным сторонам относятся существенное снижение потребления памяти и готовность к инференсу в vLLM при сохранении высокой доли качества исходной модели: на GPQA Diamond достигнуто 91,0 против 93,5 у неквантизированной версии, что соответствует восстановлению 97,33% качества. Ограничением является небольшое снижение точности, а также необходимость совместимой версии vLLM и специальной конфигурации развертывания; в README приведён сценарий с tensor parallel size 8. Лицензия указана как other, с названием kimi-k3.

CYFRAGOVPL/Llama-PLLuM-70B-instruct-2512 — польскоязычная большая языковая модель семейства PLLuM, разработка которой с 2025 года ведётся альянсом HIVE AI. Это плотная авторегрессионная модель на архитектуре Llama с 69,5 млрд параметров и контекстом до 131 072 токенов; репозиторий содержит веса safetensors. Модель дообучена для следования инструкциям и диалога на польских и английских данных. Модель предназначена для генерации текста, ответов на вопросы, суммаризации и извлечения сведений, а также для создания специализированных помощников. В README отдельно отмечены сценарии польской государственной администрации и юридико-бюрократических тем, в том числе с поиском документов через RAG. Для RAG требуется внешняя система поиска и хранилище документов. Для обучения использовались вручную подготовленные польские инструкции и предпочтения, а также синтетические и контекстные данные. Указанная в метаданных лицензия — Llama 3.1; перед использованием следует учитывать её условия. README описывает семейство PLLuM и не раскрывает отдельные подробности обучения именно версии 70B instruct-2512.

splynx/multilang-pii-ner-ONNX — ONNX-версия модели Multilingual PII NER, разработанной Arif Hizlan (Ar86Bat) и автоматически конвертированной для использования с Transformers.js. Модель основана на архитектуре XLM-RoBERTa Base и предназначена для распознавания сущностей методом NER с целью обнаружения и маскирования персональных данных в тексте. Модель поддерживает английский, немецкий, итальянский и французский языки и может использоваться в приложениях для обезличивания документов, защиты конфиденциальности и предварительной обработки текстов. Она обучена на наборе данных ai4privacy/open-pii-masking-500k-ai4privacy. В README указаны общая точность 99,24%, macro F1 0,954 и weighted F1 0,992; особенно высокие результаты показаны для адресов электронной почты и дат, тогда как для редких или неоднозначных типов данных, включая номера водительских удостоверений, гендер, номера паспортов, фамилии и пол, качество ниже. Модель не гарантирует идеальную полноту и точность для редких или неоднозначных категорий PII и может потребовать дополнительной тонкой настройки под конкретный домен. Формат ONNX и совместимость с Transformers.js удобны для интеграции в JavaScript-приложения. Модель распространяется по лицензии MIT.