I.4Обработка документов и форм

aiola/roberta-base-corener — многоцелевая модель на базе RoBERTa, предназначенная для распознавания именованных сущностей, извлечения отношений, обнаружения упоминаний сущностей и разрешения кореференции. Модель разработала aiola; в карточке описаны совместное обучение задач и правила построения кластеров кореферентных упоминаний. NER и обнаружение упоминаний реализованы как классификация текстовых фрагментов, а извлечение отношений и разрешение кореференции — как классификация пар фрагментов. Модель распознаёт типы сущностей, включая людей, организации, географические объекты, даты, суммы и события, а также отношения вроде «работает в», «живёт в» и «расположено в». Это англоязычная модель на 151,8 млн параметров с контекстом до 514 токенов. Модель распространяется в формате PyTorch по лицензии Apache-2.0. В метаданных Hugging Face основная задача указана как заполнение пропусков (fill-mask), тогда как README описывает извлечение структурированной информации; поэтому поддержка этих прикладных задач в готовом интерфейсе Hugging Face не подтверждена метаданными.

Ternary Bonsai 2 27B MLX — мультимодальная модель семейства Qwen3.5, упакованная для локального запуска на Apple Silicon. Репозиторий представляет собой преобразованную упаковку чекпойнта prism-ml/Ternary-Bonsai-2-27B-mlx-2bit: переобучения и дополнительной квантизации не проводилось. 402 языковые матрицы хранят тернарные веса со скоростью 1,75 бита на вес; зрительный модуль и связанные тензоры сохранены в исходной точности FP16. Модель поддерживает диалог, работу с изображениями и интерфейс вызова инструментов. Она предназначена для генерации текста и ответов на вопросы по изображениям, включая OCR и пространственные рассуждения, при локальном инференсе на устройствах Apple Silicon. README сообщает о проверках точности на текстовых и мультимодальных сценариях, включая контекст до 8192 токенов, но полное окно контекста и общие бенчмарки возможностей исходной модели не проверялись. Заявленная экономия памяти не означает ускорения: в приведённых измерениях обработка входа была медленнее официального чекпойнта, а генерация имела сопоставимую скорость. Для запуска требуется MLX и комплект закреплённых версий MLX-LM, MLX-VLM и Transformers с поставляемым загрузчиком; стандартные загрузчики MLX и Transformers этот артефакт не поддерживают. Проверена конфигурация M4 Max с 48 ГБ объединённой памяти, другие версии библиотек и устройства не валидированы. Лицензия — Apache-2.0.

Vero-Qwen3I-8B — мультимодальная модель для общего визуального рассуждения из открытого семейства Vero. Она создана на основе Qwen3-VL-8B-Instruct и дообучена с применением обучения с подкреплением. Модель содержит 8 млрд параметров и предназначена для диалога и анализа изображений.

Kkanuu/xlm-roberta-base-finetuned-panx-de — модель XLM-RoBERTa Base, дообученная для классификации токенов. Она предназначена для разметки последовательностей, например для распознавания именованных сущностей в немецком тексте; карточка указывает на дообучение на наборе PANX, но подробности о данных не приведены. Модель содержит 305,2 млн параметров, принимает текст и имеет контекст до 514 токенов. На оценочном наборе указаны loss 0,1426 и F1 0,8602. Лицензия — MIT. README не уточняет состав меток и обучающих данных, поэтому результаты не гарантируют качество на других доменах и типах текста.

OmCodex/xlm-roberta-base-finetuned-panx-de — модель XLM-RoBERTa, дообученная для классификации токенов на основе FacebookAI/xlm-roberta-base. Она предназначена для разметки отдельных фрагментов текста, в частности для задач распознавания именованных сущностей на немецком языке, что следует из названия panx-de. В оценке на тестовом наборе указаны F1 0,8648 и loss 0,1384; подробности о наборе данных и метках не приведены. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForTokenClassification и принимает контекст до 514 токенов. Распространяется по лицензии MIT.

srmjfba/xlm-roberta-base-finetuned-panx-de-fr — модель XLM-RoBERTa, дообученная на задаче классификации токенов. По названию репозитория она предназначена для распознавания именованных сущностей на немецком и французском языках; базовая модель — FacebookAI/xlm-roberta-base. Модель содержит 305,2 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. В README приведён результат оценки: F1 0,8585 и loss 0,1598, однако датасет указан как None, а описание обучения и ограничения не раскрыты. Модель распространяется по лицензии MIT.

ABB Dual-Head Location Component NER — модель распознавания именованных сущностей, разработанная для структурирования строк с местоположениями из муниципальных решений. Она построена на XLM-RoBERTa base и использует две независимые головы с декодированием CRF: одна размечает токены как компоненты адреса, другая выделяет отдельные локации. Затем компоненты объединяются внутри соответствующих интервалов локаций в структурированный JSON. Модель предназначена для извлечения улиц, дорог, номеров домов и других частей адреса из строк, которые могут содержать несколько местоположений. По README, на отложенной выборке примерно из 10 000 строк муниципальных решений Бельгии совокупная F1 составила 0,9435. Размер модели — 305,2 млн параметров, контекст — 514 токенов; опубликованные веса в формате safetensors. Модель ориентирована на нидерландские (в том числе бельгийские), немецкие, французские и английские строки. Она преимущественно обучена на бельгийских и фламандских данных; точность для немецкого языка может быть ниже на редких типах компонентов, а для зоны DOMAIN_ZONE_AREA указана F1 0,61. Для загрузки требуется класс пользовательской архитектуры. Лицензия — MIT.

ADELIE-SFT — языковая модель для извлечения информации, разработанная Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou и Juanzi Li. Модель создана инструкционным дообучением LLaMA 2 7B на корпусе IEInstruct и предназначена для закрытого, открытого и выполняемого по запросу извлечения информации, включая распознавание сущностей, извлечение событий и отношений. Модель основана на плотной архитектуре LLaMA с причинным языковым моделированием, содержит 6,6 млрд параметров и имеет контекст длиной 2048 токенов. Она принимает текст и генерирует текст; заявленный язык — английский. В карточке приведены результаты на наборах данных извлечения информации и общих бенчмарках. Использование регулируется лицензией LLaMA 2.

Applied NER Stage 4 — Improved BERT Tiny — это компактная англоязычная модель распознавания именованных сущностей, разработанная THemidli. Она дообучена на базе google/bert_uncased_L-2_H-128_A-2 и классифицирует токены по восьми классам: PERSON, ORGANIZATION, LOCATION, TIMEDATE, PRODUCT, WORKOFART, JOB и AMOUNT, используя BIO-разметку. Модель предназначена для извлечения людей, организаций, мест, дат и времени, товаров, произведений, должностей и денежных сумм из английского текста. Архитектура — двухслойный BERT с 4,4 млн параметров; максимальный контекст по метаданным составляет 512 токенов. В README приведены тестовый F1 0,471 и F1 0,585 на 40 вручную размеченных примерах; автор характеризует её как компактный базовый вариант, а не промышленную систему. Модель распространяется по лицензии Apache-2.0.

Xenova/bert-base-NER — модель для распознавания именованных сущностей (NER), разработанная на основе dslim/bert-base-NER и адаптированная для работы в Transformers.js. Репозиторий содержит веса в формате ONNX, совместимые с JavaScript-библиотекой Transformers.js, что позволяет применять модель в веб-приложениях и других средах, поддерживающих этот стек. Модель предназначена для token classification: она анализирует текст и выделяет именованные сущности, например имена людей и географические названия. В README приведён пример обработки англоязычной фразы, однако полный набор поддерживаемых языков, размер модели, максимальная длина контекста и перечень типов сущностей не указаны. Ключевое преимущество модели — возможность запуска через Transformers.js с ONNX-весами. При этом сведения о точности, производительности, ограничениях, модальностях и требованиях к ресурсам отсутствуют. Указана лицензия MIT.

bert-base-swedish-cased-ner — модель семейства BERT, выпущенная Национальной библиотекой Швеции и исследовательской группой KBLab. Это версия bert-base-swedish-cased, дообученная для распознавания именованных сущностей на шведском языке с использованием датасета SUC 3.0. Модель размечает токены как временные выражения, имена людей, места, события и организации; набор меток может меняться. Модель содержит 151,9 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Она чувствительна к регистру, использует токенизацию BERT с разбиением слов на подчасти и обучалась с whole word masking. Подходит для извлечения сущностей из шведских текстов, например новостей и документов. В карточке версия помечена как экспериментальная; описание также отмечает, что набор меток может меняться. Лицензионные условия в предоставленных материалах не указаны.

akdeniz27/bert-base-turkish-cased-ner — модель распознавания именованных сущностей, созданная дообучением dbmdz/bert-base-turkish-cased на проверенной версии набора данных для турецкого NER. Она использует архитектуру BERT с классификационной головой для разметки токенов и предназначена для извлечения из турецкого текста имён людей, организаций и мест. Модель подходит для анализа новостей, документов и других текстов, где требуется находить и группировать такие сущности. Модель содержит 137,8 млн параметров и обрабатывает последовательности длиной до 512 токенов. Репозиторий включает варианты PyTorch, ONNX и safetensors. Лицензия — MIT. Описание не приводит метрик качества; предсказания требуют последующей группировки токенов в сущности, например с помощью параметра aggregation_strategy.

Lilya/distilbert-base-uncased-finetuned-ner-TRANS — модель DistilBERT, дообученная для классификации токенов и распознавания именованных сущностей. Она предназначена для разметки слов и фрагментов текста метками сущностей. В карточке приведены результаты оценки: F1 0,8011, точность 0,7911, полнота 0,8114 и accuracy 0,9815. Модель использует архитектуру DistilBertForTokenClassification, веса PyTorch и контекст до 512 токенов. Базовая модель — distilbert-base-uncased; лицензия — Apache-2.0. В карточке не описаны набор данных, метки сущностей и ограничения применения, поэтому пригодность для конкретных типов сущностей следует проверять отдельно.

Donut base — модель семейства Donut, представленная командой NAVER CLOVA в работе «OCR-free Document Understanding Transformer». Это дообученная на RVL-CDIP модель архитектуры vision-encoder-decoder: визуальный энкодер Swin Transformer кодирует изображение документа, а декодер BART авторегрессионно формирует текстовый результат. Модель предназначена для понимания изображений документов и дообучена на задаче классификации документов RVL-CDIP. Её можно применять для извлечения текстового представления из изображения документа и сценариев классификации документов. Поддерживается обработка изображений с генерацией текста; модель рассчитана на англоязычный набор RVL-CDIP. Модель распространяется в формате PyTorch по лицензии MIT. Карточка указывает дообучение на RVL-CDIP, однако не приводит подробных оценок качества или ограничений за пределами этого набора данных.

Модель Manab/donut-base-my_model_rapido_2_new_check_2 — дообученная версия naver-clova-ix/donut-base на датасете imagefolder. Она использует архитектуру vision-encoder-decoder и предназначена для преобразования изображений в текст, в том числе для задач обработки изображений документов. В README указана оценка Loss 2.8819 на наборе для оценки. Модель принимает изображения и выдаёт текст. Репозиторий содержит веса PyTorch; лицензия — MIT. Данные карточки не уточняют конкретный тип документов, языки, контекст или целевые сценарии, поэтому применимость к отдельным видам документов и качество на реальных данных по указанной оценке определить нельзя.

ettin-68m-nemotron-pii — компактная модель для обнаружения и разметки персональных данных в тексте. Она основана на энкодере Ettin-68M от JHU CLSP и дообучена на наборе данных NVIDIA Nemotron-PII; архитектура — ModernBERT для классификации токенов, размер — 68,1 млн параметров, максимальная длина контекста — 7 999 токенов. Модель выделяет более 50 типов PII в структурированном и неструктурированном английском тексте, включая номера счетов, даты рождения и API-ключи. Её можно применять для поиска чувствительных данных в документах и подготовки текстов к обезличиванию в медицинских, финансовых, юридических и других сценариях. В карточке приведён результат F1 96,27 на тестовой выборке из 10 тысяч примеров Nemotron-PII; точность и полнота составили 96,35 и 96,19 соответственно. Показатели различаются по типам сущностей: например, для профессий F1 заметно ниже. Модель принимает текст и возвращает метки сущностей на уровне токенов. Она рассчитана на английский язык и может хуже работать на других языках; качество также зависит от типа PII. Лицензия — MIT.

HuggingFaceM4 опубликовала дообученную на наборе Docmatix модель Microsoft Florence-2 для ответов на вопросы по документам и изображениям. README сообщает, что обучение длилось один день и использовало 5% данных Docmatix с learning rate 1e-6; библиотека для работы с моделью — Transformers, веса представлены в формате safetensors. Модель принимает изображение и текстовый запрос и формирует текстовый ответ. Карточка указывает английский язык и лицензию MIT. В метаданных базовой моделью названа microsoft/Florence-2-base-ft, тогда как README указывает Florence-2-large-ft; точный размер и контекст в предоставленных данных не приведены.

Gemini 3.1 Flash Lite Preview — предварительная высокоэффективная модель Google, оптимизированная для сценариев с большим объёмом запросов. По карточке она превосходит Gemini 2.5 Flash Lite по общему качеству и приближается к Gemini 2.5 Flash. Модель предназначена для задач с текстом и изображениями; в метаданных каталога её задача указана как image-text-to-text. Слово Preview указывает на предварительный статус версии. Сведения о размере, длине контекста, поддерживаемых языках и лицензии в предоставленных данных отсутствуют.

jina-vlm — компактная мультиязычная модель зрения и языка от Jina AI. Она объединяет визуальный энкодер SigLIP2-So400M с языковым декодером Qwen3-1.7B-Base и содержит 2,4 млрд параметров. Для обработки изображений произвольного разрешения модель использует перекрывающиеся фрагменты и attention pooling, сокращая число визуальных токенов в четыре раза с сохранением пространственной информации. Модель предназначена для диалога по изображениям и мультимодального понимания: она отвечает на вопросы, описывает сцены и извлекает сведения из графиков, диаграмм и документов. README приводит результаты на VQA-бенчмарках, включая многоязычные наборы, а также описывает текстовый режим и извлечение признаков. В метаданных указаны поддержка чата и языки, в том числе английский, китайский, арабский, русский, немецкий, французский, испанский и японский. Модель доступна в формате Safetensors и рассчитана на использование через Transformers, vLLM или Jina API. По приведённым в README текстовым тестам она уступает базовой Qwen3-1.7B-Base на ряде показателей; OCRBench также не является лучшим среди сравниваемых моделей. Лицензия — CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.

LFM2-350M-PII-Extract-JP — дообученная Liquid AI компактная плотная языковая модель семейства LFM2 для извлечения персональных данных из японского текста. Она находит адреса, названия компаний и организаций, адреса электронной почты, имена людей и номера телефонов и возвращает их в JSON, сохраняя написание из исходного текста. Модель предназначена для подготовки документов к маскированию чувствительных данных, в том числе локально на устройстве; в карточке указаны 444,6 млн параметров, контекст до 128 000 токенов и поддержка чата. Для работы требуется системный промпт с категориями сущностей, перечисленными в алфавитном порядке; рекомендуются жадное декодирование и temperature=0. Модель рассчитана на один ход диалога и принимает текст, выдавая текст с JSON-структурой. Она ориентирована на японский язык. Карточка сообщает о сравнении на выборке из 1 000 фрагментов, но это не гарантирует качество на других данных. Извлечение специальных идентификаторов организаций, дат рождения и номеров паспортов не заявлено; качество по отдельным категориям может требовать улучшения. Лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

LiLT-InfoXLM — базовая модель SCUT-DLVCLab, созданная объединением предварительно обученных InfoXLM и Language-Independent Layout Transformer (LiLT). Архитектура сочетает языковой RoBERTa-энкодер с лёгким трансформером разметки страницы; модель содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. Веса доступны в форматах PyTorch и Safetensors, лицензия — MIT. Модель предназначена для извлечения признаков и дообучения на задачах понимания структурированных документов: классификации изображений документов, разбора документов и ответов на вопросы по ним. LiLT позволяет сочетать трансформер разметки с предварительно обученными RoBERTa-энкодерами для разных языков. В карточке указаны InfoXLM как языковой компонент и поддержка обработки изображений; отдельные языки и готовые пользовательские сценарии не перечислены.

LlamaV-o1 — мультимодальная модель для визуальных рассуждений, разработанная MBZUAI и дообученная на основе meta-llama/Llama-3.2-11B-Vision-Instruct. Модель с архитектурой mllama и 11 млрд параметров принимает изображения и текстовые инструкции и формирует текстовые ответы с последовательными объяснениями. Основное назначение — ответы на вопросы по изображениям, включая задачи на визуальное восприятие, математику, понимание документов и социальный контекст. Модель обучалась на LLaVA-CoT-100k и предназначена для диалоговых и исследовательских сценариев, требующих анализа визуального содержимого. В карточке также заявлены применение в образовательных инструментах и разговорных агентах. Указанная лицензия — Apache-2.0. Карточка отмечает возможные трудности с узкоспециализированными знаниями и неоднозначными или состязательными запросами; модель не рекомендуется для решений с высокими ставками, включая медицинскую диагностику.

Masker v2 — многоязычный классификатор токенов, разработанный Divergent Labs для обнаружения контекстных персональных данных в тексте и использования в системах редактирования и обезличивания. Модель дообучена на базе microsoft/mdeberta-v3-base и принимает текст, присваивая токенам BIOES-метки 12 типов сущностей: имена и фамилии, города, улицы, номера зданий, почтовые индексы, телефоны, электронную почту, банковские карты, даты, возраст и государственные идентификаторы. Для IBAN и ряда других структурированных данных README описывает отдельный слой правил, который не входит в эту модель. Модель рассчитана на тексты на 23 европейских языках и использует архитектуру DeBERTa-v3. В карточке указано 306 млн параметров и контекст 512 токенов; README приводит оценку 278 млн параметров. В версии v2 улучшено распознавание имён в естественном тексте благодаря расширению форм имён и добавлению размеченных корпусов. По оценке на английских юридических документах и нидерландских новостях качество распознавания имён высокое, однако эти тесты не охватывают остальные языки. Лицензия — Apache-2.0.

Модель akdeniz27/modernbert-tr-base-ner — турецкая модель распознавания именованных сущностей, дообученная автором на базе ytu-ce-cosmos/modernbert-tr-base на проверенной версии турецкого датасета NER. Она использует архитектуру ModernBERT и предназначена для разметки токенов в тексте: модель выделяет персон, организации и географические объекты с тегами начала и продолжения сущности. Модель содержит 148,7 млн параметров и поддерживает контекст до 8192 токенов. Модель подходит для извлечения сведений о людях, организациях и местах из турецких текстов, например из новостей и документов. В README приведены параметры дообучения: три эпохи, learning rate 2e-5 и weight decay 0,01. Для группировки токенов в цельные сущности README рекомендует использовать параметр aggregation_strategy. Модель распространяется по лицензии MIT.

Monkey — мультимодальная модель, разработанная исследователями Huazhong University of Science and Technology и Kingsoft для понимания изображений и ответов на вопросы по ним. Модель предназначена для описания изображений, визуальных вопросов и ответов, включая изображения документов с плотным текстом. Monkey использует архитектуру MonkeyLMHeadModel, содержит 11,4 млрд параметров и принимает изображения с разрешением до 896 × 1344 пикселей. Метаданные задают контекст 8192 токена и формат PyTorch. В README отмечены внимание к мелким деталям и тексту на изображениях, а также способность описывать связи между объектами и сценами. Модель обучалась и оценивалась на широком наборе визуальных задач. Лицензия в предоставленных данных не указана.

synapti/nci-ner-v1 — модель RoBERTa, дообученная разработчиком synapti на базе FacebookAI/roberta-base для классификации токенов. Она предназначена для задач разметки последовательностей, включая распознавание именованных сущностей. Архитектура — RobertaForTokenClassification; модель содержит 151,8 млн параметров и принимает текст с контекстом до 514 токенов. В README приведены результаты на оценочной выборке: precision 0,8854, recall 0,9097 и F1 0,8974. Датасет и типы сущностей не описаны, поэтому область применения и языковую поддержку уточнить нельзя. Модель распространяется по лицензии MIT.

PaliGemma 2 28B PT 896 — базовая мультимодальная модель Google для обработки изображений и текста. Она объединяет визуальную модель SigLIP с языковой моделью Gemma 2 и принимает изображения размером до 896 × 896 пикселей вместе с текстом; на выходе генерирует текст. Модель доступна в формате bfloat16 для дообучения, а последовательности входного и выходного текста рассчитаны на 512 токенов. Модель предназначена прежде всего для дообучения под задачи компьютерного зрения и языка: создания подписей к изображениям и коротким видео, ответов на вопросы по изображению, чтения текста, обнаружения и сегментации объектов. Среди возможных специализированных сценариев — анализ спутниковых снимков, описание элементов интерфейса и помощь людям с нарушениями зрения. Для разметки рамками и масками требуется соответствующая настройка задачи. PaliGemma 2 разработана Google и основана на открытых компонентах; поддерживает несколько языков, но карточка не перечисляет их коды. Это модель для одного раунда взаимодействия, а не многоходовый чат-бот. Она может ошибаться в фактах и сложных рассуждениях, хуже справляться с расплывчатыми запросами, а качество без дообучения на конкретную задачу может быть ниже, чем у специализированных моделей. Использование регулируется условиями Gemma и политикой запрещённого использования Gemma.

google/pix2struct-ocrvqa-large — крупная модель семейства Pix2Struct от Google для ответов на вопросы по изображениям. Это архитектура «визуальный энкодер — текстовый декодер», обученная на парах изображение–текст и настроенная для задачи visual question answering. Модель принимает изображение и вопрос на естественном языке и генерирует текстовый ответ. Предварительное обучение Pix2Struct использует восстановление упрощённого HTML по скриншотам веб-страниц с замаскированными фрагментами. Такой подход охватывает визуальное понимание текста и элементов страниц и подходит для вопросов о содержимом изображений, включая документы, иллюстрации, интерфейсы и фотографии. В карточке модели указаны английский, французский, румынский и немецкий языки; README описывает семейство шире, но не уточняет языковую поддержку именно этого чекпойнта. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Для запуска нужны изображение и вопрос; конкретные требования к памяти и качество на отдельных языках или типах изображений в карточке не описаны.

Qwen3.8-Flash-Next MLX Activation-Weighted 3-bit — это MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, опубликованная авторами данного репозитория. Модель предназначена для генерации текста и работы с изображениями, включая сценарии vision-language и OCR. Указанный pipeline имеет тип image-text-to-text, однако поддерживаемые языки в README не перечислены. Исходная модель содержит около 180 млрд параметров: 125 млрд основных параметров, 51 млрд параметров n-граммных embedding-таблиц и 4 млрд параметров MTP. Набор включает 48 банков маршрутизируемых экспертов, сжатых до 3 бит с размером группы 64; остальные подходящие матрицы используют 4-битное квантование. Нативный размер контекста составляет 262 144 токена, а размер артефакта — 83,49 ГиБ. Для запуска требуется MLX-совместимый и Qwen4Exp-aware runtime, например mere.run или mlx-vlm. К сильным сторонам относятся снижение пикового потребления памяти примерно на 19,58% по сравнению с опубликованным Q4-вариантом и сохранение результатов на закрытом наборе из 16 текстовых, графических и OCR-тестов. При этом приведённая квалификация не доказывает общее качество модели или эквивалентность BF16-версии; оценка проводилась на ограниченных наборах, а MTP был отключён при выборе чекпойнта. Распространение осуществляется по Qwen Community License 1.0 с дополнительными требованиями атрибуции и отдельными лицензионными условиями для некоторых коммерческих сценариев.

SherlockID365/Qwen3-VL-8B-Instruct-quantized.w4a16 — квантизированная версия мультимодальной vision-language модели Qwen/Qwen3-VL-8B-Instruct. В карточке не указан отдельный разработчик производной версии; базовая модель связана с семейством Qwen. Модель предназначена для задач, требующих обработки текста и визуальных данных, включая мультимодальные инструкции и анализ изображений. Модель содержит около 8 миллиардов параметров и использует архитектуру с визуальной частью, которая не подвергалась преобразованию при квантизации. Линейные слои квантизированы методом AWQ в формате W4A16: веса представлены 4 битами, активации сохраняются в формате FP16, используется group_size=128, zero_point=true и версия gemm. Контекстное окно и точный перечень поддерживаемых языков в README не указаны. Ключевое преимущество версии — уменьшенное потребление памяти и потенциально более высокая эффективность инференса по сравнению с полноточной моделью, что удобно для запуска через совместимые инструменты, включая vLLM. Ограничения связаны с потерями точности, возможными для 4-битной квантизации, а также с зависимостью от поддержки формата AWQ и используемого программного окружения. Модель распространяется по лицензии Apache-2.0.