/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
121–150 из 25 791
feyninc
pulpie-orange-base

Pulpie Orange Base — encoder-модель, разработанная командой Pulpie для извлечения основного содержимого из HTML-страниц. Она классифицирует HTML-блоки как основной контент или служебные элементы, такие как навигация, реклама, боковые панели и футеры, за один проход; результат можно восстановить в HTML или преобразовать в Markdown через пакет pulpie. Модель содержит около 610 млн параметров и использует EuroBERT-610m с головой token classification. Контекст составляет до 8192 токенов; примерно 80% страниц в описанном конвейере помещаются в один фрагмент. В README приведён результат 0,863 ROUGE-5 F1 на английской части WebMainBench. Модель предназначена для очистки веб-страниц перед индексированием, поиском и построением RAG-систем. Распространяется по лицензии Apache-2.0.

595апр. 2026ctx8.2K
textapache-2.0hugging-face
baidu
Qianfan-VL-70B

Qianfan-VL-70B — мультимодальная модель компании Baidu для работы с изображениями и текстом. Она сочетает языковую модель архитектуры Llama 3.1 с визуальным энкодером на основе InternViT и обучена для общих мультимодальных задач с усиленными возможностями распознавания текста и анализа документов. Модель рассчитана на контекст до 32 тысяч токенов и поддерживает динамическое разбиение изображений на фрагменты с разрешением до 4K. Она подходит для распознавания рукописного и печатного текста, извлечения структуры документов, анализа таблиц и графиков, ответов на вопросы по изображениям, а также визуальных и математических рассуждений. Опциональный режим Layout-as-Thought формирует промежуточное структурированное представление расположения элементов и порядка чтения. Модель принимает текст и изображения и выдаёт текстовые ответы; заявленная поддержка языков включает китайский и английский. README приводит сравнительные результаты на нескольких мультимодальных бенчмарках, но эти показатели не гарантируют качество на конкретных данных. Модель распространяется по лицензии MIT. Она имеет 70 млрд параметров, поэтому для развёртывания требуются значительные вычислительные ресурсы.

22639сент. 2025ctx32.8K
textmithugging-face
0xSojalSec
Reasoning-OCR

Карточка модели 0xSojalSec/Reasoning-OCR на Hugging Face совпадает с карточкой numind/NuMarkdown-8B-Thinking, поэтому описание составлено по ней. NuMarkdown-8B-Thinking — мультимодальная модель Numind для распознавания и структурированного извлечения содержимого из документов. Она дообучена на базе Qwen/Qwen2.5-VL-7B-Instruct: сначала на синтетических примерах «документ — рассуждение — Markdown», затем с помощью GRPO с наградой, ориентированной на структуру и компоновку документа. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и рассчитана на контекст до 128 000 токенов. Модель принимает изображения документов и преобразует их в аккуратный Markdown, уделяя внимание сложной разметке и таблицам. В ходе генерации она использует промежуточные рассуждения о структуре страницы; их объём зависит от сложности задачи. Такой формат вывода подходит для подготовки документов к индексации и поиску с дополненной генерацией (RAG). Модель распространяется по лицензии MIT. Её назначение — извлечение текста и структуры из документов; README описывает сравнительные результаты, но не приводит подробностей методики оценки, поэтому заявленные преимущества на сложных документах следует проверять на собственных данных.

200сент. 2026ctx128K
textimagemithugging-face
sbintuitions
sarashina2.2-ocr

Sarashina2.2-OCR — модель оптического распознавания символов и разбора документов, разработанная SB Intuitions. Это плотная мультимодальная модель на 3 млрд параметров: она объединяет визуальный энкодер на основе SigLIP2 с языковой моделью Sarashina2.2-3B-Instruct и дообучена на наборах документов на японском и английском языках. Модель принимает изображение документа и преобразует его содержимое в структурированный Markdown с естественным порядком чтения, включая вертикальный японский текст. Она также представляет таблицы в HTML, формулы в LaTeX и отмечает графические элементы ограничивающими рамками. В карточке сообщается о сильных результатах на японском бенчмарке VJRODa и конкурентных результатах на задачах распознавания формул и таблиц. Модель предназначена для извлечения и структурирования содержимого документов, в том числе сложных сканов, таблиц, многоколоночных страниц, деловых слайдов и математических материалов. Лицензия — MIT. По опубликованным результатам качество различается между категориями бенчмарка; например, результаты на заголовках и колонтитулах и на старых сканах ниже, чем в некоторых других категориях.

1.4K33март 2026ctx16.4K
textmithugging-face
viktor-shcherb
sberbank-rubert-base-collection3

Модель viktor-shcher/sberbank-rubert-base-collection3 — дообученная версия ruBert-base для распознавания именованных сущностей в русском тексте. Она использует архитектуру BERT и решает задачу классификации токенов, размечая сущности в последовательности. Модель обучена на датасете collection3; размер составляет 205,5 млн параметров, контекст — до 512 токенов. На валидационной выборке указаны precision 0,9380, recall 0,9594, F1 0,9486 и accuracy 0,9860. Модель подходит для извлечения именованных сущностей из русскоязычных текстов. Распространяется по лицензии Apache-2.0.

5115март 2023ctx512
textapache-2.0hugging-face
expertai
SLIMER-PARALLEL-LLaMA3

SLIMER-PARALLEL-LLaMA3 — дообученная инструкционная языковая модель на архитектуре Llama 3.1 от expertai, предназначенная для извлечения именованных сущностей с нулевым обучением на заданных типах. Она принимает текст и инструкцию с определениями и рекомендациями по типам сущностей, а возвращает только JSON с найденными сущностями; за один запрос может параллельно извлекать до 16 типов сущностей. Модель рассчитана на англоязычный текст и работу с типами сущностей, которые могли не встречаться при обучении. В карточке сообщается о результатах на тестах с доменами вне обучающей выборки, включая финансовые сущности, и о преимуществе над исходной SLIMER на LLaMA 2. Веса опубликованы в формате safetensors; размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Лицензия — llama3.1.

674нояб. 2024ctx131.1K
textllama3.1hugging-face
docling-project
SmolDocling-256M-preview

SmolDocling-256M-preview — компактная мультимодальная модель команды Docling и IBM Research для преобразования документов из изображений в структурированный текст. Она основана на SmolVLM-256M-Instruct и архитектуре Idefics3; размер модели — 256 млн параметров. Модель принимает изображение документа и текстовую инструкцию, а результат представляет в формате DocTags, совместимом с DoclingDocuments и пригодном для экспорта в Markdown, HTML и JSON. Модель распознаёт текст, таблицы, формулы, код, графики и другие элементы страниц, сохраняет структуру и координаты областей, связывает подписи с иллюстрациями и группирует элементы списков. Подходит для конвертации научных и обычных документов, включая обработку целой страницы и OCR выбранной области. Основной язык — английский. Для инференса доступны Transformers, vLLM и ONNX; в README сообщается о средней скорости 0,35 секунды на страницу на GPU A100. Модель опубликована по лицензии CDLA-Permissive-2.0. Это предварительная версия: в README упомянуты планы улучшить распознавание графиков и добавить обработку нескольких страниц за один вызов; распознавание химических структур обозначено как предстоящая возможность. Новая модель granite-docling-258M названа преемником SmolDocling.

25K1.6Kфевр. 2025ctx8.2K
textimagecdla-permissive-2.…hugging-face
lxyuan
span-marker-bert-base-multilingual-cased-multinerd

lxyuan разработал SpanMarker на основе bert-base-multilingual-cased, дообучив модель на наборе Babelscape/multinerd. Это модель для распознавания именованных сущностей: она выделяет в тексте упоминания людей, организаций и мест, а также другие типы сущностей из разметки MultiNERD. Модель поддерживает десять языков: немецкий, английский, испанский, французский, итальянский, нидерландский, польский, португальский, русский и китайский. В опубликованной карточке приведены результаты оценки: общий F1 — 92,61; для английского — 95,20. Модель использует регистрозависимый вариант BERT, поэтому качество может снижаться, если регистр букв в исходном тексте часто нарушен. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий указания авторства и распространения производных материалов.

2613авг. 2023ctx256
textcc-by-nc-sa-4.0hugging-face
tomaarsen
span-marker-mbert-base-multinerd

Модель tomaarsen/span-marker-mbert-base-multinerd — модель для распознавания именованных сущностей (NER), разработанная на базе SpanMarker и обученная на датасете MultiNERD. В качестве кодировщика используется bert-base-multilingual-cased; модель дообучена для классификации фрагментов текста и выделения сущностей.

50K72авг. 2023ctx512
textcc-by-nc-sa-4.0hugging-face
microsoft
table-transformer-detection

Table Transformer Detection — модель обнаружения объектов на основе DETR, дообученная на наборе данных PubTables1M для поиска таблиц в документах. Разработана командой Table Transformer; модель представлена в работе Smock и соавторов о комплексном извлечении таблиц из неструктурированных документов. Архитектура использует Transformer и настройку DETR «normalize before», при которой нормализация слоёв применяется перед self-attention и cross-attention. Размер модели — 6,3 млн параметров. Модель принимает изображения документов и выдаёт обнаруженные области таблиц. Её можно использовать как этап обработки сканов и других неструктурированных документов перед извлечением содержимого таблиц. В репозитории доступны веса PyTorch и Safetensors. Лицензия — MIT.

427K435окт. 2022ctx1K
imagemithugging-face
microsoft
table-transformer-structure-recognition-v1.1-all

Table Transformer (TATR) — модель обнаружения объектов на основе Transformer, эквивалентная DETR. Она обучена на наборах PubTables1M и FinTabNet.c для распознавания структуры таблиц в документах. Вариант structure-recognition-v1.1-all предназначен для выявления элементов таблиц на изображениях документов. Модель можно применять для анализа структуры таблиц и обнаружения их компонентов в документе. В архитектуре используется нормализация до вычисления self-attention и cross-attention. Размер модели — 6,3 млн параметров; веса доступны в формате safetensors. Модель выпущена Microsoft под лицензией MIT. README описывает обнаружение таблиц и распознавание их структуры, но не приводит подробностей о поддерживаемых языках или предельных размерах изображений. Для извлечения текста из ячеек потребуется отдельный этап OCR.

224K90нояб. 2023
imagemithugging-face
deepdoctection
tatr_tab_struct_v2

deepdoctection/tatr_tab_struct_v2 — модель распознавания структуры таблиц на основе Microsoft Table Transformer, дообученная на наборах PubTables-1M и FinTabNet. Она находит элементы структуры таблиц на изображениях документов, например строки и ячейки, и предназначена для включения в конвейеры анализа документов, в том числе deepdoctection. Модель имеет архитектуру TableTransformerForObjectDetection, содержит 6,3 млн параметров и доступна в форматах PyTorch и Safetensors для библиотеки Transformers. README рекомендует настроить параметры сегментации при использовании в deepdoctection Analyzer для улучшения предсказаний. Лицензия в предоставленных данных не указана.

983сент. 2023
imagehugging-face
sahilchachra
Unlimited-OCR-AWQ

sahilchachra/Unlimited-OCR-AWQ — это квантизированная 4-битная версия мультимодальной модели baidu/Unlimited-OCR, разработанная пользователем sahilchachra. Модель предназначена для multilingual OCR и разбора документов: преобразования изображений документов в Markdown или обычный текст, извлечения текста с координатами, анализа макета, обработки рисунков, графиков и диаграмм, визуального вопросно-ответного взаимодействия, а также разбора многостраничных документов и PDF. Архитектура включает vision tower DeepEncoder на базе SAM-ViT-B и CLIP-L/14 с входом 1024×1024 и 16-кратным уменьшением, линейный projector и текстовый декодер DeepSeek-V2 MoE. Декодер содержит 12 слоёв, скрытое состояние размером 1280, 64 маршрутизируемых и 2 общих эксперта, при этом на токен выбираются 6 экспертов; нулевой слой является dense. Текстовые линейные слои квантизированы методом AWQ по схеме W4A16 с int4, симметричными группами по 128 элементов, тогда как vision tower, projector, embeddings, lm_head, маршрутизатор, нормы и отдельные слои сохранены в BF16. Модель поддерживает мультиязычные сценарии и работает с изображениями. К сильным сторонам относятся существенное уменьшение размера весов при сохранении совместимости с архитектурой Transformers, поддержка распознавания текста вместе с координатами ограничивающих рамок и долгого разбора документов. В README указано, что на тестовом документе результат OCR совпал с BF16-версией. Для запуска требуется custom remote code с параметром trust_remote_code=True, transformers 4.57.x, compressed-tensors и CUDA GPU; также возможен запуск в совместимых средах, включая vLLM. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

1.1M8июнь 2026ctx32.8K
textmithugging-face
prithivMLmods
visionOCR-3B-061125

visionOCR-3B-061125 — дообученная PrithivMLmods мультимодальная модель на архитектуре Qwen2.5-VL-3B для распознавания текста и анализа документов по изображениям. Она извлекает текст и структурированные данные из счетов, чеков, форм, научных статей и сканов, отвечает на вопросы по изображениям и преобразует математические выражения в LaTeX. Модель содержит 3,1 млрд параметров, принимает изображения с текстовыми инструкциями и выдаёт текст; заявлена поддержка контекста до 128 000 токенов. В карточке также заявлены анализ видео, визуально управляемая автоматизация устройств и работа с несколькими языками. Модель ориентирована на OCR документов, извлечение данных и визуальные вопросы-ответы, включая плотные макеты, таблицы и диаграммы. Карточка сообщает о конкурентных результатах на DocVQA, MathVista, RealWorldQA и MTVQA, но не приводит численных оценок. Лицензия — Apache-2.0. Качество может снижаться на изображениях низкого качества или с перекрытиями, а для редких языков и письменностей точность непостоянна. Длительная обработка видео требует значительных ресурсов; возможны галлюцинации и ошибки при неудачных настройках визуальных токенов.

4405июнь 2025ctx128K
textimageapache-2.0hugging-face
Armaggheddon
yolo26-document-layout

Armaggheddon/yolo26-document-layout — набор из трёх моделей YOLOv26 (nano, small и medium), дообученных на DocLayNet v1.2 для анализа структуры документов. Модели на основе Ultralytics YOLO26 находят на изображениях 11 типов элементов: текст, заголовки, таблицы, иллюстрации, подписи, списки, формулы, колонтитулы и сноски. Репозиторий использует библиотеку Ultralytics и содержит веса PyTorch. Модель предназначена для выделения и классификации областей документа в конвейерах понимания документов и извлечения информации. В README рекомендуется nano-вариант для сценариев, где важна скорость; small и medium предлагают выбор в пользу большей точности при повышенных вычислительных затратах. Обучение проводилось на разрешении 1280×1280, поскольку уменьшение до 640×640 снижало качество обнаружения мелких элементов. Лицензия репозитория — MIT.

89710март 2026
imagemithugging-face
aidarmusin
address-ner-ru

aidarmusin/address-ner-ru — русскоязычная модель распознавания именованных сущностей для выделения частей адреса из строки. Она построена на архитектуре BERT и решает задачу классификации токенов; в репозитории указаны веса в формате Safetensors, 525,7 млн параметров и контекст до 512 токенов. Модель предназначена для извлечения адресных компонентов из необработанных адресов. В README указаны датасет из 5 тысяч адресов, разделение на обучающую и оценочную выборки в пропорции 90/10 и значение F1 0,960 на оценке. Лицензия — Apache-2.0.

13712май 2024ctx512
textapache-2.0hugging-face
NoaberAI
arlo-extract

Arlo Extract 1.0 — модель NoaberAI для извлечения конкретных значений из текста по вопросу. Она дообучена на многоязычной основе microsoft/mdeberta-v3-base и использует архитектуру DeBERTa V2 с головой extractive question answering: модель выбирает начальную и конечную позиции ответа в исходном тексте, а не генерирует его заново. Размер по метаданным — 306 млн параметров, длина контекста — 512 токенов. Модель предназначена для извлечения дат, сумм, характеристик, мест и имён из документов и свободного текста. Она возвращает найденный фрагмент вместе с оценкой уверенности и может сообщить, что ответ отсутствует. Основной язык обучения — нидерландский; многоязычная основа позволяет применять её и к текстам на других языках, хотя README отмечает обучение именно на нидерландских данных. Лицензия — MIT.

970сент. 2026ctx512
textmithugging-face
Gherman
bert-base-NER-Russian

Это модель Gherman для распознавания именованных сущностей в русскоязычном тексте. Она создана дообучением многоязычного энкодера BERT google-bert/bert-base-multilingual-cased и содержит около 205,1 млн параметров. Модель использует архитектуру BertForTokenClassification и принимает текст длиной до 512 токенов. Модель размечает имена и фамилии людей, отчества, а также географические названия: страны, регионы, города, районы, улицы и номера домов. Она предназначена для извлечения информации, анализа содержания и предварительной обработки текста для последующих NLP-задач; разметка выполняется в формате BIOLU. В карточке сообщается F1 0,988 на оценочном наборе, однако качество может меняться в зависимости от тематики и стиля текста. Модель распространяется по лицензии MIT. Она может хуже распознавать редкие или сложные имена и наследовать смещения обучающих данных; результаты следует проверять, особенно в приложениях, затрагивающих людей.

1.7K25сент. 2024ctx512
textmithugging-face
huggingface-course
bert-finetuned-ner

Модель huggingface-course/bert-finetuned-ner — версия BERT, дообученная на наборе CoNLL-2003 для разметки именованных сущностей в тексте. Она выполняет классификацию токенов и подходит для извлечения сущностей из предложений и документов. В README указаны результаты на оценочной выборке: F1 0,9433, точность 0,9355 и полнота 0,9514. Модель содержит 135,5 млн параметров, использует архитектуру BERT и обрабатывает последовательности длиной до 512 токенов; доступны форматы PyTorch и TensorFlow. Лицензия — Apache-2.0. README не описывает назначение меток, языки обучающих данных и ограничения качества за пределами оценки на CoNLL-2003.

7319март 2022ctx512
textapache-2.0hugging-face
xipho
bert-finetuned-ner

xipho/bert-finetuned-ner — модель на базе BERT, дообученная для распознавания именованных сущностей и другой токенной классификации. Она принимает текст и присваивает метки его токенам; размер модели — 135,5 млн параметров, максимальный контекст — 512 токенов. Модель распространяется в формате Safetensors и использует библиотеку Transformers. В карточке указаны результаты на тестовой выборке: F1 — 0,9427, точность — 0,9351, полнота — 0,9504 и accuracy — 0,9865. Датасет и набор меток не описаны, поэтому эти показатели нельзя напрямую переносить на другие данные или задачи. Базовая модель — google-bert/bert-base-cased; лицензия — Apache-2.0.

150июль 2026ctx512
textapache-2.0hugging-face
yalu977
bert-finetuned-ner

yalu977/bert-finetuned-ner — модель на базе BERT, дообученная для классификации токенов, в частности для распознавания именованных сущностей. Она содержит 135,5 млн параметров, использует архитектуру BertForTokenClassification и принимает текстовые последовательности длиной до 512 токенов. В README приведены результаты оценки: F1 0,9421, точность 0,9327 и полнота 0,9517; сведения о наборе данных и конкретных типах сущностей не раскрыты. Модель распространяется в формате safetensors по лицензии Apache-2.0.

100сент. 2026ctx512
textapache-2.0hugging-face
dbmdz
bert-large-cased-finetuned-conll03-english

dbmdz/bert-large-cased-finetuned-conll03-english — модель токеновой классификации на основе BERT, разработанная dbmdz и дообученная для распознавания именованных сущностей в английском тексте. Она помечает токены и фрагменты текста сущностями, например именами людей, организаций и географическими названиями. Модель содержит около 432,3 млн параметров, использует архитектуру BertForTokenClassification и принимает текст с максимальной длиной контекста 512 токенов. Доступны варианты весов для PyTorch, TensorFlow и Flax, а также Rust-формат. Карточка Hugging Face не содержит описания лицензии; использовать следует с учетом условий исходной модели и данных.

766K98март 2022ctx512
texthugging-face
prithivMLmods
Camel-Doc-OCR-062825

Camel-Doc-OCR-062825 — дообученная PrithivMLmods модель на базе Qwen2.5-VL-7B-Instruct для распознавания и анализа документов. Она принимает изображения и текстовые запросы, извлекает содержимое и структурированные сведения, связывает элементы документа и отвечает на вопросы по его содержимому. Модель ориентирована на работу с таблицами, графиками, математическими выражениями, сложной разметкой страниц, слайдами и мультимодальными материалами; заявлены также понимание видео и визуально управляемое взаимодействие с устройствами. Модель построена на плотной мультимодальной архитектуре Qwen2.5-VL и содержит 7,1 млрд параметров. Базовая модель поддерживает контекст до 128 000 токенов. В карточке заявлена работа с несколькими языками, но отмечена переменная точность для редких языков и письменностей. Модель выпущена в формате Safetensors и распространяется по лицензии Apache-2.0. Среди ограничений — снижение качества на нечетких или частично закрытых изображениях, высокие требования к ресурсам и возможные галлюцинации. Длительная обработка видео требует значительной памяти; потоковая работа не оптимизирована.

15113июнь 2025ctx128K
textimageapache-2.0hugging-face
prithivMLmods
Camel-Doc-OCR-080125

Camel-Doc-OCR-080125 — дообученная PrithivMLmods мультимодальная модель на базе Qwen2.5-VL-7B-Instruct с 7,1 млрд параметров. Она принимает текст и изображения, а её контекст составляет до 128 000 токенов. Модель предназначена для анализа документов: распознаёт и извлекает текст и структурированные данные, находит нужные сведения, связывает элементы документа и отвечает на вопросы по его содержимому. Модель также рассчитана на разбор таблиц, графиков и математических выражений, включая преобразование формул в LaTeX. В карточке заявлены анализ видео и визуально управляемое взаимодействие с устройствами; основной тег задачи в метаданных — image-text-to-text. Языковые теги карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся снижение точности на изображениях низкого качества или с помехами, вариативность результатов для редких языков и скриптов, возможные галлюцинации и высокие требования к вычислительным ресурсам. Обработка длинных видео может требовать много памяти; для потоковой работы модель не оптимизирована.

1888июль 2025ctx128K
textimageapache-2.0hugging-face
fwgpiyawudk
chandra-ocr-2-bf16-mlx

fwgpiyawudk/chandra-ocr-2-bf16-mlx — преобразованная для библиотеки MLX версия Chandra OCR 2 от Datalab, предназначенная для распознавания текста и структуры документов по изображениям и PDF. Модель принимает изображения документов и выдаёт текстовое представление; базовая модель поддерживает форматы Markdown, HTML и JSON. В репозитории указаны архитектура Qwen3.5 и формат safetensors. Модель рассчитана на OCR, извлечение структуры и разбор документов. Карточка описывает конвертацию исходной модели через mlx-vlm, а метаданные связывают её с datalab-to/chandra-ocr-2 и указывают лицензию OpenRAIL. Практическое применение и точность зависят от качества входного изображения и возможностей базовой модели. Поддерживаемые языки и ограничения лицензии сверх указанной лицензии OpenRAIL в карточке не раскрыты.

1570авг. 2026ctx262.1K
textimageopenrailhugging-face
dangvansam
chandra-ocr-2-FP8-dynamic

Chandra OCR 2 FP8 Dynamic — неофициальная общественная FP8-квантизованная версия модели datalab-to/chandra-ocr-2, подготовленная dangvansam с использованием llm-compressor и формата compressed-tensors для инференса через vLLM. Это мультимодальная модель распознавания документов, предназначенная для OCR изображений и PDF, извлечения текста с сохранением разметки и структуры документа, а также вывода в Markdown. Исходная модель поддерживает 90 языков, однако дополнительные характеристики архитектуры и размер контекста в карточке этой версии не указаны. Квантизация использует веса FP8 E4M3 с поканальными статическими масштабами и динамическую квантизацию активаций без калибровочного набора данных. Vision tower, lm_head, MoE-gates и некоторые компоненты attention сохраняются в bf16. Модель рассчитана прежде всего на последовательную обработку документов и работает с аппаратным ускорением FP8 на GPU Ada, Hopper и Blackwell; на Ampere используется программный fallback без ожидаемого прироста скорости, а Turing и более старые поколения не поддерживаются. В указанном тесте на RTX PRO 6000 Blackwell она обрабатывала страницу примерно за 5434 мс, что в 2,3 раза быстрее базовой версии bf16 при последовательной обработке. Основные преимущества — уменьшенное потребление памяти, отсутствие необходимости в калибровке и близкая к исходной bf16 точность в пределах обычного шума OCR. Ограничения связаны с зависимостью производительности от поколения GPU и режима пакетной обработки: для параллельного fan-out по страницам на Blackwell в README рекомендована другая квантизованная версия. Для запуска рекомендуется vLLM версии 0.17 или новее; также доступно использование через Transformers. Модель распространяется по лицензии OpenRAIL-M, унаследованной от upstream-модели: разрешено использование для исследований, личных проектов и стартапов с выручкой менее 2 млн долларов, но запрещено конкурирующее использование с размещённым API Datalab; более широкое коммерческое применение требует проверки условий лицензии и тарифов Datalab.

3.0K2апр. 2026ctx262.1K
textimageopenrailhugging-face
prithivMLmods
chandra-ocr-2-GGUF

Chandra-OCR-2-GGUF — набор квантованных файлов модели Chandra-OCR-2, разработанной Datalab и опубликованной пользователем prithivMLmods. Это мультимодальная модель для распознавания изображений и PDF-документов с преобразованием содержимого в структурированный Markdown, HTML или JSON при сохранении информации о расположении элементов. Она предназначена для обработки финансовой и научной документации, исторических сканов, многоязычных форм и других сложных документов в автоматизированных AI-конвейерах. Модель поддерживает более 90 языков и рассчитана на работу с текстом, таблицами, математическими формулами, рукописным текстом, элементами форм, включая флажки, широкими макетами документов, изображениями и диаграммами. Заявлены улучшения по сравнению с Chandra 1 в разборе формул, реконструкции сложных таблиц с объединёнными ячейками, распознавании рукописного текста, извлечении диаграмм и создании описаний изображений. В README указаны результаты 85,9% на бенчмарке olmocr и 77,8% по многоязычной оценке, однако архитектура, число параметров и размер контекста не приведены. Репозиторий содержит варианты GGUF от BF16 и F16 до квантований Q2_K–Q8_0 размером примерно от 2,12 до 9,7 ГБ, а также отдельные мультимодальные проекторы. Это позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством, но README не содержит подробных сравнений качества квантованных вариантов или требований к оборудованию. Модель доступна для локального запуска через HuggingFace Transformers и vLLM, а также через размещённые сервисы и playground. Лицензия обозначена как other, без уточнения условий и ограничений использования.

12K42март 2026
textimageotherhugging-face
jsdkkdkxkxxk
DeepSeek-OCR

Карточка модели jsdkkdkxkxxk/DeepSeek-OCR на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-OCR, поэтому описание составлено по ней. DeepSeek-OCR — мультимодальная модель DeepSeek для распознавания текста и анализа документов по изображениям. Она предназначена для извлечения текста из визуальных материалов, включая страницы документов; README также указывает поддержку обработки PDF через vLLM. Модель основана на архитектуре DeepSeek-VL2 и содержит 559,7 млн параметров. Она принимает изображения и текстовые запросы, а результат формирует в виде текста; заявлен контекст до 8192 токенов и многоязычная поддержка. В качестве среды запуска README описывает Transformers на GPU NVIDIA, а также отмечает поддержку vLLM. Модель доступна по лицензии MIT. README не приводит подробных оценок качества и перечня поддерживаемых языков, поэтому применимость к конкретному языку или типу документа следует проверять на собственных данных.

260июнь 2026ctx8.2K
textmithugging-face
MasterControlAIML
DeepSeek-R1-Qwen2.5-1.5b-SFT-R1-JSON-Unstructured-To-Structured

Модель разработана bhaviktheslider и представляет собой дообученную версию Qwen2 для преобразования неструктурированного текста в JSON по заданной схеме. Она предназначена для извлечения иерархических данных из руководств, документов с вопросами и ответами и других текстовых источников с соблюдением структуры и правил JSON Schema. Модель имеет плотную архитектуру Qwen2ForCausalLM и содержит 1,5 млрд параметров; для адаптации применялась LoRA. Она работает с текстом, поддерживает контекст до 32 768 токенов и доступна для использования через Transformers. Лицензия — Apache-2.0. Карточка показывает примеры структурированного извлечения и интеграции, но не приводит количественных оценок качества. Результат следует проверять на соответствие схеме и точности извлечённых значений.

6911февр. 2025ctx32.8K
textapache-2.0hugging-face
Aryn
deformable-detr-DocLayNet

Aryn публикует Deformable DETR, обученную на DocLayNet для обнаружения и разметки элементов макета документов на страницах. Модель принимает изображение страницы и предсказывает классы элементов вместе с ограничивающими рамками; обучение проводилось на 80 тысячах аннотированных страниц с 11 классами. Архитектура использует свёрточную основу и encoder-decoder Transformer с запросами объектов, а для классификации и координат рамок применяются отдельные выходные слои. Модель подходит для анализа макета документов и может использоваться в Aryn Partitioning Service. На DocLayNet указана метрика 57,1 box mAP. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. README не приводит отдельного описания ограничений качества или поддерживаемых классов.

6.6K51март 2024ctx1K
imageapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей