/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
961–990 из 25 791
JoaoReiz
ner-pt-f1-v1-bertimbau-large-specific-cachacaner-seed42

JoaoReiz/ner-pt-f1-v1-bertimbau-large-specific-cachacaner-seed42 — модель распознавания именованных сущностей на португальском языке, разработанная на основе BERTimbau Large и дообученная на фиксированном разбиении cachacaner протокола NEVE NER. Это плотная архитектура BERT с 433,2 млн параметров, предназначенная для классификации токенов; выбор чекпойнта выполнен по end-to-end F1 на валидационной выборке. Модель принимает текст и размечает в нём сущности; максимальная длина контекста составляет 512 токенов. Модель подходит для извлечения именованных сущностей из португалоязычных текстов в сценариях, соответствующих обучающему разбиению cachacaner. В карточке указано дообучение с seed 42. Веса доступны в формате Safetensors; библиотека для работы — Transformers. Лицензия в предоставленных данных не указана.

80авг. 2026ctx512
texthugging-face
ATH-MaaS
Ovis1.6-Gemma2-27B

Ovis1.6-Gemma2-27B — мультимодальная языковая модель семейства Ovis, разработанная командой Ovis. Она сочетает визуальный энкодер SigLIP-400M с Gemma2-27B-It и структурно согласует визуальные и текстовые представления. Модель содержит 29 млрд параметров и предназначена для диалоговой работы с изображениями и текстовыми инструкциями. Модель подходит для анализа сложных изображений, ответов на вопросы по документам, графикам и таблицам, распознавания китайского и английского текста на изображениях, а также мультимодальных рассуждений. В README приведены результаты на ChartQA, InfoVQA и DocVQA. Репозиторий содержит веса в формате safetensors; для запуска указана библиотека Transformers. Лицензия — Apache-2.0. Разработчики рекомендуют использовать более новую версию Ovis2. Модель может ошибаться в визуальном анализе и рассуждениях; авторы также не гарантируют полного отсутствия проблем с авторскими правами или некорректного контента.

11262нояб. 2024
textapache-2.0hugging-face
ATH-MaaS
Ovis2-1B

Ovis2-1B — компактная мультимодальная модель семейства Ovis, построенная на визуальном энкодере aimv2-large-patch14-448 и языковой модели Qwen2.5-0.5B-Instruct. Её разработчики улучшили архитектуру структурного согласования визуальных и текстовых представлений, а также обучение на данных с инструкциями и предпочтениями. Модель предназначена для диалога по изображениям, видео и нескольким изображениям, визуального рассуждения, распознавания текста и извлечения структурированных данных из таблиц и графиков. В карточке заявлены многоязычный OCR, обработка видеокадров и улучшенное пошаговое рассуждение. Метаданные указывают поддержку английского и китайского языков; для работы используется библиотека Transformers. Ovis2-1B — плотная модель класса Ovis; в сравнительных таблицах README приведены результаты на наборах для оценки изображений и видео. Для некоторых видеобенчмарков результаты ниже, чем у более крупных моделей из сравнения. Модель доступна по лицензии Apache-2.0. Авторы предупреждают, что не гарантируют полного отсутствия проблемного или нарушающего авторские права контента.

14K97февр. 2025ctx131.1K
textapache-2.0hugging-face
ATH-MaaS
Ovis2-34B

Ovis2-34B — мультимодальная языковая модель семейства Ovis, разработанная командой Ovis. Она сочетает визуальный энкодер и языковую модель, структурно согласуя визуальные и текстовые представления. Модель принимает изображения и текст, отвечает на вопросы о визуальном содержимом и обрабатывает видео и несколько изображений в рамках одного сценария. Модель предназначена для визуального рассуждения, распознавания текста на изображениях, извлечения структурированных данных из таблиц и диаграмм, а также диалогов по визуальным материалам. В README заявлены усиленные способности к рассуждению и многоязычному OCR; метаданные указывают поддержку чата и интерфейса вызова инструментов. Архитектура — плотная модель Ovis; веса доступны в формате safetensors. Карточка приводит результаты оценки на тестах изображений и видео. Лицензия — Apache-2.0. README рекомендует использовать более новую версию Ovis2.5. Заявленные возможности и результаты бенчмарков не гарантируют точность на конкретных данных; модель может выдавать неподходящий контент или содержать проблемы с авторскими правами, как отмечено авторами.

223151февр. 2025ctx131.1K
textapache-2.0hugging-face
jefftherover
pii-layout-synth-v15

pii-layout-synth-v15 — дообученная модель jefftherover на базе answerdotai/ModernBERT-base для классификации токенов. Она предназначена для разметки последовательностей текста; по названию репозитория вероятна связь с синтетическими данными о расположении персональной информации, но README не раскрывает назначение и схему меток. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. В карточке приведены метрики на оценочном наборе: precision 0,9912, recall 0,9944, F1 0,9928 и accuracy 0,9987; состав набора и методика оценки не описаны. Распространяется по лицензии Apache-2.0.

110июль 2026ctx8.2K
textapache-2.0hugging-face
PaddlePaddle
PP-OCRv5_server_det_onnx

PP-OCRv5_server_det_onnx — модель обнаружения текстовых областей PP-OCRv5, разработанная командой PaddleOCR/PaddlePaddle и представленная в формате ONNX для запуска через ONNX Runtime. Она определяет расположение строк текста на изображениях, но не выполняет их распознавание в символы. Модель предназначена для анализа документов и изображений со сложной структурой, включая рукописный, вертикальный, повёрнутый и изогнутый текст, различные размеры текста и неоднородный фон. Возможные сценарии включают предварительное обнаружение текста для OCR-конвейеров, анализ документов, распознавание текста на номерных знаках и обнаружение текста в естественных сценах. Заявленная поддержка охватывает упрощённый и традиционный китайский, английский и японский языки. В README приведены средние показатели качества 0,827 по набору сценариев, включая рукописный и печатный текст, повороты, искажения и художественный текст. Модель распространяется под лицензией Apache-2.0 и использует библиотеку PaddleOCR; для запуска ONNX-версии требуется совместимый ONNX Runtime.

9630май 2026
textimageapache-2.0hugging-face
PaddlePaddle
PP-OCRv5_server_det_safetensors

PP-OCRv5_server_det — модель обнаружения текстовых областей из семейства PP-OCRv5_det, разработанная командой PaddleOCR. Она предназначена для высокопроизводительного поиска текста на изображениях, включая рукописный, вертикальный, повёрнутый и изогнутый текст, сложные макеты, разный размер надписей и трудный фон. Модель подходит для анализа документов, распознавания текста на номерных знаках и обнаружения текста в сценах; заявлена поддержка упрощённого и традиционного китайского, английского и японского языков. В README приведены оценки по нескольким сценариям обнаружения текста со средним значением 0,827. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не уточняет размер модели и длину контекста. Это детектор текстовых областей, а не средство полного распознавания содержимого текста.

5284янв. 2026
textimageapache-2.0hugging-face
LocalDoc
private_ner_azerbaijani_v2

LocalDoc выпустила вторую версию модели для распознавания персональных данных в азербайджанском тексте. Это дообученная на специализированных данных XLM-RoBERTa с архитектурой XLMRobertaForTokenClassification; модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель размечает имена и фамилии, возраст, даты, города, адреса, номера документов и карт, электронную почту, телефоны и другие типы персональных данных. Её можно применять для поиска чувствительной информации в текстах и подготовки данных к обезличиванию. В README приведены тестовые precision 0,9760, recall 0,9732 и F1 0,9746; качество различается по типам сущностей. Модель предназначена для азербайджанского языка и распространяется по лицензии CC BY 4.0, которая разрешает коммерческое использование и модификацию при указании авторства.

2830апр. 2025ctx514
textcc-by-4.0hugging-face
cnmoro
Qwen0.5b-RagSemanticChunker

cnmoro/Qwen0.5b-RagSemanticChunker — это дообученная модель Qwen2.5-0.5B-Instruct, предназначенная для семантического разбиения длинного текста на фрагменты для сценариев RAG. В примере README текст на португальском языке разделён специальным маркером «段», который отмечает границы смысловых фрагментов. Модель построена на архитектуре Qwen2 с плотной причинно-языковой архитектурой Qwen2ForCausalLM и содержит 494 млн параметров. Она принимает и генерирует текст, поддерживает английский и португальский языки и имеет контекст длиной до 32 768 токенов. Метаданные также указывают поддержку диалогового режима и интерфейса вызова инструментов. Модель подходит для подготовки текстовых корпусов к поиску и ответам по документам с использованием RAG. README не сообщает результаты оценок качества или подробные инструкции по формату входа. Модель распространяется по лицензии MIT.

314янв. 2025ctx32.8K
textmithugging-face
kangkys
Qwen3-0.6B-JSON-SFT-GRPO

Модель kangkys/Qwen3-0.6B-JSON-SFT-GRPO — дообученная на базе NotoriousH2/Qwen3-0.6B-JSON-SFT компактная языковая модель семейства Qwen3 с архитектурой Qwen3ForCausalLM и примерно 507,9 млн параметров. Она предназначена для генерации текста в диалоговом режиме; базовая модель специализируется на извлечении метаданных, поручений, решений и препятствий из корейских протоколов совещаний с выдачей результата в формате JSON. Модель принимает текст и генерирует текст; в метаданных также отмечен интерфейс вызова инструментов. Контекст составляет до 40 960 токенов. Для дообучения использовались Unsloth и библиотека Hugging Face TRL. Модель разработал kangkys, лицензия — Apache-2.0.

170сент. 2026ctx41K
textapache-2.0hugging-face
ratlinghitman
qwen3vl-2b-receipt-extraction

ratlinghitman/qwen3vl-2b-receipt-extraction — дообученная с помощью LoRA модель Qwen3-VL-2B-Instruct для извлечения данных из фотографий и сканов розничных чеков. Модель принимает изображение чека и запрос, затем формирует JSON с позициями меню, промежуточной и итоговой суммами; значения передаются как строки, переписанные с чека. Модель основана на Qwen3-VL-2B-Instruct с архитектурой Qwen3-VL и обучена на датасете CORD-v2. Адаптер LoRA применён к языковой части модели, а зрительная часть оставлена замороженной. На тестовой выборке из 100 чеков автор сообщает field F1 0,8857 и корректность JSON 0,99; структура JSON при этом может быть менее надёжной, чем у более крупной версии на 4B параметров. Модель предназначена для автоматизации учёта расходов и конвейеров обработки чеков, а также для исследований понимания документов. Обучение охватывает индонезийские чеки из сферы розничной торговли и ресторанов, поэтому точность на других языках и макетах может снижаться. Она не обучалась для счетов-фактур, рукописей или изображений других типов; суммы и позиции не проверяются арифметически, поэтому результат требует проверки человеком. Лицензия — Apache-2.0.

200июль 2026ctx262.1K
textimageapache-2.0hugging-face
ratlinghitman
qwen3vl-4b-receipt-extraction

Qwen3-VL-4B Receipt Extraction — модель ratlinghitman, дообученная на базе Qwen/Qwen3-VL-4B-Instruct с помощью LoRA для извлечения данных из фотографий и сканов розничных чеков. Она принимает изображение чека вместе с заданным запросом и возвращает JSON с позициями, подытогом и итоговой суммой; значения представлены строками, переписанными с чека. Используются архитектура Qwen3-VL с 4 млрд параметров и формат bf16; адаптировалась языковая часть, а визуальная часть оставалась замороженной. Обучение проводилось на датасете CORD-v2, содержащем индонезийские чеки. На тестовой выборке из 100 чеков автор сообщает field F1 0,8862 и корректность JSON 0,99. Модель предназначена для автоматизации ввода данных в бухгалтерские и учётные системы, а также для экспериментов с пониманием документов. Лицензия — Apache-2.0. Она обучалась на розничных и ресторанных чеках CORD-v2, поэтому результаты на чеках других типов и языков могут быть хуже; модель не предназначена для счетов-фактур, рукописных записей и изображений других типов. Извлечённые значения не проверяются арифметически, а поля и суммы требуют проверки человеком перед использованием.

130июль 2026ctx262.1K
textimageapache-2.0hugging-face
mdg-nlp
RoBERTa-eventx-recognition-sentence

Модель mdg-nlp дообучила FacebookAI/roberta-base для извлечения выражений событий (EVENTX) в предложениях. Это энкодер RoBERTa с головой классификации токенов: она размечает каждый токен тегом BIO и выделяет фрагменты, обозначающие действия, происшествия, процессы или состояния. Модель содержит 151,8 млн параметров, использует формат safetensors и рассчитана на контекст до 514 токенов. Модель предназначена для структурирования упоминаний событий в тексте и может служить этапом подготовки данных для построения временных линий, упорядочивания событий и извлечения отношений. В README приведены результаты micro-F1: 0,85 в базовом сценарии и 0,82 на состязательных примерах; в настройке T2C результат составляет 0,19. Модель обучена на датасете mdg-nlp/eventx-recognition-original. Указанная лицензия — Apache-2.0. Основное назначение модели — выделение текстовых границ выражений событий; она сама не классифицирует отношения между событиями или временные отношения. Качество может снижаться при смене предметной области, неоднозначных или неявных событиях и состязательных изменениях текста; разбиение на токены влияет на границы найденных фрагментов. Модель рассчитана на предложения, а для длинных или структурно отличающихся входов поведение может меняться.

3280март 2026ctx514
textapache-2.0hugging-face
surrey-nlp
roberta-large-finetuned-abbr-filtered-plod

Модель Surrey NLP — дообученная версия RoBERTa-large для обнаружения сокращений и соответствующих им полных форм в тексте. Она выполняет разметку токенов и предназначена для извлечения сокращений и их расшифровок из англоязычных документов. На тестовом наборе PLODv2 filtered модель получила F1 0,9208 для сокращений и 0,9108 для полных форм. Модель содержит 454,1 млн параметров, использует формат PyTorch и принимает контекст до 514 токенов. Опубликована вместе с работой для LREC-COLING 2024; лицензия — CC BY-SA 4.0.

131февр. 2023ctx514
textcc-by-sa-4.0hugging-face
EvgeniaKomleva
roberta-large-finetuned-abbr-finetuned-ner

EvgeniaKomleva/roberta-large-finetuned-abbr-finetuned-ner — англоязычная модель разметки последовательностей на базе RoBERTa-large, дообученная на наборе plod-filtered для обнаружения и классификации аббревиатур в тексте. Модель содержит 454,1 млн параметров и поддерживает контекст до 514 токенов. На оценочном наборе указаны precision 0,9800, recall 0,9767, F1 0,9784 и accuracy 0,9762. Модель подходит для извлечения упоминаний аббревиатур из текста, например в составе NLP-конвейера. Распространяется по лицензии MIT.

80нояб. 2023ctx514
textmithugging-face
tner
roberta-large-tweetner7-all

Модель tner/roberta-large-tweetner7-all разработана в рамках проекта T-NER и представляет собой RoBERTa-large, дообученную для распознавания именованных сущностей в коротких сообщениях Twitter на полном обучающем разделе TweetNER7. Она помечает в тексте сущности семи типов: организации, творческие работы, события, группы, местоположения, людей и продукты. Модель содержит 454,1 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель подходит для извлечения сущностей из коротких сообщений и анализа упоминаний людей, мест и организаций в публикациях. На тестовом наборе 2021 года показала micro-F1 0,657 и macro-F1 0,612; качество различается по категориям: например, F1 для людей составляет 0,829, а для событий — 0,467. Данные TweetNER7 используют специальное представление имён аккаунтов и URL, поэтому для корректной обработки необходимо предварительно привести твиты к формату датасета. Лицензия в предоставленных данных не указана.

159K1июль 2022ctx514
texthugging-face
vladlinv
ru-pii-ner-gliner2.5

vladlinv/ru-pii-ner-gliner2.5 — русскоязычная модель извлечения персональных данных, разработанная автором репозитория как полный файнтюн fastino/gliner2.5-multi-v1. Она распознаёт типы и границы имён, адресов, дат, телефонов, электронной почты, государственных и иных идентификаторов, банковских реквизитов, медицинских, судебных, кадровых, учебных и других данных, связанных с человеком. Разметка учитывает контекст и юридический смысл данных по 152-ФЗ и российской правоприменительной практике, стараясь отличать сведения о физических лицах от данных организаций и служебных значений. Модель построена на архитектуре GLiNER2.5 с энкодером mDeBERTa-v3-base и содержит 287 млн параметров. Она предсказывает границы сущностей и сопоставляет найденные фрагменты с заданными на входе метками; заявлена обработка до 4096 токенов за проход. Метки можно адаптировать под собственную схему без переобучения, однако качество подтверждено только для меток из карточки. Модель подходит для выявления персональных данных в документах при подготовке к обезличиванию, включая юридические, кадровые, финансовые, медицинские и административные материалы. Лицензия — Apache-2.0. Оценка выполнена на 405 документах; метрики строгие и требуют точного совпадения границ сущностей. Датасет преимущественно русскоязычный, около 6% примеров — на других языках. Модель может пропускать чувствительные данные, поэтому её следует дополнять регулярными выражениями, словарями и прикладными правилами; коммерческую тайну и конфиденциальные сведения, не относящиеся к физическим лицам, она специально не обнаруживает.

1.1K2авг. 2026
textapache-2.0hugging-face
segment-any-text
sat-9l-sm

sat-9l-sm — модель семейства Segment any Text, разработанная для библиотеки wtpsplit. Она предназначена для сегментации текста на предложения и решает эту задачу как классификацию токенов: размечает границы предложений, в том числе в текстах без надёжной пунктуации. Модель использует архитектуру XLM для классификации токенов, содержит 276,9 млн параметров и рассчитана на последовательности длиной до 514 токенов. Карточка заявляет качество уровня state of the art и указывает, что модель имеет 9 слоёв Transformer. Поддерживаются многие языки, включая арабский, английский, русский, китайский и японский; лицензия — MIT.

240июнь 2024ctx514
textmithugging-face
llmware
slim-sa-ner

SLIM-SA-NER — специализированная языковая модель компании llmware для совместного анализа тональности и распознавания именованных сущностей. Она дообучена на llmware/bling-stable-lm-3b-4e1t-v0, основанной на stabilityai/stablelm-3b-4elt. Архитектура — StableLM Epoch с 2,7 млрд параметров; модель принимает текст и формирует текстовый ответ в виде словаря с тональностью и сущностями, например людьми, организациями и местами. Для вызова используется формат функции classify с перечнем нужных полей. Модель предназначена для извлечения тональности и сущностей из текстов, в том числе в прикладных системах, где нужны компактные специализированные модели вместо отдельных классификаторов. Контекст составляет 4096 токенов. Репозиторий содержит веса PyTorch, лицензия — CC BY-SA 4.0. Ответ генерируется как текстовое представление словаря, поэтому его автоматический разбор может завершиться ошибкой; README демонстрирует обработку такой ситуации. В примере также есть несогласованность между указанным форматом вызова и параметром topic, поэтому при интеграции следует проверять формат промпта и результат.

176март 2024ctx4.1K
textcc-by-sa-4.0hugging-face
stanfordnlp
stanza-fr

stanfordnlp/stanza-fr — французская модель из набора Stanza, разработанного Stanford NLP. Она предназначена для лингвистического анализа французского текста, включая распознавание именованных сущностей; метаданные классифицируют её как модель разметки токенов. Модель распространяется в формате PyTorch и доступна по лицензии Apache-2.0. Stanza предоставляет инструменты анализа текста от исходного текста до синтаксического разбора и распознавания сущностей. Карточка не уточняет размер модели, длину контекста и отдельные ограничения качества.

1.4K3март 2022
textapache-2.0hugging-face
yifeihu
TB-OCR-preview-0.1

TB-OCR-preview-0.1 — предварительная модель распознавания текстовых блоков, созданная Yifei Hu на базе Microsoft Phi-3.5-vision-instruct. Она принимает изображения отдельных блоков и преобразует их содержимое в структурированный Markdown, включая текст, математические выражения в LaTeX и заголовки. Модель рассчитана на обработку блоков, а не целых страниц; для распознавания страницы автор рекомендует сначала выделять текстовые, табличные и графические области отдельной моделью. Блоки можно обрабатывать параллельно. Модель содержит 3,7 млрд параметров, использует архитектуру Phi3VForCausalLM и формат safetensors. Контекст составляет 4096 токенов. По заявлению автора, 4-битная загрузка требует около 2,8 ГБ видеопамяти и почти не снижает качество. Это preview-чекпойнт для проверки качества синтетического датасета, обученный примерно на 250 тыс. пар изображение–текст; лицензия — MIT.

128129авг. 2024ctx131.1K
textmithugging-face
gradients-io-tournaments
tournament-tourn_5c64e784a087074a_20260914-90d361cb-0b97-464a-9fda-36eb34c99261-5HBgDWKx

Карточка модели gradients-io-tournaments/tournament-tourn_5c64e784a087074a_20260914-90d361cb-0b97-464a-9fda-36eb34c99261-5HBgDWKx на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-2.6B, поэтому описание составлено по ней. LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

4520сент. 2026ctx131.1K
textotherhugging-face
microsoft
trocr-large-str

TrOCR-large-str — модель оптического распознавания текста, разработанная Microsoft и дообученная на наборах IC13, IC15, IIIT5K и SVT для распознавания текста на изображениях отдельных строк. Она предназначена для преобразования изображения строки текста в последовательность символов, например при оцифровке фотографий и сканов с короткими надписями. Модель построена по архитектуре encoder-decoder: визуальный Transformer-кодировщик обрабатывает изображение как последовательность патчей размером 16×16, а текстовый Transformer-декодировщик авторегрессионно формирует распознанный текст. Кодировщик инициализирован весами BEiT, декодировщик — RoBERTa. Репозиторий содержит веса PyTorch. Модель рассчитана на распознавание одной текстовой строки за раз; для целых страниц или документов потребуется предварительно выделить строки. Лицензия в предоставленных данных не указана.

1.5K20сент. 2022ctx512
textimagehugging-face
TraiNC
vlm_ocr_lora

TraiNC/vlm_ocr_lora — дообученная TraiNC модель на базе мультимодальной Qwen3.5-0.8B от Unsloth. Она предназначена для задач «изображение-текст», в частности для OCR и извлечения текста с изображений и документов. Архитектура — плотная Qwen3.5 с поддержкой зрения; репозиторий содержит веса Safetensors. Модель рассчитана на англоязычные сценарии. Модель принимает изображения и текстовые запросы, а выдаёт текст. Она может подойти для распознавания текста на изображениях, извлечения полей из документов и прототипирования OCR-процессов. В карточке указаны лицензия Apache-2.0 и дообучение с использованием Unsloth и библиотеки TRL; параметры контекста и результаты оценки качества не приведены.

120июль 2026ctx262.1K
textimageapache-2.0hugging-face
qmeeus
whisper-small-multilingual-spoken-ner-pipeline-step-1

qmeeus/whisper-small-multilingual-spoken-ner-pipeline-step-1 — дообученная модель на основе Whisper Small от OpenAI для извлечения именованных сущностей из речи. Она предназначена для конвейеров spoken NER: модель принимает аудио и формирует текстовый результат с распознанными сущностями. Дообучение выполнено на немецкой, испанской, французской и нидерландской частях датасета facebook/voxpopuli; размер модели — 153,1 млн параметров, веса сохранены в формате safetensors. В README приведены метрики оценки: F1 0,6260, Label F1 0,8282 и WER 0,1170. Модель подходит для извлечения сущностей из речи на языках обучающих данных. Метаданные указывают лицензию Apache-2.0. Оценочные метрики отражают результаты на указанной в карточке выборке и сами по себе не гарантируют качество на других данных или языках.

80янв. 2024ctx1K
textapache-2.0hugging-face
Davlan
xlm-roberta-base-masakhaner

Davlan/xlm-roberta-base-masakhaner — модель распознавания именованных сущностей, созданная дообучением XLM-RoBERTa на наборах MasakhaNER для африканских языков. Она размечает в тексте имена людей (PER), места (LOC), организации (ORG), даты и время (DATE), присваивая метки отдельным токенам. Модель предназначена для извлечения сущностей из новостных текстов на амхарском, хауса, игбо, киньяруанда, луганда, нигерийском пиджине, суахили, волоф и йоруба. Архитектура — XLM-RoBERTa для классификации токенов, около 305,2 млн параметров; максимальный родной контекст — 514 токенов. Доступна в формате PyTorch и рассчитана на использование с Transformers. Карточка сообщает о высокой точности на задаче NER, однако обучение проводилось на размеченных новостных статьях за ограниченный период, поэтому качество может снижаться на текстах других жанров и предметных областей. Лицензия в доступных данных не указана.

701март 2022ctx514
texthugging-face
nahiar
xlm-roberta-ner-v2

nahiar/xlm-roberta-ner-v2 — дообученная модель XLM-RoBERTa-Base для распознавания именованных сущностей в неформальных публикациях и комментариях в социальных сетях. Модель разработана для текстов на индонезийском и английском языках; её архитектура — XLMRobertaForTokenClassification, размер — 305,2 млн параметров, контекст — до 514 токенов. Модель присваивает токенам BIO-метки и распознаёт людей, организации, политические организации, географические объекты, события, места, законы, объекты инфраструктуры и произведения искусства. Она предназначена для мониторинга социальных сетей, отслеживания брендов и организаций, а также для поддержки модерации и анализа контента. В README указан F1 0,8354 на валидационном наборе, но результаты на других данных могут отличаться. Модель распространяется по лицензии Apache-2.0. Её качество может снижаться на формальных документах, коротких или неоднозначных сообщениях, текстах с обильным сленгом, сарказмом и смешением языков. Возможны смещения, унаследованные от обучающих данных; для чувствительной модерации рекомендуется проверка человеком.

1970апр. 2026ctx514
textapache-2.0hugging-face
arinze
address-match-abp-v2

arinze/address-match-abp-v2 — модель на основе BERT, созданная для сопоставления адресов. Она кодирует предложения и абзацы в плотные векторы размерностью 64, пригодные для поиска семантически похожих адресов, кластеризации и ранжирования кандидатов по сходству. Модель можно использовать через библиотеку Sentence-Transformers; она обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. Модель содержит 25,9 млн параметров и принимает текст с контекстным окном до 512 токенов. В репозитории указаны веса PyTorch. Язык обучающих данных и лицензия в доступных сведениях не приведены, поэтому область применимости по языкам и условия использования определить нельзя.

1230нояб. 2022ctx512
textembeddinghugging-face
arinze
address-match-abp-v3

arinze/address-match-abp-v3 — модель Sentence Transformers на базе архитектуры BERT, разработанная автором репозитория arinze. Она преобразует предложения и абзацы в плотные векторы размерностью 32 для сопоставления адресов, семантического поиска и кластеризации. Модель содержит 25,9 млн параметров и принимает текст с контекстом до 512 токенов. Модель обучена с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. Её можно применять для поиска похожих адресов, ранжирования соответствий и группировки записей по смысловой близости. Репозиторий содержит веса PyTorch; условия лицензии в предоставленных данных не описаны.

1170нояб. 2022ctx512
textembeddinghugging-face
rhymes-ai
Aria

Aria — мультимодальная модель Rhymes AI для диалогов и задач понимания изображений. Это плотная по типу архитектуры модель семейства Aria с архитектурным классом AriaForConditionalGeneration; в карточке указана архитектура Mixture of Experts с 25,3 млрд параметров всего и 3,9 млрд активируемых параметров на токен. Модель принимает текст и изображения, поддерживает мультимодальный контекст до 64K токенов и использует формат весов safetensors. Модель предназначена для ответов на вопросы по изображениям и документам, описания визуального содержимого и анализа видео. README отмечает сильные результаты в понимании видео и документов, а также обработку изображений разных размеров и соотношений сторон. Aria создана на основе rhymes-ai/Aria-Base-64K и дообучена; для запуска рекомендуется Transformers версии 4.48.0 или новее. Лицензия — Apache-2.0.

37K639сент. 2024
textimageapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей