/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
1 261–1 290 из 25 791
nicolauduran45
affilgood-ner-multilingual-v2

Многоязычная модель распознавания именованных сущностей в строках аффилиаций научных статей и проектов. Её разработали SIRIS Lab, LaSTUS Lab и Институт информатики Польской академии наук; модель дообучена для классификации токенов на основе SIRIS-Lab/affilgood-affilxlm, построенной на XLM-RoBERTa-base. Она выделяет названия организаций и подразделений, города, страны, адреса, почтовые индексы и регионы, а также подорганизации, например самостоятельные лаборатории внутри более крупных учреждений. Модель предназначена для структурирования неформатированных аффилиаций и последующей геолокации учреждений, связывания с реестрами, анализа организационных иерархий и построения графов знаний. В карточке описана обучающая выборка из 6 595 размеченных строк на разных языках и оценка на отложенной части набора: общий F1 со строгим совпадением границ и типов сущностей составляет 0,921. Модель основана на XLM-RoBERTa, содержит около 305 млн параметров и имеет контекст длиной 514 токенов. Модель лучше подходит для аффилиаций научных организаций, чем для произвольного текста; качество на иных типах текста не заявлено. Авторы отмечают, что смещения и токсичность отдельно не оценивались. Лицензия — Apache 2.0.

1530окт. 2024ctx514
textapache-2.0hugging-face
jarredparrett
all-MiniLM-L6-v2_tuned_on_deepparse_address_mutations_comb_3

jarredparrett/all-MiniLM-L6-v2_tuned_on_deepparse_address_mutations_comb_3 — англоязычная модель Sentence Transformer, дообученная на наборе deepparse_address_mutations_comb_3 для сопоставления адресов с вариациями написания и опечатками. Модель основана на энкодере BERT all-MiniLM-L6-v2, содержит 25,9 млн параметров и преобразует текст в нормализованные плотные векторы размерности 384; сходство оценивается косинусной мерой. Метаданные указывают контекст до 512 токенов, а README — максимальную длину последовательности 256 токенов. Модель подходит для поиска совпадающих адресов, оценки сходства пар адресов и отбора вариантов для последующей проверки. README сообщает о высокой точности на бинарной классификации пар из указанного набора, однако приведённые результаты относятся к этому типу данных и не гарантируют качество на других языках и доменах. Условия лицензии в предоставленных источниках не приведены.

770дек. 2024ctx512
textembeddinghugging-face
THemidli
applied-ner-stage4-bert-mini-final

THemidli разработала компактный англоязычный классификатор токенов для распознавания именованных сущностей. Это дообученная модель prajjwal1/bert-mini на основе BERT с 11,1 млн параметров; она размечает последовательности восемью типами сущностей: PERSON, ORGANIZATION, LOCATION, TIMEDATE, PRODUCT, WORKOFART, JOB и AMOUNT. Максимальная длина контекста — 512 токенов, лицензия — Apache-2.0. Модель рассчитана на извлечение сущностей из английского текста, например для первичной разметки документов и последующей обработки результатов. В README приведены тестовый F1 0,646 и оценка F1 0,769 на 40 вручную размеченных примерах; результаты на малой выборке не гарантируют качества на других данных. Модель обучена на небольшом неоднородном наборе данных, а распознавание организаций, продуктов, произведений и границ должностей отмечено как слабое. Автор не рекомендует считать её готовой системой защиты персональных данных.

110авг. 2026ctx512
textapache-2.0hugging-face
ghadeermobasher
BC5CDR-Chemical-Disease-balancedBioM-ELECTRA-Base-Discriminator

ghadeermobasher/BC5CDR-Chemical-Disease-balancedBioM-ELECTRA-Base-Discriminator — модель для токен-классификации, опубликованная пользователем ghadeermobasher на Hugging Face. Она основана на архитектуре BioELECTRA Base Discriminator и дообучена для извлечения упоминаний химических веществ и заболеваний в биомедицинских текстах набора BC5CDR, содержащего статьи PubMed с аннотациями химических и болезненных сущностей. Модель имеет около 135,4 млн параметров и поддерживает контекст до 512 токенов. Её назначение — биомедицинское распознавание именованных сущностей: выделение названий лекарств, соединений, химических веществ, заболеваний и связанных медицинских состояний в англоязычной научной литературе. Она предназначена для информационного извлечения и поиска по биомедицинским документам, а не для генерации текста, диагностики или извлечения отношений между сущностями. Сведения о лицензии модели в доступных источниках не установлены.

1370март 2022ctx512
texthugging-face
classla
bcms-bertic

BERTić — языковая модель-трансформер семейства ELECTRA, разработанная CLASSLA для боснийского, хорватского, черногорского и сербского языков. Модель с 137,8 млн параметров предварительно обучена на более чем 8 млрд токенов текстов; формат весов — PyTorch, максимальная длина контекста — 512 токенов. Модель предназначена для построения NLP-систем на этих языках и может служить основой для дообучения под разметку частей речи, распознавание именованных сущностей, геолокацию по тексту и другие задачи понимания языка. В описанных сравнениях BERTić превосходит multilingual BERT и CroSloEngual BERT на ряде оценок для хорватского и сербского, хотя результаты зависят от задачи и набора данных. Для NER и выявления языка ненависти авторы также указывают отдельные дообученные версии. Модель распространяется по лицензии Apache-2.0. Это языковой энкодер для текстовых задач, а не готовый универсальный чат-бот; для прикладных сценариев классификации или извлечения сущностей может потребоваться дополнительное дообучение.

6.7K20март 2022ctx512
textapache-2.0hugging-face
Open-Bee
Bee-8B-SFT

Bee-8B-SFT — мультимодальная модель с открытыми весами от команды Open-Bee, дообученная на базе Qwen/Qwen3-8B на корпусе Honey-Data-15M примерно из 15 миллионов примеров. Архитектура Bee — плотная модель класса BeeForConditionalGeneration; она принимает изображения и текст и отвечает в формате диалога. Для работы доступны режимы с рассуждениями и без них. Модель предназначена для диалоговых сценариев с изображениями и текстом, включая сложные рассуждения, математические задачи, анализ документов, диаграмм и других структурированных визуальных данных. Авторы сообщают о высоких результатах на MathVerse, LogicVista, DynaMath и CharXiv; поддерживаются Transformers и vLLM. Карточка указывает английский язык, а базовая Qwen3-8B описана как многоязычная. Размер контекста в предоставленных данных не указан. Модель распространяется по лицензии Apache-2.0. Заявления о качестве основаны на результатах бенчмарков авторов; конкретные ограничения и гарантии качества не описаны.

52014окт. 2025ctx131.1K
textapache-2.0hugging-face
KBLab
bert-base-swedish-cased-ner

KBLab при Национальной библиотеке Швеции разработала bert-base-swedish-cased-ner — экспериментальную модель BERT, дообученную для распознавания именованных сущностей в шведском тексте на наборе SUC 3.0. Она размечает сущности по типам времени, персон, мест, событий и организаций; регистр букв сохраняется, а токенизатор может разбивать слова на части, которые при необходимости нужно объединять после предсказания. Модель относится к архитектуре BERT для классификации токенов, содержит около 151,9 млн параметров и рассчитана на контекст до 512 токенов. Исходная шведская языковая модель обучалась на книгах, новостях, государственных публикациях, шведской Википедии и интернет-форумах. Модель предназначена для извлечения сущностей из шведских текстов, например новостей или документов. В карточке она обозначена как экспериментальная, а типы меток могут меняться; указанное качество на задачах за пределами SUC 3.0 не приводится. Лицензия в предоставленных материалах не указана.

4.0K7март 2022ctx512
texthugging-face
dbmdz
bert-base-turkish-uncased

BERTurk — некейсовая базовая модель BERT для турецкого языка, разработанная командой MDZ Digital Library Баварской государственной библиотеки при участии турецкого NLP-сообщества. Модель содержит 137,8 млн параметров, обучена на корпусе объёмом 35 ГБ из OSCAR, Wikipedia, OPUS и специализированных турецких текстов. Контекст — до 512 токенов. Модель предназначена для получения контекстных представлений турецкого текста и адаптации к прикладным задачам NLP, включая разметку частей речи и распознавание именованных сущностей. Это базовая модель, а не готовый чат-ассистент; для классификации и разметки её обычно дообучают на соответствующих данных. Доступны веса PyTorch, а также форматы Flax и TensorFlow в метаданных. Лицензия — MIT.

62K42март 2022ctx512
textmithugging-face
joseeangel
bert-base-uncased-squad-qa

Joseeangel разработал эту модель для извлечения ответов из текста в формате SQuAD v1.1. Это BERT Base Uncased с 136,7 млн параметров, полностью дообученный на подвыборке SQuAD; модель выдаёт оценки начальной и конечной позиций ответа в контексте. Она предназначена для английских вопросов по абзацу, в котором ответ заведомо присутствует. В README приведены результаты на отложенной тестовой выборке: F1 82,14 и exact match 72,77. Модель работает с текстом и английским языком. Контекст ограничен 512 токенами по метаданным; при обработке длинных контекстов README описывает разбиение на перекрывающиеся окна длиной до 384 subwords. Модель всегда возвращает наиболее подходящий фрагмент и не умеет отказаться от ответа, поэтому её не следует применять без проверки человеком там, где ошибка может повлечь серьёзные последствия. Лицензия модели — Apache-2.0.

510сент. 2026ctx512
textapache-2.0hugging-face
Luciano
bertimbau-base-lener_br

Luciano/bertimbau-base-lener_br — модель классификации токенов на базе BERT, дообученная на наборе данных LeNER-Br для бразильского португальского. Её можно применять для разметки последовательностей токенов в юридических текстах; точные категории сущностей в предоставленной карточке не описаны. Модель содержит 136,1 млн параметров, использует архитектуру BertForTokenClassification и принимает текстовые последовательности длиной до 512 токенов. На оценочной выборке LeNER-Br указаны F1 0,8808, точность 0,8501, полнота 0,9138 и accuracy 0,9693. Распространяется по лицензии MIT.

4066март 2022ctx512
textmithugging-face
Mardiyyah
CeLLaTe-ner-2class-gaz-tapt-pubmedbert-tokenizer-adapted-combinedData-lr_3.89

CeLLaTe-ner-2class-tapt-pubmedbert-tokenizer-adapted-combinedData-lr3.89 — модель распознавания сущностей на уровне токенов, разработанная Mardiyyah и дообученная на наборе OTAR3088/CeLLaTe-ner-2class-iob_final. Она основана на CeLLaTe-tapt-pubmedbert-tokenizer-adapted-wwmask-combinedData и использует архитектуру BERT с головой классификации токенов; размер модели — 138,2 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для разметки последовательностей текста по двум классам сущностей. В README приведены метрики на оценочном наборе: Micro F1 0,7774, точность 0,9841, precision 0,7696 и recall 0,7853. Эти показатели относятся к указанному набору данных и не гарантируют аналогичного качества на других текстах. Модель принимает и выдаёт текст с токенной разметкой, заявленный язык — английский. Распространяется по лицензии Apache-2.0.

1250авг. 2026ctx512
textapache-2.0hugging-face
Mardiyyah
CeLLaTe-ner-2class-tapt-pubmedbert-reinitllrd-tokenizer-adapted-combinedData-lr_3.215

CeLLaTe-ner-2class-tapt-pubmedbert-reinitllrd-tokenizer-adapted-combinedData-lr_3.215 — англоязычная BERT-модель Mardiyyah для классификации токенов. Это дообученная версия Mardiyyah/CeLLaTe-tapt-pubmedbert-tokenizer-adapted-wwmask-combinedData, дополнительно настроенная на наборе OTAR3088/CeLLaTe-ner-2class-iob_final. Модель содержит 138,2 млн параметров, работает с контекстом до 512 токенов и распространяется в формате safetensors. На оценочном наборе модель показала micro F1 0,7729, macro F1 0,7810 и точность 0,9839. Она предназначена для присвоения меток отдельным токенам в англоязычных биомедицинских текстах. Лицензия — Apache-2.0.

130авг. 2026ctx512
textapache-2.0hugging-face
mhenrichsen
context-aware-splitter-7b

Context Aware Splitter — модель на базе архитектуры Llama, предназначенная для контекстно-зависимого разбиения текста на фрагменты для систем Retrieval-Augmented Generation (RAG). Она учитывает смысл и контекст исходного текста, чтобы формировать части, которые можно читать независимо; целевой размер фрагментов задаётся количеством слов. В ответе модель также возвращает тему текста. README сообщает об обучении на 12,3 тыс. датских текстов объёмом 13,4 млн токенов; метаданные указывают 6,6 млрд параметров и контекстное окно 8192 токена. Модель принимает текст и генерирует текстовый ответ в формате, совместимом с инструкцией Alpaca. Она предназначена для подготовки текстовых корпусов к индексации и поиску с дополнением контекста. Указана лицензия Apache-2.0. Карточка README называет модель версией 1B, что расходится с размером 6,6B в метаданных; фактический размер требует проверки. Обучение описано для датских текстов, поэтому качество для других языков не подтверждено.

219сент. 2023ctx8.2K
textapache-2.0hugging-face
CS221DoAn
Do_an_group_mBERT

CS221DoAn разработала Do_an_group_mBERT — модель распознавания именованных сущностей, дообученную для классификации токенов на основе многоязычного BERT (mBERT). Она предназначена для извлечения сведений из неструктурированных вьетнамских сообщений и заказов еды, включая названия блюд, количества и пожелания к заказу. Модель использует архитектуру BERT с 205,1 млн параметров, принимает текст, работает с контекстом до 512 токенов и сохраняет метки сущностей в схеме BIO. В README сообщается о Macro F1 0,9880 на отложенной тестовой выборке из 233 сообщений. Модель рассчитана на короткие сообщения из сферы доставки еды, в том числе с сокращениями, разговорным написанием и пропущенными диакритическими знаками. Для токенизации используется WordPiece; предварительная сегментация текста через VnCoreNLP не требуется. Авторы отмечают, что разбиение составных вьетнамских слов может затруднять распознавание границ сущностей по сравнению с PhoBERT. Лицензия в предоставленных данных не указана.

130июнь 2026ctx512
texthugging-face
naver-clova-ix
donut-base-finetuned-zhtrainticket

Donut-base-finetuned-zhtrainticket — модель семейства Donut, разработанная командой NAVER CLOVA и дообученная на наборе ZhTrainTicket для разбора изображений китайских железнодорожных билетов. Она использует архитектуру encoder-decoder: визуальный энкодер Swin Transformer кодирует изображение, а декодер BART пошагово формирует текстовый результат. Модель выполняет извлечение сведений из билета напрямую по изображению, без отдельного OCR-конвейера. Модель подходит для автоматизированного разбора билетов и извлечения структурированных сведений из изображений китайских железнодорожных билетов. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Карточка не приводит численный размер модели или длину контекста.

550июль 2022
textimagemithugging-face
Bienvenu2004
donut-handball-pv

Donut-handball-pv — модель Bienvenu2004, дообученная на базе naver-clova-ix/donut-base для преобразования изображений в текст. Архитектура VisionEncoderDecoder предназначена для задач, где нужно извлекать текстовое представление из изображения; карточка не описывает конкретный формат входных изображений или целевой текст. Модель опубликована в формате safetensors и распространяется по лицензии MIT. README не содержит сведений о специализации, обучающих данных, качестве или ограничениях; название репозитория указывает на связь с гандболом, но не позволяет определить конкретную задачу модели.

120март 2024
textimagemithugging-face
fractalego
fewrel-zero-shot

fractalego/fewrel-zero-shot — модель для извлечения отношений между сущностями с нуля, основанная на статье «Exploring the zero-shot limit of FewRel». В этой версии используется BERT Large, дообученный на SQuAD; в метаданных указаны архитектура BertForQuestionAnswering, 433,9 млн параметров и контекст до 512 токенов. Модель предназначена для классификации отношений между сущностями в тексте без примеров целевых классов. README приводит результаты для сценариев с 5 и 10 вариантами отношений, но не описывает языки, лицензию или ограничения по применению. Репозиторий содержит веса PyTorch.

175март 2022ctx512
texthugging-face
yiyanghkust
finbert-esg-9-categories

FinBERT-esg-9-categories — модель классификации финансовых текстов, разработанная исследовательской группой Гонконгского университета науки и технологий и дообученная на примерно 14 тысячах вручную размеченных предложений из ESG- и годовых отчётов компаний. Модель построена на архитектуре BERT, содержит 137 млн параметров и принимает текстовые входы длиной до 512 токенов. Она относит текст к одной из девяти категорий: изменение климата, природный капитал, загрязнение и отходы, человеческий капитал, ответственность за продукт, отношения с сообществами, корпоративное управление, деловая этика и ценности либо не-ESG. Модель предназначена для детальной тематической разметки ESG-материалов и дополняет FinBERT-esg, классифицирующий текст по четырём укрупнённым темам. Модель работает с английским языком; веса доступны в формате PyTorch. Лицензия в предоставленных данных не указана.

4.1K41окт. 2022ctx512
texthugging-face
Immerwinter
gbert-large-privacy-policy-content-processing

Immerwinter/gbert-large-privacy-policy-content-processing — немецкоязычная модель классификации текста, разработанная на базе deepset/gbert-large и предназначенная для разметки фрагментов политики конфиденциальности по темам обработки данных. В карточке перечислены категории Audience, Contact, Control, Deletion, LegalBasis, Policy, Processing, Purpose, Retention, Security/Privacy, Selling, Sharing, ThirdParty и UserRights; README также упоминает контекст и тему. Модель использует архитектуру BERT с классификационной головой BertForSequenceClassification и содержит 434,5 млн параметров. Она принимает текстовые последовательности длиной до 512 токенов и выдаёт метки классов. Доступны веса в форматах Safetensors и ONNX; базовая модель распространяется по лицензии Apache-2.0. Специализация на немецком языке следует из метаданных, а англоязычная версия упоминается в README.

990авг. 2026ctx512
textapache-2.0hugging-face
Immerwinter
gbert-large-privacy-policy-content-thirdparty

Immerwinter/gbert-large-privacy-policy-content-thirdparty — немецкоязычная модель классификации текста, дообученная на базе deepset/gbert-large. Она предназначена для отнесения фрагментов политики конфиденциальности к теме ThirdParty в аналитическом конвейере, где также перечислены темы обработки персональных данных и прав пользователей. Модель основана на BERT, содержит 434,5 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель подходит для автоматической тематической разметки текста политик конфиденциальности. Доступны веса в форматах Safetensors и ONNX; лицензия — Apache-2.0. Карточка не сообщает о дополнительных языках или возможностях за пределами классификации текста.

980авг. 2026ctx512
textapache-2.0hugging-face
lanwuwei
GigaBERT-v4-Arabic-and-English

GigaBERT-v4 — двуязычная модель на архитектуре BERT, разработанная Wuwei Lan, Yang Chen, Wei Xu и Alan Ritter. Это продолженное предварительное обучение GigaBERT-v3 на данных с переключением между арабским и английским языками. Модель содержит около 151,6 млн параметров и поддерживает контекст до 512 токенов. Модель предназначена для извлечения признаков из текста и переноса знаний с английского на арабский язык без дополнительного обучения, в частности для задач извлечения информации. Её можно использовать как основу для моделей классификации токенов и анализа арабских и англоязычных текстов. В карточке указаны форматы PyTorch и Flax. Сведения о лицензии в предоставленных данных отсутствуют.

825март 2022ctx512
textembeddinghugging-face
knowledgator
gliner-pii-small-v1.0

GLiNER-PII Small v1.0 — модель распознавания сущностей на основе GLiNER, разработанная Wordcab совместно с Knowledgator. Она принимает текст и заданный пользователем список типов сущностей, а затем выделяет соответствующие фрагменты текста; модель настроена для обнаружения персональных, медицинских и платёжных данных (PII, PHI и PCI) и также поддерживает пользовательские типы сущностей в режиме zero-shot. Модель предназначена для локальной обработки транскрипций, документов, журналов чатов и других текстов, когда важно не передавать чувствительные данные внешним API. Для репозитория указана лицензия Apache-2.0; доступны реализации в форматах PyTorch и ONNX, включая варианты FP16 и UINT8.

1.6K6сент. 2025ctx8.2K
textapache-2.0hugging-face
KaraKaraWarehouse
Heretic-Qwen3-VL-235B-A22B-Instruct

Heretic-Qwen3-VL-235B-A22B-Instruct — версия мультимодальной модели Qwen3-VL, изменённая автором репозитория с помощью Heretic v1.1.0. Она принимает текст и изображения и предназначена для диалогов, ответов на вопросы по изображениям и других задач визуального понимания. Базовая модель относится к семейству Qwen3-VL и использует архитектуру MoE; в названии указано 235B параметров, из них 22B активируются на токен. Метаданные указывают поддержку интерфейса вызова инструментов. Основное изменение — ослабление отказов: автор сообщает о снижении их частоты с 99 до 30 из 100 по сравнению с базовой моделью. Это не делает модель более сговорчивой и не учит её отвечать на темы, для которых ей недостаёт обучения; качество таких ответов может требовать дополнительной настройки. Модель распространяется под лицензией Apache-2.0. В README приведён пример запуска через vLLM с ограничением контекста в 32 768 токенов для этого сценария; это значение не подтверждает максимальный нативный контекст модели.

659дек. 2025ctx262.1K
textimageapache-2.0hugging-face
mlx-community
Hermes-2-Pro-Mistral-7B-8bit

Hermes-2-Pro-Mistral-7B-8bit — 8-битная версия модели Hermes-2-Pro-Mistral-7B, подготовленная mlx-community и преобразованная в формат MLX для запуска через mlx-lm. Модель основана на Mistral-7B-v0.1 и дообучена NousResearch; она предназначена для диалогов и следования инструкциям, включая сценарии вызова функций и выдачи JSON. Модель имеет плотную архитектуру MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов. В карточке указана поддержка английского языка. Репозиторий лицензирован по Apache-2.0. README отсылает за подробностями к карточке исходной модели, поэтому специфические характеристики и ограничения Hermes-2-Pro здесь не раскрыты.

2988март 2024ctx32.8K
textapache-2.0hugging-face
ipsnan
keywordsextraction

Это модель Sentence Transformers, разработанная авторами репозитория ipsnan/keywordsextraction для извлечения ключевых слов из украинских научных и деловых документов. Она дообучена на базе intfloat/multilingual-e5-base и использует энкодер XLM-RoBERTa с усреднением токеновых представлений и L2-нормализацией. Модель содержит около 305,2 млн параметров, выдаёт эмбеддинги размерности 768 и обрабатывает последовательности длиной до 514 токенов по метаданным; в README указан предел 512 токенов. Модель кодирует документ и сопоставляет его с заранее подготовленными эмбеддингами ключевых слов, ранжируя совпадения по косинусному сходству. Она предназначена для поиска ключевых слов в научных текстах, академических материалах и деловых документах, а также для использования в семантическом поиске и сопоставлении предложений. В комплекте репозитория есть индекс ключевых слов и скрипт обработки PDF. Модель лучше всего работает с текстами на украинском языке и возвращает только слова из имеющегося индекса; для нового набора ключевых слов индекс нужно подготовить заново. Качество зависит от того, насколько первые примерно 3000 символов документа отражают его тему. Модель распространяется по лицензии MIT.

1530апр. 2026ctx514
textembeddingmithugging-face
soddokayo
koelectra-base-klue-ner

soddokayo/koelectra-base-klue-ner — дообученная модель семейства ELECTRA для распознавания именованных сущностей в корейском тексте. Она основана на monologg/koelectra-base-v3-discriminator и обучена на наборе данных KLUE. Модель содержит 140,1 млн параметров, использует архитектуру ElectraForTokenClassification и принимает последовательности длиной до 512 токенов. Модель предназначена для извлечения и классификации сущностей в тексте на корейском языке. В оценке на тестовой выборке KLUE указаны F1 0,7911, точность 0,7710, полнота 0,8124 и accuracy 0,9588. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Подробные сведения о составе обучающих данных, типах сущностей и ограничениях применения в карточке не приведены.

3830июнь 2023ctx512
textapache-2.0hugging-face
Sidziesama
Legal_NER_Support_Model

Sidziesama/Legal_NER_Support_Model — дообученная модель BERT для распознавания именованных сущностей в юридических текстах. Она основана на nlpaueb/legal-bert-base-uncased и обучена на наборе opennyaiorg/InLegalNER. Модель размечает входной текст по токенам; архитектура — BertForTokenClassification, число параметров — 136,7 млн, длина контекста — до 512 токенов. Модель подходит для извлечения юридически значимых сущностей из документов и текстов на английском языке. В README приведены метрики обучения и валидации, однако подробности о категориях сущностей, методике оценки и качестве на реальных данных отсутствуют. Распространяется по лицензии CC BY-SA 4.0.

161май 2024ctx512
textcc-by-sa-4.0hugging-face
MemTensor
MemOperator-0.6B

MemOperator-0.6B — компактная причинно-следственная языковая модель MemTensor для операций с памятью в системе MemOS. Она дообучена методом SFT на основе моделей Qwen3 и предназначена для локального развертывания, в том числе в средах без доступа к интернету, с низкими затратами ресурсов и малой задержкой. В метаданных указана связь слияния с Qwen/Qwen3-0.6B, Qwen/Qwen3-1.7B и Qwen/Qwen3-4B; архитектура — плотная decoder-only модель Qwen3 с примерно 507,9 млн параметров. Для этой версии указан контекст до 40 960 токенов. Модель извлекает сведения из диалогов и документов, в том числе составляет краткие сводки фрагментов документов, а также поддерживает кластеризацию и реорганизацию связанных воспоминаний. Карточка заявляет поддержку английского и китайского языков и приводит результаты семейства MemOperator на бенчмарке locomo, но таблица содержит сравнение только версии 4B; переносить эти показатели на версию 0.6B нельзя. Разрешены загрузка через Transformers и использование с vLLM или SGLang; лицензия — Apache-2.0. Разрешение конфликтов и рассуждение об отношениях в README обозначены как находящиеся в разработке.

2403июль 2025ctx41K
textapache-2.0hugging-face
studio-ousia
mluke-base

mLUKE-base — базовая мультиязычная модель семейства LUKE, разработанная Studio Ousia. Это плотная трансформерная модель для предсказания замаскированных токенов; её можно использовать как основу для языкового моделирования и адаптации к задачам, связанным с сущностями и отношениями. Модель имеет 12 слоёв и скрытый размер 768; в метаданных указано 305,2 млн параметров, а README приводит оценку 585 млн с учётом эмбеддингов сущностей. Контекст — до 514 токенов. Модель инициализирована весами XLM-RoBERTa-base и обучена на данных Википедии за декабрь 2020 года на 24 языках. В карточке перечислена поддержка арабского, бенгальского, немецкого, греческого, английского, испанского, финского, французского, хинди, индонезийского, итальянского, японского, корейского, нидерландского, польского, португальского, русского, шведского, тайского и китайского; README сообщает о 24 языках, не перечисляя их все. Архитектура LUKE поддерживает работу с представлениями сущностей, а предобученные веса включают параметры entity-aware attention, отключённого по умолчанию в стандартной конфигурации. Модель подходит для продолжения предобучения и последующей настройки под задачи извлечения информации, например распознавание сущностей и классификацию отношений. Лицензия — Apache-2.0. Результаты для конкретных downstream-задач зависят от дополнительной настройки; предел контекста составляет 514 токенов.

24K6март 2022ctx514
textapache-2.0hugging-face
BSC-NLP4BIA
multiclinner-en-disease-CardioBERTa

Модель разработана командой NLP4BIA Барселонского суперкомпьютерного центра для извлечения упоминаний заболеваний из англоязычных клинических текстов. Это дообученная DT4H/CardioBERTa.en модель RoBERTa для классификации токенов с 151,8 млн параметров и контекстом 514 токенов; она присваивает токенам BIO-метки O, B-DISEASE и I-DISEASE. Модель предназначена для распознавания заболеваний в клинических записях и документах электронных медицинских карт. На тестовых документах MultiClinNER для английского языка она получила строгий F1 0,6544 и символьный F1 0,7661. Для результатов, сопоставимых с оценкой авторов, при запуске следует воспроизводить предварительную токенизацию обучающих данных; для длинных документов авторы рекомендуют stride=128. В README отмечено, что смещения модели не оценивались, а результаты не следует рассматривать как клиническое заключение. Модель распространяется по лицензии CC BY 4.0.

90июнь 2026ctx514
textcc-by-4.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей