/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
1 351–1 380 из 25 791
ml6team
keyphrase-extraction-kbir-openkp

ML6 Team разработала KBIR-OpenKP — модель на базе KBIR, дообученную на наборе OpenKP для извлечения ключевых фраз из английских документов. Она решает задачу как классификацию токенов с метками начала, продолжения и фона, после чего соседние фрагменты ключевой фразы объединяются в результат. Модель построена на архитектуре RoBERTa и содержит 454,1 млн параметров. Она предназначена для автоматического выделения важных фраз в веб-документах и корпусах, чтобы быстро получать краткое представление об их содержании. Контекст составляет до 514 токенов; доступны веса PyTorch. На тестовой выборке OpenKP указаны результаты F1@5 0,19, F1@10 0,11 и F1@M 0,39. Модель работает только с документами на английском языке и ограничивает количество предсказываемых ключевых фраз. Распространяется по лицензии MIT.

298июнь 2022ctx514
textmithugging-face
Leo97
KoELECTRA-small-v3-modu-ner

KoELECTRA-small-v3-modu-ner — корейская модель распознавания именованных сущностей, дообученная автором репозитория на базе monologg/koelectra-small-v3-discriminator. Она использует архитектуру ELECTRA для классификации токенов и BIO-разметку: начало сущности, её продолжение или токен вне сущности. Модель предназначена для извлечения сущностей по 15 категориям, соответствующим крупным классам TTA; среди приведённых примеров — артефакты, животные и цивилизация. Модель содержит 21,5 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: F1 0,8339, точность 0,8232, полнота 0,8449 и accuracy 0,9628. Для обучения указан набор анализа именованных сущностей из корпуса 모두의 말뭉치 Национального института корейского языка за 2021 год. Модель работает с корейским текстом и выдаёт метки токенов. Указана лицензия Apache-2.0; перед практическим применением стоит учитывать, что качество зависит от соответствия текста и сущностей обучающим данным и схеме меток.

47K25март 2023ctx512
texthugging-face
townboy
kpfbert-kdpii

townboy/kpfbert-kdpii — корейская модель на базе BERT, дообученная автором townboy для обнаружения персональных данных в диалоговом тексте. Она размечает токены и извлекает такие сущности, как имена, псевдонимы, номера счетов и телефонов, адреса электронной почты, адреса и идентификаторы. Модель содержит 141,2 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате safetensors для библиотеки Transformers. Для обучения использован KDPII-подобный набор диалогов: 4 981 документ, 53 778 предложений и 33 метки. В описании обучения указан максимальный размер последовательности 128 токенов; классификационная голова была заново инициализирована для нового набора меток. Модель подходит для поиска чувствительных данных и подготовки текстов к обезличиванию, но её следует проверить на данных целевого продукта перед внедрением. Лицензия — MIT.

661апр. 2026ctx512
textmithugging-face
unsloth
LFM2.5-1.2B-Thinking-GGUF

unsloth/LFM2.5-1.2B-Thinking-GGUF — квантизированная GGUF-версия текстовой модели LFM2.5-1.2B-Thinking, разработанной Liquid AI и подготовленной Unsloth. Модель предназначена для локального и периферийного развёртывания с использованием llama.cpp и совместимых инструментов, включая сценарии на CPU и устройствах с ограниченными ресурсами. Модель содержит около 1,17 млрд параметров, 16 слоёв, включая 10 блоков свёртки LIV с двойным управлением и 6 блоков GQA, а также поддерживает контекст до 32 768 токенов. Это текстовая модель общего назначения с поддержкой английского, арабского, китайского, французского, немецкого, японского, корейского и испанского языков. Она ориентирована на агентские задачи, извлечение данных и RAG; заявленная оптимизация GGUF снижает требования к памяти и ускоряет локальный вывод. В README указана скорость до 239 токенов в секунду на CPU AMD и до 82 токенов в секунду на мобильном NPU, при использовании менее 1 ГБ памяти, однако фактические показатели зависят от оборудования и варианта квантизации. Модель не рекомендуется для задач, требующих обширных фоновых знаний, и для программирования. Она поддерживает ChatML-подобный шаблон диалога и вызов функций. Лицензия указана как lfm1.0; подробные условия приведены в лицензии Liquid AI.

2.2K13янв. 2026
textotherhugging-face
avkay-llama
modernbert-pii-v0.1

avkay-llama/modernbert-pii-v0.1 — модель ModernBERT-base, дообученная для обнаружения фрагментов с персональными и защищёнными медицинскими данными (PII/PHI). Она выполняет токенную классификацию по 169 меткам BIO, основанным на онтологии из 84 понятий. При обучении использовалась схема-ориентированная маргинальная функция потерь, учитывающая, что разные наборы данных размечают разные категории; обучение включало 33 100 шагов и 32 корпуса. Модель предназначена для поиска чувствительных данных в тексте перед обезличиванием, редактированием или маскированием документов. В обучающие данные входят многоязычные корпуса, в том числе русскоязычный набор alrosait/russian-pii. Модель имеет 149 млн параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors на базе Transformers. При преобразовании предсказаний в фрагменты текста нужно обрезать пробелы в начале и конце: смещения токенизатора могут захватывать предшествующий пробел. Покрытие медицинских идентификаторов ограничено относительно сетевых и контактных данных; некоторые обучающие фрагменты были получены поиском по строке и не участвовали в оценке. Лицензия — Apache-2.0.

80авг. 2026ctx8.2K
textapache-2.0hugging-face
echo840
Monkey-Chat

Monkey — мультимодальная модель, разработанная исследователями Huazhong University of Science and Technology и Kingsoft для понимания изображений и ответов на вопросы по ним. Модель предназначена для описания изображений, визуальных вопросов и ответов, включая изображения документов с плотным текстом. Monkey использует архитектуру MonkeyLMHeadModel, содержит 11,4 млрд параметров и принимает изображения с разрешением до 896 × 1344 пикселей. Метаданные задают контекст 8192 токена и формат PyTorch. В README отмечены внимание к мелким деталям и тексту на изображениях, а также способность описывать связи между объектами и сценами. Модель обучалась и оценивалась на широком наборе визуальных задач. Лицензия в предоставленных данных не указана.

8918янв. 2024ctx8.2K
texthugging-face
BSC-NLP4BIA
multiclinner-es-disease-CardioBERTa

Модель разработана командой NLP4BIA Барселонского суперкомпьютерного центра для распознавания упоминаний заболеваний в испанских клинических текстах. Это дообученная DT4H/CardioBERTa.es модель RoBERTa для классификации токенов с 153,2 млн параметров и контекстом до 514 токенов. Она присваивает токенам метки BIO: O, B-DISEASE и I-DISEASE. Модель предназначена для извлечения названий заболеваний из клинических записей и медицинских документов на испанском языке. В оценке на тестовом наборе MultiClinNER она получила strict F1 0,6993 и символьную F1 0,7715. Для совпадения с опубликованными результатами необходима токенизация, использованная при обучении, и выравнивание смещений; при обработке длинных документов рекомендуется перекрытие stride=128. Лицензия — CC BY 4.0.

60июнь 2026ctx514
textcc-by-4.0hugging-face
Sindhu
muril-large-squad2

Sindhu/muril-large-squad2 — модель на базе BERT, дообученная на Google MuRIL Large для задачи question answering по датасету SQuAD 2.0. Она предназначена для извлечения ответа из предоставленного текста по заданному вопросу, в том числе для обработки вопросов без ответа в контексте. Модель содержит 604,7 млн параметров, работает с контекстом до 512 токенов и доступна в форматах PyTorch и Safetensors через Transformers. Модель рассчитана на английский и индийские языки, на которых обучалась MuRIL; README предупреждает, что на других языках качество не ожидается хорошим. Это не универсальная диалоговая модель: для ответа ей нужен текстовый контекст. Лицензия в предоставленных данных не указана.

1.7K0март 2022ctx512
texthugging-face
Cactus-Compute
needle2

Cactus-Compute Needle 2 — открытая компактная модель с 45 млн параметров, разработанная командой Cactus Compute для вызова инструментов, управления устройствами и структурированного извлечения данных. Модель ориентирована на локальное выполнение на устройствах с ограниченными ресурсами: смартфонах, Raspberry Pi, VR-гарнитурах, микроконтроллерах и других edge-устройствах. Она принимает текст и возвращает структурированные данные в формате JSON, не требуя сети, загрузки дополнительных компонентов или отдельного runtime. Модель построена на архитектуре Simple Attention Network, включающей GQA attention, Hadamard MLP, engram key-value memory и multi-lane hyper-connections. Она сжата до CQ2-bit и поставляется как самостоятельный бинарный файл размером около 14 МБ; полная сессия использует примерно 28 МБ оперативной памяти. Поддерживаются ARM64, x86-64, ARMv7, RISC-V и WebAssembly, а также Apple, Windows, Linux и Android. Контекст ограничен скользящим окном в 256 токенов, при этом инструменты сохраняются в KV-памяти. Предусмотрены ограничение генерации байтовой грамматикой на основе схем, оценка уверенности ответа и встроенный поиск наиболее подходящих инструментов из большого каталога. Сильными сторонами Needle 2 являются крайне малый размер, высокая скорость декодирования, работа полностью на устройстве и гарантированное соответствие структурированным схемам. Ограничения включают небольшой контекст, узкую специализацию на tool calling и извлечении структурированных данных, а также возможные потери качества из-за 2-битного квантования и малого размера модели по сравнению с универсальными языковыми моделями. Модель распространяется по лицензии Apache-2.0; исходный код модели, движка и обучения опубликован разработчиком.

5.9K334июль 2026ctx2K
textapache-2.0hugging-face
OpenMed
OpenMed-NER-ChemicalDetect-ElectraMed-109M

OpenMed-NER-ChemicalDetect-ElectraMed-109M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученный трансформер для токенной классификации: он присваивает токенам BIO-метки B-CHEM и I-CHEM, чтобы выделять названия химических соединений и веществ. В карточке указана архитектура e5-base-v2, а метаданные Hugging Face классифицируют модель как BERT с головой BertForTokenClassification; размер составляет 136,7 млн параметров, контекст — до 512 токенов. Модель обучена на корпусе BC4CHEMD с аннотациями химических упоминаний в биомедицинской литературе. Её можно применять для извлечения соединений из научных публикаций и медицинских записей, а также как компонент систем поиска сведений о лекарствах и анализа биомедицинских документов. README приводит F1 0,94, точность 0,93, полноту 0,94 и accuracy 0,98, но не описывает условия оценки, поэтому эти показатели не гарантируют такое же качество на других данных. Для клинического применения результаты следует проверять на целевых текстах. Модель распространяется по лицензии Apache-2.0.

93K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-ChemicalDetect-MultiMed-568M

OpenMed-NER-ChemicalDetect-MultiMed-568M — модель OpenMed для распознавания химических сущностей в биомедицинском тексте. Это дообученный трансформер XLM-RoBERTa для классификации токенов с 658,7 млн параметров и контекстом до 8 194 токенов. Модель выделяет названия химических соединений и веществ BIO-метками B-CHEM и I-CHEM. Модель предназначена для извлечения химических сущностей из научной биомедицинской литературы, клинических текстов и медицинских документов. Это может служить основой для поиска упоминаний препаратов, мониторинга нежелательных явлений и анализа литературы по разработке лекарств. В карточке заявлены обучение на корпусе BC4CHEMD и F1 0,95, однако описание не приводит подробностей независимой проверки этих результатов. Модель принимает токенизированный текст и выдаёт метки сущностей для токенов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. В README архитектура названа bge-m3, но метаданные указывают XLM-RoBERTa, поэтому архитектурой здесь считается XLM-RoBERTa.

168K1июль 2025ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-NER-ChemicalDetect-SuperClinical-184M

OpenMed-NER-ChemicalDetect-SuperClinical-184M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученный трансформер DeBERTa для классификации токенов: он выделяет упоминания химических соединений и веществ, помечая их тегами B-CHEM и I-CHEM. Модель предназначена для извлечения химических названий из медицинских записей и научных публикаций, мониторинга нежелательных явлений, поиска сведений о лекарственных взаимодействиях и подготовки данных для биомедицинских баз знаний. Она обучена на корпусе BC4CHEMD; карточка сообщает F1 0,94, точность 0,93 и полноту 0,94. Размер по метаданным — 211,6 млн параметров, длина контекста — 512 токенов. Поддерживаемый язык — английский. Модель принимает токенизированный текст и возвращает метки токенов, которые можно объединять в выделенные сущности. Она совместима с Transformers и распространяется по лицензии Apache-2.0. Показатели качества приведены в карточке для BC4CHEMD; их не следует считать гарантией такой же точности на произвольных клинических документах или других жанрах текста.

95K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-DiseaseDetect-ElectraMed-560M

OpenMed-NER-DiseaseDetect-ElectraMed-560M — модель OpenMed для распознавания названий заболеваний в биомедицинских текстах. Она выполняет token classification и размечает упоминания заболеваний тегами B-DISEASE и I-DISEASE, обучена на наборе BC5CDR-Disease. Архитектура в метаданных указана как XLM-RoBERTa для классификации токенов; размер — 658,7 млн параметров, максимальный контекст — 514 токенов. Модель предназначена для извлечения заболеваний из научных публикаций и медицинских документов, например для поиска по литературе и структурирования биомедицинских данных. README сообщает F1 0,87 на BC5CDR-Disease. Поддерживается английский язык, файлы представлены в формате safetensors. Лицензия — Apache-2.0.

96K0июль 2025ctx514
textapache-2.0hugging-face
OpenMed
OpenMed-NER-DiseaseDetect-SuperMedical-125M

OpenMed разработала OpenMed-NER-DiseaseDetect-SuperMedical-125M — модель для распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученная RoBERTa-модель для классификации токенов, основанная на roberta-base и обученная на наборе BC5CDR-Disease. Она выделяет сущности заболеваний с BIO-метками B-DISEASE и I-DISEASE. Модель предназначена для извлечения названий болезней из медицинских записей, научных публикаций и других медицинских документов. Её можно применять для поиска заболеваний в литературе и подготовки данных для биомедицинских баз знаний и аналитики. По README, на BC5CDR-Disease заявлены F1 0,88, точность 0,86 и полнота 0,89. Архитектура — RobertaForTokenClassification; размер — 151,8 млн параметров, контекст — 514 токенов. В метаданных указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Показатели из README относятся к указанному бенчмарку и сами по себе не подтверждают качество на иных корпусах или в реальных клинических сценариях.

95K0июль 2025ctx514
textapache-2.0hugging-face
OpenMed
OpenMed-NER-DiseaseDetect-TinyMed-135M

OpenMed-NER-DiseaseDetect-TinyMed-135M — модель OpenMed для распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученный трансформер DistilBERT для token classification с архитектурой distilbert-base-multilingual-cased и контекстом до 512 токенов; модель выдаёт BIO-метки B-DISEASE и I-DISEASE для найденных сущностей. В README указаны данные BC5CDR-Disease и показатели на них: F1 0,88, точность 0,87 и полнота 0,89. Модель предназначена для извлечения названий заболеваний из медицинских записей и научных публикаций, а также для поиска по биомедицинской литературе и поддержки аналитики. Несмотря на многоязычную базовую архитектуру, карточка описывает обучение и оценку только на BC5CDR-Disease и указывает английский язык; перенос на другие языки и жанры медицинских текстов требует отдельной проверки. Лицензия — Apache-2.0.

125K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-PathologyDetect-BioPatient-108M

OpenMed-NER-PathologyDetect-BioPatient-108M — модель OpenMed для распознавания названий заболеваний в биомедицинских текстах. Это дообученный трансформер с архитектурой BERT для классификации токенов; модель содержит 135,5 млн параметров и принимает последовательности длиной до 512 токенов. Она выделяет сущности заболеваний тегами BIO: B-Disease и I-Disease. Модель предназначена для извлечения упоминаний заболеваний из клинических записей, медицинских документов и научных публикаций. В README указано, что она обучена на корпусе NCBI Disease и приведены метрики на этом наборе: F1 0,88, точность 0,87 и полнота 0,89. Практические сценарии включают поиск заболеваний в медицинских текстах и подготовку данных для биомедицинского анализа. Модель обрабатывает английский текст и распространяется под лицензией Apache-2.0. Результаты относятся к распознаванию сущностей заболеваний; README также упоминает другие сценарии, например анализ лекарственных взаимодействий, но не приводит для них отдельной оценки. Контекст ограничен 512 токенами, а качество на текстах и наборах данных, отличных от NCBI Disease, может отличаться.

92K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-PathologyDetect-ElectraMed-335M

OpenMed разработала OpenMed-NER-PathologyDetect-ElectraMed-335M — специализированную модель распознавания названий заболеваний в биомедицинских текстах. Это дообученная плотная BERT-модель для классификации токенов; она размечает упоминания заболеваний тегами BIO. В карточке указана архитектура e5-large-v2, а метаданные относят модель к BertForTokenClassification. Модель обучена на корпусе NCBI Disease и рассчитана на английский язык. Контекст составляет до 512 токенов, размер — около 433,9 млн параметров. Модель подходит для извлечения заболеваний из научных публикаций, медицинских записей и других документов здравоохранения, а также для биомедицинского поиска и текстовой аналитики. В README приведены результаты на NCBI Disease: F1 0,90, точность 0,89 и полнота 0,91; эти показатели относятся к описанному в карточке тестированию. Модель не нормализует упоминания в медицинские понятия автоматически и может ошибаться на текстах, отличающихся от обучающего корпуса. Лицензия — Apache 2.0.

92K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-PathologyDetect-SuperClinical-184M

OpenMed-NER-PathologyDetect-SuperClinical-184M — модель OpenMed для распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученный трансформер DeBERTa V2 для разметки токенов: он присваивает словам метки B-Disease и I-Disease, формируя BIO-разметку. По карточке модель обучена на корпусе NCBI Disease и рассчитана на англоязычные клинические документы, медицинскую литературу и другие тексты о здоровье. Модель подходит для извлечения названий заболеваний из клинических записей и научных публикаций, а также для последующего анализа упоминаний в системах биомедицинского поиска и текстовой аналитики. В карточке указаны F1 0,89, точность 0,86, полнота 0,92 и accuracy 0,97 на NCBI Disease. Размер составляет 211,6 млн параметров, максимальная длина контекста — 512 токенов; веса доступны в формате safetensors и модель совместима с Transformers. Распознаются только сущности заболеваний; карточка не подтверждает извлечение лекарств, химических соединений или нормализацию сущностей в качестве выходной функции модели. Метрики относятся к указанному набору данных и не гарантируют качество на других типах клинических текстов. Лицензия — Apache-2.0.

97K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-PharmaDetect-ModernClinical-149M

OpenMed-NER-PharmaDetect-ModernClinical-149M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученная ModernBERT-модель с 149 млн параметров для классификации токенов; она принимает токенизированный текст и выдаёт метки BIO для химических сущностей. Контекст модели — до 8192 токенов. Модель обучена на BC5CDR_CHEM и предназначена для извлечения названий лекарств и химических соединений из научных публикаций, клинических записей и медицинских документов. Такие результаты можно использовать для мониторинга нежелательных реакций, поиска сведений о препаратах и построения биомедицинских баз знаний. В карточке заявлены F1, точность и полнота 0,95, однако описание методики оценки ограничено. Карточка указывает английский язык и совместимость с Transformers. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Модель распознаёт химические сущности, поэтому её предсказания не следует трактовать как клинические рекомендации или готовое выявление лекарственных взаимодействий.

159K6июль 2025ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-PII-German-BioClinicalModern-Large-395M-v1

OpenMed-PII-German-BioClinicalModern-Large-395M-v1 — модель OpenMed для выявления и классификации персональных и медицинских идентификаторов в немецком тексте. Это дообученная для токенной классификации модель ModernBERT с примерно 394,7 млн параметров и контекстом до 8192 токенов; веса представлены в формате Safetensors и используются через Transformers. Модель предназначена для поиска 54 типов чувствительных данных, включая имена, адреса, контактные и финансовые сведения, медицинские номера и даты. Её можно применять для обезличивания клинических записей и документов, предварительной очистки исследовательских наборов данных и аудита документов на наличие персональных данных. В README для немецкой части набора AI4Privacy указана оценка micro-F1 0,9594. Карточка позиционирует модель как инструмент для рабочих конвейеров обработки текста, но рекомендует проверять результаты человеком: возможны пропуски сущностей, а качество может снижаться на специализированной терминологии и текстах на других языках. Лицензия — Apache-2.0.

4.0K0февр. 2026ctx8.2K
textapache-2.0hugging-face
Kimang18
paddleOCR_vl_Khmer_finetuned

Kimang18/paddleOCR_vl_Khmer_finetuned — модель Kimang18 для распознавания кхмерского текста на изображениях и текстовых областях. Она получена полным дообучением PaddlePaddle/PaddleOCR-VL на наборе WildKhmerST; примеры данных представляют собой пары изображения текстовой области и соответствующего текста. Архитектура — PaddleOCRVLForConditionalGeneration, размер — 318,2 млн параметров, формат весов — safetensors. Модель рассчитана на сценарии OCR и извлечения текста из изображений; метаданные также указывают поддержку генерации текста и диалоговый интерфейс. Модель принимает изображения и выдаёт распознанный текст. В карточке заявлено использование Transformers на GPU NVIDIA. Контекстное окно составляет 131 072 токена. Лицензия — Apache-2.0. Для Transformers версии 5.0.0 и новее в README отмечена возможная ошибка KeyError, связанная с неподдерживаемым типом RoPE "default" в PaddleOCR-VL.

1290июль 2026ctx131.1K
textapache-2.0hugging-face
vectorsense
piiscan

PiiScan — мультиязычная модель для выявления персональных данных в тексте. Её разработал Arnab Pal на основе distilbert-base-multilingual-cased: это DistilBERT для классификации токенов с разметкой BIO по 27 меткам, из которых 13 типов сущностей обучены на данных, а ещё 11 выявляются отдельными правилами в сопутствующем сервисе. Модель распространяется в форматах ONNX и safetensors; вариант ONNX с INT8-квантизацией рассчитан на работу через onnxruntime на CPU и без подключения к сети. Контекст — до 512 токенов. Модель находит фрагменты персональных данных и возвращает их тип и точные смещения символов в исходной строке. Среди обученных типов — имена, адреса, телефоны, даты, электронная почта и номера документов; README описывает поддержку 30 языков. Репозиторий также упоминает отдельные правила проверки форматов и REST API для редактирования данных, но это возможности сопутствующего пакета, а не самой модели. На тесте, созданном тем же генератором, что и обучающие данные, результаты высокие; на размеченных реальных судебных документах качество заметно ниже. Модель не предназначена для HIPAA-деидентификации или обработки медицинских идентификаторов, слабо поддерживает длинную реальную прозу и не рассчитана на языки с письмом деванагари и бенгали. Для ответственной редактуры персональных данных нужна проверка человеком. Лицензия — Apache-2.0; обучающие данные получены из Ai4Privacy OpenPII 1.5M под CC-BY-4.0.

951сент. 2026ctx512
textapache-2.0hugging-face
syssec-utd
py314-pylingual-v9-segmenter

py314-pylingual-v9-segmenter — модель на базе архитектуры RoBERTa, дообученная syssec-utd для сегментации токенов. Она предназначена для разметки последовательностей токенов и может использоваться в задачах сегментации текста на основе обучающих меток. В карточке указана оценка на тестовой выборке: F1 0,9916, точность 0,9980, precision 0,9912 и recall 0,9920. Модель содержит 136,3 млн параметров, принимает текст и выдаёт метки для токенов; максимальная длина контекста — 1026 токенов. Она сохранена в формате safetensors и рассчитана на Transformers. Язык сегментируемого текста, подробности меток и условия лицензии в доступных данных не приведены, поэтому применимость к конкретным языкам и типам сегментации следует проверять отдельно.

2.0K0сент. 2026ctx1K
texthugging-face
syssec-utd
py38-pylingual-v1-segmenter

py38-pylingual-v1-segmenter — модель SysSec-UTD, дообученная на базе syssec-utd/py38-pylingual-v1-mlm для классификации токенов и сегментации. Она обучалась на наборе syssec-utd/segmentation-py38-pylingual-v1-tokenized. В оценке на тестовом наборе указаны точность и полнота 0,9968, F1 0,9968 и accuracy 0,9992. Модель построена на архитектуре RoBERTa, содержит 136,3 млн параметров, принимает последовательности текста с контекстом до 514 токенов и использует библиотеку Transformers. Практический сценарий — разметка токенов для сегментации текста; сведения о конкретной схеме меток и языковой области применения в карточке не приведены. Доступна в формате Safetensors. Лицензия в предоставленных данных не указана.

3.1K0февр. 2025ctx514
texthugging-face
JuelichSystemsAnalysis
quinex-context-v0-77M

quinex-context-v0-77M — модель Jülich Systems Analysis на основе FLAN-T5 small, дообученная для извлечения контекста измерений количественных значений в тексте. Она использует многошаговые вопросы и ответы, чтобы определить измеряемое свойство, сущность и уточняющие сведения: временной и пространственный охват, источник, метод или ограничения. Для поиска количеств перед её применением авторы рекомендуют использовать отдельные модели идентификации величин. Модель построена на архитектуре T5 типа encoder-decoder и распространяется в формате safetensors; метаданные указывают 45,8 млн параметров, а в README приведено значение 77 млн. Контекст составляет до 512 токенов. Обучение охватывало наборы данных для извлечения измерительных сведений, включая Wiki-Measurements, MeasEval и Quinex-Hydrogen-TechData. Карточка приводит оценку F1 83,32 для общего результата на тестовом наборе. Указан английский язык. Модель предназначена для извлечения информации из текста, а не для идентификации самих количеств; лицензия — Apache-2.0.

700окт. 2025ctx512
textapache-2.0hugging-face
atomimpnsc
Qwen3-0.6B-JSON-SFT-GRPO

atomimpnsc/Qwen3-0.6B-JSON-SFT-GRPO — компактная плотная языковая модель семейства Qwen3, дообученная на основе NotoriousH2/Qwen3-0.6B-JSON-SFT. Модель содержит 507,9 млн параметров и рассчитана на генерацию текста; заявленная длина контекста — 40 960 токенов. Базовая модель предназначена для извлечения из корейских протоколов совещаний метаданных, поручений, решений и препятствий с представлением результата в JSON. Карточка этой версии сообщает о дообучении с использованием Unsloth и библиотеки TRL, но не уточняет состав обучающих данных и результаты оценки качества. Модель принимает текстовые запросы и генерирует текст, в том числе в формате JSON. Лицензия — Apache-2.0.

180сент. 2026ctx41K
textapache-2.0hugging-face
bratao
Qwen3OIE-8B

Qwen3OIE-8B — португалоязычная модель извлечения открытой информации (OpenIE), разработанная на базе Qwen/Qwen3-8B и дообученная для преобразования предложений в одну или несколько троек отношений. Она генерирует JSON с полями ARG0, V и ARG1; архитектура — плотная авторегрессионная языковая модель Qwen3 с 7,6 млрд параметров. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. Модель предназначена для извлечения субъектов, отношений и объектов из португальских текстов, например для структурирования предложений из энциклопедических материалов. В карточке сообщается о лучшем результате среди сравнивавшихся моделей по лексическому F1: 0,5612. Оценка проведена на небольшом наборе из 100 предложений с преимущественно автоматически созданными и выборочно проверенными эталонными извлечениями. Контекстная длина базовой конфигурации составляет 40 960 токенов, однако обучение выполнялось с последовательностями длиной 2 048 токенов, а более длинный контекст для OpenIE не оценивался. Генеративные ответы могут пропускать или дублировать отношения, галлюцинировать и нарушать JSON-схему; извлечённые аргументы могут быть абстрактными, а не дословными фрагментами исходного текста. Качество на разговорном, специализированном, диалектном, длинном и состязательном португальском не установлено. Состояние обучения в опубликованном файле неоднозначно, поэтому для воспроизводимых результатов рекомендуется фиксировать ревизию. Извлечения сами по себе не подтверждают истинность фактов.

170май 2025ctx41K
textapache-2.0hugging-face
akdeniz27
roberta-base-cuad

akdeniz27/roberta-base-cuad — модель RoBERTa Base, дообученная на наборе данных CUAD для ответа на вопросы по договорам. Она предназначена для извлечения ответов на вопросы из текста юридических документов, например поиска конкретных условий и положений в контракте. Модель имеет архитектуру RoBERTa для извлечения фрагментов ответа, содержит 151,8 млн параметров и рассчитана на контекст до 514 токенов. Поддерживаемый язык — английский; веса доступны в форматах PyTorch и Safetensors. README не сообщает лицензию, поэтому условия использования не уточнены.

1.9K0март 2022ctx514
texthugging-face
Bachi06
roberta-base-ner-demo

Bachi06/roberta-base-ner-demo — модель семейства RoBERTa для классификации токенов, дообученная автором на основе bayartsogt/mongolian-roberta-base. Она предназначена для разметки последовательностей токенов, в частности для задач распознавания именованных сущностей. Модель содержит 151,8 млн параметров и принимает текст с контекстом до 514 токенов. В README приведены результаты на наборе оценки: F1 — 0,9358, точность — 0,9301, полнота — 0,9415, accuracy — 0,9804. Датасет и типы сущностей не описаны, поэтому эти показатели не позволяют определить качество на конкретных данных или классах сущностей. Лицензия в доступных сведениях не указана.

70май 2024ctx514
texthugging-face
segment-any-text
sat-3l-sm

sat-3l-sm — компактная модель сегментации текста из проекта Segment Any Text, предназначенная для использования с wtpsplit. Она делит текст на предложения, что полезно для подготовки документов, субтитров и других текстовых данных. Модель построена на архитектуре XLM для классификации токенов, содержит 220,3 млн параметров и использует три слоя Transformer. Контекст модели составляет 514 токенов; доступны форматы Safetensors и ONNX. Модель рассчитана на многоязычную сегментацию предложений. Карточка перечисляет широкий набор поддерживаемых языков, включая английский, арабский, китайский здесь не заявлен, японский и другие; языковые теги метаданных не включают русский. Лицензия — MIT. Карточка не описывает точность на конкретных наборах данных или ограничения обработки длинных последовательностей.

484K14июнь 2024ctx514
textmithugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей