/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
2 161–2 190 из 25 791
OpenMed
OpenMed-NER-GenomeDetect-EuroMed-212M

OpenMed разработала эту модель для распознавания упоминаний генов и белков в биомедицинских текстах. Это дообученная модель EuroBERT для классификации токенов: она присваивает токенам BIO-метки B-GENE/PROTEIN и I-GENE/PROTEIN, чтобы выделять границы сущностей. В README указано обучение на корпусе BC2GM с аннотациями генов и белков в аннотациях MEDLINE. Модель предназначена для извлечения генов и белков из научной литературы и клинических документов, в том числе для поиска по биомедицинской литературе и построения баз знаний. В метаданных указаны 211,7 млн параметров, контекст до 8192 токенов, английский язык и формат safetensors. Лицензия — Apache-2.0. В README приведены F1 0,68, точность 0,66, полнота 0,69 и accuracy 0,92 на BC2GM. Эти результаты указывают на ограничения качества, особенно при точном извлечении сущностей; заявленная применимость к клиническим сценариям не сопровождается подробными результатами клинической валидации. Модель не следует считать средством диагностики или самостоятельного принятия медицинских решений.

96K0июль 2025ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-NER-GenomeDetect-TinyMed-82M

OpenMed разработала специализированную модель распознавания упоминаний генов и белков в биомедицинском тексте. Это дообученная на корпусе BC2GM модель семейства RoBERTa на базе distilroberta-base с архитектурой RobertaForTokenClassification; размер — 95,2 млн параметров, контекст — до 514 токенов. Модель принимает токенизированный текст и выдаёт BIO-разметку сущностей B-GENE/PROTEIN и I-GENE/PROTEIN. Модель предназначена для извлечения генов и белков из научной литературы, медицинских записей и других биомедицинских документов, например для поиска по публикациям и построения биомедицинских баз знаний. В README приведены результаты на BC2GM: F1 0,85, точность 0,82 и полнота 0,87. Модель рассчитана на англоязычные тексты. Лицензия — Apache-2.0.

94K0июль 2025ctx514
textapache-2.0hugging-face
OpenMed
OpenMed-NER-OncologyDetect-SuperClinical-184M

OpenMed/OpenMed-NER-OncologyDetect-SuperClinical-184M — модель OpenMed для распознавания биомедицинских сущностей в тексте методом NER. Это дообученная модель DeBERTa-v2 для классификации токенов; она выделяет, среди прочего, раковые заболевания, гены и продукты генов, клетки, ткани, органы, химические вещества и аминокислоты. Модель обучена на корпусе BioNLP 2013 CG и принимает токенизированный текст, возвращая метки сущностей в формате BIO. Поддерживает английский язык, максимальная длина контекста — 512 токенов; размер по метаданным — 211,6 млн параметров. Модель предназначена для извлечения сущностей из онкологических научных публикаций и биомедицинских документов, например для поиска генетических упоминаний и подготовки данных для анализа литературы. В README приведены значения F1 0,81, точности 0,80 и полноты 0,82 на указанном наборе данных. Эти результаты относятся к описанному бенчмарку; качество на других текстах может отличаться. Модель распространяется по лицензии Apache-2.0.

13K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-OncologyDetect-TinyMed-66M

OpenMed разработала OpenMed-NER-OncologyDetect-TinyMed-66M — дообученную модель DistilBERT для распознавания биомедицинских именованных сущностей, прежде всего связанных с генетикой рака. Модель принимает токенизированный текст и возвращает BIO-разметку для генов и их продуктов, опухолей, клеток, тканей, химических соединений и других типов сущностей; в карточке указано 27 дополнительных типов меток. Контекст ограничен 512 токенами. Модель предназначена для извлечения сущностей из научной литературы, медицинских записей и документов по онкологии, включая поиск генов и биомаркеров в исследованиях. По README, она обучена на корпусе BioNLP 2013 CG; заявленные метрики на этом наборе — F1 0,77, точность 0,76 и полнота 0,77. Эти показатели относятся к указанному набору данных и не гарантируют аналогичного качества на других текстах или типах документов. Модель распространяется по лицензии Apache-2.0.

92K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-OrganismDetect-ModernClinical-149M

OpenMed-NER-OrganismDetect-ModernClinical-149M — модель OpenMed для распознавания названий организмов и видов в тексте с помощью разметки последовательности токенов. Это дообученный ModernBERT с архитектурой ModernBertForTokenClassification, 149 млн параметров и контекстом до 8192 токенов. Модель обучена на корпусе SPECIES800 и выделяет сущности метками B-SPECIES и I-SPECIES; поддерживает научные и общеупотребительные названия видов. Модель предназначена для извлечения упоминаний организмов из биомедицинских текстов, научных публикаций и других документов. Её можно применять для текстового поиска по биологической литературе, анализа таксономических упоминаний и построения баз знаний о биоразнообразии. В README указаны F1 0,73, точность 0,75, полнота 0,72 и accuracy 0,95 на SPECIES800. Модель принимает токенизированный текст и возвращает метки сущностей для токенов. Карточка указывает лицензию Apache-2.0. Оценки из README относятся к SPECIES800; качество на иных текстах может отличаться.

92K0июль 2025ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-NER-PharmaDetect-PubMed-109M

OpenMed разработала OpenMed-NER-PharmaDetect-PubMed-109M — модель на базе BiomedNLP-BiomedBERT для распознавания химических сущностей в биомедицинских текстах. Это дообученный BERT-классификатор токенов размером 136,7 млн параметров с контекстом до 512 токенов; он размечает названия химических соединений, лекарств и терапевтических веществ тегами BIO. Модель предназначена для извлечения химических сущностей из аннотаций PubMed, научных публикаций и медицинских записей. Её можно применять для поиска лекарств в текстах, анализа биомедицинской литературы и подготовки данных для фармаконадзора и исследований разработки лекарств. В README приведены показатели на BC5CDR-Chem: F1 0,96, точность 0,94 и полнота 0,97. Модель принимает токенизированный текст и выдаёт метки сущностей для токенов. Она обучена на англоязычном наборе BC5CDR-Chem, поэтому её назначение ограничено распознаванием химических сущностей в биомедицинском тексте; качество на иных доменах и языках не подтверждено. Лицензия — Apache-2.0.

94K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-ProteinDetect-BioMed-335M

OpenMed-NER-ProteinDetect-BioMed-335M — модель OpenMed для распознавания и классификации белковых сущностей в биомедицинских текстах. Это дообученная модель на архитектуре BERT для token classification, основанная на BiomedNLP-BiomedELECTRA-large-uncased-abstract. В README заявлено обучение на корпусе FSU, посвящённом белкам и молекулярной биологии. Модель обрабатывает токенизированный текст и выдаёт BIO-разметку для белков, белковых комплексов, семейств и вариантов; контекст ограничен 512 токенами. Её можно применять для извлечения упоминаний белков из научных статей и медицинских документов, а также для подготовки данных для анализа белковых взаимодействий и построения биомедицинских баз знаний. README сообщает F1 0,94 на FSU, но не приводит подробностей протокола оценки. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0. Выделение сущностей само по себе не подтверждает клинические выводы и не заменяет экспертную проверку.

95K4июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-SpeciesDetect-BigMed-278M

OpenMed-NER-SpeciesDetect-BigMed-278M — модель OpenMed для распознавания упоминаний видов и организмов в биомедицинских текстах. Это дообученный для классификации токенов трансформер XLM-RoBERTa с примерно 305 млн параметров и контекстом до 514 токенов. Модель присваивает токенам BIO-метки B-SPECIES и I-SPECIES, помогая выделять названия видов и организмов в научных публикациях и других текстах. Модель предназначена для извлечения видовых сущностей из биомедицинской литературы, клинических документов и исследовательских материалов, а также для последующего анализа и построения баз знаний. В README указаны обучение на корпусе LINNAEUS и F1 0,74, точность 0,76 и полнота 0,72; эти результаты указывают, что выделенные сущности требуют проверки для задач с высокими требованиями к качеству. Карточка заявляет совместимость с экосистемой Transformers. Лицензия — Apache-2.0.

95K0июль 2025ctx514
textapache-2.0hugging-face
OpenMed
OpenMed-NER-SpeciesDetect-MultiMed-335M

OpenMed-NER-SpeciesDetect-MultiMed-335M — модель OpenMed для распознавания упоминаний видов и организмов в биомедицинских текстах. Это дообученная модель архитектуры BERT для классификации токенов с разметкой BIO; она принимает токенизированный текст и выдаёт метки сущностей B-SPECIES и I-SPECIES. По метаданным модель содержит 433,9 млн параметров, поддерживает контекст до 512 токенов и распространяется в формате safetensors. Модель предназначена для извлечения названий видов из научной литературы и других биомедицинских материалов, а также для последующего таксономического анализа и построения баз знаний. В карточке указано обучение на корпусе LINNAEUS и приведены метрики F1 0,95, точность 0,93 и полнота 0,97; эти показатели относятся к оценке, описанной авторами, и не гарантируют аналогичных результатов на произвольных данных. Язык карточки — английский. Лицензия — Apache-2.0.

93K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-PII-Italian-BiomedELECTRA-Base-110M-v1

OpenMed разработала OpenMed-PII-Italian-BiomedELECTRA-Base-110M-v1 — модель на базе архитектуры BERT, дообученную для токенной классификации и поиска персональных данных в итальянском тексте. Она распознаёт 54 типа чувствительных сущностей, включая имена, адреса, идентификаторы, контактные, финансовые и медицинские данные. Число параметров в метаданных — 136,7 млн; максимальная длина контекста — 512 токенов. Модель предназначена для обнаружения и последующего удаления или маскирования персональных данных в клинических записях, медицинских документах и других текстовых коллекциях, а также для подготовки данных к исследованиям и аудита документов. В README указана оценка Micro F1 0,92 на итальянской части набора AI4Privacy PII Masking 400k. Модель принимает текст и выдаёт метки для его токенов. Модель дообучена на microsoft/BiomedNLP-BiomedELECTRA-base-uncased-abstract и распространяется по лицензии Apache-2.0. Она оптимизирована для итальянского языка; README предупреждает о возможных пропусках персональных данных и снижении качества на специализированной терминологии, поэтому критические результаты требуют проверки человеком.

11K0февр. 2026ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-PII-Italian-BiomedELECTRA-Large-335M-v1

OpenMed-PII-Italian-BiomedELECTRA-Large-335M-v1 — модель OpenMed для обнаружения и классификации персональных данных в итальянском тексте. Это дообученная модель токеновой классификации на базе microsoft/BiomedNLP-BiomedELECTRA-large-uncased-abstract, построенная на архитектуре BERT; в метаданных указано 433,9 млн параметров, а длина контекста составляет 512 токенов. Модель размечает 54 типа чувствительной информации, включая идентификаторы, персональные и медицинские сведения, контакты, адреса, организации, финансовые и временные данные. Она предназначена для обезличивания клинических записей и документов, предварительной очистки наборов данных и поиска PII при аудите. В README сообщается о Micro F1 0,9583 на итальянской части набора AI4Privacy PII Masking 400k. Модель работает с текстом и возвращает метки для токенов. Она оптимизирована для итальянского языка, а качество на других языках и при специализированной терминологии может быть ниже; возможны пропуски PII, поэтому результаты в важных сценариях следует проверять человеком. Лицензия — Apache-2.0.

4.1K0февр. 2026ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-PII-Italian-ClinicalE5-Base-109M-v1

OpenMed-PII-Italian-ClinicalE5-Base-109M-v1 — модель OpenMed для обнаружения и классификации персональных данных в итальянском тексте. Это дообученная модель на основе intfloat/e5-base-v2 с архитектурой BERT и головой токен-классификации; в метаданных указано 136,7 млн параметров, а карточка округляет размер до 109 млн. Модель принимает текст и помечает 54 типа чувствительных сущностей, включая имена, адреса, идентификаторы, медицинские и финансовые данные, контакты и даты. Контекст ограничен 512 токенами. Модель предназначена для обезличивания клинических записей и медицинских документов, подготовки наборов данных к исследованиям, а также поиска чувствительных данных при аудите. На итальянской части AI4Privacy она показала micro F1 0,9360. Лицензия — Apache-2.0. Карточка позиционирует модель как готовую к производственным конвейерам, но рекомендует использовать её как вспомогательный инструмент с проверкой результатов человеком: возможны пропуски персональных данных, качество зависит от терминологии предметной области, а для языков кроме итальянского модель не оптимизирована.

14K0февр. 2026ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-PII-Italian-ClinicalLongformer-Base-149M-v1

OpenMed-PII-Italian-ClinicalLongformer-Base-149M-v1 — модель OpenMed для обнаружения и классификации персональных и иных чувствительных данных в итальянском тексте. Это дообученная для токенной классификации LongformerForTokenClassification на базе yikuan8/Clinical-Longformer; в метаданных указаны 151,8 млн параметров и контекст до 4098 токенов. Модель принимает текст и размечает сущности, включая имена, адреса, идентификаторы, медицинские записи, финансовые и контактные сведения. Она предназначена для обезличивания клинических заметок и документов, подготовки наборов данных и поиска чувствительной информации при проверках приватности. В README сообщается об оценке на итальянской части AI4Privacy: micro-F1 0,9514. Модель оптимизирована для итальянского; качество на других языках может быть ниже. README рекомендует использовать её как вспомогательный инструмент и проверять результаты человеком, поскольку возможны пропуски и качество зависит от терминологии. Лицензия — Apache-2.0.

17K0февр. 2026ctx4.1K
textapache-2.0hugging-face
OpenMed
OpenMed-PII-Spanish-ClinicDischarge-Base-110M-v1

OpenMed разработала эту модель для обнаружения и классификации персональных данных в испанском тексте. Это модель на архитектуре BERT для классификации токенов, дообученная на испанской части набора AI4Privacy PII Masking 400k. Она распознаёт 54 типа сущностей, включая имена, адреса, телефоны, электронную почту, идентификаторы, финансовые и медицинские сведения. Модель содержит 135,5 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате Safetensors через Transformers. Модель предназначена для выявления и удаления чувствительных данных из клинических записей, медицинских документов и других испаноязычных текстов, а также для подготовки датасетов и аудита документов. В оценке на испанской части AI4Privacy указана микро-F1 0,8569. Для лучшего результата README рекомендует удалять диакритические знаки перед обработкой; смещения символов сохраняются для привязки найденных сущностей к исходному тексту. Результаты могут содержать пропуски, а качество зависит от терминологии и контекста; для критически важных применений требуется проверка человеком. Модель оптимизирована для испанского и может хуже работать на других языках. Лицензия — Apache-2.0.

5.1K0февр. 2026ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-PII-Vietnamese-SuperClinical-Base-184M-v1

OpenMed разработала OpenMed-PII-Vietnamese-SuperClinical-Base-184M-v1 — модель на базе DeBERTa для классификации токенов и обнаружения персональных данных во вьетнамском тексте. Она выделяет 54 типа сущностей, включая имена, адреса, идентификаторы, контактные, финансовые и медицинские сведения. Модель предназначена для деидентификации клинических записей и документов, подготовки наборов данных к исследованиям и поддержки аудита конфиденциальности. Модель дообучена на microsoft/deberta-v3-base, имеет около 211,6 млн параметров и контекст до 512 токенов. Для обучения использовались многоязычный набор AI4Privacy, данные NVIDIA Nemotron-PII для генерации синтетических примеров и синтетические вьетнамские данные. В карточке приведён показатель Micro F1 0,7343 на тестовой выборке, составленной из AI4Privacy и синтетических данных. Модель выпущена по лицензии Apache-2.0. Модель ориентирована на вьетнамский язык; качество на других языках может быть ниже. Она может пропускать чувствительные данные, а результаты на специализированной терминологии могут меняться, поэтому для критичных сценариев требуется проверка человеком.

540май 2026ctx512
textapache-2.0hugging-face
vinai
phobert-base-v2

PhoBERT-base-v2 — монолингвальная языковая модель для вьетнамского языка, разработанная Dat Quoc Nguyen и Anh Tuan Nguyen. Это энкодер на архитектуре RoBERTa с примерно 162,4 млн параметров; он предобучен на маскированном языковом моделировании на вьетнамской Википедии, новостных текстах и корпусе OSCAR-2301. Максимальная длина контекста — 258 токенов. Модель предназначена для заполнения пропусков в тексте и служит основой для адаптации к задачам обработки вьетнамского языка, включая разметку частей речи, синтаксический анализ зависимостей, распознавание именованных сущностей и вывод на естественном языке. Для подачи необработанного вьетнамского текста README рекомендует предварительную сегментацию слов с помощью RDRSegmenter из VnCoreNLP, а также нормализацию тонов и сегментацию предложений. Модель выпущена по лицензии AGPL-3.0.

62K33апр. 2023ctx258
textagpl-3.0hugging-face
jefftherover
pii-layout-synth-v11

pii-layout-synth-v11 — модель на базе ModernBERT-base, дообученная для классификации токенов. По названию репозитория она предназначена для синтетической разметки персональных данных с учётом структуры макета, однако README не раскрывает назначение подробнее. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и принимает последовательности текста с контекстом до 8192 токенов. В README приведены результаты на оценочном наборе: F1 0,9926, точность 0,9907, полнота 0,9945 и accuracy 0,9987. Датасет и условия оценки не описаны, поэтому эти показатели не позволяют судить о качестве на других данных. Модель распространяется по лицензии Apache-2.0.

90июнь 2026ctx8.2K
textapache-2.0hugging-face
NotoriousH2
Qwen3-0.6B-JSON-SFT

NotoriousH2/Qwen3-0.6B-JSON-SFT — компактная плотная языковая модель на архитектуре Qwen3, дообученная автором методом полного SFT на базе Qwen/Qwen3-0.6B. Она преобразует корейские протоколы совещаний в JSON с полями meeting_metadata, action_items, decisions и blockers. Модель рассчитана на извлечение сведений о встрече и структурирование поручений, решений и препятствий для последующей автоматической обработки. Для дообучения использовано 1 115 примеров из NotoriousH2/meeting-to-json-ko; максимальная длина последовательности при обучении составляла 3 072 токена. В тесте из 273 примеров автор сообщает parse rate 98,9%, соответствие схеме 97,8% и долю семантически корректных ответов 96,4%; это результаты собственной оценки с температурой 0. Модель содержит около 507,9 млн параметров, принимает текст и генерирует текстовый JSON; метаданные указывают контекст до 40 960 токенов. Модель специализирована на корейских протоколах и не подтверждена для других языков или типов документов. Указанные метрики относятся к конкретному тесту и методике автора. Сведения о лицензии в предоставленных данных отсутствуют.

1.2K0июль 2026ctx41K
texthugging-face
Tommert25
robbert0410_lrate7.5b32

Tommert25/robbert0410_lrate7.5b32 — дообученная модель для классификации токенов, созданная на основе нидерландской RobBERT-v2 Dutch Base с архитектурой RoBERTa. Модель содержит 144 млн параметров, использует формат PyTorch и рассчитана на контекст до 514 токенов. Она предназначена для задач разметки отдельных токенов в тексте. В README приведены результаты оценки: loss 0,4559, precision 0,8283, recall 0,8004, F-мера 0,8131 и accuracy 0,9159. Датасет и конкретный тип разметки не описаны, поэтому результаты не позволяют установить, для каких именно классов или сценариев модель обучалась. Лицензия — MIT.

120окт. 2023ctx514
textmithugging-face
benjamin
roberta-base-wechsel-german

benjamin/roberta-base-wechsel-german — немецкоязычная модель RoBERTa-base, обученная с применением метода WECHSEL для эффективной инициализации эмбеддингов подслов при переносе монолингвальных языковых моделей между языками. По метаданным, модель содержит 151,8 млн параметров, использует архитектуру RobertaForMaskedLM и обрабатывает последовательности длиной до 514 токенов. Модель предназначена для заполнения пропусков в немецком тексте и может служить основой для задач понимания языка. В README приведены результаты сравнений для распознавания именованных сущностей и вывода на естественном языке: средний показатель для этой модели указан выше, чем у deepset/gbert-base в представленной таблице. Опубликована в форматах PyTorch и Safetensors. Лицензия — MIT. README ссылается на статью о методе WECHSEL, но не приводит ссылок на код или публикацию.

1288март 2022ctx514
textmithugging-face
EMBO
sd-smallmol-roles-v2

EMBO/sd-smallmol-roles-v2 — модель разметки токенов на базе BioLinkBERT-large, дообученная на наборе source_data_nlp. Она предназначена для присвоения меток отдельным токенам текста; название модели указывает на роли малых молекул, однако README не уточняет схему меток и сценарии разметки. Модель построена на архитектуре BERT, содержит 432,2 млн параметров и рассчитана на контекст до 512 токенов. Для запуска используются веса PyTorch. На тестовой выборке авторы сообщают F1 0,9672, точность 0,9628 и полноту 0,9716. Модель выпущена под лицензией Apache-2.0. Описание обучающих данных, ограничений и конкретного назначения в карточке отсутствует.

1130авг. 2022ctx512
textapache-2.0hugging-face
stanfordnlp
stanza-da

stanfordnlp/stanza-da — модель Stanza для датского языка, опубликованная командой Stanford NLP. Она предназначена для лингвистического анализа датского текста в составе набора инструментов Stanza; семейство охватывает обработку текста от исходной строки до синтаксического анализа и распознавания сущностей. В Hugging Face модель размечена задачей token-classification и распространяется в формате PyTorch через библиотеку Stanza. Модель принимает текст и выдаёт результаты токенной классификации. Репозиторий распространяется по лицензии Apache-2.0. Карточка не уточняет архитектуру, размер модели, длину контекста и конкретные типы разметки для этого чекпойнта.

2230март 2022
textapache-2.0hugging-face
texturejc
texture-frames-trigger

texture-frames-trigger — англоязычная модель для этапа поиска триггеров семантических фреймов в предложении, разработанная как часть парсера FrameNet texture-frames. Это классификатор токенов на базе DeBERTa V3 Large с 533,8 млн параметров, дообученный на FrameNet 1.7 с разбиением документов Open-Sesame. Модель присваивает токенам метки O или TRIGGER и выделяет слова, вызывающие семантический фрейм. Модель предназначена для использования в составе конвейера, который после поиска триггеров определяет фреймы и их аргументы; также её можно загрузить напрямую через Transformers как AutoModelForTokenClassification. На тестовом разбиении Open-Sesame указана word-level F1 0,750 против 0,735 у базовой модели T5; один прямой проход занимает около 50–60 мс. Контекст ограничен 512 токенами. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с карточкой репозитория.

250июль 2026ctx512
textotherhugging-face
bartelds
whisper-large-v3-turbo-fy-cv22

bartelds/whisper-large-v3-turbo-fy-cv22 — дообученная модель распознавания речи на базе openai/whisper-large-v3-turbo. Она предназначена для транскрибирования фризского языка (fy-NL) и обучена на данных Common Voice 22.0. Модель использует архитектуру Whisper и принимает аудио; размер составляет 905,2 млн параметров. В обучении энкодер был заморожен, адаптировалась часть декодера. В README указаны WER 0,0479 на dev и 0,0574 на test для выборок примерно по часу. Обучающие записи разделены по говорящим относительно dev и test, аудио приведено к 16 кГц, длительность клипов ограничена 30 секундами. Модель рассчитана на голосовые записи, похожие на Common Voice; на радио, телефонной речи и шумном аудио качество может снижаться. Для оформления регистра и пунктуации может понадобиться постобработка. Лицензия — MIT.

1950дек. 2025
textaudiomithugging-face
dbmdz
bert-base-italian-xxl-cased

dbmdz/bert-base-italian-xxl-cased — итальянская языковая модель BERT, выпущенная командой MDZ Digital Library Баварской государственной библиотеки. Это версия XXL с сохранением регистра, обученная на корпусе объёмом 81 ГБ и около 13,1 млрд токенов из итальянской части OSCAR, корпуса OPUS и Википедии. Архитектура — BERT с 137,9 млн параметров; модель предсказывает пропущенные токены и поддерживает контекст до 512 токенов. Модель предназначена для заполнения пропусков и может служить основой для адаптации под итальянские задачи анализа текста, включая разметку именованных сущностей и частей речи. Она обучена на итальянских данных и сохраняет регистр слов. В README отмечено несоответствие размера словаря в конфигурации фактическому размеру словаря (31 102 токена); авторы указывают, что модель работает, а оценки проводились с этим несоответствием. Лицензия — MIT.

133K30март 2022ctx512
textmithugging-face
ckiplab
bert-tiny-chinese-ws

CKIP BERT Tiny Chinese — компактная модель семейства BERT от CKIP Lab, представленная в проекте с инструментами обработки традиционного китайского языка. В карточке указана архитектура BertForTokenClassification, около 12,8 млн параметров и контекст до 512 токенов. Модель предназначена для классификации токенов; проект CKIP также охватывает сегментацию слов, разметку частей речи и распознавание именованных сущностей. Для работы автор рекомендует использовать BertTokenizerFast. Репозиторий содержит веса PyTorch и распространяется по лицензии GPL-3.0. Карточка не уточняет точность модели и её результаты на тестовых наборах.

2371май 2022ctx512
textgpl-3.0hugging-face
KoichiYasuoka
chinese-roberta-base-upos

Koichi Yasuoka разработал эту BERT-модель для разметки китайского текста по частям речи. Она дообучена на основе hfl/chinese-roberta-wwm-ext и присваивает словам теги UPOS из универсальной системы частей речи. Обучающие тексты взяты из китайской Википедии на упрощённом и традиционном китайском. Модель предназначена для токенной классификации: её можно применять для автоматической разметки частей речи в китайских текстах и как компонент синтаксического анализа зависимостей. Размер составляет 129,5 млн параметров, максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.

2106март 2022ctx512
textapache-2.0hugging-face
KoichiYasuoka
deberta-base-japanese-wikipedia-ud-goeswith

Koichi Yasuoka разработал модель DeBERTa V2 для разметки японского текста: она определяет части речи и выполняет синтаксический разбор зависимостей, используя отношение goeswith для сегментов слов. Модель дообучена на базе KoichiYasuoka/deberta-base-japanese-wikipedia-luw-upos с использованием Universal Dependencies Japanese GSDLUW; предобучение проводилось на японской Википедии и текстах Aozora Bunko. Модель содержит 137,8 млн параметров, принимает текст и работает с контекстом до 512 токенов. Она предназначена для морфологического и синтаксического анализа японских текстов, например для обработки статей и учебных материалов. Опубликована под лицензией CC BY-SA 4.0.

1360сент. 2022ctx512
textcc-by-sa-4.0hugging-face
KoichiYasuoka
deberta-large-japanese-unidic-luw-upos

Koichi Yasuoka разработал эту DeBERTa V2 Large, дообученную на текстах Aozora Bunko для разметки частей речи и разбора зависимостей в японском тексте. Модель размечает длинные единицы слов тегами UPOS и признаками FEATS; в Transformers она используется как модель классификации токенов. Модель содержит 435,4 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки для токенов. Она предназначена для японского языка и обучена на данных Universal Dependencies. Распространяется под лицензией CC BY-SA 4.0.

1300июнь 2022ctx512
textcc-by-sa-4.0hugging-face
grahamas
distilbert-base-uncased-finetuned-upos

grahamas/distilbert-base-uncased-finetuned-upos — модель grahamas, дообученная на базе distilbert/distilbert-base-uncased для классификации токенов. По названию репозитория модель предназначена для присвоения токенам универсальных частей речи (UPOS). Архитектура — DistilBertForTokenClassification; контекст — до 512 токенов. Весы опубликованы в формате safetensors. Модель может использоваться для автоматической разметки частей речи в текстах на английском языке. В README приведено значение loss 0,1416 на оценочной выборке, но набор данных, метрики качества и подробности обучения не раскрыты. Лицензия — Apache-2.0.

70июль 2026ctx512
textapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей