I.3Извлечение и структурирование данных

OpenMed-NER-GenomicDetect-SuperMedical-125M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученная для token classification модель на архитектуре RoBERTa; в карточке указаны 151,8 млн параметров и контекст до 514 токенов. Модель обучена на корпусе GELLUS и распознаёт сущности типа Cell-line-name, выдавая BIO-разметку токенов. Модель предназначена для извлечения упоминаний клеточных линий из биомедицинской литературы и клинических текстов, а также для текстового анализа в исследованиях геномики и молекулярной биологии. Карточка приводит высокие метрики на GELLUS, однако их независимая проверка и переносимость на другие наборы данных не описаны. Указана лицензия Apache-2.0.

OpenMed-NER-OrganismDetect-BigMed-278M — модель OpenMed для распознавания упоминаний видов организмов в тексте и разметки их токенов. Это дообученная для задачи NER модель на базе XLM-RoBERTa; в метаданных указано около 305,2 млн параметров, а контекст составляет 514 токенов. Она принимает токенизированный текст и выдаёт BIO-метки B-SPECIES и I-SPECIES для названий видов, включая научные и распространённые названия. Модель предназначена для извлечения упоминаний организмов из биомедицинских публикаций и других текстов, а также для поиска видов в материалах по биоразнообразию и таксономии. В README указаны обучение на корпусе SPECIES800 из 800 аннотационных абстрактов и F1 0,70, точность 0,68 и полнота 0,72; поэтому качество извлечения может быть недостаточным для сценариев, требующих высокой полноты или точности, и результаты следует проверять на целевых текстах. В карточке заявлена поддержка английского языка. Модель распространяется по лицензии Apache-2.0.

OpenMed-NER-OrganismDetect-PubMed-v2-109M — модель OpenMed для распознавания упоминаний организмов и видов в биомедицинских текстах. Это дообученная для токенной классификации модель семейства BERT на базе BiomedNLP-BiomedBERT-base-uncased-abstract; в метаданных указано 136,7 млн параметров, а контекст ограничен 512 токенами. Модель размечает названия видов тегами B-SPECIES и I-SPECIES, включая научные и общеупотребительные названия. Модель предназначена для извлечения упоминаний видов из аннотаций PubMed и другой биомедицинской литературы, а также для последующего текстового анализа и построения баз знаний по биоразнообразию и таксономии. На наборе SPECIES800 в README приведены F1 0,8458, точность 0,8287 и полнота 0,8637. Это показатели конкретного бенчмарка; качество на клинических записях или текстах за пределами обучающего домена может отличаться. Модель принимает текст и возвращает токенные BIO-метки; карточка указывает английский язык. Лицензия — Apache-2.0.

OpenMed-NER-OrganismDetect-SuperClinical-434M — модель OpenMed для распознавания упоминаний видов организмов в тексте. Она выполняет разметку токенов BIO-тегами B-SPECIES и I-SPECIES, охватывая научные и обиходные названия видов. Модель дообучена на корпусе SPECIES800 и предназначена для анализа биомедицинских текстов, научных публикаций и клинических документов. Модель построена на архитектуре DeBERTa и содержит около 533,8 млн параметров; в README указана базовая архитектура deberta-v3-large. Длина контекста — 512 токенов. README сообщает F1 0,84, точность 0,83 и полноту 0,86 на SPECIES800. Она принимает токенизированный текст и возвращает метки сущностей, интегрируется с Transformers. Поддерживаемый язык по карточке — английский. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. Оценка на SPECIES800 не гарантирует те же результаты на других типах документов; модель специализирована на сущностях видов организмов.

OpenMed-NER-ProteinDetect-EuroMed-212M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученный EuroBERT с архитектурой EuroBertForTokenClassification и 211,7 млн параметров; модель принимает токенизированный текст и выдаёт BIO-разметку. Контекст — до 8192 токенов. В карточке перечислены белки, белковые комплексы, семейства и группы белков, а также варианты белков; модель обучена на корпусе FSU, посвящённом взаимодействиям белков и молекулярной биологии. Модель предназначена для извлечения упоминаний белков из научной литературы и других биомедицинских текстов, а также для построения систем текстового анализа и баз знаний. README сообщает F1, precision и recall 0,95 на FSU, но не приводит подробностей протокола оценки. Английский указан среди языков модели. Доступна по лицензии Apache-2.0.

OpenMed-NER-ProteinDetect-SuperMedical-355M — модель распознавания биомедицинских сущностей, разработанная OpenMed и дообученная на корпусе FSU. Она использует архитектуру RoBERTa для классификации токенов и выделяет упоминания белков, белковых комплексов, семейств и вариантов в научных и медицинских текстах. Модель рассчитана на извлечение сущностей из литературы и документов для биомедицинского анализа, включая поиск взаимодействий белков и построение баз знаний. Модель принимает токенизированный текст и возвращает BIO-метки для токенов. В карточке указаны 454,1 млн параметров и контекст до 514 токенов; заявленная лицензия — Apache-2.0. README сообщает о результатах на FSU: F1 0,95, точность 0,95, полнота 0,96 и accuracy 0,97. Эти показатели относятся к указанному корпусу и не гарантируют такое же качество на других данных.

OpenMed разработала модель OpenMed-NER-SpeciesDetect-PubMed-v2-109M для распознавания упоминаний видов и организмов в биомедицинских текстах. Это дообученная модель на архитектуре BERT для классификации токенов, основанная на BiomedNLP-BiomedBERT-base-uncased-abstract. Она размечает названия видов тегами B-SPECIES и I-SPECIES. Модель предназначена для извлечения названий организмов из научных публикаций и других биомедицинских текстов. Её можно применять для поиска упоминаний видов в корпусах литературы, таксономического анализа и построения биомедицинских графов знаний. В README приведены результаты на наборе LINNAEUS: F1 0,9543, точность 0,9422 и полнота 0,9667; эти показатели относятся к описанной оценке и могут отличаться на других данных. Модель содержит 136,7 млн параметров, принимает токенизированный текст, имеет контекстное окно 512 токенов и выдаёт BIO-разметку сущностей. В метаданных указан английский язык. Лицензия — Apache-2.0. Результаты на других жанрах и типах текста могут отличаться; README не подтверждает отдельно заявленные сценарии вроде извлечения лекарств или клинического мониторинга.

OpenMed-NER-SpeciesDetect-SnowMed-568M — модель OpenMed для распознавания названий видов и организмов в тексте. Это дообученная модель XLM-RoBERTa для token classification с 658,7 млн параметров и контекстом до 8194 токенов. Она выделяет упоминания видов BIO-метками B-SPECIES и I-SPECIES; в карточке указано обучение на корпусе LINNAEUS для распознавания научных и общеупотребительных названий организмов в биомедицинской литературе. Модель подходит для извлечения упоминаний видов из научных публикаций, биомедицинских документов и клинических текстов, а также для последующего поиска по литературе и построения таксономических баз знаний. В README приведены F1 0,78, precision 0,75 и recall 0,81; результаты зависят от данных и требуют проверки для конкретного применения. Указана лицензия Apache-2.0.

OpenMed-NER-SpeciesDetect-SuperClinical-434M — модель OpenMed для распознавания упоминаний видов и организмов в биомедицинском тексте. Это дообученный трансформер DeBERTa-v2 с архитектурой токенной классификации, примерно 533,8 млн параметров и контекстом до 512 токенов. Модель принимает токенизированный текст и размечает названия организмов тегами B-SPECIES и I-SPECIES. Модель предназначена для извлечения названий видов из клинических документов и научной литературы, а также для текстового анализа в биомедицинских исследованиях. В README указано, что обучение проводилось на корпусе LINNAEUS; приведены метрики F1 0,95, точность 0,94 и полнота 0,97. Заявленные показатели и производственная готовность относятся к описанию автора и не подтверждают качество на произвольных данных. Поддерживается английский язык. Лицензия — Apache-2.0.

OpenMed-NER-SpeciesDetect-TinyMed-135M — модель OpenMed для распознавания упоминаний видов и организмов в тексте. Это дообученная модель DistilBERT для классификации токенов, созданная на основе distilbert-base-multilingual-cased и обученная на корпусе LINNAEUS. Она присваивает токенам BIO-метки B-SPECIES и I-SPECIES, позволяя извлекать названия видов из научной литературы и биомедицинских текстов. Модель подходит для поиска видов и организмов в научных публикациях, биомедицинского текстового майнинга и построения баз знаний по упоминаниям организмов. Контекст ограничен 512 токенами; карточка сообщает F1 0,94, точность 0,93 и полноту 0,94 на LINNAEUS. Хотя README перечисляет клинические сценарии, набор распознаваемых сущностей ограничен видами и организмами, поэтому заявленные сценарии извлечения лекарств и химических соединений не подтверждаются типами меток. Модель распространяется по лицензии Apache-2.0.

OpenMed-PII-French-BiomedELECTRA-Base-110M-v1 — модель OpenMed для обнаружения и классификации персональных и иных чувствительных данных во французском тексте. Это дообученная модель токенной классификации на базе Microsoft BiomedELECTRA; она содержит 136,7 млн параметров, использует архитектуру семейства BERT и контекст до 512 токенов. Модель рассчитана на обработку клинических записей, медицинских документов и других текстовых коллекций, где требуется находить данные для последующего обезличивания, проверки конфиденциальности или подготовки исследовательских наборов. Модель распознаёт 54 типа сущностей, включая имена, адреса, контактные данные, идентификаторы, финансовую и медицинскую информацию. В README приведён результат micro F1 0,9288 на французской части набора AI4Privacy. Модель принимает текст и возвращает метки токенов, указывающие на найденные сущности. Она оптимизирована для французского языка; на других языках и при специализированной терминологии качество может снижаться. README рекомендует использовать её как вспомогательный инструмент и проверять результаты человеком, поскольку возможны пропуски чувствительных данных. Лицензия — Apache-2.0.

OpenMed-ZeroShot-NER-Pharma-Medium-209M — модель OpenMed для извлечения упоминаний химических веществ из биомедицинских текстов. Она построена на архитектуре GLiNER и дообучена на корпусе BC5CDR-Chem, содержащем аннотации химических соединений в аннотациях PubMed. Размер модели — 209 млн параметров; формат весов — PyTorch. Модель предназначена для распознавания химических соединений, лекарств и терапевтических веществ в научной и медицинской литературе. Извлечённые сущности можно использовать в системах фармаконадзора, поиска нежелательных реакций и последующего анализа связей «химическое вещество — заболевание». GLiNER позволяет задавать типы сущностей при запросе, однако заявленная специализация этой версии — химические сущности BC5CDR-Chem. В README приведён результат F1 0,9457 на тестовом наборе BC5CDR-Chem. Модель принимает текст и выдаёт найденные сущности с метками. В метаданных указан английский язык. Лицензия Apache-2.0. Результаты на специализированном корпусе не гарантируют такую же точность на других типах текстов и сущностей; качество для произвольных пользовательских меток может зависеть от порога извлечения.

OpenMed-ZeroShot-NER-Species-Base-220M — модель OpenMed для извлечения упоминаний видов и организмов из текста. Она построена на архитектуре GLiNER и дообучена на корпусе LINNAEUS, содержащем научные и распространённые названия видов; README также отмечает работу с сокращениями. Модель предназначена для распознавания сущностей без отдельного дообучения под каждый запрос и позволяет задавать типы сущностей, хотя специализированный тип этой версии — SPECIES. Подходит для извлечения названий организмов из научной литературы, отчётов по метагеномике и материалов по биоразнообразию, а также для подготовки таксономических коллекций публикаций. README сообщает F1 0,94 на тестовом наборе, исключённом из обучения. Модель принимает текст и возвращает предсказания сущностей с разметкой токенов. Доступна в формате PyTorch; лицензия — Apache-2.0. Показатель F1 и область применения приведены в карточке модели и не гарантируют такую же точность на других текстах и типах сущностей.

OpenMed-ZeroShot-NER-Species-Tiny-60M — модель OpenMed для распознавания упоминаний видов и организмов в тексте. Она построена на архитектуре GLiNER и дообучена на корпусе LINNAEUS; поддерживает извлечение научных и общеупотребительных названий, а также их сокращений. Модель принимает биомедицинский текст и возвращает найденные сущности с разметкой токенов, позволяя задавать типы сущностей без отдельного обучения под каждую категорию. Модель предназначена для извлечения названий организмов из научной литературы и биомедицинских текстов, например для анализа биоразнообразия, метагеномных отчётов и курирования литературы с учётом таксономии. В карточке приведён F1 0,57 на тестовой выборке LINNAEUS; показатели в таблице относятся к вариантам большего размера, а не к этой Tiny-модели. Доступна по лицензии Apache-2.0.

Карточка модели lethalantidote/phi-detector-model на Hugging Face совпадает с карточкой lethalantidote/fine_tuned_standford_PHI, поэтому описание составлено по ней. Synthetic PHI Detector — модель Stanford AIMI, дообученная на синтетических клинических шаблонах, полученных из Synthea, для токенной классификации медицинских сущностей. Она размечает три типа сущностей: номера медицинских записей, диагнозы и лекарственные препараты; метки BIO задаются в конфигурации модели. Модель построена на BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Она предназначена для поиска клинической информации, требующей проверки при обезличивании медицинских документов. В описанном наборе из 5997 примеров заявлен строгий F1 1,0 для каждого типа и в целом, однако синтетические шаблоны не охватывают все форматы документов, учреждений и идентификаторов. Возможны пропуски и ложные срабатывания; результат не гарантирует соответствие требованиям и требует человеческой проверки и дополнительных средств контроля. Сведения о лицензии в предоставленных источниках отсутствуют.

skillspan_model — модель классификации токенов на базе BERT, дообученная автором репозитория bjmbalaka на неизвестном наборе данных. Она предназначена для присвоения меток отдельным токенам входного текста; конкретный тип разметки и предполагаемые сценарии использования в карточке не раскрыты. Модель содержит 135,5 млн параметров, использует архитектуру BertForTokenClassification, принимает текст с контекстом до 512 токенов и сохранена в формате safetensors. В карточке приведены результаты оценки: F1 0,4430, точность 0,3825, полнота 0,5262 и accuracy 0,9297. Эти метрики не позволяют судить о качестве на конкретных задачах без сведений о классах и наборе оценки. Лицензия — Apache-2.0.

liaad/srl-pt_bertimbau-base — модель на основе neuralmind/bert-base-portuguese-cased, дообученная для семантической разметки ролей в текстах на португальском языке. Она предназначена для определения предикатов и связанных с ними семантических ролей, например участников действия, в предложениях; обучение и оценка проводились на PropBank.Br. Модель основана на BERT base, содержит 136,1 млн параметров и поддерживает контекст до 512 токенов. В README приведены результаты F1 76,30 на внутридоменной оценке PropBank.Br и 73,33 на внедоменных данных Buscapé. Опубликована по лицензии Apache-2.0. Метаданные относят её к извлечению признаков; для получения структурированных меток семантических ролей потребуется соответствующий слой или процедура декодирования.

stanfordnlp/stanza-ar — арабоязычная модель из набора Stanza, разработанного Stanford NLP. Она предназначена для лингвистического анализа арабского текста; в каталоге модель классифицирована как token classification. Stanza предоставляет инструменты для обработки текста и синтаксического анализа, а также распознавания сущностей. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

stanfordnlp/stanza-ro — модель из набора Stanza, разработанного Stanford NLP для лингвистического анализа румынского языка. Она предназначена для разметки токенов в тексте и входит в набор инструментов, охватывающий анализ от исходного текста до синтаксического разбора и распознавания сущностей. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель ориентирована на обработку румынского текста в NLP-конвейерах Stanza. Карточка не приводит размер модели, архитектуру или длину контекста.

stanfordnlp/stanza-ug — модель Stanza для уйгурского языка, разработанная Stanford NLP. Она предназначена для лингвистического анализа текста и входит в набор инструментов Stanza, который охватывает обработку текста от исходных фрагментов до синтаксического анализа и распознавания сущностей. В метаданных указана задача классификации токенов, а модель распространяется в формате PyTorch. Модель подходит для разметки токенов в уйгурском тексте в составе NLP-процессов. Репозиторий автоматически подготовлен скриптом hugging_stanza.py из проекта stanfordnlp/huggingface-models. Лицензия — Apache-2.0. В карточке не приведены размер модели, длина контекста и конкретные метрики качества.

TAPAS medium — модель Google на архитектуре TAPAS, основанной на BERT и предназначенной для вопросов и ответов по таблицам. Версия дообучена на SQA и WikiSQL после предварительного обучения на англоязычных таблицах и связанных текстах Википедии; в репозитории доступны варианты с относительными и абсолютными позиционными эмбеддингами. Модель содержит 49,2 млн параметров и обрабатывает вход длиной до 512 токенов. На вход подаются вопрос и таблица, преобразованная в последовательность текста. Модель выбирает ячейки таблицы и определяет способ агрегирования ответа, что позволяет отвечать на вопросы по табличным данным, включая простые числовые запросы. Она рассчитана на английский язык и задачи, близкие к WikiSQL; качество на иных языках, типах таблиц и более сложных запросах может быть ограничено. Распространяется по лицензии Apache-2.0.

TAPAS small — модель семейства TAPAS на базе трансформера BERT, опубликованная Google и дообученная для ответов на вопросы по таблицам. Она принимает таблицу и вопрос на естественном языке, выбирает релевантные ячейки и при необходимости применяет агрегирование; обучение проходило последовательно на SQA и WikiSQL после предварительного обучения на английских текстах и таблицах Википедии. Модель рассчитана на вопросы по структурированным таблицам, включая поиск значений и простые числовые рассуждения. Вариант по умолчанию использует относительные позиционные эмбеддинги с обнулением индексов для каждой ячейки; доступен также вариант no_reset с абсолютными позиционными эмбеддингами. Размер — 32,4 млн параметров, максимальная длина входа при дообучении — 512 токенов. Поддерживаются реализации PyTorch и TensorFlow. Модель ориентирована на английские таблицы и вопросы. Ограничение контекста в 512 токенов затрудняет работу с большими таблицами; качество для языков и предметных областей, отличных от английских таблиц WikiSQL и SQA, не подтверждено. Лицензия — Apache-2.0.

LAMAKET/trocr-base-ru-dialectic-stackmix — модель распознавания рукописного текста на изображениях, разработанная на основе TrOCR-base-ru. Её дообучили на синтетических наборах данных, созданных методом StackMix и на основе различных шрифтов, для чтения русских диалектологических карточек. Архитектура — vision encoder-decoder. Модель предназначена для преобразования рукописных записей с изображений в текст, в частности для обработки диалектологических материалов. В README приведены метрики на валидационной выборке: CER 14,87%, WER 45,71% и точность 55,28%. Модель дообучена на raxtemur/trocr-base-ru и распространяется в формате safetensors по лицензии Apache-2.0. Данные не уточняют длину контекста.

Davlan/xlm-roberta-base-finetuned-amharic — модель XLM-RoBERTa, дообученная на корпусе амхарского языка CC-100. Она предназначена для восстановления замаскированных токенов в амхарском тексте и может служить базой для задач обработки амхарского языка, включая распознавание именованных сущностей. Модель имеет архитектуру XLM-RoBERTa base с 305,2 млн параметров и контекстом до 514 токенов; для запуска доступна реализация PyTorch и pipeline fill-mask в Transformers. В оценке на MasakhaNER модель показала F1 77,97 против 70,96 у исходной XLM-RoBERTa. Обучение на новостных текстах и разметке сущностей за ограниченный период может снижать переносимость на другие жанры и предметные области. Лицензия в предоставленных данных не указана.

Apertus 1.5 8B Biomedical ADE SFT — дообученная на наборе mihirhirave/entity_extraction_ade_v2_with_validation текстовая модель семейства Apertus для извлечения упоминаний лекарств и нежелательных лекарственных явлений из клинических текстов. Это плотная причинно-языковая архитектура ApertusForCausalLM с 10,3 млрд параметров и контекстом до 262 144 токенов; модель распространяется в формате safetensors как объединённая 16-битная версия и предназначена для генерации текста в формате JSON по запросу. Модель подходит для экспериментального извлечения сущностей, связанных с лекарствами и их побочными эффектами, включая поиск нескольких препаратов и выявление случаев без упомянутых нежелательных явлений. Карточка указывает английский язык. Модель разработана для академических экспериментов, демонстраций и бенчмаркинга; авторы предупреждают, что результаты могут быть неполными или ошибочными. Лицензия — Apache-2.0. Модель не сертифицирована для клинического применения и не предназначена для медицинских советов, диагностики, триажа или поддержки клинических решений.

Davlan/bert-base-multilingual-cased-finetuned-luganda — модель BERT для языка луганда, созданная дообучением bert-base-multilingual-cased на текстах на луганда. Она предназначена для предсказания замаскированных токенов; автор также сообщает о лучшем сравнительном качестве исходной многоязычной модели на наборах для классификации текста и распознавания именованных сущностей. Модель содержит 205,1 млн параметров, использует архитектуру BertForMaskedLM и принимает текст с контекстом до 512 токенов. При дообучении использовались JW300, BUKKEDDE и Luganda CC-100. На тестовом наборе MasakhaNER средний F1 за пять запусков составил 84,70 против 80,36 у mBERT. Результаты относятся к указанным данным и задачам: обучающая выборка для распознавания сущностей состояла из новостных статей с разметкой сущностей за ограниченный период, поэтому перенос на другие области может быть слабее. В карточке лицензия не приведена.

Это англоязычная модель BERT для биомедицинских текстов, разработанная ajitrajasekharan и предварительно обученная с нуля на корпусах PubMed, клинических исследований и небольшой части BookCorpus. Модель использует регистрозависимый токенизатор с пользовательским словарём, содержит 432,3 млн параметров и принимает последовательности длиной до 512 токенов. Основная задача модели — предсказывать замаскированные токены. В README также описан подход к извлечению именованных сущностей без дополнительного дообучения: предсказания модели объединяют с BERT base cased, чтобы выявлять 69 подтипов сущностей в 17 группах. Это описанный сценарий использования, а не отдельная задача из pipeline_tag. Модель распространяется в формате PyTorch по лицензии MIT. Предсказания fill-mask могут включать частотные слова и пунктуацию, не содержащие сведений о сущностях; в описанном подходе такие варианты фильтруются. Для NER в README указана схема ансамблирования с другой моделью.

Модель Hania Emaan — дообученная версия XLM-RoBERTa-base для поштучного определения языка токенов в текстах с переключением между Roman Urdu и английским. Она размечает токены метками URD, ENG и MIX и предназначена для анализа смешанных сообщений в социальных сетях и другой неформальной переписки. Архитектура — XLM-RoBERTa для классификации токенов, около 305,2 млн параметров; максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт метки для его токенов. В тестировании на отложенной выборке F1 составил 0,99 для английских токенов и 0,90 для Roman Urdu; для гибридной категории MIX указана оценка 0,00, поэтому распознавание таких слов ненадёжно. Карточка распространяет модель по лицензии MIT.

DictaBERT-tiny-joint — компактная модель семейства BERT, разработанная Dicta для совместного лингвистического разбора современного иврита. Это дообученная версия BERT-tiny с 46 млн параметров и контекстом до 512 токенов; модель работает с текстом и предназначена для выделения признаков и структурированного анализа предложений. Модель выполняет сегментацию префиксов, морфологическое снятие неоднозначности, лемматизацию, синтаксический разбор зависимостей и распознавание именованных сущностей. Результаты доступны в JSON и форматах Universal Dependencies, включая вариант разметки IAHLT. Для более точного разбора авторы рекомендуют соответствующую версию bert-base. Модель распространяется по лицензии CC BY 4.0.

Это дообученная Khadija69 модель Microsoft/mdeberta-v3-base для классификации токенов. Она предназначена для присвоения меток отдельным токенам; название репозитория указывает на схему разметки BIES и данные stem_1K, однако описание набора данных и точного назначения меток в карточке отсутствует. Модель содержит 306 млн параметров, использует архитектуру DeBERTa V2 и формат TensorFlow, а её контекст ограничен 512 токенами. Метаданные указывают лицензию MIT. В README приведены результаты на оценочном наборе после пяти эпох: точность обучения 0,434 и валидации 0,3815; назначение, языки и ограничения модели подробно не описаны. Эти показатели следует учитывать при оценке пригодности для практического применения.