I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельDocument Image Transformer (DiT) large — визуальный трансформер-энкодер, разработанный Microsoft и впервые опубликованный в репозитории microsoft/dit-large. Модель предварительно обучена без учителя на 42 миллионах изображений документов из набора IIT-CDIP. Её архитектура соответствует BEiT: изображения разбиваются на патчи размером 16×16, а при предобучении модель учится восстанавливать визуальные токены для замаскированных участков. Размер модели — 411 млн параметров. DiT предназначена для получения векторных представлений изображений документов и дообучения для классификации документов, обнаружения таблиц и анализа структуры страницы. Она подходит для построения признаков, используемых в специализированных системах обработки документов. Модель принимает изображения и выдаёт представления, пригодные для последующих задач машинного обучения. В карточке указана лицензия Apache-2.0. Для прикладных задач обычно требуется обучить классификационную или иную задачу-специфичную голову на размеченных данных; сама базовая модель не выполняет готовую классификацию, обнаружение таблиц или анализ макета без такого дообучения.
Карточка модели EdgeAIMed/EdgeAIMed-PII-SuperClinical-Small-44M-v1 на Hugging Face совпадает с карточкой OpenMed/OpenMed-PII-SuperClinical-Small-44M-v1, поэтому описание составлено по ней. OpenMed-PII-SuperClinical-Small-44M-v1 — англоязычная модель OpenMed для обнаружения и классификации персональных и медицинских идентификаторов в тексте. Это дообученная на NVIDIA Nemotron-PII модель DeBERTa V3 Small с архитектурой DeBERTa V2 для токен-классификации. Метаданные указывают 155 млн параметров и контекст до 512 токенов; README заявляет распознавание 54 типов сущностей, включая имена, адреса, номера социального страхования, медицинские записи, контактные, финансовые и сетевые данные. Модель предназначена для разметки чувствительных фрагментов в клинических заметках, медицинских документах и других текстах, чтобы поддерживать обезличивание, аудит и подготовку данных. В README приведён результат micro-F1 0,9539 на тестовой выборке из NVIDIA Nemotron-PII. Качество различается по типам сущностей: для некоторых категорий возможны пропуски, а точность зависит от предметной лексики; автор рекомендует проверку человеком в критичных сценариях. Основной язык обучения — английский. Лицензия — Apache-2.0.
Это базовая регистрозависимая модель ELECTRA для турецкого языка, опубликованная командой MDZ Digital Library при Баварской государственной библиотеке. Модель с архитектурой ElectraForPreTraining обучена распознавать исходные токены и заменённые токены, созданные другой нейросетью; она служит предварительно обученной основой для дальнейшей настройки под задачи обработки языка. Модель содержит 137,8 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в форматах PyTorch, TensorFlow и Safetensors. Обучение проводилось на турецком корпусе объёмом 35 ГБ, включающем OSCAR, Википедию, OPUS и специальный корпус. Её можно адаптировать для разметки частей речи, распознавания именованных сущностей и других задач понимания турецкого текста. Лицензия — MIT. Это дискриминатор ELECTRA для предобучения и донастройки, а не готовая генеративная модель; качество на конкретной прикладной задаче зависит от дополнительного обучения и оценки.
Erlangshen-Ubert-330M-Chinese — китайская модель семейства UBERT от проекта Fengshenbang-LM, разработанная для понимания языка и извлечения информации. В карточке Hugging Face указана архитектура BERT с головой BertForMaskedLM, 424,3 млн параметров и контекст до 512 токенов; README описывает UBERT как унифицированную многозадачную систему на основе MacBERT-Large, обученную на более чем 70 наборах данных с общим объёмом около 1,07 млн примеров. Модель предназначена для заполнения маскированных токенов и может применяться в задачах извлечения сущностей, понимания естественного языка и ответов на вопросы по тексту. В соревновании AIWIN 2022 по многозадачному пониманию небольших китайских страховых выборок решение заняло первое место в двух таблицах результатов. Модель принимает и выдаёт текст на китайском языке. Лицензия — Apache-2.0.
EstBERT — предварительно обученная регистрозависимая модель семейства BERT, разработанная tartuNLP для эстонского языка. Она обучена на корпусе Estonian National Corpus 2017 и представлена в вариантах обучения с длиной последовательности 128 и 512 токенов; максимальный контекст составляет 512 токенов. Модель содержит 151,6 млн параметров и основана на google-bert/bert-base-cased. Основной сценарий применения — предсказание замаскированных слов. После дообучения EstBERT можно использовать для разметки частей речи и морфологии, распознавания именованных сущностей, классификации тем и анализа тональности на эстонских текстах. В приведённых авторами сравнениях она превосходит mBERT и XLM-RoBERTa по ряду задач, хотя результаты зависят от задачи и варианта оценки. Модель принимает текст и выдаёт предсказания токенов. Доступны веса в форматах PyTorch, Flax и Safetensors. Лицензия — CC BY 4.0; при распространении и использовании необходимо соблюдать её условия и указывать авторство.
samirmsallem/gbert-base-definitions_ner — немецкоязычная модель распознавания именованных сущностей для научных текстов, разработанная на основе deepset/gbert-base и дообученная для разметки компонентов определений. Это модель BERT для классификации токенов: она выделяет термин, который определяется (DF), выражение, вводящее определение (VF), и пояснение значения (GF). Модель обучена на размеченных немецкоязычных предложениях из статей Википедии и предназначена для извлечения структурированных определений из научных текстов. Модель содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. В README указана оценка F1 около 83% на тестовом наборе. Модель подходит для автоматического сбора терминов и их определений, однако её качество может снижаться на текстах и жанрах, отличающихся от обучающих данных. Лицензия в доступных сведениях не указана.
Koichi Yasuoka разработал модель на базе японской GPT-2 japanese-gpt2-medium-unidic, дообучив её для морфосинтаксической разметки. Модель присваивает японским коротким словоформам теги UPOS и признаки FEATS, следуя универсальной схеме Universal Dependencies. Она предназначена для автоматической разметки частей речи и морфологических признаков в японском тексте, например при подготовке корпусов и анализе предложений. Архитектура — GPT-2 для классификации токенов; модель работает с текстом на японском языке, использует PyTorch и имеет контекст длиной 1024 токена. Для токенизации требуются fugashi и unidic-lite. Лицензия — CC BY-SA 4.0.
IndicBERTv2-MLM-Sam-TLM — многоязычная модель типа BERT, разработанная AI4Bharat и обученная на корпусе IndicCorp v2. Вариант MLM-Sam-TLM использует маскированное языковое моделирование (MLM) и дополнительную задачу перевода между языками (TLM) на параллельном корпусе Samanantar. В README указано 278 млн параметров, а метаданные каталога — 305,2 млн; контекст составляет до 512 токенов. Модель предназначена для восстановления замаскированных токенов и может служить основой для дообучения на задачах понимания текста для языков Индии и английского. В карточке названы 23 индийских языка и английский; метаданные явно содержат коды поддерживаемых языков. Репозиторий предоставляет веса PyTorch, лицензия — MIT. Это не генеративная диалоговая модель; качество зависит от языка и конкретной задачи дообучения.
ko-deplot — созданная NUUA корейскоязычная модель Visual Question Answering на архитектуре Google Pix2Struct. Она дообучена на основе google/deplot на парах изображений диаграмм и текста и предназначена для ответов на вопросы по графикам и диаграммам. Модель принимает изображение вместе с вопросом и формирует текстовый ответ; словарь токенизатора расширен с 50 344 до 65 536 токенов корейскими символами и токенами Ko-Electra. Для обучения использовались синтетические диаграммы, созданные с помощью GenPlot, Chart.js и Plotly. Лицензия — Apache-2.0. В карточке не приведены сведения о размере модели и длине контекста.
amoeba04/koelectra-small-v3-privacy-ner — модель для распознавания персональных данных в корейском тексте, созданная дообучением monologg/koelectra-small-v3-discriminator на синтезированном наборе данных с шаблонами персональной информации. Она размечает токены по схеме BIO и предназначена для NER: в карточке указано 12 категорий, включая корейские имена, адреса и номера регистрации резидентов. Модель построена на ELECTRA и содержит 21,5 млн параметров; максимальная длина контекста — 512 токенов. Она принимает текст и возвращает метки для токенов. Для указанного оценочного набора приведены высокие значения precision, recall и F1, однако результаты на синтетических данных не гарантируют такого же качества на реальных текстах. Лицензия — Apache-2.0.
kavg/LiLT-RE-ES — дообученная модель LiLT и XLM-RoBERTa для извлечения отношений между сущностями в документах. Она обучена на наборе xfun и предназначена для анализа текстовых документов с учётом расположения элементов на странице. В репозитории указаны метрики на оценочной выборке: precision 0,3111, recall 0,5225 и F1 0,3900. Модель содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. Модель основана на nielsr/lilt-xlm-roberta-base и распространяется по лицензии MIT. Показатели оценки указывают на ограниченное качество извлечения отношений; README не уточняет языковую специализацию варианта ES или подробности разметки и обучения.
haulai/mizo-ner-xlmr — модель распознавания именованных сущностей для языка мизо, разработанная автором репозитория и дообученная на FacebookAI/xlm-roberta-base. Она выполняет разметку токенов и выделяет сущности в тексте на мизо; модель можно использовать через pipeline token-classification в Transformers с объединением меток по сущностям. Веса содержат 305,2 млн параметров, базовая архитектура — XLM-RoBERTa, максимальный контекст — 514 токенов. Модель обучена на корпусе из 441 178 предложений с серебряной разметкой. На серебряном тестовом наборе micro F1 составляет 0,8739, а на 300 предложениях с экспертной разметкой — 0,6078, поэтому результат на серебряных данных отражает согласие с проекционной разметкой, а не точность относительно человеческой оценки. Обучение проводилось только на предложениях, содержащих сущности; работа на текстах с редкими или отсутствующими сущностями не проверялась. Лицензия — CC BY 4.0.
Это англоязычная модель для распознавания упоминаний симптомов в клинических текстах. Её разработала команда NLP4BIA Барселонского суперкомпьютерного центра для подзадачи MultiClinNER в рамках MultiClinAI. Модель размечает токены по схеме BIO метками O, B-SYMPTOM и I-SYMPTOM. Модель основана на BERT-архитектуре BiomedBERT, дообученной для классификации токенов; размер составляет 136,7 млн параметров, контекст — до 512 токенов. Она предназначена для извлечения симптомов из клинических записей и медицинских текстов на английском языке. Для воспроизведения опубликованных результатов важно использовать предобработку с предварительным разбиением текста на токены и выравниванием смещений; при обычной токенизации на границах пунктуации предсказания могут отличаться. На тестовом наборе MultiClinNER для симптомов строгая F1 составила 0,6533, а символьная F1 — 0,7516. Авторы не оценивали систематические смещения модели и предупреждают о возможных нежелательных искажениях. Лицензия — CC BY 4.0.
OpenMed разработала модель OpenMed-NER-AnatomyDetect-MultiMed-335M для распознавания анатомических сущностей в биомедицинских текстах. Это дообученная модель семейства BERT для классификации токенов: она размечает упоминания анатомических структур и частей тела тегами B-Anatomy и I-Anatomy. Модель предназначена для извлечения анатомической терминологии из клинических записей, медицинских документов и научной литературы, в том числе для поиска сущностей и построения биомедицинских баз знаний. В карточке указаны 433,9 млн параметров, контекст до 512 токенов и поддержка английского языка. Для набора ANATOMY приведены F1 0,89, точность 0,89 и полнота 0,90. Модель распространяется под лицензией Apache-2.0 и интегрируется с Transformers. Она распознаёт только анатомические сущности из заявленной схемы меток, поэтому не предназначена для извлечения лекарств или иных типов сущностей без дополнительной настройки. Указанные в карточке метрики относятся к набору ANATOMY и не гарантируют аналогичное качество на произвольных клинических данных.
OpenMed-NER-AnatomyDetect-SuperClinical-141M — специализированная модель OpenMed для распознавания анатомических сущностей в биомедицинских и клинических текстах. Это дообученный трансформер DeBERTa v2 для классификации токенов; в README указана архитектура deberta-v3-small. Модель содержит около 155 млн параметров, принимает токенизированный текст и возвращает BIO-разметку сущностей типов B-Anatomy и I-Anatomy. Контекст ограничен 512 токенами. Модель предназначена для извлечения названий органов, частей тела, анатомических структур и систем из медицинских записей и научной литературы. Её можно применять для поиска анатомических терминов, анализа клинических документов и построения биомедицинских баз знаний. В карточке заявлены F1 0,87, точность 0,87 и полнота 0,88 на наборе ANATOMY; заявленные результаты следует проверять на целевых данных. Модель работает на английском языке и распространяется под лицензией Apache-2.0. Она размечает анатомические сущности, поэтому утверждения README о выявлении лекарств и взаимодействий препаратов не подтверждаются перечисленными типами меток.
OpenMed разработала OpenMed-NER-AnatomyDetect-TinyMed-135M — модель для распознавания анатомических сущностей в биомедицинских и клинических текстах. Она выделяет названия анатомических структур и частей тела, присваивая токенам BIO-метки B-Anatomy и I-Anatomy. Модель построена на DistilBERT, дообученном на корпусе ANATOMY, и рассчитана на работу с последовательностями до 512 токенов. README сообщает F1 и точность 0,87 и accuracy 0,97 на оценке модели. Модель предназначена для извлечения анатомических упоминаний из медицинской документации и научной литературы, а также для последующего анализа и построения биомедицинских баз знаний. Она принимает токенизированный текст и выдаёт разметку сущностей. Карточка описывает англоязычную поддержку. Лицензия — Apache-2.0. Оценки и заявление о готовности к производству приведены в README, но результаты для других корпусов и языков не заявлены.
Карточка модели aria220/OpenMed-NER-DiseaseDetect-SuperClinical-434M на Hugging Face совпадает с карточкой OpenMed/OpenMed-NER-DiseaseDetect-SuperClinical-434M, поэтому описание составлено по ней. OpenMed разработала специализированную модель распознавания заболеваний в биомедицинских текстах. Это дообученная DeBERTa для классификации токенов: она находит фрагменты с названиями заболеваний и размечает их тегами B-DISEASE и I-DISEASE. Модель рассчитана на тексты медицинских документов и научных публикаций; среди примеров применения — извлечение упоминаний заболеваний для анализа литературы и медицинских данных. Модель содержит 533,8 млн параметров, принимает токенизированный текст и выдаёт BIO-разметку. Контекст ограничен 512 токенами. В карточке указаны результаты на BC5CDR-Disease: F1 0,9118, точность 0,9028 и полнота 0,9211. Данные о поддерживаемом языке — английский. Распространяется по лицензии Apache-2.0.
OpenMed разработала OpenMed-NER-DNADetect-BioMed-335M — модель на архитектуре BERT для распознавания биомедицинских сущностей в тексте. Она дообучена на корпусе JNLPBA и размечает белки, ДНК, РНК, клеточные линии и типы клеток BIO-тегами. Модель рассчитана на обработку аннотаций MEDLINE, научных публикаций и медицинских документов, например для извлечения сущностей и поиска биомедицинских сведений. Модель принимает токенизированный текст, поддерживает английский язык и имеет контекстное окно 512 токенов. В метаданных указано около 433,9 млн параметров; веса доступны в формате safetensors. README приводит F1 0,80, точность 0,76, полноту 0,85 и accuracy 0,93 на JNLPBA, однако не описывает протокол оценки. Лицензия Apache-2.0. Результаты на JNLPBA не гарантируют точности на иных жанрах и типах медицинских текстов; предназначенные для практического применения результаты стоит проверять на целевых данных.
OpenMed-NER-DNADetect-ElectraMed-109M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученный трансформер архитектуры BERT с 136,7 млн параметров, предназначенный для токенной классификации. Модель выделяет белки, ДНК, РНК, клеточные линии и типы клеток, присваивая токенам BIO-метки. Модель обучена на корпусе JNLPBA, содержащем аннотации биомедицинских сущностей в рефератах MEDLINE. Её можно применять для извлечения упоминаний из медицинских записей и научной литературы, а также для последующего анализа биомедицинских текстов. Контекст ограничен 512 токенами; в README приведены показатели F1 0,77, точности 0,73, полноты 0,83 и accuracy 0,90 на JNLPBA. Модель принимает токенизированный текст и выдаёт BIO-разметку. Распространяется по лицензии Apache-2.0.
OpenMed-NER-DNADetect-ModernClinical-149M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Она дообучена на архитектуре BioClinical-ModernBERT-base и предназначена для разметки токенов в научных публикациях, клинических записях и других медицинских документах. Модель различает белки, ДНК, РНК, клеточные линии и типы клеток, выдавая BIO-метки для найденных сущностей. Модель имеет 149 млн параметров, архитектуру ModernBERT и контекст до 8192 токенов. В карточке указаны английский язык и датасет JNLPBA, составленный из биомедицинских аннотаций MEDLINE и GENIA. Для JNLPBA приведены F1 0,77, точность 0,73 и полнота 0,81. Модель можно применять для извлечения сущностей из медицинских записей, анализа литературы и построения биомедицинских баз знаний; показатели на этом датасете не гарантируют качество на иных корпусах или в клиническом использовании. Лицензия — Apache-2.0.
OpenMed разработала OpenMed-NER-GenomeDetect-ElectraMed-109M — модель на базе архитектуры BERT для распознавания упоминаний генов и белков в биомедицинских текстах. Модель дообучена на корпусе BC2GM и выдаёт BIO-разметку токенов с метками B-GENE/PROTEIN и I-GENE/PROTEIN. Она принимает токенизированный текст; максимальная длина контекста — 512 токенов, размер — 136,7 млн параметров. Модель предназначена для извлечения генов и белков из научных статей, медицинских записей и других биомедицинских документов, например для поиска по литературе и построения биомедицинских графов знаний. В README приведены результаты на BC2GM: F1 0,85, точность 0,84 и полнота 0,87. Эти показатели относятся к указанному корпусу и не гарантируют такое же качество на других типах текстов. Лицензия — Apache-2.0.
OpenMed разработала специализированную модель распознавания упоминаний генов и белков в биомедицинских текстах. Это дообученная для классификации токенов модель семейства BERT на архитектуре BiomedNLP-BiomedBERT-base-uncased-abstract; в репозитории указано 136,7 млн параметров и контекст до 512 токенов. Модель принимает токенизированный текст и возвращает BIO-разметку сущностей генов и белков. Модель предназначена для извлечения генов и белков из научных публикаций, медицинских записей и других биомедицинских документов, в том числе для поиска по литературе и построения биомедицинских баз знаний. В README приведены результаты на BC2GM: F1 и точность 0,89, полнота 0,89 и accuracy 0,97; эти показатели относятся к указанному набору данных и не гарантируют такую же эффективность на других типах текстов. Поддерживается английский язык. Лицензия — Apache-2.0.
OpenMed разработала эту модель для распознавания упоминаний генов и белков в биомедицинских текстах. Это дообученная RoBERTa-модель для классификации токенов с 151,8 млн параметров и контекстом до 514 токенов; она принимает токенизированный текст и выдаёт BIO-разметку сущностей B-GENE/PROTEIN и I-GENE/PROTEIN. Модель обучена на корпусе BC2GM и предназначена для анализа научной литературы и медицинских документов, извлечения сущностей для последующего поиска и построения биомедицинских баз знаний. В карточке указаны F1 0,87, точность 0,85 и полнота 0,89 на BC2GM. Эти результаты относятся к указанному набору данных и не гарантируют такого же качества на клинических записях или текстах из других источников. Модель распознаёт именно гены и белки; карточка не подтверждает распознавание лекарств или побочных эффектов. Лицензия — Apache-2.0.
OpenMed разработала OpenMed-NER-GenomicDetect-ElectraMed-33M — специализированную модель распознавания биомедицинских сущностей, дообученную для токенной классификации текста. В README указана базовая архитектура e5-small-v2, а метаданные относят модель к семейству BERT и классу BertForTokenClassification; размер составляет 40 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает токенизированный текст и выдаёт BIO-разметку. В карточке описано распознавание сущностей типа Cell-line-name; заявлены результаты на корпусе GELLUS: F1 0,97, точность 1,00 и полнота 0,94. Модель предназначена для извлечения упоминаний клеточных линий из биомедицинских текстов, включая научную литературу и клинические документы. Такие результаты можно использовать в текстовом поиске и построении структурированных биомедицинских данных. README также перечисляет более широкие сценарии геномного NER, однако заявленный тип сущности ограничен клеточными линиями. Указан английский язык. Лицензия — Apache-2.0.
OpenMed-NER-GenomicDetect-PubMed-109M — дообученная модель OpenMed для распознавания сущностей в биомедицинском тексте. Она использует архитектуру BERT и решает задачу token classification, присваивая токенам BIO-метки. В карточке указана поддержка сущности Cell-line-name; модель обучена на корпусе GELLUS и предназначена для поиска генетических и геномных упоминаний в научной литературе и других биомедицинских текстах. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт разметку сущностей. В метаданных указан английский язык. Карточка также перечисляет сценарии извлечения сущностей из медицинских записей и научных публикаций, однако заявленные высокие показатели качества относятся к описанию автора и не подкреплены здесь подробностями протокола оценки. Модель распространяется по лицензии Apache-2.0.
OpenMed-NER-OncologyDetect-ElectraMed-335M — специализированная модель OpenMed для распознавания и классификации биомедицинских сущностей, связанных с онкологией и генетикой рака. Это дообученный трансформер с архитектурой BERT для token classification, содержащий 433,9 млн параметров и принимающий текстовые последовательности длиной до 512 токенов. Модель обучена на корпусе BioNLP 2013 CG и формирует BIO-разметку сущностей, включая гены и продукты генов, рак, клетки, ткани, органы и химические вещества. Она рассчитана на извлечение сущностей из научной литературы, клинических текстов и медицинских документов на английском языке. Модель может использоваться для поиска онкологических сущностей в статьях и записях, анализа генетики опухолей и подготовки данных для биомедицинских баз знаний. В README приведены F1 0,77, точность 0,76 и полнота 0,78 на упомянутой оценке; качество следует проверять на целевых текстах и сценариях, поскольку показатели на корпусе не гарантируют клиническую надёжность. Максимальный контекст — 512 токенов, поэтому длинные документы требуется разбивать на фрагменты. Лицензия — Apache-2.0.
OpenMed разработала эту специализированную модель распознавания биомедицинских сущностей в текстах об онкологии и генетике рака. Это дообученный EuroBERT-210m с архитектурой EuroBertForTokenClassification: модель содержит 211,7 млн параметров, принимает текст и выдаёт BIO-разметку сущностей. Она обучена на корпусе BioNLP 2013 CG и распознаёт, среди прочего, гены и их продукты, виды рака, аминокислоты, химические вещества, клетки, ткани и органы. Модель подходит для извлечения онкологических сущностей из научных публикаций и медицинских документов, поиска упоминаний генов и потенциальных биомаркеров, а также для подготовки данных для текстового анализа и построения биомедицинских графов знаний. Поддерживает английский язык; длина контекста составляет 8192 токена. В README приведены показатели на BioNLP2013 CG: F1 0,50, точность 0,66 и полнота 0,40, поэтому результаты требуют проверки для конкретного корпуса и сценария. Лицензия — Apache-2.0.
OpenMed разработала OpenMed-NER-OncologyDetect-MultiMed-335M — дообученную модель семейства BERT для распознавания именованных сущностей в биомедицинских текстах, особенно в материалах по генетике рака. Модель содержит 433,9 млн параметров, принимает токенизированный текст и возвращает BIO-разметку токенов с типами сущностей: среди них рак, гены и продукты генов, клетки, ткани, органы и химические вещества. Контекст ограничен 512 токенами. Модель предназначена для извлечения терминов из научных статей и медицинских текстов, включая анализ генетики опухолей, поиск биомаркеров и обработку онкологической литературы. Она обучена на корпусе BioNLP 2013 CG; в README указаны F1 0,82, точность 0,81 и полнота 0,84. Эти результаты относятся к описанному набору данных и не гарантируют такое же качество на других текстах. Указанная в README архитектура — bge-large-en-v1.5 — расходится с метаданными, где модель обозначена как BertForTokenClassification, поэтому точную базовую модель установить нельзя. Лицензия — Apache-2.0.
OpenMed-NER-OncologyDetect-SuperClinical-434M — модель OpenMed для распознавания именованных сущностей в биомедицинских текстах, особенно связанных с генетикой рака. Это дообученный трансформер DeBERTa-v2 с примерно 533,8 млн параметров, который принимает токенизированный текст и выдаёт BIO-метки для сущностей, включая типы рака, гены и их продукты, клетки, ткани, органы, аминокислоты и химические вещества. Модель обучена на корпусе BioNLP 2013 CG и рассчитана на научную литературу, клинические тексты и документы здравоохранения; в карточке приведены F1 0,87, точность 0,86 и полнота 0,88. Её можно использовать для извлечения онкологических и генетических сущностей при анализе медицинских записей и публикаций, а также для подготовки данных к поиску и построению биомедицинских графов знаний. Метаданные указывают английский язык и контекст до 512 токенов. Заявленные в README сценарии обнаружения лекарственных взаимодействий и побочных эффектов не подтверждают отдельные возможности модели: её основная задача — разметка сущностей. Лицензия — Apache-2.0.
OpenMed разработала OpenMed-NER-OrganismDetect-MultiMed-568M — модель распознавания упоминаний организмов и видов в тексте. Это дообученный трансформер XLM-RoBERTa с примерно 658,7 млн параметров, предназначенный для token classification и разметки названий видов тегами B-SPECIES и I-SPECIES. Модель рассчитана на научную и биомедицинскую литературу, где требуется находить научные и общеупотребительные названия организмов. Модель обучена на корпусе SPECIES800 и принимает токенизированный текст, выдавая BIO-разметку сущностей. В README приведены F1 0,83, точность 0,81 и полнота 0,86; результаты зависят от данных и способа оценки. Карточка заявляет поддержку экосистемы Hugging Face Transformers. Контекст составляет до 8194 токенов, а язык карточки и тегов — английский. Модель распространяется по лицензии Apache-2.0.