I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельSIRIS-Lab/citation-parser-SELECT — модель на базе архитектуры RoBERTa для классификации текста. В метаданных указаны библиотека Transformers, объём 151,8 млн параметров и максимальная длина входа 514 токенов. По идентификатору модели она предназначена для задач, связанных с разбором и классификацией библиографических цитат. Модель может использоваться как компонент конвейеров анализа научных публикаций, например для определения типа или категории фрагментов, связанных с цитированием. README не содержит сведений о разработчике, языках обучения и применения, обучающих данных, результатах оценки или лицензии, поэтому эти характеристики нельзя надёжно определить по предоставленным источникам.
SpanBERT-PT-Coreference — модель разрешения кореференции, разработанная для португальских протоколов заседаний муниципальных советов. Она использует архитектуру ранжирования упоминаний поверх BERT-энкодера и связывает упоминания одной сущности в кластеры, чтобы обеспечить последовательную псевдонимизацию персональных и административных данных в документе. В README указано 110 млн параметров энкодера и около 25 млн параметров голов кореференции; метаданные каталога указывают 135,5 млн параметров. Модель дообучена на португальских административных протоколах и поддерживает окно 512 токенов с перекрытием 128 токенов; длинные документы обрабатываются скользящими окнами. По карточке, модель специализируется на европейском португальском и 17 категориях сущностей. Для работы ей нужны spans сущностей от отдельной NER-модели; сама она их не обнаруживает. Модель рассчитана на административные протоколы, а качество на других типах документов может варьироваться. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.
Qdrant/colmodernvbert — это ONNX-конверсия мультимодальной модели ColModernVBERT, разработанной авторами Paul Teiletche, Quentin Macé, Max Conti, Antonio Loison, Gautier Viaud, Pierre Colombo и Manuel Faysse. Конверсию для эффективного запуска с FastEmbed выполнил Qdrant. Модель предназначена для визуального поиска по документам и задач извлечения релевантных страниц или изображений документов по текстовым запросам. В основе модели — архитектура ModernVBERT, объединяющая текстовый энкодер ModernBERT на базе jhu-clsp/ettin-encoder-150m и визуальный энкодер SigLIP на базе google/siglip2-base-patch16-512. Проекционный слой преобразует представления к размерности 128. Модель содержит около 250 млн параметров, поддерживает контекст до 8192 токенов и обрабатывает изображения размером 512×512 после изменения размера процессором. Она рассчитана на раздельное кодирование изображений документов и текстовых запросов и интегрируется с мультимодальными API FastEmbed. К сильным сторонам относятся компактный размер для класса визуальных моделей, поддержка эффективного CPU- и GPU-инференса через ONNX и конкурентоспособность на бенчмарках визуального поиска документов по сравнению с моделями, которые могут быть до десяти раз больше. Ограничения включают специализацию на поиске по визуальным документам, возможные небольшие отличия производительности ONNX-версии от PyTorch-реализации и отсутствие в карточке подробных сведений о поддерживаемых языках. Модель распространяется по лицензии MIT.
jensjepsen/danish-lm-400m-sft-v33-avg-top3 — дообученная разработчиком Jens Jepsen на инструкциях датская языковая модель для генерации текста и выполнения запросов. Она основана на jensjepsen/danish-lm-400m-base-ropext8048-v1, использует плотную архитектуру Llama с 414,7 млн параметров и рассчитана на контекст до 8048 токенов. Репозиторий содержит усреднение весов трёх лучших контрольных точек SFT и отдельные контрольные точки. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений и арифметических задач на датском языке. Среди обучающих данных — наборы для вопросов по текстам и энциклопедическим материалам, научных вопросов, математики, NER и вывода структурированных ответов. В оценках карточки указаны результаты по датскому NER, индукции форматов, GSM8K, SciQ и другим задачам; качество зависит от задачи и формата запроса. Модель принимает текст и генерирует текст. Доступна через Transformers в формате safetensors. Лицензия Apache-2.0 разрешает использование на её условиях. В опубликованных оценках есть заметные ограничения: результат span-разметки снижается на незнакомых форматах, а некоторые метрики в карточке нельзя напрямую сравнивать с результатами из других оценочных протоколов.
tner/deberta-v3-large-bc5cdr — модель распознавания именованных сущностей, разработанная на базе microsoft/deberta-v3-large и дообученная проектом T-NER на наборе tner/bc5cdr. Она выделяет в тексте названия химических веществ и заболеваний, например при разборе биомедицинских публикаций. Модель содержит 533,8 млн параметров, использует архитектуру DeBERTa-v2 для классификации токенов и принимает текстовые фрагменты длиной до 512 токенов. На тестовом наборе авторы сообщают micro F1 0,890 и macro F1 0,886; F1 для химических веществ составил 0,930, для заболеваний — 0,843. Модель можно использовать через библиотеку T-NER; авторы отмечают, что применение через Transformers не рекомендуется, поскольку в этой конфигурации не поддерживается CRF-слой. Лицензия в предоставленных данных не указана.
Карточка модели EdgeAIMed/EdgeAIMed-NER-PharmaDetect-SuperMedical-125M на Hugging Face совпадает с карточкой OpenMed/OpenMed-NER-PharmaDetect-SuperMedical-125M, поэтому описание составлено по ней. OpenMed разработала эту дообученную модель на базе RoBERTa для распознавания химических сущностей в биомедицинском тексте. Она обучена на наборе BC5CDR-Chem и присваивает токенам метки B-CHEM и I-CHEM, чтобы выделять названия химических соединений, лекарств и терапевтических веществ. Модель рассчитана на обработку научных публикаций, клинических записей и других медицинских документов, в том числе для извлечения препаратов и поиска упоминаний химических веществ при фармаконадзоре и анализе литературы. Архитектура — RoBERTa для классификации токенов; в метаданных указано 151,8 млн параметров и контекст до 514 токенов. README приводит F1 0,96 на BC5CDR-Chem, но не описывает независимую проверку этих результатов. Модель предназначена для англоязычных биомедицинских текстов и не выполняет сама по себе анализ взаимодействий лекарств или диагностику. Лицензия — Apache-2.0.
relik-ie/encoder-e5-small-v2-wikipedia-relations — текстовый энкодер из проекта ReLiK, опубликованный организацией relik-ie на Hugging Face. Судя по названию репозитория и использованию в работах по ReLiK, модель предназначена для получения векторных представлений отношений из базы знаний, в частности отношений из Википедии, чтобы применять их в системах извлечения отношений и обновления графов знаний. По метаданным это BERT-подобная модель с архитектурой GoldenRetrieverModel, примерно 40 млн параметров и контекстным окном 512 токенов. Hugging Face указывает задачу feature-extraction и библиотеку Transformers; модель принимает текст и выдаёт признаки. Карточка модели автоматически сгенерирована и не содержит описания обучения, языков, лицензии или известных ограничений.
FoodExtract-v1 — компактная текстовая модель для извлечения сведений о еде и напитках из произвольного текста. Её разработчик дообучил Gemma 3 270M Instruct (257 млн параметров) на 1400 примерах набора FoodExtract-1k; примеры включают текст и структурированные результаты, подготовленные с помощью gpt-oss-120b. Модель классифицирует текст как связанный или не связанный с едой и напитками, назначает тематические теги и извлекает съедобные продукты и напитки в виде списков. Её можно применять для фильтрации больших коллекций подписей к изображениям и другого текста, а также для подготовки данных о продуктах и ингредиентах. Это текстовая модель на базе Gemma 3, доступная в формате safetensors, с контекстом до 32 768 токенов. Модель предназначена для специализированного извлечения, а не для общей генерации ответов. Её обучение опирается на небольшой набор из 1400 примеров, поэтому полноту и точность извлечения на иных типах текста следует проверять. Лицензия — Gemma; использование регулируется её условиями.
Immerwinter/gbert-large-privacy-policy-content-securityprivacy — немецкоязычная модель классификации текста на базе BERT, дообученная на deepset/gbert-large. Она предназначена для отнесения фрагментов политики конфиденциальности к теме Security/Privacy в рамках конвейера анализа документов. Архитектура — BertForSequenceClassification, размер — 434,5 млн параметров, контекст — до 512 токенов. Доступны веса в форматах Safetensors и ONNX. Модель принимает текст и выдаёт метку классификации. В карточке перечислены темы политики конфиденциальности, однако описание разметки не уточняет, как именно этот чекпойнт соотносится с отдельными темами. Лицензия — Apache-2.0.
Immerwinter/gbert-large-privacy-policy-topic — немецкоязычная модель классификации текста, разработанная на базе deepset/gbert-large. Она предназначена для отнесения фрагментов политики конфиденциальности к темам, связанным с обработкой персональных данных, например к аудитории, удалению данных, правовым основаниям, срокам хранения, безопасности, передаче данных третьим сторонам и правам пользователей. Модель использует архитектуру BERT для классификации последовательностей, имеет 434,5 млн параметров и принимает текст длиной до 512 токенов. Модель дообучена для тематической классификации немецких текстов о конфиденциальности. Репозиторий содержит веса в форматах Safetensors и ONNX. Лицензия — Apache-2.0. Модель может быть полезна для разметки и первичной сортировки разделов политик конфиденциальности; качество за пределами указанных тем и немецкого языка не подтверждено.
GLiNER2-PII — дообученная Fastino модель GLiNER2 размером 205 млн параметров для обнаружения и маскировки персональных данных. Она извлекает точные текстовые фрагменты 42 типов, включая имена, даты рождения, контакты, адреса и государственные идентификаторы; на входе можно задавать нужное подмножество меток. Модель принимает текст и возвращает разметку найденных сущностей для последующего маскирования. Модель заявлена для семи языков: английского, французского, испанского, немецкого, итальянского, португальского и нидерландского. В сравнении на бенчмарке SPY она показала средний span-level F1 0,477 на юридических и медицинских текстах и высокий recall, что полезно для процессов редактирования персональных данных. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека gliner2. Точность составляет около 0,35–0,37 на SPY: модель может избыточно отмечать имена и путать их с нарицательными словами, организациями и названиями продуктов. Оценка охватывает один бенчмарк и два домена; качество на нелатинских письменностях и за пределами европейских локалей не измерялось. Обучающие данные синтетические и не проверялись людьми. Лицензия — Apache-2.0.
KoELECTRA-Base-v3-Naver-NER — модель Jangwon Park (monologg), предназначенная для распознавания именованных сущностей в корейском тексте. Это вариант архитектуры ELECTRA-Base с головой классификации токенов, дообученный для задачи Naver NER. Модель содержит 140,1 млн параметров и рассчитана на последовательности до 512 токенов. Базовая KoELECTRA обучалась на корейских текстовых корпусах, включая данные версии v3 из 모두의 말뭉치. Модель принимает текст и присваивает метки его токенам, чтобы выделять сущности. Репозиторий содержит веса PyTorch и позволяет загружать модель через Transformers. Для этой конкретной модели карточка Hugging Face не содержит подробных результатов оценки или описания ограничений; качество распознавания за пределами задачи Naver NER не установлено. Лицензия модели не подтверждена доступными сведениями.
ania3000/kubert-morph — дообученная модель BERT для классификации токенов, созданная на основе ania3000/kubert-from_multilingual. Она предназначена для присвоения меток отдельным токенам текста; конкретный набор меток и прикладной сценарий в карточке не раскрыты. Модель содержит 205,1 млн параметров, использует архитектуру BertForTokenClassification и принимает последовательности длиной до 512 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В README приведены результаты оценки: accuracy 69,09%, точность целых предложений 14,71% и loss 2,0092; качество зависит от задачи и данных, на которых проводится применение.
Kay86X/layoutlmv3-finetuned-ex — дообученная Kay86X модель Microsoft LayoutLMv3 для классификации токенов в документах. Она предназначена для извлечения и разметки элементов документа с учётом текста, изображения страницы и пространственного расположения токенов. Модель построена на LayoutLMv3-base, содержит 151,8 млн параметров и принимает контекст до 514 токенов. В README приведены результаты на оценочном наборе: F1 0,8332, precision 0,8362, recall 0,8351 и accuracy 0,9807. Датасет, схема меток и конкретная предметная область не описаны, поэтому качество на других типах документов и задачах не установлено. Для использования нужны текст документа и соответствующие координаты и изображения страниц. Лицензия CC BY-NC-SA 4.0 требует соблюдения условий атрибуции, распространения производных работ на тех же условиях и не допускает коммерческое использование.
kavg/LiLT-RE-EN — дообученная модель LiLT на базе nielsr/lilt-xlm-roberta-base, разработанная для извлечения отношений между элементами документов. Она учитывает текст и его расположение на странице и обучена на наборе funsd_re. Репозиторий содержит веса в формате safetensors; модель насчитывает 305,2 млн параметров и имеет контекст длиной 514 токенов. Модель подходит для анализа структурированных документов, где важно определить связи между распознанными текстовыми фрагментами и их позициями. В README приведены результаты оценки на тестовой выборке: precision 0,3264, recall 0,4864, F1 0,3907 и loss 0,4377. Эти показатели указывают на ограниченную точность извлечения отношений. Лицензия — MIT.
MatCha ChartQA — визуально-языковая модель Google на архитектуре Pix2Struct, дообученная для ответов на вопросы по диаграммам и графикам. Она принимает изображение диаграммы и текстовый вопрос, а затем формирует текстовый ответ; в карточке также отмечено дообучение на наборе Chart2text-pew. Модель предназначена для извлечения сведений из графиков и численного рассуждения по их данным, например для сравнения значений или проверки их суммы. В описании MatCha указаны предварительное обучение для разбора графиков и численных рассуждений, а также улучшения результатов на бенчмарках PlotQA и ChartQA. Модель поддерживает английский, французский, румынский и немецкий языки. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Ответы зависят от формулировки вопроса: README рекомендует задавать конкретные вопросы. Заявленные результаты относятся к бенчмаркам и не гарантируют точность на любых типах диаграмм или формулировках.
MMG/mlm-spanish-roberta-base — испаноязычная модель на архитектуре RoBERTa, разработанная MMG и обученная с нуля на 3,6 ГБ текстов в течение 10 эпох. Для обучения использовались четыре GPU Tesla V100. Модель предназначена для предсказания замаскированных токенов и может служить основой для анализа испанского текста и дообучения под задачи понимания языка. Модель содержит 153,2 млн параметров, использует архитектуру RobertaForMaskedLM и поддерживает контекст до 512 токенов. В README приведены результаты оценки на испанском бенчмарке GLUES: 71,99% accuracy на XNLI, 74,85% accuracy на задаче парафразирования и 85,34 F1 на NER. Доступны веса PyTorch и Safetensors. Условия лицензии в предоставленных материалах не указаны.
Модель разработана командой NLP4BIA Барселонского суперкомпьютерного центра для распознавания упоминаний медицинских процедур в клинических текстах на итальянском языке. Это дообученная для токенной классификации BERT-модель dbmdz/bert-base-italian-xxl-cased размером 137,9 млн параметров; она размечает токены по схеме BIO метками O, B-PROCEDURE и I-PROCEDURE. Контекст модели составляет 512 токенов. Модель предназначена для извлечения названий процедур из клинических записей и электронных медицинских карт. На тестовом наборе MultiClinNER для итальянских документов strict F1 составил 0,6545, а символьный F1 — 0,7927. Для соответствия обучению важна предварительная токенизация слов и знаков пунктуации и последующее выравнивание смещений; токенизация обычного сырого текста может менять границы распознанных сущностей. В карточке указана лицензия CC BY 4.0. Авторы отмечают, что систематическая оценка смещений не проводилась; модель предназначена для поддержки извлечения сущностей и требует проверки результатов в целевом клиническом сценарии.
nerel-bio-rubert-base — русскоязычная модель BERT, разработанная на основе DeepPavlov/rubert-base-cased и дообученная для классификации токенов. Она предназначена для разметки текста по токенам, в частности для задач распознавания именованных сущностей в биомедицинских текстах, что следует из названия модели; подробности о наборе меток и данных обучения в карточке не приведены. Модель содержит 205,1 млн параметров, использует архитектуру BertForTokenClassification и принимает текст с контекстом до 512 токенов. В README приведены результаты оценки: F1 0,7878, точность 0,7873, полнота 0,7882 и accuracy 0,8601. Эти значения относятся к указанному набору оценки, состав которого не описан. Модель основана на русскоязычном BERT, поэтому её основное назначение — обработка русскоязычных текстов. Лицензия в предоставленных данных не указана.
OpenMed разработала OpenMed-NER-AnatomyDetect-BioClinical-108M — дообученную модель на базе Bio_ClinicalBERT для распознавания анатомических сущностей в биомедицинском тексте. Она выявляет и размечает названия анатомических структур, органов и частей тела тегами B-Anatomy и I-Anatomy; архитектура — BERT для классификации токенов, размер — 135,5 млн параметров, максимальный контекст — 512 токенов. Модель предназначена для извлечения анатомических упоминаний из клинических записей и научной медицинской литературы, а также для построения систем поиска и анализа биомедицинских знаний. В README указаны результаты на корпусе ANATOMY: F1, точность и полнота 0,90, accuracy 0,98. Эти показатели относятся к описанной оценке и не гарантируют аналогичного качества на других данных. Модель принимает токенизированный текст и выдаёт BIO-разметку; заявленный язык карточки — английский. Лицензия — Apache-2.0.
OpenMed разработала OpenMed-NER-AnatomyDetect-ElectraMed-109M — специализированную модель распознавания анатомических сущностей в биомедицинских текстах. Это дообученный трансформер архитектуры BERT для классификации токенов; модель содержит 136,7 млн параметров и обрабатывает контекст до 512 токенов. Она выделяет названия анатомических структур и частей тела, возвращая разметку BIO с метками B-Anatomy и I-Anatomy. Модель предназначена для извлечения анатомических упоминаний из клинических записей, медицинской литературы и исследовательских документов. Её можно применять для поиска анатомической терминологии, анализа медицинских текстов и построения баз знаний. В README приведены показатели на наборе ANATOMY: F1 0,88, точность 0,88, полнота 0,89 и accuracy 0,97; эти результаты относятся к указанной оценке и не гарантируют такую же точность на других данных. Карточка указывает лицензию Apache-2.0.
OpenMed-NER-AnatomyDetect-SnowMed-568M — модель OpenMed для распознавания анатомических сущностей в биомедицинском тексте. Она размечает упоминания анатомических структур и частей тела тегами B-Anatomy и I-Anatomy, чтобы извлекать их из медицинских записей, научных публикаций и других медицинских документов. Модель построена на архитектуре XLM-RoBERTa и дообучена для классификации токенов; README указывает базовую архитектуру snowflake-arctic-embed-l-v2.0. Размер — 658,7 млн параметров, длина контекста — 8194 токена. Для оценки на корпусе ANATOMY в карточке приведены F1, precision и recall 0,90, accuracy 0,98. Модель принимает токенизированный текст и выдаёт BIO-разметку сущностей. В метаданных указан английский язык. Лицензия — Apache-2.0.
OpenMed-NER-ChemicalDetect-BigMed-278M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученный XLM-RoBERTa с архитектурой XLMRobertaForTokenClassification и 305,2 млн параметров. Модель принимает токенизированный текст и возвращает BIO-разметку: B-CHEM и I-CHEM. Контекст — до 514 токенов. Модель предназначена для извлечения названий химических соединений и веществ из научных публикаций, клинических текстов и медицинских документов. Её можно применять для поиска упоминаний лекарств, анализа литературы и построения биомедицинских баз знаний. В README заявлены обучение на BC4CHEMD и F1 0,94, однако приведённые показатели не сопровождаются описанием методики оценки. Карточка указывает английский язык. Модель распространяется по лицензии Apache-2.0.
OpenMed разработала OpenMed-NER-DiseaseDetect-TinyMed-66M — дообученную модель DistilBERT для распознавания упоминаний заболеваний в биомедицинских текстах. Она обучена на наборе BC5CDR-Disease и размечает сущности тегами B-DISEASE и I-DISEASE, возвращая BIO-разметку токенов. Модель подходит для извлечения заболеваний из научных аннотаций и медицинских документов, а также для последующего анализа упоминаний в биомедицинских исследованиях. В README приведены результаты на BC5CDR-Disease: F1 0,88, точность 0,87 и полнота 0,89. Контекст составляет 512 токенов; модель принимает токенизированный текст и выдаёт метки для токенов. Модель доступна в формате Safetensors и лицензирована по Apache-2.0. Она ориентирована на английские тексты и распознаёт только сущности заболеваний; результаты требуют проверки при использовании в клинических процессах и на данных, отличающихся от обучающего корпуса.
OpenMed разработала OpenMed-NER-DNADetect-BioMed-109M — дообученную модель семейства BERT для распознавания биомедицинских сущностей в тексте. Она размечает токены в последовательности BIO и выделяет белки, ДНК, РНК, клеточные линии и типы клеток. Модель предназначена для анализа научных публикаций и биомедицинских документов, включая извлечение сущностей для последующего поиска и анализа. Модель основана на BiomedNLP-BiomedELECTRA-base-uncased-abstract, обучена на корпусе JNLPBA и имеет 136,7 млн параметров. Она принимает текст на английском языке, имеет контекст до 512 токенов и выдаёт метки токенов. В README приведены показатели на JNLPBA: F1 0,79, точность 0,74, полнота 0,85 и accuracy 0,93. Доступна по лицензии Apache-2.0.
OpenMed-NER-PathologyDetect-BigMed-278M — модель организации OpenMed для распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученная для token classification модель на архитектуре XLM-RoBERTa; в метаданных указано 305,2 млн параметров, а в карточке базовая архитектура названа xlm-roberta-base. Модель обучена на корпусе NCBI Disease и размечает сущности заболевания тегами BIO: B-Disease и I-Disease. Модель предназначена для извлечения названий заболеваний из медицинских записей, научных публикаций и других медицинских документов, а также для биомедицинского поиска и анализа литературы. Она принимает токенизированный текст и выдаёт метки для токенов, которые можно объединить в сущности. Контекст составляет 514 токенов; карточка указывает английский язык и F1 0,87 на заявленной оценке NCBI Disease. Карточка описывает применение в клиническом анализе текста и исследованиях, но приведённые результаты относятся к распознаванию заболеваний и сами по себе не подтверждают надёжность для диагностики, выявления лекарственных взаимодействий или извлечения лекарств. Лицензия — Apache-2.0.
OpenMed-NER-PathologyDetect-BigMed-560M — специализированная модель OpenMed для распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученный для классификации токенов трансформер XLM-RoBERTa с примерно 659 млн параметров; модель размечает фрагменты текста тегами B-Disease и I-Disease. Она предназначена для извлечения названий заболеваний из медицинских записей, научных публикаций и других медицинских документов, например для поиска по литературе и построения биомедицинских баз знаний. Модель обучена на корпусе NCBI Disease и принимает токенизированный текст, возвращая BIO-разметку сущностей. В карточке заявлены F1 0,87, точность 0,86 и полнота 0,89; опубликованный контекст модели — 514 токенов. Модель ориентирована на английский язык. Лицензия — Apache-2.0, интеграция предусмотрена через Transformers. Она распознаёт заболевания, а не лекарства или химические соединения; качество на текстах за пределами обучающего корпуса и в клиническом применении отдельно не подтверждено.
OpenMed разработала OpenMed-NER-PathologyDetect-SnowMed-568M — специализированную модель распознавания упоминаний заболеваний в биомедицинских текстах. Она дообучена на корпусе NCBI Disease и предназначена для извлечения названий болезней из медицинских записей, научных статей и других медицинских документов. Модель выполняет token classification: присваивает токенам BIO-метки B-Disease и I-Disease, которые можно объединить в целостные упоминания заболеваний. Архитектура — XLM-RoBERTa с примерно 658,7 млн параметров; заявленная длина контекста — 8194 токена. Для корпуса NCBI Disease в карточке приведены F1 0,89, точность 0,87 и полнота 0,91. Модель принимает токенизированный текст и выдаёт метки сущностей. В метаданных указан английский язык; применение к другим языкам карточка не подтверждает. Модель подходит для извлечения заболеваний при анализе медицинских записей и биомедицинской литературы, в том числе как компонент систем поиска и аналитики. Карточка заявляет также клинические сценарии, однако приведённые метрики относятся к NCBI Disease и не подтверждают точность на произвольных клинических данных. Лицензия — Apache-2.0.
OpenMed разработала специализированную модель для распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученная для token classification модель на архитектуре DistilBERT, основанная на distilbert-base-multilingual-cased и обученная на корпусе NCBI Disease. Она размечает названия заболеваний тегами B-Disease и I-Disease и выдаёт BIO-предсказания для токенов. Контекст модели ограничен 512 токенами. Модель предназначена для извлечения заболеваний из научных публикаций, клинических записей и других медицинских документов. Её можно применять для поиска упоминаний заболеваний, анализа медицинской литературы и извлечения сведений из клинического текста. README сообщает F1 0,86, точность 0,85, полноту 0,87 и accuracy 0,96 на NCBI Disease; эти показатели относятся к описанному набору данных и не гарантируют такие же результаты на других текстах. Модель не распознаёт заявленные в README лекарства и химические соединения как отдельные типы сущностей. Лицензия — Apache-2.0.
OpenMed-NER-PharmaDetect-ElectraMed-33M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученная трансформерная модель семейства BERT с головой классификации токенов, содержащая 40 млн параметров и принимающая токенизированный текст. Она присваивает токенам BIO-метки B-CHEM и I-CHEM, чтобы выделять названия химических соединений, лекарств и терапевтических веществ. Контекст модели составляет до 512 токенов. Модель предназначена для извлечения химических сущностей из медицинских записей, научных публикаций и других биомедицинских документов. Такие результаты можно использовать для мониторинга нежелательных реакций, поиска лекарственных взаимодействий, анализа литературы и построения биомедицинских баз знаний. В README указаны результаты на BC5CDR-Chem: F1 0,94, точность 0,93 и полнота 0,95; эти показатели относятся к описанной оценке и не гарантируют такое же качество на других данных. Модель рассчитана на английские тексты и обучена на наборе BC5CDR_CHEM. Распространяется по лицензии Apache-2.0.