I.3Извлечение и структурирование данных

ULTRA 50g — модель-основа для логического вывода на графах знаний, опубликованная под идентификатором mgalkin/ultra_50g. Она использует графовые нейронные сети и модифицированные версии NBFNet для предсказания связей: по сущности и отношению ранжирует возможные сущности-цели. Модель обучена на 50 графах знаний и рассчитана на применение без дообучения к графам с другими наборами сущностей и отношений; при необходимости её можно дообучить под конкретный граф. Веса содержат около 169 тысяч параметров и распространяются в формате safetensors. В отличие от подходов, хранящих отдельные эмбеддинги сущностей и отношений для каждого графа, ULTRA строит переносимые представления отношений. Репозиторий предоставляет код загрузки и применения модели. Лицензия — MIT. Модель предназначена для дополнения графов знаний и ранжирования кандидатов для отсутствующих связей. README приводит результаты на наборах графов и отмечает, что дообучение на конкретном графе в среднем дополнительно повышает качество. Для запуска нужны зависимости и код из репозитория; ожидаемые результаты могут различаться в зависимости от графа и протокола оценки.

CKIP ALBERT Tiny Chinese WS — компактная модель классификации токенов на базе ALBERT, опубликованная Mu Yang из CKIP. Она предназначена для сегментации традиционного китайского текста на слова; проект CKIP также предоставляет модели для разметки частей речи и распознавания именованных сущностей, но карточка этой модели подтверждает задачу классификации токенов. Модель содержит 12,8 млн параметров, использует архитектуру AlbertForTokenClassification и принимает текст с контекстом до 512 токенов. Для токенизации README рекомендует BertTokenizerFast вместо AutoTokenizer. Указанная лицензия — GPL-3.0.

BENT-PubMedBERT-NER-Disease — англоязычная модель распознавания именованных сущностей заболеваний, разработанная Pedro Ruas и Francisco M. Couto. Это BERT-модель PubMedBERT, дообученная для токенной классификации на нескольких биомедицинских корпусах, включая NCBI Disease Corpus, PHAEDRA, RareDis, BC5CDR и Mantra. Она предназначена для выделения названий болезней и связанных сущностей, в том числе редких заболеваний, симптомов и побочных эффектов, в текстах биомедицинской тематики. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки для токенов. Поддерживаемый язык — английский. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Она может быть полезна для извлечения упоминаний заболеваний из научных публикаций и других биомедицинских текстов; качество вне перечисленных типов сущностей и доменов карточка не описывает.

Koichi Yasuoka разработал японскую модель BERT для разметки частей речи и синтаксического анализа зависимостей. Модель дообучена на основе KoichiYasuoka/bert-base-japanese-char-extended и использует архитектуру BertForTokenClassification; её обучающие тексты взяты из японской Википедии. Для каждого короткого словесного сегмента модель предсказывает метку UPOS из набора Universal Dependencies. Модель принимает японский текст и возвращает последовательность меток частей речи. Она подходит для морфосинтаксической разметки японских текстов и может служить компонентом конвейера анализа зависимостей. Контекст ограничен 512 токенами; формат весов — PyTorch. Распространяется по лицензии CC BY-SA 4.0.

Модель emilylearning/cond_ft_none_on_reddit__prcnt_100__test_run_False__roberta-base опубликована пользователем emilylearning на Hugging Face. Это модель RoBERTa-base, дообученная на данных Reddit; метаданные относят её к задаче token classification. Архитектура содержит около 151,8 млн параметров и поддерживает контекст до 514 токенов. Модель предназначена для классификации отдельных токенов в последовательности, однако конкретный набор меток и прикладная интерпретация результатов в доступных источниках не раскрыты. Модальность — текстовая; сведения о поддерживаемых естественных языках и лицензии не установлены.

Koichi Yasuoka разработал DeBERTaV2 для разметки японского текста. Модель дообучена на базе KoichiYasuoka/deberta-large-japanese-wikipedia; она присваивает словам универсальные части речи UPOS и морфологические признаки FEATS, а также предназначена для синтаксического анализа зависимостей. Архитектура — DeBERTaV2 для классификации токенов, размер — 435,4 млн параметров, максимальная длина контекста — 512 токенов. Модель обучена на японской Википедии и текстах «Аозора бунко»; в метаданных также указан датасет Universal Dependencies. Поддерживается японский язык. Лицензия — CC BY-SA 4.0.

Koichi Yasuoka разработал японскую модель на архитектуре GPT-2 для морфологической разметки текста. Она дообучена на базе ClassCat/gpt2-base-japanese-v2 и присваивает каждому короткому слову тег части речи UPOS и грамматические признаки FEATS; карточка также описывает её как модель для синтаксического разбора зависимостей. Модель принимает японский текст и возвращает токенную разметку. Она рассчитана на японский язык, имеет контекст 1024 токена и распространяется в формате PyTorch по лицензии CC BY-SA 4.0. В README для запуска через Transformers указан pipeline с trust_remote_code=True.

LumynaX Doc Table Transformer (detection) — ранний эксперимент AbteeX AI Labs на базе microsoft/table-transformer-detection для обнаружения таблиц на изображениях документов. Модель использует архитектуру Table Transformer на основе DETR, содержит 6,3 млн параметров и работает с библиотекой Transformers. Она предназначена для локального обнаружения областей таблиц в документах перед извлечением их содержимого. В этом выпуске веса исходной модели не изменялись: README описывает интеграцию через маршрутизацию во время выполнения. Это устаревший, более не сопровождаемый исследовательский артефакт, который авторы не рекомендуют для промышленного применения. Репозиторий распространяется по лицензии MIT.

ManufactuBERT — англоязычная модель RoBERTa-base, разработанная Робином Арменго и Ромариком Безансоном из Université Paris-Saclay и CEA List. Модель непрерывно предварительно обучена на текстах о производстве и промышленной инженерии, чтобы лучше представлять специализированную отраслевую лексику и помогать адаптировать языковые системы к промышленным задачам. Базовое обучение использовало корпус Manu-FineWeb — отобранную часть FineWeb. Итоговая версия обучалась на очищенном наборе примерно из 2 млрд токенов после дедупликации; архитектура RoBERTa-base содержит около 151,8 млн параметров и принимает последовательности длиной до 514 токенов. Основной режим применения — восстановление скрытых слов; модель также показала результаты на распознавании сущностей, классификации предложений и извлечении отношений в промышленных и материаловедческих наборах данных. Лицензия — MIT.

begnini/ner-bert-large-cased-pt-contratos_tceal — модель распознавания именованных сущностей на базе BERT, обученная с нуля на наборе contratos_tceal. Она предназначена для извлечения и разметки сущностей в текстах этого набора данных, связанных с договорами TCEAL. Модель содержит 433,2 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors. На оценочной выборке указаны F1 0,9320, точность 0,9185, полнота 0,9459 и accuracy 0,9639. Карточка не уточняет типы распознаваемых сущностей и не приводит лицензию, поэтому применение за пределами данных contratos_tceal требует отдельной проверки качества и условий использования.

GWK/NoFo-codellama-13b-v0.1 — дообученная модель семейства Llama на основе CodeLlama-13B-Instruct, разработанная для проекта Nordiske Folk (NoFo). Она извлекает биографические сведения об исторических деятелях и оформляет их на датском языке в CSV-структуре Fichoz для базы данных NoFo. Модель обучена на 400 коротких биографиях на разных языках; её размер составляет 12,9 млрд параметров, контекст — до 16 384 токенов. Доступны веса PyTorch, лицензия — Llama 2. Карточка не уточняет состав извлекаемых полей и точность результата.

OpenMed разработала OpenMed-NER-BloodCancerDetect-TinyMed-66M — модель для распознавания клинических сущностей, связанных с хроническим лимфоцитарным лейкозом (ХЛЛ), в медицинских и научных текстах. Это дообученная модель DistilBERT с классификационной головой для разметки токенов; README указывает 66 млн параметров в названии репозитория, контекст — 512 токенов. Модель выделяет сущности метками B-CL и I-CL и возвращает BIO-разметку. Модель предназначена для извлечения упоминаний ХЛЛ, биомаркеров, лечения и связанных клинических понятий из записей и публикаций. Её можно применять для поиска по медицинской литературе, анализа клинических документов и построения систем мониторинга. README приводит F1 0,80, точность 0,73 и полноту 0,88 на датасете CLL; это результаты для специализированного набора данных, а не гарантия качества на других текстах. Модель рассчитана на англоязычные входные данные. Лицензия — Apache-2.0.

OpenMed-NER-DNADetect-ElectraMed-335M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученный трансформер семейства BERT с 433,9 млн параметров, рассчитанный на классификацию токенов; модель принимает токенизированный текст и возвращает BIO-разметку для белков, ДНК, РНК, клеточных линий и типов клеток. В README базовая архитектура названа e5-large-v2, а обучающим набором — JNLPBA, содержащий аннотации биомедицинских сущностей в рефератах MEDLINE. Модель предназначена для извлечения сущностей из научной литературы и медицинских текстов, например для биомедицинского майнинга, анализа записей и построения баз знаний. Заявленные в README показатели на JNLPBA: F1 0,78, точность 0,74, полнота 0,83 и accuracy 0,91. Контекст ограничен 512 токенами. Доступна в формате safetensors, совместима с Transformers и распространяется по лицензии Apache-2.0.

OpenMed разработала OpenMed-NER-GenomicDetect-ModernMed-149M — модель на базе ModernBERT, дообученную для распознавания геномных сущностей в биомедицинском тексте. Она принимает токенизированный текст и выдаёт BIO-разметку для токенов; в карточке указана метка cell-line-name. Модель содержит 149 млн параметров, поддерживает контекст до 8192 токенов и рассчитана на английский язык. Модель предназначена для извлечения упоминаний клеточных линий и связанных геномных сущностей из научной литературы и биомедицинских документов, в том числе для текстового поиска и построения баз знаний. В README указаны обучение на корпусе GELLUS и показатели F1 0,98, точности 0,99 и полноты 0,98, однако описание меток ограничено типом cell-line-name, поэтому заявления о широком извлечении генов, вариантов и лекарств следует трактовать осторожно. Для работы требуется токенизация текста и последующая группировка токенных предсказаний в сущности. Лицензия — Apache-2.0.

OpenMed-NER-GenomicDetect-SuperMedical-355M — специализированная модель OpenMed для распознавания генетических сущностей в биомедицинском тексте. Это дообученная RoBERTa-модель для классификации токенов: она принимает токенизированный текст и выдаёт BIO-разметку. В карточке указаны 454,1 млн параметров и контекст до 514 токенов; среди меток перечислены B-Cell-line-name и I-Cell-line-name. Модель предназначена для извлечения упоминаний клеточных линий из научной литературы и других биомедицинских текстов, в том числе для текстового поиска и построения биомедицинских баз знаний. README сообщает об обучении на корпусе GELLUS, однако перечисленные метки описывают клеточные линии, поэтому широкие заявления о распознавании генов, вариантов и лекарств не подтверждены приведённым набором меток. Указанные в карточке метрики относятся к GELLUS и не гарантируют аналогичного качества на других данных. Лицензия — Apache-2.0.

OpenMed разработала OpenMed-NER-GenomicDetect-TinyMed-135M — модель DistilBERT для распознавания сущностей в биомедицинском тексте. Она дообучена на корпусе GELLUS и предназначена для извлечения упоминаний, связанных с геномикой; указанная метка сущности — название клеточной линии. Модель принимает токенизированный текст и выдаёт BIO-разметку токенов. Контекст ограничен 512 токенами. Модель подходит для обработки научной литературы и медицинских документов, а также для поиска упоминаний клеточных линий в геномных текстах. README приводит метрики на GELLUS: F1 0,99, точность 0,99 и полнота 0,98; эти результаты относятся к указанному набору данных и не гарантируют такого же качества на других текстах. Модель распространяется по лицензии Apache-2.0.

OpenMed-NER-OrganismDetect-SuperClinical-184M — модель OpenMed для распознавания упоминаний организмов и видов в тексте. Это трансформер DeBERTa V2 для классификации токенов, дообученный на корпусе SPECIES800; в README указана базовая архитектура deberta-v3-base. Модель принимает токенизированный текст и выдаёт BIO-разметку сущностей B-SPECIES и I-SPECIES. Размер по метаданным — 211,6 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для извлечения названий видов из биомедицинских текстов и научной литературы, включая латинские и общеупотребительные названия. README сообщает F1 0,79, точность 0,76, полноту 0,81 и accuracy 0,96 на SPECIES800. Поддерживается интеграция через Transformers. Лицензия — Apache-2.0. Оценки в карточке относятся к указанному корпусу; качество на иных текстах может отличаться.

OpenMed-NER-ProteinDetect-MultiMed-335M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученная модель токеновой классификации на архитектуре BERT с 433,9 млн параметров и контекстом до 512 токенов; она выдаёт BIO-разметку для белков, белковых комплексов, семейств и вариантов белков. В README указано обучение на корпусе FSU, посвящённом белковым взаимодействиям и молекулярной биологии. Модель предназначена для извлечения сущностей из научных публикаций, медицинских документов и биомедицинских текстов, например для поиска упоминаний белков при анализе литературы и построении баз знаний. Заявленные в README показатели на FSU: F1 0,92, точность 0,91, полнота 0,93 и accuracy 0,97. Карточка сообщает об английском языке; лицензия — Apache-2.0. Показатели приведены авторами и не подтверждают качество на иных корпусах или клинических сценариях.

OpenMed-NER-ProteinDetect-SuperClinical-141M — модель OpenMed для распознавания биомедицинских сущностей в текстах. Это дообученная модель на архитектуре DeBERTa-v2 для классификации токенов; в README базовая архитектура указана как deberta-v3-small. Модель обучена на корпусе FSU и выделяет белки, белковые комплексы, семейства и группы белков, варианты белков и другие связанные сущности. Размер по метаданным — 155 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для извлечения сущностей из биомедицинской литературы и клинических текстов, например для поиска белков и молекулярных взаимодействий, анализа путей и построения биомедицинских баз знаний. README приводит F1 0,92 на FSU, но не описывает независимую проверку этих результатов. Поддерживается английский язык. Лицензия — Apache-2.0.

OpenMed-NER-ProteinDetect-SuperClinical-434M — модель OpenMed для распознавания биомедицинских сущностей в научных и клинических текстах. Это дообученная модель DeBERTa V2 для классификации токенов; по карточке она выделяет белки, белковые комплексы, семейства и группы белков, а также варианты белков. Размер по метаданным — 533,8 млн параметров, длина контекста — 512 токенов. Модель принимает токенизированный текст и выдаёт BIO-разметку сущностей. Модель предназначена для извлечения белковых сущностей из медицинских записей и научной литературы, включая поиск упоминаний, полезных для анализа взаимодействий белков, биомедицинского майнинга и построения графов знаний. В README приведены показатели на корпусе FSU: F1 0,94, точность 0,94 и полнота 0,95. Эти результаты относятся к указанному корпусу; качество на иных типах текстов может отличаться. Лицензия — Apache-2.0.

OpenMed/OpenMed-NER-SpeciesDetect-SuperMedical-125M — модель OpenMed для распознавания названий видов и организмов в тексте. Это дообученная для классификации токенов модель на архитектуре RoBERTa; в README указана базовая архитектура roberta-base. Модель обучена на корпусе LINNAEUS и размечает упоминания сущностей тегами B-SPECIES и I-SPECIES. Она предназначена для извлечения научных и обиходных названий организмов из биомедицинской литературы и других текстов, а также для построения систем поиска и анализа упоминаний видов. В карточке заявлены F1 0,92, точность 0,89, полнота 0,95 и accuracy 0,99. Модель принимает текст и выдаёт BIO-разметку сущностей; контекст составляет 514 токенов. Поддерживаемый язык — английский. Лицензия — Apache-2.0. Метки модели ограничены сущностями видов, поэтому она не предназначена для распознавания лекарств, химических соединений или других типов биомедицинских сущностей, несмотря на более широкие сценарии, перечисленные в README. Заявленные метрики относятся к описанной оценке и не гарантируют такое же качество на других доменах и текстах.

OpenMed-PII-BigMed-Large-560M-v1 — модель OpenMed для обнаружения и классификации персональных и других чувствительных данных в тексте. Это дообученная на NVIDIA Nemotron-PII модель XLM-RoBERTa Large с архитектурой токенной классификации и примерно 658,7 млн параметров. Она размечает 54 типа сущностей, включая имена, адреса, идентификаторы, контактные, финансовые и медицинские сведения; длина контекста — 514 токенов. Модель предназначена для поиска чувствительных данных в медицинских записях и документах, их последующего удаления или обезличивания, а также подготовки наборов данных и аудита документов. В README указана оценка micro F1 0,9604 на тестовой выборке NVIDIA Nemotron-PII; качество различается по типам сущностей, а для ряда категорий оно ниже. Основной язык обучения — английский, поэтому качество на других языках не следует считать подтверждённым. Модель может помогать в процессах защиты данных и соблюдения требований конфиденциальности, но не заменяет проверку человеком: возможны пропуски персональных данных, а результаты зависят от предметной области и контекста. Распространяется по лицензии Apache-2.0.

OpenMed-PII-Dutch-SuperClinical-Large-434M-v1 — модель OpenMed для обнаружения и классификации персональных данных в нидерландском тексте. Это дообученная на базе microsoft/deberta-v3-large модель токеновой классификации на архитектуре DeBERTa V2; в метаданных указаны 533,8 млн параметров, контекст до 512 токенов и формат safetensors. Модель размечает 54 типа чувствительных сущностей, включая имена, адреса, идентификаторы, контактные и медицинские сведения. Она предназначена для поиска и удаления персональных данных в клинических записях и документах, подготовки наборов данных и поддержки проверок соответствия требованиям приватности. В README приведён результат Micro F1 0,9419 на нидерландской части AI4Privacy, однако качество может меняться на других типах текста. Модель рассчитана на нидерландский язык; её не следует считать надёжной для других языков. Возможны пропуски персональных данных, поэтому критически важные результаты требуют проверки человеком. Лицензия — Apache-2.0.

OpenMed-PII-Italian-BioClinicalModern-Large-395M-v1 — модель OpenMed для выявления и классификации персональных и иных чувствительных данных в итальянском тексте. Это дообученная для token classification модель BioClinical-ModernBERT-large с архитектурой ModernBERT и примерно 394,7 млн параметров. Она принимает текст и размечает токены по 54 типам сущностей, включая имена, адреса, идентификаторы, контактные, финансовые и медицинские сведения. Контекст модели — до 8192 токенов. Модель предназначена для автоматизированного поиска и удаления идентифицирующей информации в клинических записях, медицинских документах и других текстовых коллекциях, а также для подготовки данных и поддержки проверок на соответствие требованиям приватности. В README сообщается оценка micro F1 0,9516 на итальянской части AI4Privacy; это результат конкретной оценки, а не гарантия для других данных. Модель распространяется по лицензии Apache-2.0. Модель оптимизирована для итальянского языка. Она может пропускать чувствительные данные, а качество зависит от контекста и терминологии; README рекомендует использовать её как вспомогательное средство с проверкой человеком, особенно в критически важных сценариях.

OpenMed/OpenMed-ZeroShot-NER-Organism-Large-459M — специализированная модель распознавания упоминаний организмов в научных и биомедицинских текстах. Она основана на архитектуре GLiNER и дообучена OpenMed на корпусе SPECIES800, содержащем аннотации организмов в научных аннотациях. Модель принимает текст и возвращает найденные сущности с метками; основной целевой тип — SPECIES, включая научные и общеупотребительные названия видов. Модель предназначена для извлечения названий видов и организмов из научной литературы, экологических материалов и биомедицинских текстов, например для биокурации и таксономического анализа. Заявленный F1 на тестовой части SPECIES800 составляет около 0,85. Zero-shot подход позволяет задавать типы сущностей при использовании, однако карточка подробно описывает обучение и оценку прежде всего для распознавания видов. Репозиторий распространяется под лицензией Apache-2.0.

OpenMed-ZeroShot-NER-Organism-Medium-209M — специализированная модель OpenMed для обнаружения упоминаний видов организмов в научных текстах. Она построена на архитектуре GLiNER и дообучена на корпусе SPECIES800, включающем научные и общепринятые названия организмов. Модель использует zero-shot подход: типы сущностей можно задавать при обработке без отдельного дообучения, хотя карточка особо описывает распознавание сущностей типа SPECIES. Модель принимает текст и возвращает найденные упоминания организмов с разметкой сущностей. Она предназначена для биомедицинской литературы, биокурации, таксономического анализа и исследований биоразнообразия. В карточке указан F1 0,8257 на тестовой выборке SPECIES800, не использованной при обучении. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Карточка также заявляет применимость к более широким медицинским категориям, однако основное обучение и описанная оценка относятся к распознаванию видов.

Psych-Search — англоязычная модель на архитектуре BERT, разработанная nlp4good для NLP-сценариев в области психического здоровья. Она создана на основе allenai/scibert_scivocab_uncased посредством продолженного предобучения на аннотациях исследований по психологии и психиатрии из PubMed. Модель содержит 137,1 млн параметров, принимает текст и рассчитана на контекст до 512 токенов; доступны реализации PyTorch и Flax. Модель предназначена как основа для классификаторов и систем понимания текста, в том числе для расширения таксономии MeSH категориями профилактических стратегий и защитных факторов, а также извлечения и стандартизации факторов риска и защиты. Для оценки её дообучили на задаче биомедицинской индексации, похожей на BioASQ Task A; в описанном эксперименте micro-F1 составил 0,7415. В метаданных основная задача указана как заполнение маски (fill-mask). Это специализированная языковая модель, а не готовый клинический инструмент или законченная система поиска. Обучающие данные имеют сильный дисбаланс по представленности сексуальных и гендерных меньшинств и некоторых этнических групп, что может влиять на информационный поиск и последующие модели. Лицензия — Apache-2.0.

rasyosef/roberta-base-amharic — амхароязычная языковая модель на архитектуре XLM-RoBERTa, разработанная автором репозитория и предварительно обученная с нуля на корпусах OSCAR, mC4 и Amharic Sentences Corpus. Она предназначена для восстановления замаскированных токенов и как encoder-основа для дообучения на задачах классификации тональности и распознавания именованных сущностей. В README указаны 110 млн параметров, словарь токенизатора размером 32 тыс. и обучение на 290 млн токенов; метаданные указывают 137,8 млн параметров и контекст до 512 токенов. В описанной автором оценке модель показала perplexity 8,08, F1 0,88 для классификации тональности и 0,78 для распознавания именованных сущностей на амхарском языке. Для загрузки доступны веса в формате safetensors. Модель рассчитана прежде всего на амхарский язык и не является генеративной чат-моделью: основной сценарий — masked language modeling, а для прикладных задач классификации и NER требуется подходящее дообучение. В README заявлено преимущество над XLM-RoBERTa-base для амхарских задач, однако подробности протокола оценки и условия лицензии в предоставленных источниках отсутствуют.

Это японская модель RoBERTa, разработанная Koichi Yasuoka и дообученная на текстах 青空文庫 для морфосинтаксического анализа. Она присваивает длинным единицам слов японского текста теги UPOS и признаки FEATS; модель также предназначена для синтаксического анализа зависимостей. Архитектура — RobertaForTokenClassification, размер — 120,5 млн параметров, контекст — до 512 токенов. Модель подходит для разметки частей речи и анализа японских текстов, в том числе с помощью библиотеки esupar. Базовая модель — KoichiYasuoka/roberta-base-japanese-aozora-char. Лицензия — CC BY-SA 4.0, поэтому при использовании и распространении следует соблюдать её условия.

Koichi Yasuoka разработал эту модель на базе японской RoBERTa roberta-large-japanese-aozora, предварительно обученной на текстах 青空文庫. Модель дообучена для разметки частей речи: каждому длинному слову японского текста присваивается тег UPOS из универсального набора частей речи. Архитектура — RoBERTa large для классификации токенов; размер составляет 659 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для морфологического анализа японского текста и может использоваться в конвейерах разметки речи и синтаксического анализа зависимостей через esupar. Для работы с ней требуется японский текст; поддерживается японский язык. Модель распространяется по лицензии CC BY-SA 4.0.