I.3Извлечение и структурирование данных

OpenMed-NER-ChemicalDetect-BigMed-560M — дообученная OpenMed модель на архитектуре XLM-RoBERTa-large для распознавания химических сущностей в биомедицинских текстах. Она обрабатывает токенизированный текст и присваивает токенам BIO-метки B-CHEM и I-CHEM, обозначающие начало и продолжение упоминания химического вещества. Модель содержит 658,7 млн параметров, поддерживает английский язык и имеет контекстное окно 514 токенов. Модель предназначена для извлечения названий химических соединений и лекарств из научных публикаций, клинических записей и других медицинских документов. Её можно применять для поиска упоминаний препаратов при анализе взаимодействий и нежелательных явлений, а также для извлечения данных при поиске по биомедицинской литературе и построении графов знаний. В README указаны результаты на BC4CHEMD: F1 0,95, точность 0,94 и полнота 0,95; эти значения относятся к описанным в карточке оценкам и не гарантируют аналогичного качества на других данных. Модель распространяется по лицензии Apache-2.0.

OpenMed-NER-ChemicalDetect-ElectraMed-560M — модель организации OpenMed для распознавания названий химических соединений и веществ в биомедицинских текстах. Это трансформер XLM-RoBERTa с классификационной головой для токенов, дообученный на корпусе BC4CHEMD. Модель содержит 658,7 млн параметров, принимает токенизированный текст и выдаёт BIO-метки B-CHEM и I-CHEM; длина контекста — 514 токенов. В карточке указаны английский язык и совместимость с библиотекой Transformers. Модель предназначена для извлечения химических сущностей из научной литературы, медицинских записей и других биомедицинских документов. Её можно применять для поиска упоминаний лекарств и соединений, анализа литературы и построения биомедицинских баз знаний. README заявляет F1 0,95 на BC4CHEMD, однако не приводит подробностей протокола оценки. Модель выпущена по лицензии Apache-2.0.

OpenMed разработала OpenMed-NER-ChemicalDetect-PubMed-v2-109M — модель на базе BiomedNLP-BiomedBERT для распознавания химических сущностей в биомедицинских текстах. Это BERT-модель для классификации токенов с 136,7 млн параметров и контекстом до 512 токенов; она принимает токенизированный текст и размечает упоминания химических веществ тегами BIO B-CHEM и I-CHEM. Модель дообучена на корпусе BC4CHEMD с аннотациями химических соединений в аннотациях PubMed. Модель подходит для извлечения названий химических соединений и лекарств из научных публикаций и медицинских документов, а также для поиска сущностей при мониторинге нежелательных явлений и построении биомедицинских баз знаний. В README приведены результаты на BC4CHEMD: F1 0,949, точность 0,9447 и полнота 0,9534. Карточка не подтверждает независимую валидацию этих показателей на клинических данных, поэтому качество на иных типах текстов может отличаться. Лицензия — Apache-2.0.

OpenMed разработала OpenMed-NER-ChemicalDetect-TinyMed-135M — дообученную модель DistilBERT для распознавания химических сущностей в биомедицинских текстах. Она выделяет названия химических соединений и веществ, помечая токены тегами B-CHEM и I-CHEM, и предназначена для анализа научной литературы, медицинских записей и других документов о здоровье. Модель основана на distilbert-base-multilingual-cased, принимает текст и возвращает BIO-разметку токенов. Контекст ограничен 512 токенами. В README сообщается о F1 0,93 на BC4CHEMD; обучение проводилось на этом корпусе. Модель можно применять для извлечения упоминаний химических веществ при поиске лекарственных взаимодействий, мониторинге нежелательных явлений и построении биомедицинских баз знаний. Заявленные результаты не гарантируют такую же точность на других типах текстов. Лицензия — Apache-2.0.

OpenMed-NER-DiseaseDetect-BioMed-335M — модель OpenMed для распознавания упоминаний заболеваний в биомедицинском тексте. Это дообученный трансформер семейства BERT с архитектурой BertForTokenClassification; в карточке указана базовая архитектура BiomedNLP-BiomedELECTRA-large-uncased-abstract. Модель содержит 433,9 млн параметров и принимает токенизированный текст, возвращая BIO-разметку сущностей типа DISEASE. Контекст ограничен 512 токенами. Модель обучена на компоненте BC5CDR-Disease корпуса BioCreative V и предназначена для извлечения названий болезней из научных аннотаций и других биомедицинских текстов. Её можно применять для поиска заболеваний в литературе, анализа медицинских записей и подготовки данных для биомедицинских баз знаний. В README приведены F1 0,90, точность 0,89 и полнота 0,91 на указанном наборе данных. Эти показатели относятся к описанному бенчмарку и не гарантируют аналогичного качества на других источниках. Лицензия — Apache-2.0.

OpenMed разработала OpenMed-NER-DiseaseDetect-ModernClinical-395M — дообученную модель ModernBERT для распознавания упоминаний заболеваний в биомедицинском тексте. Модель содержит 394,7 млн параметров, принимает токенизированный текст и размечает фрагменты тегами BIO: B-DISEASE и I-DISEASE. Контекст — до 8192 токенов. Модель предназначена для извлечения названий заболеваний из медицинских записей и научных публикаций, анализа клинического текста и биомедицинского поиска. Она обучена на наборе BC5CDR-Disease; в карточке указаны F1 0,88, точность 0,87 и полнота 0,90. Эти показатели относятся к указанному набору данных и не гарантируют аналогичного качества на других типах текста. Лицензия — Apache-2.0.

OpenMed разработала OpenMed-NER-DiseaseDetect-PubMed-335M — дообученную модель на базе BiomedNLP-BiomedBERT-large-uncased-abstract для распознавания названий заболеваний в биомедицинских текстах. Это трансформер семейства BERT с архитектурой BertForTokenClassification и примерно 433,9 млн параметров; модель принимает токенизированный текст и присваивает токенам BIO-метки B-DISEASE и I-DISEASE. Контекст ограничен 512 токенами. Модель обучена на компоненте BC5CDR-Disease корпуса BioCreative V, содержащем аннотации заболеваний в PubMed-абстрактах. Она предназначена для извлечения упоминаний заболеваний из научной литературы и медицинских записей, включая поиск по корпусам и подготовку данных для биомедицинского анализа. В карточке приведены результаты на BC5CDR-Disease: F1 0,9097, точность 0,8932, полнота 0,9268 и accuracy 0,9849. Модель ориентирована на английские биомедицинские тексты; перенос результатов на другие языки и типы документов не подтверждён карточкой. Она распознаёт сущности заболеваний, а не выявляет лекарственные взаимодействия и не ставит диагнозы самостоятельно. Лицензия — Apache-2.0.

OpenMed разработала OpenMed-NER-DNADetect-ModernClinical-395M — дообученную модель семейства ModernBERT для распознавания и классификации биомедицинских сущностей в тексте. Она предназначена для извлечения белков, ДНК, РНК, клеточных линий и типов клеток из клинических документов, научных публикаций и биомедицинских текстов. В README указана базовая архитектура BioClinical-ModernBERT-large; модель содержит около 394,7 млн параметров, принимает текст и поддерживает контекст до 8192 токенов. Она выдаёт BIO-разметку токенов; карточка приводит для JNLPBA F1 0,78, точность 0,74 и полноту 0,83. Модель может применяться для поиска биомедицинских сущностей в медицинских записях и научной литературе, а также как этап извлечения данных для мониторинга нежелательных явлений, поиска информации для разработки лекарств и построения биомедицинских графов знаний. Обучение описано на корпусе JNLPBA с аннотациями пяти типов сущностей. Поддерживаемый язык — английский. Модель распространяется по лицензии Apache-2.0. Показатели относятся к указанному бенчмарку и не гарантируют ту же точность на произвольных клинических документах.

OpenMed-NER-PathologyDetect-ElectraMed-560M — модель OpenMed для распознавания упоминаний заболеваний в биомедицинских текстах. Это трансформер XLM-RoBERTa с архитектурой классификации токенов и примерно 658,7 млн параметров; модель дообучена на корпусе NCBI Disease. Она принимает токенизированный текст и размечает фрагменты тегами B-Disease и I-Disease. В карточке указаны F1 0,90, точность 0,87, полнота 0,92 и accuracy 0,97 на NCBI Disease. Модель предназначена для извлечения названий заболеваний из медицинских документов и научных публикаций, а также для биомедицинского поиска и анализа текстов. Контекст составляет до 514 токенов; в метаданных указан английский язык. Распознавание ограничено сущностями заболеваний: модель не размечает лекарства или другие типы сущностей. Лицензия — Apache-2.0.

OpenMed-NER-PathologyDetect-ModernClinical-395M — специализированная модель OpenMed для распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученная ModernBERT-модель с архитектурой ModernBertForTokenClassification и 394,7 млн параметров; она принимает токенизированный текст и выдаёт BIO-разметку сущностей заболеваний. Контекст модели — до 8192 токенов. Модель обучена на корпусе NCBI Disease и предназначена для извлечения названий заболеваний из клинических записей, научных статей и медицинских документов. Её можно применять для биомедицинского поиска и анализа литературы, извлечения сведений из медицинских записей и построения графов знаний. В карточке указаны F1 0,88, точность 0,87, полнота 0,90 и accuracy 0,97 на NCBI Disease; результаты относятся к описанной оценке и не гарантируют качество на других данных. Модель поддерживает английский язык и распространяется в формате safetensors по лицензии Apache 2.0. Она распознаёт только сущности заболеваний; карточка не подтверждает нормализацию сущностей или пригодность предсказаний для клинических решений. Результаты следует проверять, особенно при переносе на тексты, отличающиеся от обучающего корпуса.

OpenMed-NER-PathologyDetect-TinyMed-65M — модель OpenMed для распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученная для классификации токенов модель DistilBERT на основе distilbert-base-cased, обученная на корпусе NCBI Disease. Она размечает фрагменты названий заболеваний тегами B-Disease и I-Disease и рассчитана на тексты медицинских документов и научных публикаций. Модель поддерживает английский язык, принимает токенизированный текст и выдаёт BIO-разметку; длина контекста — до 512 токенов. В репозитории указаны safetensors и лицензия Apache-2.0. Модель можно использовать для извлечения названий заболеваний из медицинских записей, анализа биомедицинской литературы и подготовки данных для последующей аналитики или построения баз знаний. В README приведены показатели на NCBI Disease: F1 0,86, точность 0,84 и полнота 0,87. Результаты относятся к указанному набору данных; качество на других типах текстов может отличаться. Модель распознаёт только сущности заболеваний и сама по себе не выполняет нормализацию понятий или постановку диагноза.

OpenMed-NER-PharmaDetect-BioMed-109M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученная для token classification модель семейства BERT на основе BiomedNLP-BiomedELECTRA-base-uncased-abstract; она выделяет сущности BC5CDR-Chem и возвращает разметку BIO с метками B-CHEM и I-CHEM. В метаданных указаны 136,7 млн параметров и контекст до 512 токенов. Модель предназначена для извлечения названий химических соединений, лекарств и терапевтических веществ из научных публикаций и медицинских записей. Её можно применять для поиска лекарств в документах, мониторинга нежелательных явлений, анализа литературы в разработке препаратов и подготовки данных для биомедицинских графов знаний. README приводит результаты на BC5CDR-Chem: F1 0,95, точность 0,93 и полноту 0,96. Модель принимает токенизированный текст и выдаёт метки сущностей для токенов. Указанные в карточке язык и теги относятся к английскому; сведений о поддержке других языков нет. README заявляет лицензию Apache-2.0. Показатели и заявления о готовности к клиническому или промышленному применению приведены в карточке модели; независимая проверка этих утверждений не описана.

OpenMed разработала OpenMed-NER-PharmaDetect-EuroMed-212M — модель на базе EuroBERT для распознавания химических сущностей в биомедицинском тексте. Она дообучена для задачи разметки последовательностей на наборе BC5CDR-Chem и выделяет сущности метками B-CHEM и I-CHEM. Модель содержит около 212 млн параметров, принимает токенизированный текст, поддерживает контекст до 8192 токенов и интегрируется с Transformers. Модель предназначена для извлечения названий химических соединений, лекарств и терапевтических веществ из научных публикаций и медицинских записей. Её можно использовать для поиска упоминаний препаратов, мониторинга нежелательных явлений и подготовки данных для биомедицинских баз знаний. В README указаны F1 0,93, точность 0,93 и полнота 0,92 на BC5CDR-Chem; эти результаты относятся к описанной в карточке оценке и не гарантируют качество на других текстах. Лицензия — Apache-2.0. Модель рассчитана на английский язык и обучена на корпусе научных аннотаций; качество на клинических записях или других языках отдельно не подтверждено.

OpenMed-NER-PharmaDetect-ModernMed-395M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученная ModernBERT-large с архитектурой ModernBertForTokenClassification и примерно 394,7 млн параметров. Модель принимает токенизированный текст и присваивает токенам BIO-метки B-CHEM и I-CHEM; максимальная длина контекста — 8192 токена. Модель обучена на BC5CDR_CHEM и предназначена для извлечения названий химических соединений и лекарств из научных публикаций, медицинских записей и других биомедицинских документов. Такие извлечения можно использовать для мониторинга нежелательных явлений, поиска сведений о препаратах и построения биомедицинских баз знаний. В README заявлены F1 0,95, точность 0,94 и полнота 0,96 на соответствующей задаче. Модель работает с англоязычными текстами. Метаданные указывают лицензию Apache-2.0. Заявленные в карточке результаты относятся к BC5CDR_CHEM; качество на других жанрах и наборах данных отдельно не подтверждено.

OpenMed-PII-BigMed-Large-278M-v1 — модель OpenMed для обнаружения и классификации персональных и медицинских идентификаторов в тексте. Это дообученная на наборе NVIDIA Nemotron-PII модель XLM-RoBERTa с архитектурой токеновой классификации; репозиторий содержит веса в формате safetensors. Модель рассчитана на выделение 54 типов чувствительных сущностей, включая имена, адреса, номера медицинских записей, финансовые и контактные данные. Для обработки текста можно использовать библиотеку Transformers. Размер по метаданным — 305,2 млн параметров, контекст — 514 токенов. Модель подходит для поиска чувствительных данных в клинических записях, медицинских документах и наборах данных, а также для подготовки текста к обезличиванию, аудиту и проверкам приватности. В README приведена оценка micro-F1 0,9524 на тестовой выборке из NVIDIA Nemotron-PII; качество различается по типам сущностей, а для некоторых категорий требуется дополнительная проверка. Модель предназначена для английского текста и должна использоваться как вспомогательный инструмент с проверкой результатов человеком. Лицензия — Apache-2.0.

OpenMed-PII-French-ClinicDischarge-Base-110M-v1 — модель OpenMed для поиска и классификации персональных данных во французском тексте. Это трансформер BERT с архитектурой BertForTokenClassification, дообученный на базе emilyalsentzer/Bio_Discharge_Summary_BERT. Модель насчитывает 135,5 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт BIO-разметку токенов по 54 типам чувствительных сущностей. Модель предназначена для выявления имён, адресов, идентификаторов, контактных, медицинских и финансовых сведений в клинических выписках, медицинских записях и других документах на французском языке. Её можно применять для предварительной деидентификации данных, подготовки корпусов к исследованиям и аудита документов. В README сообщается о micro-F1 0,9429 на французской части AI4Privacy; результат зависит от текста и условий применения. Модель выпущена в формате Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Авторы рекомендуют использовать её как вспомогательный инструмент с проверкой человеком: часть PII может быть пропущена, а качество на других языках и текстах с узкой терминологией может снижаться.

OpenMed-PII-Spanish-BioClinicalModern-Base-149M-v1 — модель OpenMed для обнаружения и классификации персональных и других чувствительных данных в испанском тексте. Это дообученная на задаче классификации токенов модель ModernBERT с 149 млн параметров и контекстом до 8192 токенов; она принимает текст и размечает найденные сущности, включая имена, адреса, идентификаторы, медицинские и финансовые сведения, контакты и даты. Модель предназначена для обезличивания испанских клинических записей и документов, подготовки исследовательских наборов данных и аудита коллекций документов на наличие чувствительных сведений. В README сообщается о Micro F1 0,8796 на испанской части AI4Privacy; заявлены 54 типа сущностей. Модель обучалась на тексте без диакритических знаков, поэтому перед обработкой рекомендуется удалять акценты. Возможны пропуски сущностей и снижение качества на специализированной терминологии или других языках, поэтому критические результаты требуют проверки человеком. Лицензия — Apache-2.0.

OpenMed разработала специализированную модель на архитектуре GLiNER для распознавания химических сущностей в биомедицинских текстах. Модель дообучена на корпусе BC4CHEMD и предназначена для поиска названий химических соединений, лекарств, реагентов и их синонимов в аннотациях и полных текстах научных статей. Модель выполняет zero-shot распознавание именованных сущностей: пользователь может задавать типы сущностей при запросе, не переобучая модель. В карточке указана оценка F1 0,9343 на тестовом наборе BC4CHEMD, исключённом из обучения. Модель рассчитана на англоязычные биомедицинские тексты и может применяться для индексирования соединений, поиска по научной литературе и подготовки данных для последующей привязки сущностей к справочникам вроде ChEBI или DrugBank. Файлы представлены в формате PyTorch. Лицензия — Apache-2.0. Заявленные результаты относятся к BC4CHEMD; качество распознавания других типов сущностей и на других корпусах может отличаться.

pii-layout-synth-v5 — дообученная на неизвестном наборе данных модель answerdotai/ModernBERT-base для классификации токенов. Она использует архитектуру ModernBERT с 149 млн параметров, принимает текст и поддерживает контекст до 8192 токенов. По названию модель связана с разметкой персональных данных и макетов, однако карточка не уточняет назначение меток и сценарии применения. В отчёте указаны результаты оценки: F1 0,9912 и точность 0,9985; набор данных и методика оценки не описаны. Модель распространяется по лицензии Apache-2.0.

polystring-lid — модель Saad Lohani для определения языка отдельных фрагментов текста. Она дообучена на базе FacebookAI/xlm-roberta-base и использует архитектуру XLM-RoBERTa с классификацией токенов. В метаданных указаны 305,2 млн параметров и контекст длиной 514 токенов; доступны форматы Safetensors и ONNX. Модель предназначена для разметки текстовых последовательностей метками языков. В README приведены результаты оценки: loss 0,1267 и F1 0,8848. Набор данных для обучения и подробности о поддерживаемых языках не описаны. Лицензия — MIT.

remzicam/privacy_intent — модель классификации намерений в текстах политик конфиденциальности, созданная разработчиком remzicam путём дообучения mukund/privbert на наборе данных PolicyIE. Она относит фрагменты политики к пяти категориям: сбор и использование данных, передача и раскрытие данных, хранение и сроки удержания, защита данных и прочие практики конфиденциальности. Модель построена на RoBERTa и содержит 151,8 млн параметров; принимает текст и выдаёт метку класса. Для неё заявлен F1-score 88%; аугментация обратным переводом улучшила результат на несбалансированных примерах. Модель предназначена для разметки и анализа положений политик конфиденциальности на английском языке, например, для поиска упоминаний о передаче данных третьим сторонам или мерах защиты. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с репозиторием модели. Контекст ограничен 514 токенами; заявленные результаты относятся к пяти категориям PolicyIE и не гарантируют качество на других типах документов или языках.

Qwen-3-VL-Ricoh-8B-20260227 — мультимодальная модель с визуальным вводом, разработанная японской компанией Ricoh на основе Qwen3-VL-8B-Thinking и Qwen3-VL-8B-Instruct. Она предназначена прежде всего для ответов на вопросы по японским документам с диаграммами и таблицами: модель извлекает сведения с изображений, выполняет вычисления и сравнения по прочитанным данным и формирует ответы с объяснением оснований. Ricoh сообщает об усилении многошагового рассуждения с помощью обучения с подкреплением и о снижении ошибок при чтении сложных документов. Модель ориентирована на японский язык и может использоваться для локального развёртывания в корпоративной среде; в README приведён пример запуска через vLLM 0.11.0. В метаданных Hugging Face указан формат safetensors и лицензия Apache-2.0. Результаты в README получены на наборах JDocQA и JDocQA-Reasoning; они не гарантируют такую же точность на других языках, типах изображений и документах.

Recipe NER — компактная модель семейства BERT для распознавания сущностей в строках ингредиентов рецептов. Разработчик обучил её с нуля на английских примерах с BIO-разметкой; токенизатор WordPiece обучен на той же обучающей выборке, поэтому репозиторий содержит необходимые компоненты для работы модели. Архитектура — BertForTokenClassification, около 988,8 тыс. параметров; максимальная длина контекста составляет 98 токенов. Модель размечает названия ингредиентов, количества, единицы измерения, комментарии о состоянии или подготовке ингредиента, верхние границы диапазонов и редкую метку INDEX. На тестовой выборке указаны точность сущностей 0,8715, полнота 0,8820 и F1 0,8767. Модель предназначена для извлечения структурированных данных из коротких англоязычных строк ингредиентов; лицензия в предоставленных данных не указана.

sahajBERT — модель ALBERT, совместно предварительно обученная для бенгальского языка с помощью masked language modeling и предсказания порядка предложений. Разработчики создали для неё специальный бенгальский токенизатор; для обучения использовались бенгальская Википедия и часть корпуса OSCAR. Модель содержит 435,4 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате PyTorch. Модель предназначена для заполнения пропусков в тексте и дальнейшей тонкой настройки под задачи классификации последовательностей, разметки токенов и ответов на вопросы. В опубликованных оценках она показала F1 95,45 на бенгальском NER и точность 91,97 на классификации новостных категорий. Лицензия — Apache-2.0. В README раздел об ограничениях и смещениях обозначен как незавершённый.

Salamandra-VL-7B-2512 — мультимодальная модель семейства Salamandra от BSC-LT, построенная на архитектуре LLaVA OneVision. Она объединяет языковую модель Salamandra 7B, настроенную на следование инструкциям, с визуальным энкодером SigLIP 2 Giant и двухслойным MLP-проектором. Модель обучали на мультиязычных инструкциях, включая коллекцию Aya, и визуальных данных PixMo для детального понимания изображений, привязки объектов и подсчёта. Модель предназначена для диалога по изображениям и тексту: она отвечает на вопросы о содержимом изображений, описывает сцены, считает объекты, интерпретирует диаграммы и таблицы и помогает разбирать документы. Карточка отмечает фокус на европейских языках; метаданные перечисляют поддержку многих языков, включая русский. Модель также может отвечать на текстовые инструкции и вопросы по коду. В карточке приведены улучшения относительно предыдущей версии на ряде визуальных бенчмарков, в том числе AI2D, ChartQA и CountBenchQA. Это ранний прототип без RLHF-выравнивания и полной оценки когнитивных и социальных предубеждений; модель может выдавать вредные или неуместные ответы. Лицензия в метаданных обозначена как other, поэтому условия использования следует сверить с файлами репозитория.

Это компактная модель SpanMarker для распознавания именованных сущностей в английском тексте. Она разработана на основе prajjwal1/bert-tiny и дообучена на датасете Few-NERD; архитектура использует SpanMarkerModel, а веса доступны в форматах PyTorch и safetensors. Модель предназначена для извлечения упоминаний сущностей и присвоения им классов в задачах NER. Её карточка отмечает применение прежде всего для эффективного тестирования репозитория SpanMarker, поэтому её также можно использовать для экспериментов и проверки конвейеров распознавания сущностей. Лицензия — Apache-2.0.

Модель stefan-it/span-marker-gelectra-large-germeval14 разработана на базе GELECTRA Large и дообучена с архитектурой SpanMarker для распознавания именованных сущностей в немецком тексте. Она предназначена для разметки персон, мест, организаций и прочих сущностей, включая производные от именованных сущностей и составные слова с их фрагментами. Обучение проводилось на наборе GermEval 2014, составленном из немецкой Википедии и новостных текстов. На официальной тестовой оценке GermEval 2014 модель достигла F1 89,08%. Репозиторий содержит веса PyTorch в формате safetensors. Модель распространяется по лицензии MIT. Она ориентирована на немецкий язык и схему разметки GermEval 2014; качество на других языках, доменах или схемах сущностей не подтверждено.

stanfordnlp/stanza-hi — набор моделей Stanza для лингвистического анализа текстов на хинди, разработанный Stanford NLP. Инструменты Stanza обрабатывают текст от исходной формы до синтаксического анализа и распознавания сущностей; карточка Hugging Face классифицирует эту модель как token-classification. Модель распространяется в формате PyTorch и предназначена для использования в конвейерах NLP для хинди. Лицензия — Apache-2.0. Карточка не раскрывает размер модели, длину контекста или отдельные ограничения качества; пригодность для конкретного сценария следует оценивать на соответствующих данных.

Recorded Future совместно с AI Sweden разработали шведскую модель распознавания именованных сущностей на базе KB/bert-base-swedish-cased, дообученной на текстах из интернет-источников и форумов. Это BERT для токенной классификации с 151,9 млн параметров и контекстом до 512 токенов. Модель выделяет в шведском тексте местоположения, организации, персон, национальности, религии и титулы. На тестовых данных из той же предметной области общий F1 составил 0,92; для неродного шведского текста качество не определено, такие входы считаются вне домена. Для работы нужны Transformers версии 4.3.3 или новее и Torch 1.8.0 или новее. Лицензия — MIT.

kktoto/tiny_bb_wd — дообученная модель семейства BERT для классификации токенов. Она содержит 12,6 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch. В README указаны результаты на оценочном наборе: F1 0,6533, точность 0,6566 и полнота 0,6502; сам набор данных не описан. Модель подходит для задач разметки отдельных токенов в тексте, например для извлечения сущностей или других типов последовательной классификации после настройки соответствующих меток. Языки и конкретное назначение разметки в доступных сведениях не раскрыты. Лицензия в предоставленных данных не указана.