I.3Извлечение и структурирование данных

CAMeLBERT-CA — предварительно обученная модель BERT, разработанная CAMeL Lab для классического арабского языка. Это вариант семейства CAMeLBERT, обученный на корпусе классических арабских текстов OpenITI; модель содержит 136,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для заполнения пропусков в тексте и может служить языковой основой для дообучения на задачах обработки арабского языка, включая распознавание именованных сущностей, разметку частей речи, анализ тональности, определение диалекта и классификацию поэзии. Для этих прикладных задач обычно требуется отдельное дообучение. CAMeLBERT-CA ориентирована на классический арабский и прошла оценку на нескольких NLP-задачах, однако качество зависит от задачи и данных дообучения. Доступна по лицензии Apache-2.0.

Koichi Yasuoka разработал CamemBERT-модель, дообученную на тайском тексте для морфологической разметки. Модель присваивает словам теги UPOS из универсальной системы частей речи и предназначена для классификации токенов в конвейерах NLP. В карточке указана архитектура CamemBERT с 304,7 млн параметров, длина контекста — 512 токенов; модель работает с тайским языком и представлена в формате PyTorch. Модель подходит для разметки частей речи в тайских текстах и может использоваться в задачах синтаксического анализа как компонент обработки текста. Лицензия — Apache-2.0. Карточка упоминает dependency parsing, но описывает выдачу именно UPOS-тегов; отдельный формат предсказания синтаксических зависимостей не подтверждён.

CamemBERTv2 — франкоязычная языковая модель семейства CamemBERT, разработанная Almanach на архитектуре RoBERTa. Это плотная модель с 138,4 млн параметров, предварительно обученная на 275 млрд токенов французских текстов из OSCAR/CulturaX, научных документов HALvest и французской Википедии. Она использует маскированное языковое моделирование и предназначена прежде всего для предсказания скрытых фрагментов текста; модель можно применять как основу для дообучения на задачах обработки французского языка. Модель поддерживает контекст до 1025 токенов и использует новый токенизатор WordPiece на 32 768 токенов, отличный от токенизатора исходного CamemBERT. Для работы требуется быстрый токенизатор, например CamembertTokenizerFast. В описанных экспериментах дообученные варианты оценивались на французской морфологической разметке, синтаксическом анализе, распознавании сущностей, классификации, ответах на вопросы и переносе между языками; эти результаты не означают, что базовая модель выполняет все эти задачи без дополнительного обучения. Репозиторий распространяется по лицензии MIT.

dbmdz/electra-base-italian-xxl-cased-discriminator — итальянская предобученная модель ELECTRA, выпущенная командой MDZ Digital Library Баварской государственной библиотеки. Дискриминатор ELECTRA обучался на корпусе XXL объёмом 81 ГБ, включающем итальянскую Википедию, тексты OPUS и итальянскую часть OSCAR; обучение продолжалось 1 млн шагов. Модель содержит 137,1 млн параметров и рассчитана на последовательности до 512 токенов. Модель предназначена как базовый энкодер для последующей адаптации к задачам обработки итальянского текста, например распознаванию именованных сущностей и разметке частей речи. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия — MIT. В README отмечено, что при обучении XXL-моделей использовали неверный размер словаря в конфигурации: фактический словарь содержит 31 102 токена, что не совпадает со значением в config.json. Авторы сообщают, что модель работает и оценки проводились с этой конфигурацией.

Модель disham993/electrical-ner-distilbert-base разработана на основе distilbert/distilbert-base-uncased и дообучена для распознавания именованных сущностей в технических текстах по электротехнике. Она размечает упоминания компонентов, материалов, стандартов и проектных параметров, встречающиеся в описаниях проектирования схем, испытаний, обслуживания, монтажа, поиска неисправностей и исследований. Архитектура — DistilBERT для классификации токенов; модель принимает текст, поддерживает английский язык и имеет контекстное окно 512 токенов. В оценке на ElectricalNER указаны F1 0,922, точность 0,9132 и полнота 0,9309. Датасет был сформирован с помощью GPT-4o-mini, поэтому возможны ошибки разметки и неверная классификация сущностей; модель может хуже работать с неоднозначными фрагментами и не предназначена для других предметных областей. Результаты следует проверять перед применением в критически важных сценариях. Лицензия — MIT; автор рекомендует исследовательское и образовательное использование.

gilf/french-camembert-postag-model — модель разметки частей речи во французском тексте, созданная на основе CamemBERT и обученная на наборе данных free-french-treebank. Она присваивает токенам метки частей речи, включая прилагательные, наречия и другие категории из используемой схемы тегов. Модель подходит для морфосинтаксического анализа французских текстов и подготовки разметки для лингвистических инструментов и NLP-конвейеров. Модель использует архитектуру CamembertForTokenClassification и содержит 137,8 млн параметров. Максимальная длина контекста составляет 514 токенов; доступны веса в форматах PyTorch, Safetensors и TensorFlow. Поддерживаемый язык — французский. Условия лицензии в доступных данных не приведены.

Koichi Yasuoka разработал LTG-BERT для японской морфологической разметки. Модель дообучена на базе HPLT/hplt_bert_base_ja и назначает каждому короткому слову тег части речи UPOS и грамматические признаки FEATS. Она предназначена для анализа японских предложений и подготовки структурированных лингвистических данных. Модель содержит 124,3 млн параметров, работает с текстом и поддерживает контекст до 512 токенов. Распространяется по лицензии Apache-2.0.

luke-japanese-large-lite — лёгкая японская версия предварительно обученного Transformer-моделя LUKE, разработанная Studio Ousia. Модель рассматривает слова и сущности в тексте как отдельные токены и строит их контекстуализированные представления. Это вариант без эмбеддингов сущностей Википедии; для задач, где такие сущности подаются на вход, нужна полная версия. В метаданных указаны архитектура LukeForMaskedLM, около 436,2 млн параметров, контекст до 514 токенов и задача fill-mask. README приводит результаты оценки на JGLUE для полной версии LUKE Japanese, но не уточняет, что они относятся именно к lite-варианту. Модель распространяется по лицензии Apache-2.0.

Koichi Yasuoka разработал ModernBERT-large для японского языка и предварительно обучил модель на японской Википедии и текстах библиотеки «Аодзора Бунко». Это плотная трансформерная модель с архитектурой ModernBERT и примерно 367,1 млн параметров; она принимает последовательности текста и предсказывает замаскированные токены. Максимальная длина контекста — 8192 токена. Модель предназначена для заполнения пропусков в японском тексте и как основа для дообучения под задачи разметки частей речи, синтаксического разбора зависимостей и другие задачи обработки японского языка. Доступны веса PyTorch; для загрузки в Transformers в README приведён пример с AutoTokenizer и AutoModelForMaskedLM, использующий trust_remote_code=True. Лицензия — Apache-2.0. Качество для конкретных задач зависит от дополнительного дообучения и оценки на целевых данных. В README не приведены результаты бенчмарков.

OpenMed-NER-GenomicDetect-TinyMed-66M — дообученная OpenMed модель для распознавания биомедицинских сущностей в тексте. Она использует архитектуру DistilBERT на базе distilbert-base-uncased и решает задачу token-classification, присваивая токенам BIO-метки; карточка указывает контекст до 512 токенов и поддержку английского языка. Модель предназначена для извлечения упоминаний клеточных линий из биомедицинских текстов и научной литературы, включая поиск сущностей в корпусе GELLUS. README также описывает применение в клиническом анализе текстов и биомедицинских исследованиях, однако перечень выходных меток ограничен B-Cell-line-name и I-Cell-line-name, поэтому заявления о распознавании генов, вариантов и лекарств не подтверждаются этим перечнем. Указанные в карточке метрики относятся к оценке на GELLUS. Модель опубликована под лицензией Apache-2.0 и совместима с Transformers. Практическая область применения ограничена английскими биомедицинскими текстами и распознаванием указанного типа сущностей; фактическое качество зависит от сходства входных данных с обучающим корпусом.

OpenMed-NER-SpeciesDetect-BigMed-560M — модель OpenMed для распознавания упоминаний видов и организмов в биомедицинском тексте. Это дообученная модель XLM-RoBERTa для токенной классификации: она помечает фрагменты текста тегами B-SPECIES и I-SPECIES и формирует BIO-разметку. Веса представлены в формате safetensors; модель содержит около 658,7 млн параметров, принимает контекст до 514 токенов и распространяется по лицензии Apache-2.0. Модель предназначена для извлечения названий видов из научной литературы и других биомедицинских текстов, включая научные и распространённые названия организмов. В README указано обучение на корпусе LINNAEUS. Её можно применять для поиска упоминаний организмов, таксономического анализа и подготовки данных для биомедицинского текстового майнинга. В README приведены F1 0,72, точность 0,66 и полнота 0,79; эти показатели требуют осторожной интерпретации, поскольку в той же карточке приведены существенно более высокие результаты других моделей на LINNAEUS, а описанные клинические сценарии не подтверждаются заявленными метками видов. Модель ориентирована на английский язык согласно тегам карточки; применимость к другим языкам не подтверждена.

OpenMed-ZeroShot-NER-Genomic-Base-220M — модель OpenMed для распознавания генетических сущностей в научных и биомедицинских текстах. Она основана на архитектуре GLiNER и дообучена на корпусе GELLUS; заявленный размер — 220 млн параметров. Модель принимает текст и возвращает найденные упоминания сущностей с метками. Zero-shot-интерфейс позволяет задавать типы сущностей при извлечении без отдельного дообучения под каждый тип. Основное назначение — поиск упоминаний генов и связанных с генетикой сущностей, включая варианты написания символов и названий. Модель подходит для анализа геномной литературы, курирования вариантов и исследований генетических ассоциаций. В README также заявлены клинический анализ текста и извлечение других биомедицинских сущностей, однако приведённый список типов меток ограничен Cell-line-name, поэтому охват произвольных категорий не гарантирован. Для тестового набора GELLUS указана F1-мера 0,72. Модель доступна под лицензией Apache-2.0 и совместима с экосистемой Hugging Face Transformers. Качество зависит от типа сущностей и порога извлечения; README рекомендует снижать threshold для редких или пользовательских типов. Контекстное окно и поддержка языков, кроме английского, не заявлены.

lisaterumi/postagger-portuguese — модель разметки частей речи для португальского языка. Она построена на BERTimbau и дообучена разработчиком на корпусе MacMorpho в течение 10 эпох; в карточке указаны 136,1 млн параметров и контекст до 512 токенов. Модель принимает текст и присваивает токенам грамматические метки, включая категории существительного, глагола, прилагательного и наречия. Она предназначена для морфосинтаксического анализа португальских текстов и построения NLP-конвейеров. В README сообщается F1 0,9826; веса опубликованы в форматах PyTorch и Safetensors. Лицензия в доступных данных не указана.

syssec-utd/py36-pylingual-v1-segmenter — модель семейства RoBERTa, разработанная как дообучение syssec-utd/py36-pylingual-v1-mlm для классификации токенов. Она обучена на наборе syssec-utd/segmentation-py36-pylingual-v1-tokenized и предназначена для сегментации последовательностей на уровне токенов. В метаданных указаны 136,3 млн параметров, контекст длиной 514 токенов и формат весов safetensors; для работы используется библиотека Transformers. В README сообщаются результаты на тестовой выборке: precision, recall, F1 и accuracy равны 1,0, loss — 0,0006. Сведений о языках, конкретной схеме сегментации и условиях практического применения карточка не содержит, поэтому эти результаты нельзя переносить на другие данные без проверки. Лицензия в предоставленных источниках не указана.

NlpHUST/vibert4news-base-cased — вьетнамская языковая модель семейства BERT, разработанная для работы с новостными текстами. Она предварительно обучена на более чем 20 ГБ новостных данных; архитектура соответствует BERT base и использует SentencePiece-токенизацию вместе с базовой токенизацией BERT. В репозитории опубликованы веса PyTorch и TensorFlow, а метаданные указывают класс BertForMaskedLM, размер около 160,9 млн параметров и контекст до 512 токенов. Модель предназначена для заполнения маски в тексте и служит основой для задач обработки вьетнамского языка. В README описано её применение в анализе тональности комментариев, сегментации слов и распознавании именованных сущностей через инструментарий ViNLP; для связанных сценариев приведены результаты на публичных наборах данных. Лицензия в доступных сведениях не указана.

Bioformer-8L — компактная модель BERT для анализа биомедицинских текстов, разработанная авторами Bioformer. Она обучена с нуля на корпусе из 33 миллионов рефератов PubMed и миллиона полнотекстовых статей PMC с биомедицинским словарём WordPiece. Модель предназначена для заполнения масок и может служить основой для дообучения под задачи извлечения и классификации биомедицинской информации. Архитектура включает 8 трансформерных слоёв, скрытый размер 512 и 8 голов внимания; в карточке указано около 42,8 млн параметров, а метаданные каталога — 50,3 млн. Максимальная длина входа составляет 512 токенов. Авторы сообщают, что модель работает примерно втрое быстрее BERT-base и показывает сопоставимые или лучшие результаты, чем BioBERT и PubMedBERT, на некоторых последующих задачах. Для использования доступны веса PyTorch, Safetensors и TensorFlow. Модель выпущена по лицензии Apache-2.0. Она ориентирована на английскую биомедицинскую литературу; карточка не подтверждает поддержку других языков. Описанные авторами результаты относятся к конкретным экспериментам и не гарантируют качество на произвольных задачах или корпусах.

CliSciBERT — англоязычная модель на базе SciBERT, разработанная для работы с научной литературой об изменении климата. Это BERT-модель с 137,1 млн параметров, дообученная методом продолженного предобучения с маскированным языковым моделированием на корпусе рецензируемых статей об изменении климата и экологических науках. Используются научный словарь и токенизатор SciBERT без изменений; длина контекста — до 512 токенов. Модель предназначена для заполнения пропусков в научных текстах и может служить основой для классификации текстов, извлечения отношений, тематической разметки, суммаризации и пополнения графов знаний в климатических исследованиях. В карточке приведена оценка ClimaBench: средний Macro F1 — 60,50; в описании также отмечено, что специализация повышает релевантность для климатической тематики. Модель рассчитана прежде всего на англоязычные научные тексты о климате. Она может хуже работать на общих новостях, неанглоязычных и разговорных текстах; токенизатор не адаптирован специально к климатической терминологии, а обучение на научной литературе может переносить её смещения. Лицензия — MIT.

Koichi Yasuoka выпустил модель на базе DeBERTa V2, дообученную на текстах японской библиотеки Аозора Бунко для разметки частей речи и морфологических признаков. Модель обрабатывает японский текст и присваивает каждому длинному слову метки UPOS и FEATS из схемы Universal Dependencies. В метаданных указаны 137,8 млн параметров, контекст до 512 токенов и формат PyTorch. Модель предназначена для токенной разметки японских текстов и может использоваться в лингвистическом анализе и подготовке данных для дальнейшей обработки. В README также указана задача синтаксического анализа зависимостей, однако в метаданных основной pipeline-тег — token-classification. Лицензия — CC BY-SA 4.0.

liyucheng/frame_finder — модель на архитектуре RoBERTa, разработанная для классификации семантических фреймов в предложениях по FrameNet v1.7. Разметка сведена к задаче последовательной классификации токенов: модель назначает метки фреймов словам в контексте предложения. Модель предназначена для анализа английского текста и автоматической разметки семантических ролей и фреймов в предложениях. Она содержит 151,8 млн параметров, имеет контекст длиной до 514 токенов и представлена в формате PyTorch. В README указаны accuracy, precision, recall и micro-F1 около 0,838, а macro-F1 — около 0,458. Модель обучена на FrameNet v1.7; репозиторий датасета указан как liyucheng/FrameNet_v17. Лицензия репозитория — CC. Низкое значение macro-F1 указывает на возможные трудности с редкими классами; качество может зависеть от распределения фреймов и соответствия входного текста обучающим данным.

GLiNER2-multi-v1-CMNEE — модель извлечения информации, дообученная whr778 на базе fastino/gliner2-multi-v1 с использованием датасета CMNEE. Она предназначена для извлечения событий из китайских военных новостей: определяет типы событий и триггерные фрагменты, а также извлекает аргументы и их роли. В датасете представлены 8 типов событий и 11 ролей аргументов. Модель использует библиотеку gliner2 и распространяется в формате safetensors. На отложенном тесте F1 для типов событий составил 0,986, для триггеров событий — 0,874, а для аргументов — 0,221 при строгом сопоставлении и 0,709 при расслабленном. Это указывает на заметно менее надёжное точное извлечение аргументов. Лицензия указана как other; условия её использования следует сверить с карточкой модели и источником датасета.

Koichi Yasuoka разработал эту модель на основе GPT-2 small, предварительно обученной на японской Википедии. Она дообучена для разметки японского текста: присваивает словам теги UPOS и признаки FEATS, то есть определяет части речи и грамматические характеристики. Модель рассчитана на анализ предложений на японском языке и использует архитектуру GPT-2 с контекстом до 1024 токенов. Модель можно применять для морфологического анализа японских текстов и подготовки лингвистически размеченных данных. Для работы требуется библиотека fugashi. Репозиторий содержит веса PyTorch и распространяется по лицензии CC BY-SA 4.0.

Koichi Yasuoka разработал LTG-BERT для разметки частей речи в текстах на белорусском языке. Модель дообучена на основе HPLT/hplt_bert_base_be и присваивает словам универсальные теги частей речи UPOS и признаки FEATS, что подходит для автоматического синтаксического анализа и подготовки языковых данных. Модель содержит 124,3 млн параметров, принимает текст и выдаёт метки для токенов. Контекст составляет до 512 токенов; веса доступны в формате PyTorch. Лицензия — Apache-2.0. Для работы с Transformers в README приведён пример pipeline с trust_remote_code=True и стратегией агрегации simple.

Koichi Yasuoka разработал ModernBERT Large — модель семейства ModernBERT, предварительно обученную на японской Википедии и текстах Aozora Bunko. Это языковая модель с архитектурой masked language model, предназначенная для заполнения пропусков в японском тексте и дообучения для задач обработки японского языка, например разметки частей речи и синтаксического анализа зависимостей. Модель содержит 409,7 млн параметров, принимает текст и поддерживает контекст до 8192 токенов. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Для загрузки в Transformers в README используется trust_remote_code=True. Карточка описывает предварительное обучение и возможные сценарии дообучения, но не приводит результатов оценивания качества; для прикладных задач потребуется проверка и, вероятно, дополнительная настройка.

Koichi Yasuoka разработал ModernBERT для анализа японского текста: модель размечает части речи и синтаксические зависимости, включая связи goeswith для субслов. Это дообученная версия KoichiYasuoka/modernbert-large-japanese-wikipedia-upos на датасете UD_Japanese-GSDLUW. Модель использует плотную архитектуру ModernBERT с классификационной головой для токенов и содержит 409,7 млн параметров. Она принимает текст на японском языке; нативная длина контекста — 8192 токена. В Transformers её можно запускать через pipeline с задачей universal-dependencies и агрегацией simple. Модель подходит для морфосинтаксического анализа японских текстов и может служить компонентом лингвистических конвейеров. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

my_awesome_wnut_model — дообученная модель DistilBERT для классификации токенов, созданная на основе distilbert/distilbert-base-uncased. Она предназначена для разметки отдельных токенов в тексте; README сообщает метрики на оценочном наборе: F1 0,4640, точность 0,5351 и полнота 0,4096. Модель использует архитектуру DistilBertForTokenClassification, принимает текст с контекстом до 512 токенов и распространяется по лицензии Apache-2.0. Набор меток и обучающие данные в карточке не описаны, а качество по приведённым метрикам ограничено.

OpenMed разработала OpenMed-NER-SpeciesDetect-ElectraMed-335M — дообученную модель на базе архитектуры BERT для распознавания названий видов и организмов в биомедицинских текстах. Она выполняет токенную классификацию с BIO-метками B-SPECIES и I-SPECIES и обучена на корпусе LINNAEUS, ориентированном на распознавание научных и общеупотребительных названий организмов в литературе. Модель принимает токенизированный текст и выдаёт метки сущностей; максимальная длина контекста составляет 512 токенов, размер — около 433,9 млн параметров. Указанный в карточке показатель F1 на LINNAEUS — 0,88. Модель предназначена для извлечения упоминаний видов и организмов из научных публикаций и других биомедицинских документов, в том числе для таксономического поиска и анализа литературы. Карточка также перечисляет клинический анализ текстов и обработку медицинских записей, но описанная задача и разметка специализированы на видах, поэтому извлечение лекарств и других типов сущностей не подтверждено. Модель доступна в формате safetensors и совместима с Transformers; лицензия — Apache-2.0.

OpenMed-ZeroShot-NER-Species-XLarge-770M — специализированная модель OpenMed для распознавания упоминаний видов и организмов в научной и биомедицинской литературе. Она построена на архитектуре GLiNER и дообучена на корпусе LINNAEUS; модель выявляет научные и общеупотребительные названия видов, а также их сокращения, и поддерживает zero-shot извлечение сущностей по заданным меткам. Модель предназначена для извлечения названий организмов при анализе литературы, отчетов по метагеномике и задачах таксономической разметки. В README заявлен F1 0,9548 на тестовом наборе LINNAEUS, исключенном из обучения. Модель принимает текст и возвращает разметку сущностей. Указанная лицензия — Apache-2.0. Карточка также заявляет более широкие медицинские сценарии и распознавание произвольных типов сущностей, но описание обучения и поддерживаемых меток сосредоточено на видах и корпусе LINNAEUS. Заявленные результаты относятся к этому набору данных и не гарантируют аналогичное качество на других доменах или языках.

Это экспериментальная дообученная модель Qwen3-ASR-0.6B для распознавания вьетнамской речи с ценами на продукты и разговорными обозначениями денежных сумм. Разработчик адаптировал её на синтетическом аудио, созданном VieNeu TTS, и примерах денежных сокращений от 1k до 999k; архитектура — Qwen3-ASR плотного типа, веса сохранены в safetensors. Модель предназначена для транскрибации вьетнамских высказываний о ценах и денежных суммах, включая варианты записи с суффиксом k. На тестовом наборе kvariants1184 указаны WER 18,28%, CER 6,51% и точность распознавания сумм 90,32%; проверка на VIVOS ещё не завершена. Перед применением на реальных записях разработчик рекомендует провести валидацию. Лицензия указана как other, поэтому условия её использования следует уточнить у автора.

KoichiYasuoka/roberta-base-korean-ud-goeswith — модель Koichi Yasuoka на архитектуре RoBERTa, дообученная на базе KoichiYasuoka/roberta-base-korean-hanja для разметки частей речи и синтаксического разбора зависимостей корейского текста. Для субслов используется метка goeswith. Модель подходит для лингвистического анализа предложений и построения синтаксических деревьев; в Hugging Face она отнесена к задаче классификации токенов. Модель содержит 143,4 млн параметров, работает с текстом и имеет контекстное окно до 514 токенов. В карточке указана лицензия CC BY-SA 4.0. Для использования через приведённый в README пример требуется Transformers с параметром trust_remote_code=True.

Koichi Yasuoka разработал эту модель на основе KoichiYasuoka/roberta-base-vietnamese: RoBERTa дообучена для разметки частей речи на вьетнамском языке. Она присваивает каждому слову тег UPOS из универсального набора частей речи и предназначена для анализа вьетнамских текстов; карточка также указывает на использование в разборе зависимостей. Модель содержит 137,8 млн параметров, принимает текст и имеет контекстное окно 512 токенов. Это модель token classification на PyTorch, обученная на данных Universal Dependencies. Лицензия — CC BY-SA 4.0.