I.3Извлечение и структурирование данных

MLMA_biogpt_tuned_1412 — дообученная на неизвестном наборе данных англоязычная модель Microsoft BioGPT для классификации токенов. Она предназначена для присвоения меток отдельным токенам текста; архитектура — GPT2ForTokenClassification, формат весов — safetensors, лицензия — MIT. Контекст модели составляет 1024 токена. В README приведены результаты на оценочном наборе: F1 0,5222, точность 0,4828, полнота 0,5685 и accuracy 0,9542. Область применения и состав меток не описаны, поэтому эти показатели не позволяют определить, для каких именно сущностей или разметки модель подходит. Базовая BioGPT разработана Microsoft и ориентирована на биомедицинскую литературу; переносить это назначение на конкретную задачу дообученной модели без сведений о данных нельзя.

KoichiYasuoka/modernbert-base-japanese-aozora-upos — дообученная модель ModernBERT, созданная Koichi Yasuoka на основе modernbert-base-japanese-aozora. Она размечает японский текст по коротким словесным единицам, назначая каждой тег части речи UPOS и признаки FEATS; карточка также указывает применение для синтаксического разбора зависимостей. Модель подходит для анализа японских предложений и подготовки лингвистически размеченных корпусов. Модель имеет плотную архитектуру ModernBERT и 160,2 млн параметров, принимает текст и выдаёт метки токенов. Нативная длина контекста — 8192 токена. Весы доступны в формате PyTorch, лицензия — Apache-2.0. Карточка демонстрирует использование через Transformers pipeline с пользовательским кодом.

OpenMed разработала специализированную модель распознавания клинических сущностей, дообученную для поиска понятий, связанных с хроническим лимфолейкозом (ХЛЛ), в биомедицинских текстах. Она основана на архитектуре BERT и BiomedNLP-BiomedELECTRA-base-uncased-abstract и содержит 136,7 млн параметров. Модель принимает токенизированный текст и возвращает BIO-разметку; поддерживаемые метки — B-CL и I-CL. Максимальная длина контекста составляет 512 токенов. Модель предназначена для извлечения терминов ХЛЛ из медицинских документов и научной литературы, включая задачи клинического текстового анализа и биомедицинских исследований. В README указаны F1 0,75, точность 0,67 и полнота 0,85; эти результаты не гарантируют аналогичного качества на других данных. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

OpenMed разработала специализированную модель распознавания клинических сущностей, дообученную для выявления понятий, связанных с хроническим лимфолейкозом (CLL), в биомедицинских текстах. Она использует архитектуру BERT для классификации токенов и выдаёт разметку сущностей в формате BIO; заявленная базовая архитектура — BiomedNLP-BiomedBERT-base-uncased-abstract. Модель принимает токенизированный текст и поддерживает контекст до 512 токенов. Модель предназначена для извлечения терминов CLL из медицинских записей и научных публикаций, включая упоминания заболевания, биомаркеров, лечения и клинических понятий. В карточке указаны метрики на наборе CLL: F1 0,57, точность 0,76 и полнота 0,45, поэтому извлечённые сущности требуют проверки, особенно при сценариях, где пропуски критичны. Репозиторий распространяется под лицензией Apache-2.0.

OpenMed-ZeroShot-NER-Species-Small-166M — модель OpenMed для извлечения из текста упоминаний видов и организмов. Она построена на архитектуре GLiNER и дообучена на корпусе LINNAEUS, содержащем научные и общеупотребительные названия видов; в карточке также заявлена обработка сокращённых форм. Модель принимает биомедицинский текст и возвращает найденные сущности с метками, поддерживая zero-shot настройку типов сущностей. Модель предназначена для извлечения названий организмов из научной литературы и биомедицинских текстов, включая задачи индексирования литературы, метагеномных отчётов и анализа биоразнообразия. В README указана оценка F1 0,78 на тестовой выборке LINNAEUS, не использованной при обучении. Это специализированная модель распознавания видов, поэтому качество на других типах сущностей и в иных текстовых доменах не подтверждено приведёнными результатами. Распространяется по лицензии Apache-2.0.

Question Answering NLU (QANLU) — модель AmazonScience, дообученная на наборе ATIS для понимания запросов о авиаперелётах. Она представляет NLU-задачи как ответы на вопросы на естественном языке: по тексту высказывания можно задавать вопросы об намерении пользователя и значениях слотов, например о типе поездки, времени вылета или цене. Такой подход предназначен для извлечения намерений и сущностей в сценариях с небольшим количеством примеров; контекст может включать префикс «Yes. No.» для ответов на вопросы об намерениях. Модель использует архитектуру RoBERTa для question answering, содержит 151,8 млн параметров и рассчитана на контекст до 514 токенов. Принимает текст на английском языке и выдаёт текстовые ответы. Она обучена на английских примерах ATIS и предназначена для демонстрации подхода; для других предметных областей и задач README рекомендует дообучение на подходящих данных. Лицензия — CC BY 4.0.

GreenMap/qwen3-vl-2b-ru-blueprint-extractor — дообученная GreenMap мультимодальная модель на базе Qwen/Qwen3-VL-2B-Instruct для анализа русскоязычных строительных чертежей. Она принимает изображение фрагмента плана с выделенным красным прямоугольником и текстовую инструкцию, а в ответ формирует JSON с типом и длиной стены. Модель предназначена для определения типа и длины стены, чтения размеров на размерных линиях и попытки восстановить полную длину стены по фрагменту. Структурированный результат можно использовать при подготовке данных для BIM/IFC и автоматизации обработки проектной документации. Архитектура — плотная Qwen3-VL для условной генерации; в репозитории указаны веса safetensors, лицензия Apache-2.0. Основной язык чертежей — русский. Автор прямо предупреждает, что модель сырая и не рекомендует её к использованию. Точность извлечения длины и типа стены не гарантирована; для нераспознаваемого объекта или неопределимой длины предусмотрены специальные значения результата.

Koichi Yasuoka разработал японскую RoBERTa, дообученную на разметке Universal Dependencies для морфосинтаксического анализа. Модель основана на nlp-waseda/roberta-base-japanese, предварительно обученной на японской Википедии и текстах CC-100, и использует архитектуру RoBERTa с головой классификации токенов; в репозитории около 137,8 млн параметров, контекст — 514 токенов. Модель предназначена для определения частей речи и анализа зависимостей в японском тексте, включая обработку подслов с меткой goeswith. Её можно применять для автоматической грамматической разметки и подготовки данных для лингвистического анализа. Для работы через Transformers в README требуется fugashi. Лицензия — CC-BY-SA-4.0.

Koichi Yasuoka разработал эту модель как корейскую RoBERTa для восстановления замаскированных токенов и дальнейшего дообучения под задачи анализа текста. Она основана на klue/roberta-base и расширяет набор токенов, добавляя базовые и используемые в именах собственных ханча. Модель содержит 143,4 млн параметров, построена на архитектуре RoBERTa и рассчитана на контекст до 514 токенов. Модель подходит для заполнения пропусков в корейском тексте и может служить основой для дообучения на разметку частей речи и синтаксический анализ зависимостей. Для загрузки используются Transformers и PyTorch. Лицензия — CC BY-SA 4.0.

Koichi Yasuoka разработал модель на архитектуре RoBERTa для морфологической разметки корейского текста. Она назначает каждому морфему тег части речи UPOS из универсального набора и предназначена для автоматической обработки корейских текстов; карточка также указывает на обучение для синтаксического разбора зависимостей. Модель дообучена на основе KoichiYasuoka/roberta-base-korean-hanja с использованием morphUD-korean. Модель содержит 143,4 млн параметров, принимает текст и выдаёт последовательность меток токенов. Максимальная длина контекста — 514 токенов. Репозиторий содержит веса PyTorch, лицензия — CC BY-SA 4.0. Ограничение по назначению: разметка UPOS описана для морфем корейского языка; применение для других языков карточкой не подтверждено.

Koichi Yasuoka разработал эту модель на основе RoBERTa large, предварительно обученной на корейских текстах, и дообучил её для морфологической разметки. Модель присваивает каждому корейскому морфему тег части речи UPOS из универсального набора; карточка также указывает назначение для синтаксического анализа зависимостей. Архитектура — RoBERTa для классификации токенов, размер — 442,9 млн параметров, максимальный контекст — 514 токенов. Модель предназначена для автоматической разметки корейского текста по морфемам, включая определение частей речи, а также для анализа синтаксических зависимостей. Её можно использовать через библиотеку esupar для обработки предложений на корейском языке. Репозиторий содержит веса PyTorch; лицензия — CC BY-SA 4.0.

Это модель разметки границ сегментов типа situation entity в тексте, разработанная авторами репозитория coling-unia. Она дообучена на FacebookAI/xlm-roberta-large: к энкодеру добавлены линейный классификатор и CRF-декодер, который восстанавливает последовательность тегов B-EDU и I-EDU для токенов. Сегменты соответствуют непрерывным фрагментам на уровне придаточных или клауз, описывающим один тип ситуации. Модель предназначена для сегментации английских предложений по типам ситуаций и анализа аспектуальной структуры текста. В README сообщается о F1 0,907 для границ B-EDU на тестовой выборке. Хотя мультиязычная основа может помочь переносу на другие языковые варианты, обучение и оценка проводились на английском корпусе; качество переноса не подтверждено. Для инференса рекомендуется сначала разбивать текст на предложения и токенизировать их с помощью spaCy, как в обучении; последовательности длиннее 512 токенов нужно делить на части. Весы опубликованы по лицензии MIT, при этом данные обучения лицензированы Apache 2.0.

stanfordnlp/stanza-cy — модель Stanza для валлийского языка, подготовленная командой Stanford NLP. Она входит в набор инструментов Stanza для лингвистического анализа текста и предназначена для разметки токенов; метаданные Hugging Face указывают задачу token-classification. Модель можно применять как компонент конвейера NLP для анализа текста на валлийском языке. Stanza в целом охватывает задачи от обработки исходного текста до синтаксического анализа и распознавания сущностей, однако карточка этой модели не уточняет, какие именно виды разметки токенов поддерживает данный чекпойнт. Модель хранится в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели, длину контекста или ограничения точности.

kktoto/tiny_focal_v2_label — модель токенной классификации на базе BERT, обученная разработчиком с нуля на неизвестном наборе данных. Она предназначена для присвоения меток отдельным токенам текста; конкретный тип разметки и целевая область применения не описаны. Модель содержит 12,6 млн параметров, использует PyTorch и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: F1 0,6861, точность 0,9513, полнота 0,6747 и loss 0,0558. Эти показатели относятся к неописанной тестовой выборке, поэтому по ним нельзя судить о качестве на других данных. Лицензия в доступных сведениях не указана.

wangchanberta-ud-thai-pud-upos — модель Pavarissy, дообученная на базе airesearch/wangchanberta-base-att-spm-uncased на корпусе Universal Dependencies Thai PUD. Она размечает тайский текст универсальными частями речи (UPOS), присваивая метку каждому токену. Модель основана на архитектуре CamemBERT, содержит 132,5 млн параметров, работает с текстом и поддерживает контекст до 512 токенов. Модель предназначена для автоматической морфосинтаксической разметки тайского текста и может использоваться в конвейерах анализа языка. На оценочном наборе указана точность 0,9883 и macro F1 0,9199. Лицензия в предоставленных данных не указана.

Davlan/xlm-roberta-base-finetuned-naija — модель XLM-RoBERTa, дообученная на корпусе нигерийского пиджина. Она использует архитектуру XLMRobertaForMaskedLM, содержит около 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель предназначена для предсказания замаскированных токенов; автор также сообщает о результатах на задаче распознавания именованных сущностей в новостных текстах на нигерийском пиджине. Модель дообучена на JW300 и BBC Pidgin. В тесте MasakhaNER средний F1 за пять запусков составил 90,00 против 87,26 у XLM-R. Результаты могут хуже переноситься на другие предметные области: обучающие данные ограничены новостями с разметкой сущностей за определённый период. Лицензия в предоставленных данных не указана.

wietsedv/xlm-roberta-base-ft-udpos28-hi — модель семейства XLM-RoBERTa, дообученная для разметки частей речи на хинди по Universal Dependencies v2.8. Она принимает текст и присваивает метку каждому токену, что подходит для морфосинтаксического анализа и подготовки корпусов. Модель построена на архитектуре XLMRobertaForTokenClassification и содержит 305,2 млн параметров. Максимальная длина контекста составляет 514 токенов. Разработчик указывает, что модель связана с исследованием по кросс-языковому переносу для POS-разметки более чем 100 языков; данный чекпойнт предназначен для хинди. Для использования доступны веса PyTorch и библиотека Transformers. Лицензия — Apache-2.0. Карточка не описывает точность и другие результаты оценки, поэтому качество на конкретном домене следует проверять отдельно; контекст ограничен 514 токенами.

Это дообученная модель c-ho/2026-07-14-crf-classweights-clean-modernbert для классификации токенов. Она основана на jhu-clsp/mmBERT-base и использует архитектуру ModernBERT с CRF-слоем; в метаданных указано 306,9 млн параметров, контекст до 8192 токенов и формат safetensors. Модель предназначена для разметки текстовых фрагментов по категориям лингвистических понятий, включая морфологические, синтаксические, фонологические и лексические явления, а также сведения о языковых ресурсах и терминах.

BioBIT — итальянская биомедицинская языковая модель на архитектуре BERT, разработанная авторами исследования и доступная в виде контрольной точки для заполнения пропусков в тексте. Она построена на основе Italian XXL BERT и дополнительно предобучена на итальянском биомедицинском корпусе, полученном машинным переводом аннотаций PubMed. Обучение использовало задачи masked language modeling и next sentence prediction. Модель содержит 137,1 млн параметров и обрабатывает последовательности до 512 токенов. Её основная задача в каталоге — предсказывать замаскированные токены; исследование также оценивало её применение для распознавания биомедицинских сущностей, извлечения ответов и извлечения отношений. Модель ориентирована на итальянские биомедицинские тексты. Условия лицензирования в предоставленных данных не описаны.

CNMBert — китайская BERT-модель, разработанная для преобразования сокращений, записанных начальными буквами пиньиня, в китайские слова и выражения. Она основана на hfl/chinese-bert-wwm-ext и адаптирована к этой задаче изменением задачи предобучения. В метаданных указана архитектура BertForMaskedLM, 167,2 млн параметров, максимальный контекст 512 токенов и формат safetensors. Модель предназначена для раскрытия сокращений вроде «bhys» в «不好意思» и «ys» в «原神». README также описывает варианты CNMBert-Default и CNMBert-MoE, обученные на корпусе из двух миллионов записей Википедии и Zhihu, и приводит сравнительные показатели точности и ранжирования. Автор заявляет о результатах уровня SOTA относительно дообученных GPT-моделей и GPT-4o; это утверждение README, не независимая оценка. Для применения требуются китайский текст и соответствующий токенизатор; модель выдаёт текстовые кандидаты для подстановки вместо сокращения. README отмечает ограниченную обобщающую способность из-за небольшого обучающего корпуса и допускает дополнительное дообучение. Лицензия модели — AGPL-3.0.

Koichi Yasuoka разработал модель DeBERTa V2 для морфосинтаксического анализа японского текста. Она дообучена на корпусе UD_Japanese-GSDLUW на основе KoichiYasuoka/deberta-base-japanese-aozora, предварительно обученной на текстах японской цифровой библиотеки Aozora Bunko. Модель выполняет разметку частей речи и синтаксический анализ зависимостей; для обработки подслов используется отношение goeswith. В каталоге Hugging Face её основная задача обозначена как token-classification. Модель содержит 137,8 млн параметров, работает с текстом и рассчитана на контекст до 512 токенов. Она предназначена для анализа японских предложений и возвращает структурированные синтаксические метки. Распространяется по лицензии CC BY-SA 4.0. Для использования в Transformers в README указан pipeline universal-dependencies с trust_remote_code=True.

shashankmc/gysbert-citation-ner-v2b — модель на основе BERT, дообученная на GysBERT для обнаружения в нидерландских текстах полных ссылок на римское право. Она размечает токены в формате BIO-2: метка LEG охватывает цитату целиком, например «L 1 § 2 ff de minoribus»; предназначена для автоматического извлечения таких ссылок из исторических юридических рукописей. Модель содержит 136,7 млн параметров, использует контекст до 512 токенов и распространяется в формате safetensors. На отложенной рукописи модель показала F1 67,0%, точность 71,1% и полноту 63,3% при окне обработки 512 подслов; рекомендованный порог уверенности — 0,5. Результат оценки основан на сравнении с эталонным методом проекта и не гарантирует такую же точность на других рукописях. Лицензия в предоставленных данных не указана.

Koichi Yasuoka разработал японскую модель разметки частей речи на основе karasu-1.1B. Она присваивает каждому короткому слову универсальную часть речи UPOS и грамматические признаки FEATS, что подходит для синтаксического анализа и подготовки японских текстов к лингвистической обработке. Модель построена на плотной архитектуре LLaMA, содержит около 1 млрд параметров и имеет контекст длиной 2048 токенов. Она принимает текст и выдаёт метки для его токенов. Модель распространяется по лицензии Apache-2.0.

wls04/math_cau4 — дообученная модель семейства Qwen2 для классификации токенов. Она основана на Qwen/Qwen2.5-Math-1.5B-Instruct и обучалась с помощью TRL. Архитектура — плотная Qwen2ForTokenClassification, размер — 1,5 млрд параметров; максимальная длина контекста составляет 4096 токенов. Модель предназначена для задач разметки отдельных токенов во входном тексте. Карточка указывает на обучение в области математики, но не описывает конкретные классы разметки или качество на задачах; пример запуска в README относится к генерации текста и расходится с архитектурой классификации токенов. Для использования доступны веса в формате safetensors; лицензия в предоставленных данных не указана.

Koichi Yasuoka разработал эту ModernBERT-модель на основе KoichiYasuoka/modernbert-base-japanese-aozora, предварительно обученной на текстах 青空文庫. Модель размечает японские длинные единицы слов тегами UPOS и FEATS для определения частей речи и синтаксического анализа зависимостей. Она принимает текст и выдаёт разметку токенов; в метаданных указаны 160,2 млн параметров и контекст до 8192 токенов. Модель подходит для автоматической разметки японских текстов и построения лингвистических конвейеров. Распространяется по лицензии Apache-2.0.

stanfordnlp/stanza-el — модель из набора Stanza, разработанного Stanford NLP для лингвистического анализа греческого языка. Она предназначена для разметки текста на уровне токенов в составе инструментов Stanza; набор также охватывает синтаксический анализ и распознавание сущностей, но карточка этой модели подтверждает только задачу token-classification. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели или длину контекста.

Koichi Yasuoka разработал DeBERTa(V2) base для китайского языка и предварительно обучил её на статьях китайской Википедии, включая упрощённое и традиционное письмо. Модель содержит 133,7 млн параметров, принимает текст и поддерживает контекст длиной до 512 токенов. Основная задача модели — восстановление замаскированных фрагментов текста. Её можно дообучать для последующих задач обработки китайского языка, например разметки частей речи и синтаксического анализа зависимостей. Репозиторий содержит веса PyTorch; модель распространяется по лицензии CC BY-SA 4.0.

Японская модель DeBERTa V2 для разметки частей речи и синтаксического анализа зависимостей с обработкой составных слов и их фрагментов по схеме goeswith. Она дообучена на базе ku-nlp/deberta-v2-base-japanese на текстах японской Википедии, CC-100 и OSCAR; в README приведён пример запуска через Transformers для разбора японского предложения. Модель содержит 137,8 млн параметров, принимает последовательности длиной до 512 токенов и распространяется под лицензией CC BY-SA 4.0. Для токенизации требуется fugashi.

Koichi Yasuoka разработал GPT-2 для морфологического анализа японского текста. Модель дообучена на основе ku-nlp/gpt2-small-japanese-char и размечает короткие словные единицы тегами UPOS и FEATS; карточка также указывает поддержку синтаксического разбора зависимостей. В каталоге задача модели обозначена как token-classification. Модель принимает японский текст и возвращает разметку токенов. Она основана на плотной архитектуре GPT-2, использует веса PyTorch и имеет контекст длиной 1024 токена. Лицензия — CC BY-SA 4.0. Карточка демонстрирует использование через Transformers pipeline с параметром trust_remote_code=True.

Это экспериментальный контрольный пункт для генеративного извлечения открытой информации на португальском языке (OpenIE): модель преобразует предложение в текстовые отношения вида ARG0, V, ARG1. Репозиторий bratao содержит полную причинную языковую модель с архитектурой LlamaForCausalLM, а не небольшой LoRA-адаптер; метаданные указывают 6,6 млрд параметров, контекст 4096 токенов и базовую модель NousResearch/Llama-2-7b-hf. Используется формат PyTorch и библиотека Transformers. Модель предназначена для экспериментального извлечения субъектно-глагольно-объектных отношений из португальских предложений. README описывает шаблон запроса, начинающийся с инструкции на португальском и поля S с исходным предложением, но также указывает, что происхождение контрольного пункта, точный шаблон и связь с опубликованными оценками не согласованы. Упомянутые в README метрики относятся к несверенным артефактам и не должны считаться результатами этой версии. Выводы могут быть неполными, некорректно оформленными, дублированными или вымышленными; каждое извлечение следует сверять с исходным предложением. Для весов требуется около 13,48 ГБ загрузки, а запуск без квантизации обычно требует не менее 16 ГБ свободной видеопамяти с дополнительным запасом либо выгрузки части вычислений в память CPU. Лицензию и условия использования следует уточнить перед применением: README прямо отмечает необходимость прояснения лицензии.