I.3Извлечение и структурирование данных

OpenMed-NER-OrganismDetect-SuperClinical-141M — специализированная модель OpenMed для распознавания упоминаний видов организмов в биомедицинских текстах. Она дообучена на корпусе SPECIES800 и построена на архитектуре DeBERTa V3 Small; метаданные указывают класс DeBERTa V2 для классификации токенов, 155 млн параметров и контекст до 512 токенов. Модель принимает токенизированный текст и предсказывает BIO-метки B-SPECIES и I-SPECIES для названий видов, включая научные и общепринятые названия. Модель предназначена для извлечения упоминаний организмов из научной литературы, клинических документов и других биомедицинских текстов, а также для анализа биоразнообразия и таксономических упоминаний. В README приведены F1 0,76, точность 0,73 и полнота 0,79 на SPECIES800. Лицензия — Apache-2.0. Заявленные в README сценарии включают поиск организмов в документах и поддержку биомедицинского текстового анализа. Несмотря на более широкие примеры применения в карточке, модель размечает только сущности видов: она не извлекает лекарства или химические соединения и сама по себе не выявляет лекарственные взаимодействия.

OpenMed разработала OpenMed-NER-SpeciesDetect-SuperMedical-355M — дообученную модель RoBERTa для распознавания названий видов и организмов в тексте. Она размечает упоминания BIO-тегами B-SPECIES и I-SPECIES и предназначена для извлечения таксономических сущностей из научной и биомедицинской литературы, клинических текстов и других документов. Модель содержит 454,1 млн параметров, принимает токенизированный текст и поддерживает контекст длиной до 514 токенов. В README указано обучение на корпусе LINNAEUS; среди целевых применений — поиск упоминаний организмов, анализ научной литературы и построение биомедицинских баз знаний. В карточке приведены F1 0,94, точность 0,92 и полнота 0,97, однако условия оценки подробно не описаны. Модель распространяется в формате safetensors по лицензии Apache-2.0 и интегрируется с Transformers. Она распознаёт сущности видов, поэтому заявленные в README сценарии вроде извлечения лекарств или выявления взаимодействий препаратов не следует считать подтверждёнными возможностями. Основной язык карточки — английский; качество на других языках не заявлено.

Pula-XLMR-large-v0.1 — крупная модель-энкодер семейства XLM-RoBERTa, разработанная Nathan Brown и Vukosi Marivate в рамках серии BOTS-LM. Она основана на Davlan/afro-xlmr-large и дообучена на корпусах текстов, инструкций и синтетических данных на сетсвана и английском языках. В карточке модели указан тип XLM-RoBERTa, а метаданные сообщают о 658,7 млн параметров и контексте до 514 токенов. Модель предназначена прежде всего для предсказания замаскированных токенов; авторы также описывают потенциальное применение в задачах на сетсвана и английском, включая разметку именованных сущностей и частей речи. README упоминает использование для диалогов и следования инструкциям, однако метаданные и архитектура указывают на masked language model, а не генеративную чат-модель. Поддерживаемые языки — сетсвана и английский. Указанный в карточке лицензионный статус не определён.

syssec-utd/py310-pylingual-v1-segmenter — дообученная модель семейства RoBERTa для классификации токенов и сегментации последовательностей. Она дообучена на syssec-utd/segmentation-py310-pylingual-v1-tokenized на базе syssec-utd/py310-pylingual-v1-mlm. Модель содержит 136,3 млн параметров, работает через Transformers и принимает контекст длиной до 514 токенов. Модель предназначена для выделения сегментов в токенизированных последовательностях набора py310-pylingual. На тестовой выборке указаны precision 0,9931, recall 0,9901, F1 0,9916 и accuracy 0,9977. Эти результаты относятся к указанной оценочной выборке; сведений о лицензии и более широких сценариях применения в предоставленных данных нет.

py313-pylingual-v3-segmenter — модель Syssec UTD для сегментации текста на уровне токенов. Это дообученная на наборе syssec-utd/segmentation-py313-pylingual-v3-tokenized модель syssec-utd/py313-pylingual-v3-mlm, построенная на архитектуре RoBERTa и реализованная как RobertaForTokenClassification. Она содержит 136,3 млн параметров, принимает последовательности длиной до 1026 токенов и использует библиотеку Transformers. Модель предназначена для разметки токенов при сегментации текста. В карточке приведены результаты оценки: F1 0,9945, точность 0,9983, precision 0,9945 и recall 0,9944. Языки и конкретные правила сегментации не описаны, поэтому область применения за пределами указанного набора данных неясна. Весовой формат — safetensors; лицензия в предоставленных данных не указана.

syssec-utd/py37-pylingual-v1-segmenter — дообученная модель на архитектуре RoBERTa для классификации токенов и сегментации текста. Она обучена на наборе syssec-utd/segmentation-py37-pylingual-v1-tokenized на основе syssec-utd/py37-pylingual-v1-mlm. Модель содержит 136,3 млн параметров, использует библиотеку Transformers и формат safetensors; длина контекста составляет 514 токенов. Модель предназначена для разметки токенов, необходимой для сегментации текстов на py37-pylingual. В README приведены результаты на оценочном наборе: F1 0,9956, точность 0,9987, precision 0,9947 и recall 0,9964. Лицензия и более подробные сведения о назначении, языковой поддержке и ограничениях в предоставленных данных отсутствуют.

Qwen3OIE-0.6B — компактная модель для абстрактивного извлечения открытой информации на португальском языке, разработанная на основе Qwen/Qwen3-0.6B. Она принимает отдельное предложение и генерирует одно или несколько отношений в JSON с полями ARG0, V и ARG1. Это дообученная причинная языковая модель семейства Qwen3 на 507,9 млн параметров; репозиторий содержит веса safetensors, лицензия — Apache-2.0. Контекст базовой архитектуры составляет 40 960 токенов, но обучение модели использовало последовательности до 2 048 токенов, а более длинные входы не оценивались. Модель предназначена для структурирования отношений в португальских предложениях, например для извлечения субъектов, предикатов и объектов из энциклопедических текстов. На локальных экспериментах она может работать на CPU, но генерация носит абстрактивный характер: формулировки могут нормализоваться или выводиться моделью, а не буквально копироваться из источника. В оценке на 100 предложениях из небольшого набора данных F1 составил 0,1369 для точного совпадения и 0,3005 для лексического совпадения; эти результаты не гарантируют качество на других типах текста. Модель может пропускать или дублировать отношения, галлюцинировать и выдавать некорректный JSON, поэтому извлечённые поля следует проверять по исходному предложению.

Koichi Yasuoka разработал RoBERTa-модель для морфосинтаксической разметки тайского языка. Она дообучена на текстах тайской Википедии на базе KoichiYasuoka/roberta-base-thai-spm и присваивает словам теги UPOS — универсальные части речи. Модель также описана как предназначенная для синтаксического анализа зависимостей. Модель содержит 115,6 млн параметров, использует архитектуру RoBERTa и принимает текст с контекстом до 512 токенов. Репозиторий содержит веса PyTorch. Лицензия Apache-2.0.

KoichiYasuoka/roberta-base-ukrainian-upos — модель RoBERTa для разметки украинского текста. Она дообучена на корпусе UberText на основе KoichiYasuoka/roberta-base-ukrainian и классифицирует каждый токен по универсальной части речи UPOS. Модель также предназначена для синтаксического анализа зависимостей. Модель содержит 136,3 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в формате PyTorch. Её можно применять для морфологического анализа украинского текста и подготовки данных для синтаксического разбора. Лицензия — CC BY-SA 4.0.

slm-125m-sft — англоязычная плотная модель семейства Llama на 125,8 млн параметров, разработанная Prajwal55 и дообученная на вопросах и ответах по судебным решениям США и документам SEC. Она предназначена для извлечения ответов из предоставленного пользователем фрагмента текста: сам фрагмент необходимо включать в запрос, поскольку у модели нет полезных знаний для ответов без него. Модель принимает текст и генерирует текстовый ответ; контекст ограничен 1024 токенами. Обучение проводилось на 8 000 синтетических пар QA, созданных с помощью DeepSeek V4 Flash и проверенных на связь ответа с источником. На отложенных данных содержательно корректными были около 60% ответов, около 10% ответов были явно неверными; возможны ошибки при копировании чисел. Модель не подходит для использования, где ошибки в юридических или финансовых утверждениях могут иметь последствия. Лицензия — Apache-2.0.

Stanza для фарерского языка (fo) — модель лингвистического анализа текста из набора инструментов Stanza, разработанного Stanford NLP. Она предназначена для обработки текста на фарерском языке в задачах NLP; метаданные Hugging Face относят её к классификации токенов. Stanza предлагает инструменты анализа от исходного текста до синтаксического разбора и распознавания сущностей. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Stanza для армянского языка — модель из набора инструментов лингвистического анализа, разработанного Stanford NLP. Репозиторий содержит модель PyTorch для разметки токенов; Stanza также предоставляет инструменты для синтаксического анализа и распознавания сущностей, но карточка не уточняет, какие из этих функций входят именно в эту модель. Модель предназначена для анализа армянского текста в составе Stanza. Репозиторий опубликован под лицензией Apache-2.0.

Это модель Stanza для португальского языка из набора лингвистических инструментов Stanford NLP. Она предназначена для анализа текста и разметки токенов в конвейере Stanza; семейство Stanza также поддерживает синтаксический анализ и распознавание сущностей. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели, длину контекста или конкретные схемы разметки. Для использования необходима библиотека Stanza.

Stockmark-DocReasoner-Qwen2.5-VL-32B — мультимодальная модель Stockmark Inc., дообученная на базе Qwen2.5-VL-32B-Instruct для понимания и анализа японских документов, особенно в производственной отрасли. Она принимает изображения документов и текстовые запросы, а в ответ формулирует текст с рассуждениями и извлечённой информацией. Модель предназначена для работы с технической документацией, инженерными чертежами, экспериментальными отчётами, деловыми документами, таблицами, графиками и схемами. Она поддерживает диалог и визуальный анализ, а карточка указывает контекст до 128 000 токенов. Для запуска в Transformers требуется версия 4.49.0 или новее; также описан запуск через vLLM. Модель содержит 32 млрд параметров и распространяется в формате safetensors по лицензии Apache-2.0. Её специализация на японских производственных и деловых документах ограничивает применимость за пределами этих сценариев; опубликованные в README таблицы результатов оценки опущены, поэтому численные показатели качества здесь не приводятся.

google/tapas-small-masklm — компактная модель семейства TAPAS от Google для восстановления замаскированных токенов в табличном тексте. Она соответствует варианту tapas_masklm_small_reset из исходного репозитория и предназначена для задач предобучения и обработки представлений таблиц с помощью языкового моделирования. Модель содержит 32,4 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Лицензия в предоставленных данных не указана.

Telugu-vaachakam — созданная veeranool с нуля BERT-модель для понимания текстов на телугу и предсказания замаскированных токенов. Это encoder-only модель с архитектурой BERT и 334 млн параметров по метаданным; в README указано около 268 млн параметров. Модель использует словарь из 64 000 Telugu WordPiece токенов и принимает последовательности длиной до 512 токенов. Основная задача модели — fill-mask. Её также можно дообучать для распознавания именованных сущностей, классификации и извлечения ответов из текста; в README приведён результат на тестовой части PAN-X.te для NER. Модель не является генеративным чат-ботом. Она рассчитана на телугу, а качество для других языков и задач, не перечисленных в карточке, не подтверждено. Модель распространяется по лицензии MIT. Диагностика языкового моделирования в README не использовала отложенную валидационную выборку, поэтому указанные метрики не следует считать оценкой на независимых данных; результаты NER относятся к конкретному протоколу тонкой настройки.

Tongda1-1.5B-BKI — дообученная с помощью LoRA модель Qwen2-1.5B-Instruct от разработчика Tongda для извлечения структурированных сведений из китайских объявлений о торгах и результатах закупок. Она выделяет, например, название проекта, тип объявления, бюджет, сроки подачи документов, заказчика, место вскрытия заявок и регион, чтобы передавать эти данные в системы закупок и последующей обработки документов. Модель построена на плотной архитектуре Qwen2ForCausalLM, содержит 1,5 млрд параметров и использует контекст до 32 768 токенов. Она принимает текст и генерирует текст с извлечёнными полями. Для обучения использовались китайские объявления о торгах; репозиторий указывает датасет Tongda/bid-announcement-zh-v1.0. Модель распространяется в формате Safetensors через Transformers и PEFT по лицензии Apache-2.0. Узкая специализация и небольшой размер отличают её для извлечения сведений из закупочных объявлений; README сообщает о сравнительных оценках выше базовой модели на приведённых метриках. Качество может снижаться на документах с необычной структурой, а для других языков и тематика вне торгов модель не предназначена.

CAMeL-Lab разработала CAMeLBERT-Mix POS-MSA — модель разметки частей речи для арабского языка в варианте современного литературного арабского (MSA). Это BERT-модель с плотной архитектурой, дообученная на базовой CAMeLBERT-Mix на наборе PATB; она присваивает метку каждому токену. Модель содержит 136,3 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для морфосинтаксической разметки арабских текстов и может использоваться через pipeline библиотеки Transformers, в том числе как компонент анализа текста. Она поддерживает арабский язык. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Riprobot/bert-ner-demo — дообученная модель BERT для классификации токенов, основанная на BAAI/bge-small-en-v1.5. Она предназначена для извлечения меток на уровне токенов; название репозитория указывает на демонстрацию распознавания именованных сущностей (NER), но типы сущностей и обучающий набор данных не описаны. Модель содержит около 40 млн параметров, использует библиотеку Transformers и формат Safetensors; максимальная длина контекста — 512 токенов. В карточке приведены результаты оценки: F1 0,9360, точность 0,9293, полнота 0,9427 и accuracy 0,9823. Указана лицензия MIT. Описание не раскрывает набор меток, язык данных и ограничения оценки, поэтому результаты не гарантируют качество на других текстах.

EMBO/bio-lm — предварительно обученная языковая модель RoBERTa base, разработанная на основе roberta-base и дополнительно обученная командой EMBO на задаче восстановления замаскированных токенов. Обучение проводилось на наборе BioLang: около 12 миллионов англоязычных научных текстовых примеров из аннотаций и подписей к рисункам в публикациях по биологии и наукам о жизни. Модель предназначена прежде всего для дальнейшей тонкой настройки под прикладные задачи, в частности классификацию токенов. В готовом виде она поддерживает заполнение пропусков в тексте; примеры использования следует запускать с токенизатором roberta-base. Архитектура — плотная RoBERTa с примерно 151,8 млн параметров и контекстом до 514 токенов. Доступны форматы PyTorch и Flax. Модель специализируется на англоязычном научном тексте о науках о жизни, что может быть полезно при адаптации для извлечения и разметки биомедицинских сущностей. Для конкретных прикладных задач её необходимо дообучить. Лицензия в предоставленных данных не указана.

Koichi Yasuoka разработал эту модель на основе китайской BERT-модели hfl/chinese-bert-wwm-ext. Это дообученный BERT с 129,5 млн параметров для разметки частей речи по универсальным тегам UPOS; модель также предназначена для поддержки синтаксического разбора зависимостей. Она обучена на текстах китайской Википедии на упрощённом и традиционном китайском языках, а в метаданных указан датасет Universal Dependencies. Модель принимает текст и присваивает словам теги частей речи, что подходит для лингвистического анализа китайских текстов и предварительной разметки корпусов. Максимальная длина контекста — 512 токенов. Распространяется в формате PyTorch по лицензии Apache-2.0.

Koichi Yasuoka разработал эту модель на основе KoichiYasuoka/deberta-large-japanese-aozora для синтаксического анализа японского текста. Это DeBERTa V2 с 435,4 млн параметров, дообученная на UD_Japanese-GSDLUW для поиска вершины зависимости у длинных единиц слов; задача представлена в формате question answering. В README рекомендуется помещать [MASK] в контекст, чтобы устранить неоднозначность, когда вопрос содержит слово, встречающееся несколько раз. Модель принимает текст и возвращает текстовый ответ; максимальная длина контекста — 512 токенов. Модель рассчитана на японский язык и предназначена для анализа зависимостей, в частности для определения головного слова. Репозиторий содержит веса PyTorch и распространяется по лицензии CC BY-SA 4.0. README содержит лишь краткую инструкцию по использованию, поэтому сведения о точности и других ограничениях качества не приведены.

ERNIE 1.0 Base Chinese — языковая модель Baidu, обученная представлять текст с помощью стратегий маскирования сущностей и фраз. Репозиторий содержит PyTorch-конверсию официальной модели PaddlePaddle; проверялась точность конвертации. Модель имеет плотную архитектуру ErnieForMaskedLM, около 127,1 млн параметров и контекст длиной 513 токенов. Основная задача модели — предсказание замаскированных токенов в китайском тексте. Такие представления также могут служить основой для задач понимания языка; в README упоминаются эксперименты на задачах вывода, семантического сходства, распознавания именованных сущностей, анализа тональности и ответов на вопросы. Карточка не содержит сведений о лицензии.

cyttic/exp21-trocr-hebrew-directfit-frozen — дообученная модель семейства TrOCR, разработанная на основе cyttic/trocr-hebrew-untrained. Это архитектура vision-encoder-decoder для преобразования изображения текста в текст, предназначенная для распознавания текста на изображениях, в частности на иврите, что следует из названия базовой модели. В карточке приведены метрики на оценочном наборе: loss 4,1024, CER 0,7121 и WER 1,0086. Эти результаты указывают на существенные ошибки распознавания; качество для практического применения следует оценивать на целевых данных. Обучающий набор и конкретные сценарии применения не описаны. Модель опубликована в формате safetensors для Transformers; сведения о лицензии отсутствуют в предоставленных данных.

FrameLLaMA-3.1-8B-Instruct-FullFN17 — исследовательская модель на основе Llama-3.1-8B-Instruct, разработанная для рассуждений о событиях и их семантической структуре. Это плотная причинная языковая модель примерно на 7,5 млрд параметров, дообученная с помощью LoRA на данных FrameNet 1.7, охватывающих более 1 200 фреймов. В карточке указано окно контекста 131 072 токена. Модель предназначена для распознавания семантических ролей, определения фреймов и лексических значений, а также для вывода об entailment, противоречиях и нейтральных отношениях между высказываниями. В обучении использовались структурированные вопросы и ответы о фреймах, ролях участников, семантических типах и связях между фреймами. В описанных оценках модель показала улучшения на диагностическом подмножестве SNLI, CONFER и задаче разметки семантических ролей; эти результаты не характеризуют её как универсальную модель для всех задач. Модель принимает текст и генерирует текст, обычно краткий ответ или метку класса. В метаданных указан английский язык. Лицензия — Apache-2.0. Карточка не описывает оценку качества на других языках или широкий набор прикладных сценариев.

CMB-ClimateModernBERT/Merge_TIES_D07_LRD — англоязычная модель семейства ModernBERT, разработанная проектом ClimateModernBERT для исследований в области обработки климатических текстов. Это encoder-only модель типа BERT с 149 млн параметров и контекстом до 8192 токенов; она обучена продолжением предобучения ModernBERT-Base на академических, синтетических и отфильтрованных климатических веб-текстах, а затем объединена методом TIES. Модель предназначена для представления климатических текстов и дообучения под классификацию, многометочную разметку и поиск по корпоративной отчётности, политическим документам, научной литературе и новостям. В карточке сообщается о среднем F1 75,6 на девяти климатических NLP-бенчмарках. Модель поддерживает задачу заполнения пропусков в маскированном тексте, но не является диалоговой системой и не выдаёт калиброванных гарантий фактической точности. Оценка длинного контекста в описанных экспериментах ограничена; синтетические данные помогают одним типам задач и ухудшают другие, требующие тонкого понимания дискурса. Использование рассчитано на исследования в климатическом NLP; лицензия в предоставленных данных не указана.

OELLM 9B — 256K context — Prelude anneal300b — это базовая языковая модель, опубликованная Birger Moell и представленная в формате Hugging Face BF16. Она основана на openeurollm/prelude и прошла продолженное предобучение на 7,98 млрд токенов. Архитектура — плотный декодерный трансформер, совместимый с Qwen3, примерно с 9 млрд параметров; конфигурация поддерживает контекст до 262 144 токенов и RoPE theta 64 000 000. Модель предназначена для генерации продолжений текста, экспериментов с длинным контекстом и извлечением сведений из больших последовательностей, а также как основа для последующего дообучения. В обучающей смеси представлены европейские языки, код и научные тексты; модель не является равномерно многоязычной. Это базовая модель без донастройки на инструкции и без выравнивания по безопасности, поэтому она не предназначена для общения в формате ассистента без дополнительного постобучения. Карточка приводит небольшую проверку поиска одиночного фрагмента на английском и шведском, но её результаты не подтверждают качество рассуждений, суммаризации или надёжной генерации во всём окне контекста. Для инференса на полной длине нужны значительная память ускорителей, эффективная реализация attention и настройка KV-кэша. Модель выпущена по лицензии Apache-2.0.

OpenMed разработала модель для распознавания упоминаний организмов и видов в научных текстах. Это дообученная модель семейства BERT с архитектурой BertForTokenClassification, примерно 136,7 млн параметров и контекстом до 512 токенов. Она принимает токенизированный текст и размечает названия видов тегами B-SPECIES и I-SPECIES. Модель обучена на корпусе SPECIES800, содержащем аннотации упоминаний организмов в биомедицинских публикациях. Её можно применять для извлечения названий видов из аннотаций PubMed, биомедицинского текстового поиска и анализа литературы по биоразнообразию и таксономии. В README приведены оценки на SPECIES800: F1 0,8458, точность 0,8287 и полнота 0,8637. Базовая архитектура — BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext. Модель поддерживает английский язык; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Показатели и область применения описаны для распознавания видов в биомедицинских текстах, поэтому качество на иных жанрах и языках не подтверждено.

OpenMed разработала OpenMed-NER-SpeciesDetect-BioMed-109M — модель для распознавания названий видов и организмов в биомедицинских текстах. Это дообученная модель семейства BERT с архитектурой BertForTokenClassification, содержащая 136,7 млн параметров. Она принимает токенизированный текст и возвращает BIO-разметку сущностей типов B-SPECIES и I-SPECIES. Контекст модели — до 512 токенов. Модель предназначена для извлечения упоминаний видов из научной литературы и других биомедицинских документов, в том числе для таксономического анализа и поиска организмов в корпусах текстов. В README указана обучающая выборка LINNAEUS и приведены показатели на этом датасете, включая F1 0,73 в одном разделе и 0,9539 в сравнительной таблице; эти результаты расходятся, поэтому их нельзя считать однозначной оценкой качества. Карточка также перечисляет сценарии вроде клинического майнинга, мониторинга нежелательных явлений и построения биомедицинских графов знаний, но целевая разметка модели ограничена сущностями видов. Модель рассчитана на англоязычный текст. Репозиторий содержит веса Safetensors и совместим с Transformers. Лицензия — Apache-2.0. Применимость к другим языкам и устойчивость за пределами данных LINNAEUS в карточке не подтверждены; длина контекста ограничена 512 токенами.

OpenMed-NER-SpeciesDetect-ModernMed-149M — модель OpenMed для распознавания названий видов и организмов в биомедицинских текстах. Это дообученная для классификации токенов модель ModernBERT примерно на 149 млн параметров; она принимает токенизированный текст и возвращает BIO-разметку сущностей B-SPECIES и I-SPECIES. Для распознавания использован корпус LINNAEUS, ориентированный на упоминания видов в научной литературе. Модель подходит для извлечения названий организмов из научных публикаций, клинических документов и других биомедицинских текстов, а также для последующего анализа литературы и построения баз знаний. Заявленная длина контекста — 8192 токена; карточка приводит F1 0,85, precision 0,89 и recall 0,81. Указана лицензия Apache-2.0. Карточка также перечисляет более широкие сценарии биомедицинского NLP, но модель размечает только сущности видов, поэтому её не следует считать моделью для извлечения лекарств или выявления взаимодействий препаратов.