I.3Извлечение и структурирование данных

est-roberta-hist-ner — модель семейства Est-RoBERTa, разработанная tartuNLP и дообученная для распознавания именованных сущностей в эстонских приходских судебных записях XIX века. Она выполняет разметку токенов, выделяя имена людей (PER), места (LOC), организации (ORG), неоднозначные упоминания места или организации (LOC_ORG) и прочие имена (MISC).

vivekkopthsd/finance-retriever-bge-small — плотный ретривер для поиска финансовых фрагментов по запросам, созданный дообучением BAAI/bge-small-en-v1.5 на парах вопросов и контекстов из SEC 10-K. Модель основана на BERT, содержит около 40 млн параметров и формирует текстовые эмбеддинги; максимальная длина контекста — 512 токенов. Она предназначена для семантического поиска и извлечения релевантных отрывков для RAG-систем по финансовым документам. В описанной проверке на отложенных вопросах к SEC 10-K модель показала Recall@1 0,820 и Recall@5 0,930, выше базовой BGE-модели на том же наборе. Оценка проведена на одном датасете и не подтверждает качество на широком наборе поисковых задач. Модель ориентирована на английский язык. Лицензия — Apache-2.0.

FineLlama-3.2-3B-Instruct-ead — языковая модель Geraldine, дообученная на базе meta-llama/Llama-3.2-3B-Instruct для понимания и генерации XML в формате EAD (Encoded Archival Description). Она предназначена для создания структурированных архивных описаний по инструкциям и примерам. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов по метаданным; в карточке указано ограничение длины последовательности 4096 токенов. Для экономии памяти применена 4-битная NF4-квантизация bitsandbytes с двойной квантизацией, а дообучение выполнено методом LoRA. Модель принимает текстовые запросы и генерирует текст, включая EAD/XML. Карточка не сообщает о поддерживаемых естественных языках. Лицензия — llama3.2.

OpenGVLab InternVL3.5-GPT-OSS-20B-A4B-Preview-HF — мультимодальная модель семейства InternVL3.5, объединяющая языковую модель OpenAI gpt-oss-20b и визуальный энкодер OpenGVLab InternViT-300M-448px-V2_5. Она принимает изображения и текстовые запросы и генерирует текстовые ответы. Модель предназначена для диалога по изображениям, визуального анализа и рассуждений по мультимодальным данным; в README также описаны возможности семейства в задачах распознавания текста на изображениях, понимания видео и взаимодействия с графическим интерфейсом, но их наличие именно у этой версии не подтверждено. InternVL3.5 использует каскадное обучение с подкреплением для улучшения рассуждений и маршрутизатор разрешения визуальных токенов для более эффективной обработки изображений. Для развертывания описана схема DvD, разделяющая обработку зрения и языка между вычислительными узлами. Репозиторий содержит веса в формате safetensors и предназначен для работы через Transformers. Модель опубликована под лицензией Apache-2.0. В карточке нет сведений о числе параметров именно этого варианта и длине контекста; обозначение GPT-OSS-20B в названии относится к базовой языковой модели, а A4B Preview указывает на предварительную версию.

ybelkada/japanese-roberta-question-answering — японская модель вопросно-ответного поиска, дообученная на наборе JaQuAD. Она использует архитектуру RoBERTa и предназначена для извлечения ответа из предоставленного текста по вопросу на японском языке. Модель содержит 137,8 млн параметров, работает с текстом и имеет контекст длиной до 514 токенов. Модель подходит для поиска ответов в японских документах и создания систем вопросов и ответов по заданному контексту. В README отмечено, что виджет вопросов и ответов Hugging Face не работает, а запуск через Transformers Pipeline также вызывал ошибку. Модель распространяется по лицензии CC BY-SA 3.0.

CurtisJeon разработал модель для извлечения ответов на вопросы на корейском языке. Это дообученная версия klue/roberta-large с архитектурой RoBERTa и головой RobertaForQuestionAnswering; она содержит 435,4 млн параметров и принимает контекст длиной до 514 токенов. Модель обучена на наборе squad_kor_v1 и предназначена для поиска ответа в предоставленном тексте. Её можно применять для извлечения ответов из корейских документов и контекстов в системах вопросов и ответов. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Карточка не приводит результатов оценки и подробных сведений об ограничениях, поэтому качество на других данных не установлено.

Это англоязычный классификатор текста на базе DistilBERT, дообученный автором wincode для распознавания текстов о еде и не о еде. Модель использует архитектуру DistilBertForSequenceClassification и принимает текстовые последовательности длиной до 512 токенов. Модель предназначена для отнесения входного текста к классам «еда» и «не еда». В README приведены результаты на оценочном наборе: loss 0,0006 и accuracy 1,0, однако датасет не описан, поэтому эти показатели нельзя обобщать на другие данные. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

Llama-3-SEC-Chat — разговорная языковая модель Arcee AI для анализа документов и данных Комиссии по ценным бумагам и биржам США (SEC). Она основана на Meta-Llama-3-70B-Instruct; архитектура — плотная Llama, в репозитории указано 69,5 млрд параметров. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст длиной 8192 токена. Опубликован промежуточный чекпойнт после обучения на 20 млрд токенов данных SEC. В README описаны продолженное предобучение, объединение с базовой моделью методом TIES и последующее дообучение с учителем. Модель предназначена для анализа финансовой отчетности, инвестиционных и риск-сценариев, вопросов комплаенса, корпоративного управления и рыночных тенденций. Чекпойнт выпущен по лицензии Llama 3, допускающей коммерческое и некоммерческое использование согласно README. Это промежуточная версия обучения, поэтому её выводы требуют проверки, особенно при принятии финансовых и регуляторных решений.

Модель impresso-project/ner-newsagency-bert-multilingual разработана DHLAB, EPFL и командой проекта Impresso для поиска упоминаний информационных агентств в исторических газетных статьях на французском и немецком языках. Это дообученная модель BERT для распознавания именованных сущностей и классификации токенов, основанная на dbmdz/bert-base-historic-multilingual-cased. Она содержит 137,8 млн параметров и поддерживает контекст до 512 токенов. Модель обучена на вручную размеченном наборе из 1 530 статей швейцарской и люксембургской прессы за 1840–2000 годы. В карточке указаны F1 0,90 для французского и 0,86 для немецкого. Она подходит для анализа цифровых архивов газет и извлечения названий агентств, когда название явно присутствует в тексте. Модель не обнаруживает агентство по одному лишь содержанию публикации и может пропускать упоминания, искажённые OCR. Лицензия — AGPL-3.0.

NorBERT 3 xs — официальная компактная модель языкового семейства NorBERT 3, выпущенная авторами работы NorBench — A Benchmark for Norwegian Language Models. Это энкодерная модель на основе BERT для норвежского языка с 14,9 млн параметров и контекстом до 512 токенов. Метаданные указывают поддержку норвежского языка; семейство включает модели разных размеров, а также отдельные генеративные модели NorT5. Модель предназначена прежде всего для заполнения пропусков в тексте и может использоваться в задачах классификации текста и токенов, ответов на вопросы и выбора варианта. Для загрузки требуется пользовательская обёртка modeling_norbert.py и параметр trust_remote_code=True. Веса опубликованы в формате PyTorch по лицензии Apache-2.0.

OmniVinci — исследовательский проект NVIDIA по созданию омнимодальных больших языковых моделей. Модель построена на архитектуре VILA и предназначена для понимания видео, изображений и аудио, а также для диалогового взаимодействия и рассуждений. В карточке Hugging Face основная задача обозначена как извлечение признаков; README также описывает сценарии мультимодального понимания и примеры работы через Transformers. Модель принимает визуальные, аудио- и текстовые данные и поддерживает работу с видео со звуком. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache 2.0. В README проект назван исследовательским; конкретные ограничения по качеству или поддерживаемым языкам не приведены.

OpenMed-NER-ProteinDetect-ModernMed-395M — модель OpenMed для распознавания биомедицинских сущностей в тексте. Это дообученная ModernBERT-large с архитектурой ModernBertForTokenClassification и примерно 394,7 млн параметров. Она принимает токенизированный текст и выдаёт BIO-разметку для белков, белковых комплексов, семейств и групп белков, вариантов белков и других сущностей корпуса FSU. Контекст модели составляет до 8192 токенов. Модель предназначена для извлечения сущностей из научных публикаций и биомедицинских текстов: её можно применять при анализе белковых взаимодействий, поиске сущностей для исследований молекулярной биологии и построении биомедицинских баз знаний. README приводит для корпуса FSU F1 0,90, precision 0,90, recall 0,91 и accuracy 0,97; эти показатели относятся к заявленной оценке на этом наборе данных и не гарантируют аналогичное качество на других текстах. Карточка заявляет поддержку английского языка. Модель распространяется под лицензией Apache-2.0.

OpenMed-NER-ProteinDetect-PubMed-335M — модель OpenMed для распознавания биомедицинских сущностей в научных и клинических текстах. Это дообученный трансформер на архитектуре BERT для токенной классификации, с 433,9 млн параметров и контекстом до 512 токенов. Модель выделяет белки, белковые комплексы, семейства и группы белков, варианты белков и другие сущности корпуса FSU, размечая текст тегами BIO. README сообщает о F1 0,93 на FSU. Модель подходит для извлечения сведений о белках из публикаций и медицинских документов, анализа взаимодействий и построения биомедицинских баз знаний. Указан английский язык. Репозиторий использует формат safetensors; лицензия — Apache-2.0. Результаты распознавания зависят от соответствия входного текста корпусу и типам сущностей, на которых обучалась модель.

OpenMed/OpenMed-ZeroShot-NER-Anatomy-Tiny-60M — модель OpenMed для извлечения анатомических сущностей из медицинских и биомедицинских текстов. Она основана на архитектуре GLiNER и дообучена на корпусе ANATOMY; размер 60M указан в названии репозитория. Модель принимает текст и возвращает найденные сущности с типами, поддерживая zero-shot настройку меток без отдельного дообучения под каждую категорию. Модель предназначена для разбора клинических записей, радиологических и хирургических заметок, извлечения органов, тканей, частей тела и других анатомических структур, а также для анализа медицинской литературы и клинических данных. README сообщает F1 0,56 на тестовом наборе, исключённом из обучения; этот результат следует учитывать при использовании в прикладных системах. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка описывает модель как ориентированную на английский язык; сведений о длине контекста не приведено.

OpenMed/OpenMed-ZeroShot-NER-Disease-Base-220M — специализированная модель OpenMed для распознавания упоминаний заболеваний и патологических состояний в биомедицинском тексте. Она построена на архитектуре GLiNER и дообучена на корпусе BC5CDR-Disease; заявленный размер в названии — 220 млн параметров. Модель принимает текст и возвращает найденные сущности с метками, поддерживая zero-shot извлечение и пользовательские типы сущностей без отдельного дообучения. Основное назначение — извлечение заболеваний для индексации и анализа биомедицинских публикаций, клинических записей и других медицинских текстов. В README для тестовой части BC5CDR-Disease заявлен F1 0,83; там же описаны сценарии фенотипирования пациентов, сортировки литературы и агрегирования клинических данных. Карточка не приводит длину контекста. Модель рассчитана прежде всего на англоязычный биомедицинский текст. Это специализированный инструмент NER, поэтому качество для других языков и типов сущностей, не связанных с заболеваниями, может быть ниже; заявленная zero-shot гибкость не гарантирует точность на произвольных категориях. Лицензия — Apache-2.0.

tincans-ai/pause-asr-alpha — модель распознавания речи на архитектуре wav2vec 2.0, дообученная на базе facebook/wav2vec2-base-960h для распознавания речи с учётом пауз и предсказания смены говорящего. Модель принимает аудио и выдаёт транскрипцию с токенами, связанными с очередностью речи; для вывода используется обычный для wav2vec2 процесс инференса с такими токенами. Модель содержит 113,3 млн параметров и опубликована в формате safetensors для библиотеки Transformers. Базовая модель предназначена для транскрибирования английской речи из аудио с частотой 16 кГц; метаданные карточки указывают английский язык. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование. README ссылается на технический отчёт, однако подробности обучения и оценок качества в карточке не приведены.

StationPC/Qwen3.5-VL-4B-RKNN3-RK1828 — аппаратно-адаптированная и квантизованная версия мультимодальной модели Qwen3.5-4B, подготовленная StationPC для платформы RKNN3 и чипа RK1828. Базовая модель разработана командой Qwen и представляет собой языковую модель с vision-энкодером, принимающую текст и изображения и генерирующую текстовые ответы. Модель предназначена для диалогов с изображениями, визуального понимания, описания изображений, ответов на вопросы по изображениям и локальных мультимодальных приложений. В репозитории присутствуют отдельные компоненты для языковой и визуальной частей модели; используется квантизация W4A16, а максимальная длина контекста в конфигурации составляет 16 384 токена. Модель ориентирована на запуск через совместимые инструменты локального вывода на устройствах с RK1828. Сильной стороной является сочетание мультимодальности Qwen3.5 с компактным размером класса 4B и адаптацией под специализированное аппаратное ускорение. Ограничения включают зависимость от совместимого RKNN3/RK1828-окружения, сокращённое по сравнению с базовой Qwen3.5 контекстное окно и возможные ошибки визуального распознавания или генерации. Лицензия производного репозитория в доступных источниках не подтверждена.

Модель jonas/sdg_classifier_osdg — классификатор текста на основе BERT, разработанный для отнесения текста к одной из первых 15 из 17 Целей устойчивого развития ООН. Она предназначена для автоматической тематической разметки коротких текстов и абзацев, например при анализе материалов, связанных с ЦУР. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Обучающие тексты составляли примерно 100 слов, и на текстах сопоставимого размера модель работает лучше. В README приведены метрики валидации: accuracy 0,897 и macro F1 0,850. Модель поддерживает английский язык. Распространяется в формате PyTorch; лицензия в предоставленных данных не указана.

EMBO/sd-ner — модель RoBERTa для распознавания биологических сущностей в научных текстах. Сначала базовую RoBERTa обучали на корпусе англоязычных научных текстов по биологии и медицине с задачей masked language modeling, затем дообучили для классификации токенов на вручную размеченном наборе EMBO/sd-nlp в конфигурации NER. Модель содержит 151,8 млн параметров, принимает текст с контекстом до 514 токенов и доступна в форматах PyTorch и Flax. Модель предназначена для извлечения из аннотаций SourceData малых молекул, генов и белков, субклеточных компонентов, клеточных линий и типов клеток, органов и тканей, видов организмов и экспериментальных методов. Для работы требуется токенизатор roberta-base. Распространяется по лицензии AGPL-3.0.

TAPAS medium — модель Google на архитектуре BERT для ответов на вопросы по таблицам. Она предварительно обучена на английских текстах и таблицах из Википедии, а затем дообучена на Sequential Question Answering (SQA). Модель выбирает ячейки таблицы, чтобы сформировать ответ на вопрос в диалоговом сценарии; версия по умолчанию использует сброс индексов позиций в каждой ячейке, также доступна версия с абсолютными позиционными эмбеддингами. Модель содержит 49,2 млн параметров, принимает вопрос и таблицу в текстовом представлении и поддерживает последовательности длиной до 512 токенов. При дообучении использовалась эвристика, ограничивающая выбор ячеек одним столбцом. Модель предназначена для англоязычных таблиц и вопросов. Распространяется по лицензии Apache 2.0.

TEMPURA-Qwen2.5-VL-7B — дообученная мультимодальная модель Andaba на основе Qwen/Qwen2.5-VL-7B-Instruct с архитектурой Qwen2.5-VL и 7,1 млрд параметров. Она предназначена для анализа видео и рассуждений о временной структуре событий. Модель описывает неразмеченные фрагменты видео как последовательность событий с временными метками и подробными описаниями, предсказывает содержание скрытого сегмента и находит моменты, соответствующие текстовому запросу, включая выделение ключевых моментов. Для входа видео представляют последовательностью кадров, отобранных с частотой 1 кадр в секунду, с временными метками. Модель принимает видео и текстовые запросы, а выдаёт текстовые описания, рассуждения и временные привязки. Репозиторий распространяется в формате Safetensors; лицензия — Apache-2.0. Описанный формат подачи кадров и частота 1 кадр в секунду задают требования к входному представлению видео.

TextNet — компактная архитектура компьютерного зрения для извлечения признаков изображения и обнаружения текстовых областей. Модель опубликована пользователями Raghavan, jadechoghari и nielsr; репозиторий использует библиотеку Transformers и хранит веса в формате safetensors. В семействе описаны варианты TextNet-T, TextNet-S и TextNet-B размером 6,8 млн, 8,0 млн и 8,9 млн параметров соответственно; конкретный вариант репозитория czczup/textnet-base в README не уточняется. Модель предназначена для обнаружения текста в естественных сценах и документах, включая разноязычный текст с различной ориентацией. README сообщает о предварительном обучении на IC17-MLT и дообучении на Total-Text, а также о компромиссе между точностью и скоростью на GPU. Это извлекатель визуальных признаков, поэтому сам по себе он не выполняет распознавание текста и не генерирует транскрипцию. Лицензия в предоставленных данных не приведена.

TookaBERT-Large — крупная модель-энкодер семейства BERT, разработанная PartAI для обработки текстов на персидском языке. Она предварительно обучена на корпусе объёмом более 500 ГБ, включающем новости, блоги, форумы и книги, с задачей masked language modeling и whole-word masking. Модель содержит 451,8 млн параметров и принимает последовательности длиной до 512 токенов. Основное назначение модели — предсказание замаскированных слов в персидском тексте. Её также можно дообучать для классификации тональности и текстов, распознавания именованных сущностей, ответов на вопросы и задач с выбором ответа. В README приведены результаты оценки на нескольких персидских NLP-наборах данных; они зависят от последующего дообучения и случайности обучения. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. Как энкодер для заполнения масок, она не предназначена сама по себе для генерации свободного текста; для прикладных задач, отличных от fill-mask, потребуется подходящая голова или дообучение.

pierluigic/xl-lexeme — модель на базе Sentence Transformers с архитектурой XLM-RoBERTa, разработанная pierluigic. Она преобразует целевое слово вместе с контекстом предложения в плотный вектор размерности 1024. Модель предназначена для сравнения контекстных значений слов и может применяться для поиска семантически близких примеров и кластеризации. Чекпойнт содержит 658,7 млн параметров и рассчитан на контекст до 514 токенов. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Модель принимает текст и выдаёт векторы; карточка не уточняет поддерживаемые естественные языки. Указана библиотека PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

Davlan/xlm-roberta-base-finetuned-yoruba — модель Davlan, полученная дообучением xlm-roberta-base на текстах на языке йоруба. Это плотная трансформерная архитектура XLM-RoBERTa с 305,2 млн параметров и контекстом до 514 токенов; репозиторий содержит веса PyTorch. Модель предназначена для предсказания скрытых токенов, а также может применяться для классификации текста и распознавания именованных сущностей на йоруба. В обучении использовались тексты Библии, JW300, Menyo-20k, Wikipedia и новостных источников на йоруба, а также другие корпуса. В оценке на MasakhaNER модель показала F1 83,66 против 77,58 у XLM-R. Результаты могут хуже переноситься на другие области: обучающие данные для распознавания сущностей включали размеченные новостные статьи определённого периода. Лицензия в предоставленных данных не приведена.

Fer1155453/xlnet-tass — модель классификации текстов на базе XLNet Large cased, дообученная автором репозитория. Она предназначена для отнесения входного текста к одному из классов. По результатам оценки на тестовой выборке модель показала accuracy 0,5734, макро-F1 0,5708 и взвешенный F1 0,5706. Размер модели — 435,4 млн параметров; веса опубликованы в формате Safetensors и доступны по лицензии MIT. README не сообщает назначение классов и подробности обучающего набора данных.

Модель Swedish Lion OCR разработана Национальным архивом Швеции. Это модель сегментации экземпляров YOLO26s, которая выделяет текстовые области в исторических рукописных документах. Она предназначена для этапа HTR-процесса: после выделения областей можно определить строки текста и передать их модели распознавания рукописного текста для транскрибирования страниц. Модель обучена на размеченном наборе из 31 000 страниц исторического шведского рукописного текста, содержащем около 1,7 млн строк. Для загрузки и применения в README указана библиотека Ultralytics. Репозиторий содержит веса PyTorch; лицензия — CC BY 4.0. Карточка не сообщает точность на тестовых данных или ограничения по типам документов, поэтому качество на других языках и стилях письма не установлено.

Это модель XLM-RoBERTa для извлечения ответов на вопросы из текста на языке луганда. Она создана как дообученная версия masakhane/afriqa_afroxlmr_squad_v2 и содержит около 305,2 млн параметров. Модель принимает вопрос и текстовый контекст и возвращает ответ, найденный в контексте; базовая модель обучена для задачи question answering на африканских языках. Модель подходит для систем вопросов и ответов по текстам на луганда, например для поиска сведений в документах или информационных материалах. В README указана оценка на наборе проверки после четырёх эпох, однако сам набор данных неизвестен, а описания обучения и ограничений отсутствуют. Контекст модели — до 514 токенов. Репозиторий содержит формат TensorFlow; лицензия — MIT.

Это модель классификации пар «вопрос — строка таблицы», опубликованная Майклом Глассом и основанная на albert-base-v2. Она обучена для выбора строк, относящихся к вопросу на естественном языке, в таблицах из набора WikiSQL-Lookup. В проекте IBM такие модели отдельно ранжируют строки и столбцы; их результаты объединяются для оценки ячеек и поиска ответа на вопрос по таблице. Модель использует архитектуру ALBERT для классификации последовательностей, содержит 136,3 млн параметров и принимает последовательности длиной до 512 токенов. Это специализированный компонент системы табличного вопросно-ответного поиска, а не универсальная генеративная модель: она выдаёт метки релевантности для пар вопроса и строки, но самостоятельно не формулирует ответ. Для проекта указана лицензия Apache-2.0.

Модель разработана collective.ai в рамках проекта AymurAI организации DataGenero. Это распознаватель сущностей для обезличивания юридических документов: он выявляет в тексте персональные данные и другие заданные категории, включая имена людей (PER) и номера DNI. Модель построена на испанских эмбеддингах BETO с архитектурой BiLSTM-CRF и распространяется для использования через Flair. Модель обучена на 535 закрытых судебных решениях уголовного суда Аргентины и рассчитана на испаноязычные юридические документы в местном правовом и культурном контексте. Она предназначена для полуавтоматического обезличивания решений и подготовки данных для анализа судебной практики. Метаданные указывают формат PyTorch и лицензию MIT. Оценки в карточке показывают качество по отдельным меткам, но не гарантируют полноту обезличивания для любого документа. Результаты зависят от качества и единообразия исходных данных; модель может хуже работать за пределами аргентинского контекста. Документы обучающей выборки закрыты.