I.3Извлечение и структурирование данных

TrOCR Kurrent XVI–XVIII — модель распознавания рукописного текста, разработанная Jonas Widmer, Anna Funk, Christa Schneider и Tobias Hodel в рамках Digital Humanities@University of Bern. Она предназначена для чтения немецкого куррентного письма XVI–XVIII веков по изображениям отдельных строк. Архитектура — VisionEncoderDecoderModel; модель основана на dh-unibe/trocr-kurrent и обучена на корпусе примерно из 1 579 200 слов. Для тестовой выборки указана CER 0,05416, для оценочной — 0,05673. Модель принимает обрезку одной рукописной строки за вызов, а не изображение целой страницы. Для обработки страницы её сначала нужно сегментировать на строки; среди упомянутых средств сегментации — kraken, eScriptorium и Transkribus. Данные обучения смещены в сторону швейцарских документов, поэтому точность на других корпусах и почерках может отличаться. Авторы отмечают, что модель требует дальнейшего тестирования и может быть полезна для дообучения. Лицензия — MIT.

Модель gaurav8894/autotrain-nkdl3-gx9ao — дообученная с помощью AutoTrain модель BERT для классификации текста. Она основана на google-bert/bert-base-uncased и использует архитектуру BertForSequenceClassification. Модель подходит для присвоения текстам меток в задаче, на которой её обучали; карточка не уточняет предметную область и набор классов. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате safetensors. Базовая модель ориентирована на английский язык. Валидационная точность составляет 0,5, а macro F1 — около 0,36, что указывает на ограниченное качество классификации. Лицензия в предоставленных данных не указана.

Это крупная модель BERT на 433,2 млн параметров, созданная Пьером Гийу и дообученная на BERTimbau large для языкового моделирования в юридическом домене на португальском корпусе LeNER-Br. Она предсказывает замаскированные токены и предназначена, в частности, для адаптации к юридическим текстам Бразилии; автор использовал её как основу для отдельной модели распознавания именованных сущностей в судебных документах. Модель принимает текст, работает с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия в предоставленных данных не указана.

beto-ner-prostata-bs8 — дообученная модель BETO на базе dccuchile/bert-base-spanish-wwm-cased для классификации токенов. По названию репозитория модель предназначена для распознавания сущностей, связанных с простатой; подробное описание набора меток и данных в карточке отсутствует. Модель содержит 137,1 млн параметров, использует архитектуру BERT и принимает последовательности длиной до 512 токенов. В оценке на наборе данных из карточки указаны precision 0,9608, recall 0,9676 и F1 0,9642. Это узкоспециализированная модель для извлечения упоминаний в испаноязычном тексте; применимость результатов за пределами указанного тестового набора не установлена. Лицензия в предоставленных данных не указана.

Tsubasaz/clinical-pubmed-bert-base-512 — англоязычная модель BERT для предсказания замаскированных токенов. Она предварительно обучена на аннотациях PubMed и продолжила обучение на клинических записях из набора MIMIC-III; применено маскирование целых слов. Модель содержит 136,7 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов. Модель предназначена для подготовки к клиническим и биомедицинским задачам обработки текста, например для адаптации к классификации клинических документов или прогнозированию повторной госпитализации. Лицензия MIT. Карточка описывает предварительное обучение, а не подтверждает качество на конкретных прикладных задачах; результаты для критически важных клинических решений следует проверять отдельно.

Это дообученная модель DeBERTa, разработанная исследователями TUM NLP для обнаружения человеческих ценностей, выраженных в аргументах. Она классифицирует текст аргумента и предсказывает связанные с ним категории ценностей; модель участвовала в задаче SemEval-2023 Detecting Human Values in Arguments. Модель обучали и проверяли на наборе из 9 324 размеченных аргументов. Её F1-мера составила 0,55; ансамбль, в который она входила, показал F1-меру 0,56 в соревновании. Для преобразования выходов в метки в соревновании применяли порог 0,25. Для запуска требуется код модели, поэтому стандартный inference API Hugging Face напрямую не подходит. Модель предназначена для классификации текстовых аргументов на английском языке. Репозиторий распространяется по лицензии OpenRAIL++; README указывает, что доступен код для повторного обучения ансамбля.

Модель seanghay/khmer-pos-roberta — дообученная версия XLM-RoBERTa Base для разметки частей речи в кхмерском тексте. Она обучена на наборе khPOS и выполняет классификацию токенов. На тестовой выборке указаны точность 97,35%, precision 95,12%, recall 95,26% и F1 95,19%; автор отмечает, что результат близок к 98,15% из исходной статьи, хотя сравнение осложняется использованием многоязычной модели с иным набором токенов. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется под лицензией Apache-2.0. Предназначена для извлечения лингвистической информации из кхмерских текстов; заявленная область применения ограничена разметкой частей речи.

Koichi Yasuoka разработал эту модель ModernBERT для разметки японского текста. Она дообучена на основе KoichiYasuoka/modernbert-base-japanese-wikipedia и предварительно обучена на японской Википедии и текстах Aozora Bunko. Для каждого короткого слова модель предсказывает универсальную часть речи UPOS и признаки FEATS; карточка также указывает задачу синтаксического разбора зависимостей. Модель содержит 160,2 млн параметров, принимает текст и имеет контекст до 8192 токенов. Лицензия — Apache-2.0. Модель рассчитана на японский язык; качество на других языках не заявлено.

vjosap/moralBERT-predict-cheating-in-text — модель классификации текста, опубликованная автором Vjosa Preniqi на Hugging Face. По названию и типу задачи она предназначена для выявления в тексте тем или признаков, связанных с обманом, в рамках классификации моральных категорий. Репозиторий содержит веса Safetensors и распространяется по лицензии MIT. Модель принимает текст и выдаёт результат классификации. Доступные сведения подтверждают задачу text-classification, однако не раскрывают архитектуру, обучающие данные, поддерживаемые языки, схему меток и точность. Поэтому предсказания следует рассматривать как вспомогательную классификацию, а не как достоверное установление факта обмана.

danieledll/moss-transcribe-diarize-atc — дообученная Daniel Edll модель OpenMOSS MOSS-Transcribe-Diarize для расшифровки радиообмена авиадиспетчеров США. Это плотная модель условной генерации на 0,9 млрд параметров, совместно распознающая речь и разделяющая её по говорящим; рассчитана на записи VHF AM с несколькими десятками голосов и длительностью до примерно 30 минут. В README сообщается о дообучении на более чем 230 часах записей с аэропортов США и улучшении показателей диаризации и WER относительно базовой модели. Для работы требуется предварительно обработать аудио рекомендованной цепочкой шумоподавления и привести его к моно, 16 кГц. На тихих участках возможны циклическая генерация и потеря фрагментов; README описывает восстановление декодирования. На аудио вне обучающего распределения диаризация может ошибочно объединять или дробить говорящих. Для надёжной атрибуции позывных рекомендуется сверять результат с данными ADS-B, частотой и аэропортовым контекстом. Лицензия CC BY-NC-SA 4.0 допускает использование с условиями Attribution-NonCommercial-ShareAlike.

Карточка модели nityaak/qwen3-8b-stance-matrix-semeval-ezstance-qlora на Hugging Face совпадает с карточкой nityaak/qwen3-8b-stance-matrix-semeval-mtcsd-ezstance-qlora, поэтому описание составлено по ней. nityaak/Qwen3-8B-stance-matrix-semeval-mtcsd-ezstance-qlora — дообученная модель семейства Qwen3 для генерации текста. Она основана на unsloth/Qwen3-8B-unsloth-bnb-4bit, имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров. Модель обучена с помощью Unsloth и библиотеки TRL; карточка называет её QLoRA-дообучением для задач stance detection, связанных с наборами SemEval, MT-CSD и EzStance. Модель предназначена для генерации текстовых ответов в диалоговом формате и может применяться для определения или формулирования позиции по текстовым высказываниям в рамках соответствующих задач. Контекст составляет до 40 960 токенов. Основной указанный язык — английский. Лицензия — Apache-2.0. Карточка не приводит оценок качества или деталей формата ожидаемых инструкций, поэтому результаты следует проверять на целевом наборе данных.

Карточка модели nityaak/qwen3-8b-stance-matrix-semeval-mtcsd-qlora на Hugging Face совпадает с карточкой nityaak/qwen3-8b-stance-matrix-semeval-mtcsd-ezstance-qlora, поэтому описание составлено по ней. nityaak/Qwen3-8B-stance-matrix-semeval-mtcsd-ezstance-qlora — дообученная модель семейства Qwen3 для генерации текста. Она основана на unsloth/Qwen3-8B-unsloth-bnb-4bit, имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров. Модель обучена с помощью Unsloth и библиотеки TRL; карточка называет её QLoRA-дообучением для задач stance detection, связанных с наборами SemEval, MT-CSD и EzStance. Модель предназначена для генерации текстовых ответов в диалоговом формате и может применяться для определения или формулирования позиции по текстовым высказываниям в рамках соответствующих задач. Контекст составляет до 40 960 токенов. Основной указанный язык — английский. Лицензия — Apache-2.0. Карточка не приводит оценок качества или деталей формата ожидаемых инструкций, поэтому результаты следует проверять на целевом наборе данных.

Regulatory Alert Triage — Qwen3-4B v1 — это экспериментальная модель Comply2Reg для первичной сортировки публикаций британских регуляторов. Она дообучена методом LoRA на базе mlx-community/Qwen3-4B-Instruct-2507-4bit; веса адаптера объединены с базовой моделью и выпущены в 4-битном формате safetensors. Модель содержит 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и контекст до 262 144 токенов. Для работы на Apple Silicon применяется библиотека MLX. На вход подаётся текст публикации, на выходе модель формирует JSON-запись с классом документа, приоритетом, предполагаемыми ответственными функциями и сведениями об обязательствах и сроках. Она предназначена для предварительной сортировки входящего потока и передачи материалов командам по регуляторным изменениям; результат рассчитан на проверку специалистом, а не на автоматическое исполнение. Обучение охватывает открытые источники Великобритании, но это первый рабочий выпуск, а не готовый продукт. Качество ограничено: macro-F1 составляет 0,244, многие классы почти не распознаются, а оценка основана на метках, созданных другой моделью. Уверенность не калибрована; за пределами обучающего распределения модель может выдавать правдоподобный JSON с ошибочными полями. Она не предназначена для юридических или комплаенс-решений, не проверена для нерегуляторов Великобритании и публикаций до 2022 года; материалы FCA и PRA исключены из обучения. Дообучение также снизило результаты на общем тесте понимания договоров. Лицензия — Apache-2.0.

Это испаноязычная биомедицинская и клиническая языковая модель, созданная авторами исследования Carrino и соавторами. Модель основана на RoBERTa и предварительно обучена предсказывать замаскированные токены в специализированном корпусе объёмом более 1 млрд токенов, включающем медицинские тексты и клинические документы. Веса содержат 153,2 млн параметров, контекст — до 514 токенов; доступен формат PyTorch. Модель предназначена для заполнения пропусков в испанских медицинских текстах и как основа для дообучения под прикладные задачи. В README приведены результаты оценки извлечения медицинских сущностей на PharmaCoNER, CANTEMIST и ICTUSnet; NER требует дообучения, поскольку готовая модель предназначена для fill-mask. Лицензия — Apache 2.0. Карточка сообщает, что модель перенесена в другой репозиторий и вскоре может быть удалена.

Koichi Yasuoka разработал эту модель для разметки частей речи в тайском языке. Она основана на RoBERTa с символьными эмбеддингами, предварительно обученной на текстах тайской Википедии, и дообучена для присвоения каждому слову универсальной части речи UPOS. Архитектура — RobertaForTokenClassification, размер — 115,3 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для морфосинтаксического анализа тайских текстов; карточка также указывает на задачу синтаксического анализа зависимостей. Её можно применять для автоматической разметки частей речи и подготовки данных для последующего языкового анализа. Модель принимает текст и выдаёт последовательность меток токенов. Лицензия — Apache-2.0.

RoBERTa-base — модель Koichi Yasuoka, предварительно обученная на текстах вьетнамской Википедии. Она предназначена для заполнения пропусков в тексте и может служить основой для дообучения под задачи разметки частей речи, синтаксического анализа зависимостей и другие задачи обработки вьетнамского языка. Модель содержит 137,8 млн параметров, использует архитектуру RoBERTa для masked language modeling и принимает текстовые последовательности длиной до 512 токенов. Доступны веса PyTorch. Модель распространяется по лицензии CC BY-SA 4.0.

S_CX — англоязычный masked language model семейства ClimateModernBERT, разработанный авторами проекта ClimateModernBERT. Это продолжительно предобученная на синтетических климатических текстах версия answerdotai/ModernBERT-base с архитектурой ModernBertForMaskedLM, 149 млн параметров и контекстом до 8192 токенов. Веса опубликованы в формате Safetensors и используются через Transformers. Модель предназначена для исследований в области климатического NLP: представления климатических текстов и дообучения под классификацию, многометочную разметку и поиск по корпоративной климатической отчётности, политическим документам, научной литературе и новостям. В карточке сообщается о среднем F1 73,4 по девяти климатическим бенчмаркам; для общего применения авторы рекомендуют объединённую модель Merge_Soup_LRD. Модель принимает текст и обучена только для английского языка. Это masked language model для заполнения пропусков, а не диалоговая или инструкционная система; качество на уровне длинного контекста в приведённой оценке полноценно не проверялось. Синтетические данные улучшают некоторые задачи, основанные на таксономиях и фреймворках, но могут ухудшать задачи, требующие тонкого понимания дискурса и обязательств. Лицензия в предоставленных данных не указана.

Siamese DINOv2 Wall Hatching Matcher — модель GreenMap для сопоставления штриховок стен на архитектурных чертежах с образцами из легенды. Она использует сиамскую архитектуру на основе DINOv2 ViT-B/14 и содержит 88,15 млн параметров. Модель принимает изображения размером 518 × 518 пикселей и выдаёт оценку вероятности того, что две штриховки обозначают один и тот же тип стены. Модель предназначена для поиска соответствий между условными обозначениями на чертежах и элементами легенды, что может помочь автоматизировать разбор архитектурных планов. В README приведены значения valid loss 0,0442 и valid accuracy 0,9890; результаты относятся к указанной проверочной выборке и сами по себе не гарантируют такое же качество на других чертежах. Модель распространяется в формате TorchScript на PyTorch по лицензии Apache-2.0.

TrOCR Kurrent-Model Hanse 17th century — модель распознавания рукописного текста, разработанная Research Centre for Hanse and Baltic History (FGHO) в рамках Flow Project. Она предназначена для чтения административных документов Северной Германии XVII века: протоколов городских собраний, материалов морского суда и заседаний совета Любека. Модель построена на архитектуре TrOCR типа vision-encoder-decoder и дообучена на основе dh-unibe/trocr-kurrent-XVI-XVII. Она принимает изображения рукописных страниц и выдаёт распознанный текст на ранненововерхненемецком языке. В README указаны CER 0,0040 на лучшей оценке и 0,0382 на тестовом наборе. Репозиторий содержит веса в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

TrOCR Kurrent — модель распознавания рукописного текста XIX века на немецком языке, разработанная Jonas Widmer и Tobias Hodel совместно с исследователями и учреждениями в рамках Digital Humanities@University of Bern. Это дообученная модель Microsoft TrOCR base handwritten на датасете Kurrent, собранном из архивных документов, лекционных записей, дневников и других исторических коллекций. Модель построена на архитектуре VisionEncoderDecoderModel и принимает изображение одной обрезанной строки, возвращая её текстовую транскрипцию. Для обработки страницы её сначала нужно разделить на строки с помощью инструмента сегментации. В README указаны 292 997 обучающих строк; символьная ошибка составила 0,02827 на валидационной и 0,02655 на тестовой выборке. Модель ориентирована на исторические немецкие рукописи в стиле Kurrent. Авторы отмечают, что она не прошла широкое тестирование и возможные смещения ещё не выявлены. Лицензия — MIT.

ngqtrung/video-8b-grpo-hopchain-v40-vript-gs160 — дообученная мультимодальная модель Qwen3-VL-8B-Instruct, опубликованная как контрольный чекпойнт стабильного обучения GRPO для видеоответов с многошаговым рассуждением. Она предназначена для ответов на вопросы с вариантами выбора по видео и анализа нескольких связанных событий или фактов в видеоряде. Обучение проводилось на смеси HopChain v4.0 и Vript: 25 975 примеров с 6 657 видео и выборкой до 140 кадров. Модель использует архитектуру Qwen3-VL и принимает видео и текстовые запросы, выдавая текстовые ответы. В указанной авторами оценке на 5 645 примерах средняя точность составила 0,4800; авторы отмечают устойчивость обучения и отсутствие коллапса, но результат не является лучшим в серии экспериментов. Приведённые оценки получены по протоколу без prefill при оценивании, поэтому их нельзя напрямую сравнивать с результатами по более позднему протоколу. Модель распространяется под лицензией Apache-2.0.

MEDUSA 0.2 Line 9B — мультиязычная vision-language-модель для распознавания рукописного текста в средневековых европейских документах. Её разработали в École nationale des chartes – PSL; модель основана на архитектуре Qwen3.5 и дообучена для распознавания текста на уровне строки. Модель принимает изображение одной предварительно выделенной строки рукописи и возвращает её транскрипцию. Она обучалась на исторических рукописях IX–XV веков и охватывает более 20 языков, включая старофранцузский, среднеанглийский, латынь, старочешский и старопольский. Версия 0.2 включает предварительный этап обучения на 500 тысячах синтетических строк для расширения покрытия языков с малым объёмом данных. Транскрипции ориентированы на правила CATMuS. Модель предназначена для распознавания строк, а не страниц целиком: изображения страниц требуется предварительно сегментировать. Для соответствия правилам CATMuS может потребоваться отдельная постобработка. Лицензия — CC BY 4.0.

meiki.text.detect.v0 — экспериментальная модель обнаружения текстовых строк на изображениях, разработанная для конвейера meikiocr. Она ориентирована на японские видеоигры и мангу и представлена вариантами tiny для изображений с небольшим числом строк и small для изображений с большим числом строк. Модель основана на детекторе D-FINE и предназначена для быстрого выделения областей текста, например в визуальных новеллах и страницах манги; она не распознаёт содержимое текста. В README для tiny указана примерная задержка 30 мс на CPU и 3 мс на GPU, а для small — 70 мс на CPU и 7 мс на GPU. Метаданные указывают формат ONNX и библиотеку TensorRT. Лицензия — LGPL-3.0. README также описывает обновлённую версию v0.1 с изменённой архитектурой и настройкой под видеоигры; эти характеристики не следует приписывать версии v0.

syssec-utd/py314-pylingual-v9-mlm — дообученная модель семейства RoBERTa для восстановления замаскированных фрагментов текста. Она использует архитектуру RobertaForMaskedLM и предназначена для задачи fill-mask: по контексту предсказывает возможные варианты вместо специальной маски. Модель содержит 136,3 млн параметров, работает через библиотеку Transformers и принимает контекст длиной до 1026 токенов. В карточке указано, что модель дообучена на датасете syssec-utd/segmentation-py314-pylingual-v9. Языки, практические сценарии и ограничения качества в материалах не описаны. Формат весов — safetensors; сведения о лицензии отсутствуют.

roberta-medium-amharic — модель семейства XLM-RoBERTa, разработанная rasyosef и предварительно обученная с нуля на амхарском языке. Она предназначена прежде всего для предсказания замаскированных слов, а также может служить основой для дообучения задач классификации тональности и распознавания именованных сущностей на амхарском языке. Модель использует архитектуру XLM-RoBERTa для masked language modeling, содержит около 49,9 млн параметров и принимает последовательности длиной до 512 токенов. Токенизатор обучен на тех же корпусах и имеет словарь размером 32 тыс. токенов. Предварительное обучение проводилось на амхарских подмножествах OSCAR, mC4 и amharic-sentences-corpus; автор сообщает о результатах оценки и сравнения с более крупной многоязычной моделью, но они не гарантируют качество на других данных. Модель рассчитана на амхарский текст и не является готовым классификатором тональности или NER без соответствующего дообучения. Лицензия в предоставленных данных не указана.

domenicrosati/SPECTER-with-biblio-context-finetuned-review_classifier — модель классификации текста, дообученная автором на базе allenai/specter для классификации научных рецензий. В метаданных указаны архитектура на основе BERT с контекстным энкодером и 137,1 млн параметров; модель принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Карточка приводит результаты оценки: accuracy 0,962, F1 0,7892, recall 0,7593 и precision 0,8216. Назначение классификатора связано с научными рецензиями, однако описание меток классов, обучающего набора данных и ограничений не приведено. Лицензия — Apache-2.0.

stanfordnlp/stanza-sme — модель из набора Stanza, разработанного Stanford NLP для лингвистического анализа северносаамского языка (sme). Репозиторий содержит PyTorch-модель для разметки токенов; Stanza предназначена для обработки текста от исходной формы до синтаксического анализа и распознавания именованных сущностей. Модель подходит для включения в NLP-конвейеры для северносаамского текста, где требуется токен-классификация. Карточка не уточняет конкретные классы разметки, размер модели или ограничения её качества. Лицензия репозитория — Apache-2.0.

google/tapas-large-masklm — модель семейства TAPAS от Google для задачи fill-mask: предсказания скрытых токенов в последовательностях, содержащих текст и таблицы. Это крупная модель с архитектурой TapasForMaskedLM, примерно 433,9 млн параметров и контекстом до 1024 токенов. Карточка связывает её с вариантом tapas_masklm_large_reset из исходного репозитория. Модель подходит для восстановления пропусков в табличном тексте и экспериментов с маскированным языковым моделированием таблиц. Доступны веса в форматах PyTorch и TensorFlow. Лицензия и конкретный перечень поддерживаемых языков в предоставленных данных не указаны.

Yigdzin 1 — специализированная модель оптического распознавания тибетского текста, разработанная Buddhist Digital Resource Center (BDRC) на базе PaddlePaddle/PaddleOCR-VL-1.6. Это зрительно-языковая модель с визуальным энкодером и декодером для генерации текста; размер — около 810 млн параметров. Репозиторий распространяет веса в формате safetensors, библиотека для работы — Transformers, лицензия — Apache-2.0. Модель предназначена для распознавания страниц тибетских книг-печа, включая современные издания, ксилографы и рукописи с письмом учен и у-мед. Она сохраняет переносы строк и рассчитана на пакетную обработку сканов или заданных фрагментов страниц. На тестовом наборе BDRC из 1 070 страниц медианная ошибка символов составила около 1,4% при описанной авторами производственной конфигурации. Yigdzin 1 не предназначена для общего визуального диалога, ответов на вопросы по изображениям или распознавания нетибетских письменностей. Она не выполняет обнаружение строк и областей, а транскрибирует поданное изображение целиком или предоставленный фрагмент. Авторы отмечают остаточные повторы на небольшой доле страниц, ошибки объединения строк на некоторых плотных ксилографах, а также трудности с иллюстрациями и повреждёнными или плохо читаемыми страницами.

DunnBC22 подготовил дообученную версию Microsoft TrOCR Base для распознавания текста на изображениях CAPTCHA. Модель использует архитектуру vision-encoder-decoder и принимает изображение, выдавая распознанный текст. В README приведены результаты на оценочном наборе: CER 0,0075 и loss 0,1380; источник обучающих данных не раскрыт. Модель предназначена для экспериментов и извлечения текста из изображений CAPTCHA. В метаданных указан английский язык. Репозиторий распространяется по лицензии MIT; для обучающих сторонних данных могут действовать отдельные лицензионные ограничения.