I.3Извлечение и структурирование данных

medieval-data разработала TrOCR на основе microsoft/trocr-base-handwritten для распознавания средневековых рукописных текстов из изображений. Модель обучена на датасете CATMuS и использует архитектуру vision-encoder-decoder; метаданные указывают поддержку латинского и французского языков. Репозиторий содержит веса safetensors и распространяется по лицензии MIT. Модель предназначена для OCR средневековых рукописей и преобразования изображений страниц или фрагментов текста в текстовую транскрипцию. В README приведён CER 0,035, однако отмечено, что модель формально не тестировалась и предварительная проверка указывает на необходимость дальнейшего дообучения, поэтому результаты следует проверять.

Piyush3142/trocr-sanskrit-ocr — дообученная модель TrOCR на базе microsoft/trocr-base-printed для распознавания санскритского текста на изображениях рукописей и печатных ведических текстов. Архитектура модели — vision-encoder-decoder; она принимает изображение и генерирует текст в транслитерации IAST. Для получения письма деванагари распознанный текст можно преобразовать отдельно. Модель обучена на наборе yzk/veda-ocr-ms, содержащем около 11,7 тысячи изображений санскритских рукописей, в течение двух эпох. Она предназначена для OCR материалов, похожих по стилю на обучающие данные. Модель распространяется по лицензии MIT. Качество может снижаться на рукописном тексте, повреждённых изображениях и материалах, отличающихся от обучающих ведических текстов.

WiNGPT2-7B-Chat 是卫宁健康研发的中文医疗领域对话大语言模型，面向医疗问答、诊疗辅助和医学信息服务。模型基于 Qwen-7B 预训练，并经过医疗语料继续预训练和指令微调；采用 Transformer 架构、RoPE、SwiGLU 和 RMSNorm。仓库元数据显示模型含 11.4 млрд параметров и поддерживает контекст до 8192 токенов; для Chat-варианта в README указан предел обучения 4096 токенов. Модель принимает текст и генерирует текст, поддерживает многоходовый диалог на китайском языке и медицинские сценарии, включая ответы о симптомах, лечении, лекарствах, профилактике и обследованиях, а также извлечение и классификацию сведений из медицинских текстов. README описывает специализацию на медицинских знаниях и сообщает о поддержке 32 задач и восьми медицинских сценариев. Ответы могут содержать ошибки и не заменяют профессиональную диагностику или лечение. Проект распространяется по Apache License 2.0; веса также должны соответствовать условиям лицензии базовой модели Qwen-7B.

AnandaSky — модель «зрение—язык» для построчной транскрипции исторических синосферных документов; она описана в научной статье об этой задаче. Архитектура сочетает визуальный энкодер Vision Transformer и авторегрессионный декодер на основе Qwen3. В README указано около 626 млн параметров, а в метаданных Hugging Face — 197,5 млн; поэтому точный размер модели по доступным сведениям неоднозначен. Модель предназначена для распознавания строк на изображениях исторических документов из Китая и Кореи, созданных с VIII по XX век, включая печатные издания и рукописи. Она обрабатывает вертикальный текст в одно- и двухколоночной раскладке; заявленные результаты включают низкую частоту ошибок символов на нескольких профильных тестовых наборах. Основной язык — китайский, включая классический китайский. Для запуска требуются Python 3.10 или новее, PyTorch 2.1 или новее, GPU NVIDIA поколения Ampere или новее и FlashAttention; для загрузки пользовательского кода Transformers требуется параметр trust_remote_code=True. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.

timotheeplanes/anti-doping-bert-base — модель Sentence-Transformers на основе BERT, адаптированная к языку антидопинговой практики. Разработчик дообучил предварительно обученную трансформерную модель на антидопинговых текстах с помощью задачи masked language modeling и обучения эмбеддингов методом Transformer-based Sequential Denoising Auto-Encoder. Модель преобразует предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, кластеризации и извлечения признаков для последующих задач, например классификации размеченных предложений. Поддерживает английский язык; максимальная длина контекста — 512 токенов, размер модели — 136,7 млн параметров. Модель подходит для поиска и анализа текстов в антидопинговой области, но сама по себе не выполняет классификацию без отдельного обученного классификатора. Лицензия — Apache-2.0.

BDI-batch — англоязычная модель Sentence Transformers, разработанная Marcos Fernández-Pichel и David E. Losada из CiTIUS, USC. Это дообученный контрастивным обучением двухэнкодерный MPNet для поиска предложений, связанных с 21 симптомом депрессии из опросника Beck Depression Inventory (BDI). Модель основана на sentence-transformers/all-mpnet-base-v2, содержит 136,7 млн параметров, формирует эмбеддинги размерностью 384 и рассчитана на контекст до 514 токенов. Модель предназначена для исследовательского поиска психологических маркеров в текстах социальных сетей и тонкого различения близких симптомов BDI. Обучение проводилось на наборе DepreSym примерно из 21,5 тыс. размеченных предложений с использованием контрастивной функции MultipleNegativesRankingLoss и пар, сформированных с учётом структуры опросника. В README сообщается об улучшении метрик retrieval на наборах eRisk 2023 и 2024 относительно базовых эмбеддингов. Модель не предназначена для постановки диагноза, скрининга без участия специалиста, автоматических вмешательств или производственных медицинских систем без отдельной проверки. Она обучена на англоязычных публикациях в социальных сетях, может пропускать неявные упоминания и ограниченно переносится на другие опросники и культурные контексты. Лицензия — Apache-2.0.

Модель biomedtra-small-es-squad2-es разработана SOMOS NLP в рамках хакатона 2022 года по извлечению ответов на вопросы в биомедицине. Это модель ElectraForQuestionAnswering с 20,5 млн параметров, дообученная на испанском mrm8488/biomedtra-small-es для датасета squad_es версии 2; она принимает вопрос и контекст и извлекает ответ непосредственно из текста. Модель предназначена для ответов на вопросы по испанским биомедицинским текстам, включая случаи, когда в контексте нет ответа. Максимальная длина контекста — 512 токенов. В README приведены результаты оценки на dev-выборке hackathon-pln-es/biomed_squad_es_v2 и сравнение с другими моделями хакатона. Это ориентир для указанного набора данных, а не гарантия качества на других текстах. Лицензия в предоставленных данных не указана.

MrBananaHuman/char_ko_bert_small — компактная модель BERT для обработки корейского языка, разработанная автором репозитория MrBananaHuman. Она токенизирует текст на уровне корейских слогов и предназначена для заполнения пропусков в тексте с помощью masked language modeling; модель также можно дообучать для распознавания именованных сущностей. Архитектура — трансформерный энкодер BertForMaskedLM с 3 слоями и словарём из 7 477 токенов; размер составляет 34,1 млн параметров, максимальная длина контекста — 512 токенов. Модель рассчитана на корейский язык и может применяться в компактных системах, включая мобильные и серверные среды. Распространяется по лицензии Apache License 2.0, допускающей академическое и коммерческое использование.

climatebert-multi — дообученная модель классификации текста на базе ClimateBERT, построенной на DistilRoBERTa. Она предназначена для отнесения текстов к классам; конкретные классы и сценарий классификации в карточке не описаны. Модель содержит 95,4 млн параметров и принимает последовательности длиной до 514 токенов. В README приведены результаты на оценочном наборе: F1 Macro 0,7668 и accuracy 0,8707. Данные обучения и подробности оценки не раскрыты, поэтому результаты нельзя уверенно переносить на другие наборы и задачи. Лицензия — Apache-2.0.

Koichi Yasuoka разработал DeBERTa V2 Large, предварительно обученную на текстах библиотеки 青空文庫 с токенизатором BertJapaneseTokenizer. Модель содержит 435,4 млн параметров, принимает текстовые последовательности длиной до 512 токенов и предназначена для задачи fill-mask: предсказания замаскированных фрагментов японского текста. Модель можно дообучать для последующих задач обработки японского языка, включая разметку частей речи и синтаксический анализ зависимостей. Для загрузки токенизатора требуются fugashi и unidic-lite. Репозиторий содержит веса PyTorch; лицензия — CC BY-SA 4.0.

hezarai выпустила ParsDistilBERT — модель на базе hezarai/distilbert-base-fa, дообученную на датасете LSCP-500k для определения частей речи в персидском тексте. Она выполняет разметку на уровне токенов и подходит для автоматической POS-разметки предложений и корпусов. Модель распространяется в формате PyTorch и предназначена для использования с библиотекой Hezar. Лицензия в доступных данных не указана.

dejanseo/google-links — дообученная модель DeBERTa v3 для поиска слов и фрагментов текста, подходящих на роль анкорного текста гиперссылки. Она размечает каждый токен меткой LINK или O и рассчитана на анализ текста, в частности редакционных материалов и блогов. Модель обучена на 10 273 страницах официального блога Google The Keyword; решения редакторов о ссылках использовались как эталон. По метаданным, это DeBERTa v2 для классификации токенов на 306 млн параметров с контекстом до 512 токенов. В приведённой оценке точность составила 95,6%, полнота — 79,5%, а precision — 42,4%. Высокая полнота помогает находить большинство потенциальных ссылок, но предсказания требуют редакторской проверки: подходящий анкор неоднозначен, поэтому часть отмеченных слов может оказаться ложноположительными кандидатами. Карточка не сообщает лицензию модели.

Модель Bespin Global — дообученная klue/roberta-small для классификации корейских высказываний по типу речевого намерения. Она относит текст к одному из семи классов: фрагмент, утверждение, вопрос, команда, риторический вопрос, риторическая команда или высказывание, смысл которого зависит от интонации. Модель подходит для разметки корейских реплик и анализа намерений в текстовых диалогах. Основана на архитектуре RoBERTa, содержит 81,2 млн параметров и принимает последовательности длиной до 514 токенов. Для дообучения использован датасет 3i4k; обучение остановлено после трёх эпох. Опубликованные сведения не приводят метрик качества, поэтому точность классификации по классам оценить нельзя. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

joelito/legal-xlm-roberta-base — многоязычная языковая модель на архитектуре RoBERTa, разработанная Джоэлом Никлаусом и предварительно обученная на юридических текстах из набора Multi Legal Pile. Модель содержит 211,6 млн параметров, принимает текст и предсказывает пропущенные в нём токены; максимальная длина контекста составляет 514 токенов. Модель предназначена для заполнения пропусков и дообучения для юридических задач классификации последовательностей и токенов, а также ответов на вопросы по тексту. Она охватывает 24 языка, включая болгарский, чешский, датский, немецкий, греческий, английский, испанский, финский, французский, итальянский, нидерландский, польский, португальский и румынский. Для свободной генерации текста модель не предназначена; на обычных, неюридических текстах качество может быть ниже. Предсказания могут воспроизводить стереотипы. Лицензия — CC BY-SA.

LLaVA-NeXT-Qwen-32B — мультимодальный чат-бот семейства LLaVA, разработанный lmms-lab. Это авторегрессионная трансформерная модель с плотной архитектурой LlavaQwenForCausalLM и 31,7 млрд параметров; в качестве базовой языковой модели используется Qwen/Qwen1.5-32B-Chat. Модель принимает изображения и текстовые инструкции, а отвечает текстом; нативный контекст составляет 32 768 токенов. Модель предназначена для диалога по изображениям и исследовательской работы с мультимодальными моделями: она обучалась на парах изображение–текст, инструкциях, задачах визуальных вопросов и ответов и данных описания изображений. Подходит для анализа изображений, ответов на вопросы об их содержимом и генерации подписей. В README коммерческое использование запрещено; метаданные указывают лицензию Apache-2.0, поэтому перед применением следует учитывать это расхождение в условиях использования. Карточка также описывает модель как предназначенную для исследовательских задач.

model_segment_content_DEFI — дообученная разработчиком модель классификации текста на базе PhoBERT-base-v2 с архитектурой RoBERTa и примерно 162,4 млн параметров. Она предназначена для классификации текстовых фрагментов; название модели указывает на сегментацию контента DEFI, но карточка не раскрывает метки классов и точный сценарий применения. Для модели указано окно контекста в 258 токенов. На оценочном наборе автор сообщает accuracy 0,9707 и F1 0,9659, однако набор данных обозначен как None, а подробности обучения и оценки отсутствуют. Базовая PhoBERT рассчитана на вьетнамский язык, поэтому модель следует применять к вьетнамскому тексту. Лицензия — AGPL-3.0.

vjosap/moralBERT-predict-fairness-in-text — модель классификации текста, опубликованная исследовательницей Вьосой Преники. Это один из отдельных чекпойнтов MoralBERT, предназначенных для выявления моральных ценностей в социальном дискурсе по теории моральных оснований: модель оценивает наличие измерения Fairness/Cheating (справедливость/обман) в тексте. Семейство MoralBERT основано на BERT и дообучено на размеченных текстах из социальных сетей; для этой модели доступна обработка текстового ввода и классификационные метки. Токенизатор BERT настроен на последовательности длиной до 512 токенов. Модель подходит для автоматической разметки высказываний и анализа моральной тематики в социальных дискуссиях. Исследовательские результаты MoralBERT показывают преимущество над лексиконными и рядом других базовых подходов на внутридоменных данных, однако перенос на иные домены может быть менее надёжным. Репозиторий распространяется по лицензии MIT. Карточка Hugging Face содержит минимум технической документации; подробности о точной конфигурации чекпойнта в ней не приведены.

MyAwesomeModel — опубликованный пользователем chengze79 репозиторий модели на Hugging Face. В карточке автор описывает её как модель для рассуждений и вывода, включая задачи математики, программирования и общей логики; также заявлены генерация кода и диалога, ответы на вопросы, суммаризация и следование инструкциям. Эти возможности и приведённые в карточке результаты оценки не подтверждены независимыми источниками. Метаданные репозитория указывают на архитектуру BERT с классом BertModel и задачу feature-extraction, что расходится с описанием генеративной модели в карточке. Доступны сведения о формате PyTorch, библиотеке Transformers и лицензии MIT; карточка разрешает коммерческое использование. Репозиторий не даёт надёжно установить размер модели, поддерживаемые языки или длину контекста.

parl-german-mope — немецкоязычная модель для разметки упоминаний народа и элит в речах парламента. Она создана как слой аннотации проекта GePaDeU и дообучена полным fine-tuning модели GBERT на парламентских выступлениях Бундестага Германии. Модель на основе BERT решает задачу классификации токенов: присваивает последовательности метки упоминаний народа и элит. Обучение и оценка проводились на 267 вручную размеченных выступлениях Бундестага за 2017–2021 годы с 9 297 упоминаниями. Модель использует библиотеку Transformers, имеет 136,3 млн параметров и контекст до 512 токенов. Она подходит для анализа политической риторики в немецких парламентских выступлениях. Данные README не описывают качество на других жанрах или периодах, поэтому перенос результатов за пределы указанного корпуса требует проверки. Лицензия в предоставленных данных не указана.

PuoBERTa — языковая модель на архитектуре RoBERTa, разработанная Vukosi Marivate, Moseli Mots'Oehli, Valencia Wagner, Richard Lastrucci и Isheanesu Dzingirai для языка сетсвана. Модель с 96,6 млн параметров обучена на корпусах сетсвана, включая PuoData, Vukuzenzele, NCHLT и тексты правительства Южной Африки. Она предсказывает пропущенные токены в тексте и может служить основой для дообучения под прикладные задачи обработки сетсвана. Модель предназначена для заполнения масок и адаптации к задачам вроде классификации новостей, разметки частей речи и распознавания именованных сущностей. Это RoBERTa для masked language modeling с контекстом до 514 токенов; в README приведены результаты на наборах классификации новостей, POS и NER. Модель принимает и выдаёт текст. Лицензия — CC BY 4.0.

Redflag Detection V4.0 — медицинская модель извлечения тревожных симптомов и контекстных признаков из текста. Разработчик дообучил Qwen2.5-7B-Instruct с помощью LoRA; модель содержит 7,1 млрд параметров, использует архитектуру Qwen2 и рассчитана на контекст до 32 768 токенов. Она формирует структурированный JSON по схеме из 96 симптомов, признаков тяжести, факторов риска и контекстных флагов, чтобы передать результаты механизму правил для определения совпавших и предполагаемых медицинских тревожных признаков. Модель предназначена для извлечения симптомов и контекста из медицинских сообщений, а не для самостоятельной постановки диагноза. В README приведены результаты проверки на выборке из 269 примеров: точность и полнота зависят от режима подсчёта, а полнота в строгом режиме составляет 0,749. Для применения через описанный интерфейс vLLM требуется отдельный движок правил V20 с 59 правилами. Карточка указывает лицензию Apache-2.0. Модель обучена на английских данных; метаданные также отмечают китайский и малайский языки, но качество для них не приводится.

Koichi Yasuoka разработал RoBERTa-base-serbian — модель RoBERTa, предварительно обученную на сербском корпусе srWaC. Она рассчитана на восстановление замаскированных токенов и может служить основой для дообучения под задачи обработки сербского языка, например разметку частей речи и синтаксический анализ зависимостей. Модель поддерживает сербский язык в кириллическом и латинском письме; архитектура — плотная RobertaForMaskedLM с 124,3 млн параметров и контекстом до 512 токенов. Репозиторий содержит веса PyTorch. Лицензия — CC BY-SA 4.0.

Koichi Yasuoka разработал эту небольшую модель RoBERTa для разметки белорусского текста. Она дообучена на Universal Dependencies Belarusian и присваивает каждому слову метку UPOS и грамматические признаки FEATS; также предназначена для задач синтаксического разбора зависимостей. Модель построена на KoichiYasuoka/roberta-small-belarusian, содержит 17,9 млн параметров и принимает контекст длиной до 128 токенов. Модель подходит для морфологической разметки и анализа синтаксической структуры белорусских текстов в NLP-конвейерах. Она распространяется под лицензией CC BY-SA 4.0. Ограничение контекста в 128 токенов требует обрабатывать длинные тексты по частям; качество для языков, отличных от белорусского, не подтверждено.

ghadeermobasher/WELT-PubMedBERT-BC5CDRChemical — модель Ghadeer Mobasher, созданная в рамках проекта WeLT совместно с Olga Krebs, Wolfgang Müller и Michael Gertz. Это специализированная модель для token classification и распознавания химических сущностей в биомедицинских текстах, в частности в корпусе BC5CDR-Chemical. Модель основана на PubMedBERT и дообучена для biomedical named entity recognition с использованием WeLT — cost-sensitive подхода, учитывающего дисбаланс классов при обучении. Она предназначена для выделения упоминаний химических веществ и лекарственных соединений в научных публикациях и последующей обработки средствами biomedical text mining. Модель работает с текстом, а не с изображениями или аудио; точный размер, длина контекста, языковой охват и параметры архитектуры для данного репозитория в доступной карточке модели явно не указаны. Сильная сторона модели — специализация на биомедицинской лексике и применение взвешенной функции потерь, направленное на снижение ошибок, связанных с преобладанием неименованных токенов. Ограничения включают узкую предметную область, зависимость качества от сходства входных текстов с BC5CDR и отсутствие подтверждённых данных о качестве на других корпусах. Лицензия в доступных материалах для этой модели не указана.

Это полная донастройка Whisper medium, созданная Kiran Devraj на основе openai/whisper-medium для распознавания аудио устных слушаний Верховного суда Индии. Модель содержит около 455,8 млн параметров и работает с аудио через архитектуру Whisper; целевой режим декодирования — английская транскрипция. Модель предназначена для расшифровки судебных записей с юридической лексикой, ссылками на дела и именами участников; аудио может содержать отдельные фрагменты хинди, записанные латиницей. На отложенном тестовом наборе карточка сообщает WER 9,2 против 12,6 у базового Whisper medium. Для работы нужны монофонические аудиофрагменты 16 кГц длительностью до 30 секунд. Лицензия — Apache-2.0.

mHossain/bengali_pos_v1_400000 — модель токеновой классификации на базе ELECTRA, дообученная разработчиком на наборе данных pos_tag_100k. Она предназначена для автоматической разметки частей речи в текстах на бенгали. Модель содержит 137,8 млн параметров и обрабатывает последовательности длиной до 512 токенов. На оценочной выборке указаны точность 0,8402 и F1 0,7843. Эти показатели относятся к описанному набору данных и не гарантируют такое же качество на других текстах. Лицензия и подробности об ограничениях в предоставленных данных не приведены.

Модель DunnBC22/bert-base-cased-finetuned-Stromberg_NLP_Twitter-PoS_v2 — англоязычная модель BERT base cased, дообученная для классификации токенов на наборе twitter_pos_vcb. Она размечает части речи и связанные с ними токенные категории в тексте Twitter. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. На оценочном наборе указаны точность 98,53% и взвешенная F1-мера 98,53%; макроусреднённая F1-мера составляет 89,31%, что указывает на различия качества между классами. Модель предназначена для демонстрации разметки частей речи, а результаты и применимость вне данных Twitter могут отличаться. Лицензия — Apache-2.0; датасет дообучения может иметь отдельные условия использования.

Карточка модели hfl/chinese-lert-small на Hugging Face совпадает с карточкой hfl/chinese-lert-base, поэтому описание составлено по ней. HFL Chinese LERT Base — предварительно обученная языковая модель для китайского языка, разработанная авторами Yiming Cui, Wanxiang Che, Shijin Wang и Ting Liu. LERT основана на архитектуре BERT и предназначена для восстановления замаскированных токенов в тексте, а также как языковая основа для задач обработки китайского языка. Модель содержит 129,5 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Карточка характеризует LERT как модель с лингвистически мотивированным предобучением. Лицензия — Apache 2.0. Для прямого применения в других задачах может потребоваться дообучение. В доступной карточке не приведены результаты оценки качества и подробности состава обучающих данных.

climatebert-bin — англоязычная модель классификации текста, разработанная на основе climatebert/distilroberta-base-climate-f и дообученная для классификации последовательностей. Модель построена на архитектуре DistilRoBERTa/RoBERTa, содержит 95,4 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для присвоения текстам классов в задачах, связанных с климатической тематикой. В карточке приведены результаты на тестовой выборке: F1 Macro 0,9156 и accuracy 0,9224. Датасет, метки классов и подробные сценарии использования не описаны, поэтому область применения классификации нельзя уточнить. Модель распространяется по лицензии Apache-2.0.

ClinicalBERT — медицинская языковая модель, разработанная MedicalAI и дообученная на крупном корпусе электронных медицинских записей. В карточке указаны данные более чем о 3 миллионах пациентов и предобучающий корпус объёмом 1,2 млрд слов по различным заболеваниям. Модель основана на DistilBERT и предназначена для работы с медицинским текстом. Метаданные Hugging Face указывают задачу заполнения пропусков в тексте (fill-mask) и контекст длиной до 512 токенов. Это позволяет, например, подбирать скрытые слова в клинических формулировках. Репозиторий содержит веса PyTorch. Медицинская специализация и обучение на электронных медицинских записях подходят для анализа клинических текстов, однако карточка не приводит результатов оценки качества или сведений о поддерживаемых языках. Лицензия в предоставленных данных не указана.