I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельquinex-statement-clf-v0-125M — англоязычный классификатор количественных утверждений, разработанный JuelichSystemsAnalysis на основе RoBERTa-base и дообученный для отнесения таких утверждений к разным типам. Он предназначен для извлечения количественной информации из текста: на вход подаётся текст с интересующей количественной формулировкой, выделенной маркерами 🍏...🍏, а на выходе — класс утверждения. Модель использует архитектуру RoBERTa для классификации последовательностей, содержит 151,8 млн параметров по метаданным и поддерживает контекст до 514 токенов. В README авторы указывают обучение на 247 примерах, преимущественно из текстов о водороде, и F1 68,6 на dev-наборе; это тестовый плейсхолдер, который, по предупреждению авторов, плохо обобщается и не подходит для надёжных предсказаний. Лицензия — MIT.
yzk/trocr-large-printed-vedic — модель OCR для распознавания печатных ведических текстов на изображениях. Она разработана на основе microsoft/trocr-large-printed и дообучена на текстах из издания Шрёдера «Maitrāyaṇī Saṃhitā». Архитектура vision-encoder-decoder; модель использует библиотеку Transformers и распространяется в формате safetensors. Модель предназначена для преобразования изображений с печатным текстом на деванагари в текст, в частности для оцифровки ведических источников. Она ограничена текстами, где акценты обозначены вертикальными линиями над символами деванагари. Данные о качестве распознавания и результатах тестирования в карточке не приведены. Лицензия не указана.
navnav98/xlmr-comi-pos — дообученная модель классификации токенов на базе XLM-RoBERTa для разметки частей речи в текстах, смешивающих хинди и английский. Она разработана в рамках докторского исследования структурных и прагматических аспектов смешения языков в цифровой коммуникации. Модель предназначена для POS-разметки предложений на хинди, английском и их смешанном варианте, например как первого этапа аннотирования корпуса Reddit для корпусно-лингвистического анализа. Она использует архитектуру XLM-RoBERTa с 305,2 млн параметров и контекстом до 514 токенов; README сообщает, что входы длиннее 256 субслов усекаются. На тестовом разбиении COMI-LINGUA указана оценка F1 0,886. Модель помечена авторами как тестовая и не готовая к производственному использованию. Результаты следует проверять вручную; модель не рассчитана на другие языковые пары и заметно отличающиеся по скрипту или области монолингвальные тексты. Лицензия в метаданных — CC BY 4.0.
Balochi POS Tagger — модель разметки частей речи для текстов на балочском языке, записанных арабским письмом. Её разработал shahbakhsh; модель дообучена на датасете Balochi CoNLL-U от distilbert-base-multilingual-cased и использует архитектуру DistilBERT для классификации токенов. Модель присваивает токенам грамматические метки: например, определяет существительные, глаголы, прилагательные, местоимения, союзы и пунктуацию. Она предназначена для лингвистического анализа и построения NLP-процессов для балочского языка. Максимальная длина контекста — 512 токенов. В тестовой выборке указана точность 0,7002, полнота 0,5289 и precision 0,5994. Модель распространяется под лицензией Apache-2.0. Показатели тестирования указывают на возможные ошибки в разметке; перед использованием в критичных задачах результаты следует проверять на целевых данных.
Это японская модель BERT-base, разработанная на основе cl-tohoku/bert-base-japanese-v2 и дообученная автором репозитория на версии 1 датасета WRIME. Модель принимает японские твиты и оценивает интенсивность восьми эмоций: радости, грусти, предвкушения, удивления, гнева, страха, отвращения и доверия. Для каждой эмоции она выдаёт отдельную оценку для автора текста и усреднённую оценку читателей — всего 16 регрессионных выходов. Модель предназначена для анализа эмоциональной окраски японских сообщений в соцсетях, в том числе для сравнения предполагаемых эмоций автора и читателей. Архитектура — BertForSequenceClassification, размер — 138,4 млн параметров, максимальный контекст — 512 токенов. Карточка приводит результаты оценки на тестовой части WRIME. При регрессионном обучении модель может выдавать оценки за пределами диапазона обучающих меток. Она обучена на японских твитах WRIME, поэтому перенос результатов на другие жанры и языки не подтверждён. Лицензия — CC BY-SA 3.0.
beto_prostata_bs32 — дообученная модель BERT для классификации токенов, созданная на основе испаноязычной dccuchile/bert-base-spanish-wwm-cased. Репозиторий содержит веса в формате safetensors; модель насчитывает 137,1 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: F1 0,9579, точность 0,9930, precision 0,9555 и recall 0,9604. Название указывает на возможную связь с тематикой простаты, однако карточка не описывает метки, назначение классификации или обучающие данные, поэтому конкретный сценарий применения подтвердить нельзя. Лицензия в предоставленных метаданных и README не указана.
CeLLaTe-tapt-pubmedbert-tokenizer-adapted-wwmask-combinedData — англоязычная модель BERT для предсказания замаскированных токенов. Она дообучена Mardiyyah на наборе Mardiyyah/Combined_TAPT_dataset на основе microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext. Модель содержит 138,2 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов. Модель предназначена для восстановления пропущенных слов в англоязычных биомедицинских текстах и может применяться для адаптации к задачам анализа научной и медицинской литературы. В README приведены результаты оценки: loss 1,1730, accuracy 0,7562 и perplexity 3,2318. Использование модели регулируется лицензией Apache-2.0.
DistilBioBERT — сжатая дистиллированная версия BioBERT, представленная в репозитории nlpie. Модель обучали 100 тысяч шагов на корпусе PubMed с суммарным размером батча 192, используя задачу masked language modeling и согласование распределений выходов модели-ученика и учителя. Инициализацию выполнили весами каждого второго слоя BioBERT. Это BERT-модель с 6 трансформерными слоями, скрытым размером 768 и словарём из 28 996 токенов. В README указано около 65 млн параметров, тогда как метаданные Hugging Face сообщают 78,9 млн. Контекст составляет 512 токенов. Модель предназначена для заполнения замаскированных слов в биомедицинских текстах; доступен формат PyTorch. Сжатая архитектура может быть удобна для языкового моделирования биомедицинских текстов при ограниченных вычислительных ресурсах. Модель не описана как диалоговая и сама по себе не предназначена для генерации свободного текста. Лицензия — MIT.
eFontes Latin Tagger v2 — модель лемматизации латинских словоформ, поддерживаемая и опубликованная Кшиштофом Новаком в 2026 году. Она составляет компонент лемматизации исправленного выпуска eFontes Latin Tagger v2 и использует архитектуру T5 с 364,6 млн параметров. Модель принимает форму слова и метку части речи в формате FORM:POS и генерирует лемму. Она предназначена прежде всего для средневековой латыни и используется вместе со средой выполнения eFontes Tagger, которая присваивает метки частей речи, сохраняет пунктуацию и числительные и возвращает готовую разметку. На отложенной выборке eFontes из 18 821 токена точность полного совпадения леммы составила 98,48%; в исходных ответах не было артефактов с метками частей речи. Точность может отличаться для других исторических периодов, вариантов орфографии, сокращений, повреждённых текстов и жанров, не представленных в обучающих и оценочных данных; предсказания требуют проверки специалистом. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на условиях распространения производных материалов на тех же условиях, но не для коммерческого использования.
Emendator — модель byt5-xl, дообученная Aidan McCarthy для исправления ошибок OCR в латинских текстах. Она принимает повреждённый распознаванием текст и восстанавливает читаемую латынь; в карточке приведены примеры исправления лёгких, сильных и очень сильных искажений. Модель содержит 3,3 млрд параметров, построена на архитектуре T5 и распространяется в формате safetensors. Для лучшей производительности текст следует подавать сегментами примерно по 250 символов. Модель подходит для восстановления распознанных латинских книг и исторических документов, когда важнее получить связный латинский текст, чем сохранить конкретную орфографию или редакционный стиль. Она может вносить редакторские изменения и смещать распределение токенов в сторону обучающих данных, поэтому результат не гарантирует точного восстановления исходного написания. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
kweer/food_text_classification — дообученная модель DistilBERT для классификации текстов. По карточке, она обучена на неизвестном наборе данных; назначение и категории классификации не раскрыты. Модель принимает текст и выдаёт метку класса. Архитектура — DistilBertForSequenceClassification, формат весов — safetensors, максимальная длина контекста — 512 токенов. Базовая модель — distilbert/distilbert-base-uncased. В README указаны loss 0,0005 и accuracy 1,0 на оценочном наборе, но без сведений о данных и методике оценки эти показатели не позволяют судить о качестве на новых текстах. Лицензия — Apache-2.0.
Это дообученная модель класса DistilBertForMaskedLM для заполнения пропусков в тексте. Она обучена на датасете gokuls/wiki_book_corpus_complete_processed_bert_dataset; в карточке приведены результаты оценки: loss 3,7039 и accuracy 0,3843. Модель использует архитектуру HybridBERT и поддерживает контекст длиной до 512 токенов. Модель предназначена для предсказания замаскированных токенов в тексте. Сведения о разработчике базовой модели, языках, условиях лицензии и ограничениях применения в карточке отсутствуют.
Koichi Yasuoka разработал ModernBERT-base, предварительно обученную на текстах тайской Википедии. Модель содержит 112,4 млн параметров, использует архитектуру ModernBERT для masked language modeling и принимает последовательности длиной до 8192 токенов. Опубликована в формате PyTorch; лицензия Apache-2.0. Модель подходит для заполнения маскированных токенов в тайском тексте и как основа для дообучения под разметку частей речи, синтаксический анализ зависимостей и другие задачи обработки тайского языка. Для загрузки в README приведён пример с Transformers и AutoModelForMaskedLM. Качество на конкретных прикладных задачах и ограничения модели в карточке не описаны; для специализированного применения потребуется дообучение и оценка на целевых данных.
PixelGPT — официальная контрольная точка авторегрессионной модели, представленная в статье «Autoregressive Pre-Training on Pixels and Texts» (EMNLP 2024). Модель разработана для предобучения на пиксельных данных: она воспринимает документы как изображения и предсказывает следующий фрагмент изображения, не опираясь на токенизацию текста. Архитектура — плотная ErniePixelForCausalLM, размер — 315,9 млн параметров, контекст — 1024 токена. Модель предназначена для генерации и понимания текста, представленного в виде изображения, включая задачи с визуально сложными документами. Веса доступны в формате safetensors. README отсылает к GitHub проекта за инструкциями по использованию. Лицензия в предоставленных данных не указана.
Qwen3-0.6B-Diagnose — дообученная разработчиком карточки модель Qwen3 для интерпретации клинической информации и формирования структурированных диагнозов. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и примерно 507,9 млн параметров; README сообщает о полном дообучении в формате bf16. Модель принимает текст и генерирует текст. Для неё заявлены диалоговые возможности и интерфейс вызова инструментов; длина контекста составляет 40 960 токенов. Модель предназначена для анализа описаний клинических случаев и помощи в подготовке диагностических заключений. В README приведён результат 71,68% диагностического сходства с DeepSeek V3-0324 на отложенной проверочной выборке, однако описание метрики и протокол оценки не раскрыты. Доступные языковые сведения указывают на английский. Модель выпущена по лицензии Apache-2.0. Она может помогать в клинической интерпретации, но приведённая оценка не подтверждает безопасность или точность для принятия медицинских решений; результаты следует проверять специалистом.
tiny_focal_alpah — компактная модель классификации токенов на архитектуре BERT, опубликованная пользователем kktoto. Модель содержит 12,6 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель обучалась с нуля на неизвестном наборе данных. Её назначение — классификация токенов, однако типы меток и конкретные сценарии применения в карточке не раскрыты. На указанном наборе оценки приведены значения precision 0,6951, recall 0,6796, F1 0,6873 и accuracy 0,9512; без описания данных и схемы разметки эти показатели трудно интерпретировать. Сведения о лицензии отсутствуют.
LaMOP/TrOCR_Manicule_2026_Latin_Medieval — модель распознавания рукописного текста, разработанная как дообучение microsoft/trocr-base-handwritten на строках средневековых рукописей на латыни и старофранцузском языке. Она предназначена для транскрибации строк на изображениях исторических документов, включая акты, картулярии и рукописи позднего Средневековья. Модель использует архитектуру TrOCR: визуальный энкодер ViT и декодер RoBERTa; входное разрешение — 384 × 384 пикселя. Реализация рассчитана на PyTorch и Transformers и может выполнять инференс на CUDA или CPU. Лицензия — MIT. Модель специализирована на средневековом почерке и указанных исторических языках; качество на других языках, типах текста и изображениях не подтверждено. Для распознавания отдельных строк необходимо подготовить изображения соответствующего формата.
turkmedstt/whisper-large-v3-turkish-medical — модель распознавания речи TurkMedSTT, созданная дообучением Whisper large-v3 с помощью LoRA на сбалансированной турецкой речи и синтетических медицинских аудиоданных. Это объединённая полная модель на базе WhisperForConditionalGeneration объёмом 905,2 млн параметров; для работы не требуется отдельно загружать адаптер PEFT. Репозиторий содержит веса safetensors и файлы процессора. Модель предназначена для распознавания турецкой клинической диктовки и медицинской терминологии, а также для исследований ASR и сравнения моделей с общей и медицинской адаптацией. Она принимает аудио и выдаёт текст. На небольшом тесте из 120 клипов медицинской речи от трёх добровольцев M2 показала WER 0,0854; результаты на синтетической проверочной выборке не следует считать показателем качества на реальной речи. Модель не является медицинским устройством: её выводы требуют проверки человеком и не должны использоваться для клинических решений или создания записей пациентов без контроля. Акценты, шум, одновременная речь и неясное произношение могут снижать точность; оценка основана на ограниченном числе говорящих. Лицензия модели — Apache-2.0; для базовой Whisper large-v3 указана MIT, а лицензии источников обучающих данных применяются отдельно.
Koichi Yasuoka разработал модель на базе Qwen2 с 1,5 млрд параметров для разметки частей речи в классическом китайском языке. Модель предварительно обучена на текстах на классическом китайском и присваивает словам метки UPOS и грамматические признаки FEATS; в Hugging Face она отнесена к задаче token-classification. Архитектура — плотная Qwen2, формат весов — PyTorch, заявленная длина контекста — 131 072 токена. Модель подходит для морфосинтаксического анализа и подготовки корпусов классического китайского языка, включая автоматическую разметку частей речи и грамматических признаков. Лицензия Apache-2.0. Карточка показывает базовую модель Xunzi-Qwen2-1.5B, однако её идентификатор на Hugging Face не указан.
unslothai/aws — модель или репозиторий на Hugging Face, опубликованный аккаунтом Unsloth Backup Account, связанным с разработчиком Unsloth. В карточке модель классифицирована как Feature Extraction и предназначена для извлечения признаковых представлений из входного текста с использованием библиотеки Transformers. Для загрузки указаны AutoTokenizer и AutoModel, а также pipeline с задачей feature-extraction. Ключевые характеристики ограниченно документированы: указаны форматы Safetensors и F32, теги Transformers и llama, однако размер модели отображается как 0 параметров. Архитектура, поддерживаемые языки, максимальная длина контекста и модальности не описаны. Модель не развернута у доступных Inference Providers, поэтому практическая доступность готового inference-сервиса ограничена. Лицензия и условия использования в карточке модели не указаны. Из-за отсутствия подробной model card нельзя надежно оценить качество, сильные стороны, ограничения или пригодность для конкретных прикладных сценариев.
Карточка модели dbmdz/bert-mini-historic-multilingual-cased на Hugging Face совпадает с карточкой dbmdz/bert-tiny-historic-multilingual-cased, поэтому описание составлено по ней. dbmdz/bert-tiny-historic-multilingual-cased — компактная многоязычная модель семейства BERT от команды dbmdz, обученная на исторических текстах. Она предназначена для предсказания замаскированных токенов в тексте и может служить компактной основой для обработки исторических документов. Модель имеет архитектуру BertForMaskedLM, 2 слоя и скрытый размер 128; содержит около 4,6 млн параметров и принимает последовательности длиной до 512 токенов. В обучающие корпуса вошли исторические материалы на немецком, французском, английском, финском и шведском языках, включая данные Europeana и Британской библиотеки. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Компактный размер облегчает запуск и дообучение на ограниченных ресурсах. По сравнению с крупными BERT-моделями её возможности и ёмкость ограничены; карточка описывает предобучение, но не приводит оценок качества для конкретных прикладных задач. Лицензия — MIT.
CeLLaTe-tapt-pubmedbert-tokenizer-adapted_v2_lr-5e5 — англоязычная BERT-модель с 137,6 млн параметров, дообученная Mardiyyah на наборе Mardiyyah/TAPT_CeLLaTe2.0 на базе microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext. Она предназначена для предсказания замаскированных слов в биомедицинских текстах и адаптации языковой модели к этому корпусу. Модель использует архитектуру BertForMaskedLM, принимает текст и выдаёт текстовые предсказания; контекст ограничен 512 токенами. В README указаны значения на оценочном наборе: loss 1,1756, accuracy 0,7630 и perplexity 3,2401. Модель распространяется по лицензии Apache-2.0.
Koichi Yasuoka разработал модель DeBERTaV2 для морфосинтаксической разметки текстов на айнском языке. Модель дообучена на основе KoichiYasuoka/deberta-base-ainu и присваивает каждому слову тег части речи UPOS; карточка также указывает назначение для синтаксического анализа зависимостей. Поддерживаются тексты на айнском, записанные катаканой, латиницей и кириллицей. Модель содержит 118,5 млн параметров, использует архитектуру DeBERTaV2 и обрабатывает последовательности длиной до 512 токенов. Она предназначена для запуска через Transformers как модель классификации токенов. Распространяется по лицензии CC BY-SA 4.0.
ajrayman/Excitement_Seeking_continuous — модель классификации текста на основе Microsoft DeBERTa-v3-base. Она предназначена для оценки текстов по признаку поиска острых ощущений; архитектура использует DeBERTa V2 для классификации последовательностей, содержит 211,6 млн параметров и принимает последовательности длиной до 512 токенов. Модель создана дообучением базовой модели и опубликована в формате safetensors. Модель подойдёт для автоматической оценки текстов по выраженности склонности к поиску острых ощущений, например для исследовательской разметки или анализа текстовых данных. Карточка не содержит сведений о обучающих данных, метриках качества, шкале выходных значений или подтверждённых языках. Лицензия — MIT.
HBERTv148L6H256A4 — модель для заполнения пропусков в тексте, дообученная на датасете gokuls/wiki_book_corpus_complete_processed_bert_dataset. В метаданных указана архитектура HybridBERT на основе DistilBertForMaskedLM, формат весов PyTorch и контекст до 512 токенов. Модель оценивает подходящие токены для замены маски в тексте. В README приведены результаты оценки: loss 5.1892 и accuracy 0.2230. Разработчик не описывает предполагаемые сценарии использования, ограничения или условия лицензии; сведений о лицензии в метаданных также нет. Указано, что модель дообучена, однако идентификатор её базовой модели не заполнен.
Это модель классификации текста vjosap/moralBERT-predict-authority-in-text, опубликованная Vjosa Preniqi на Hugging Face. По названию и профилю автора она предназначена для выявления в тексте моральной ценности «авторитет»; в профиле также указано приложение MoralBERT для анализа моральных ценностей. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Карточка указывает задачу text-classification, но не описывает обучающие данные, список меток, архитектуру, размер параметров, поддерживаемые языки или контекст. Поэтому результаты следует рассматривать как классификационные оценки для целевого понятия, а не как объяснение или универсальную оценку морального содержания текста.
ruMorpheme-v0.1 — модель для морфемного анализа и сегментации слов русского языка, опубликованная evilfreelancer. Она размечает слова, выделяя приставки, корни, соединительные гласные, дефисы, суффиксы, постфиксы и окончания. В README приведены примеры сегментации с оценками уверенности для отдельных морфем. Модель предназначена для автоматической морфемной разметки русских слов и может использоваться в лингвистических инструментах и обработке русского текста. Вдохновлена кодовой базой NeuralMorphemeSegmentation и работой о supervised-сегментации русских морфем с помощью глубоких свёрточных сетей. Доступны веса PyTorch; лицензия — MIT.
Balochi POS Tagger — модель разметки частей речи для текстов на языке белуджи, записанных арабским письмом. Разработчик shahbakhsh дообучил XLM-RoBERTa Base от FacebookAI на наборе Balochi CoNLL-U. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель присваивает каждому токену одну из 16 меток, включая существительное, глагол, прилагательное, местоимение и пунктуацию. Её можно применять для лингвистического анализа белуджских текстов и подготовки размеченных корпусов. На тестовой выборке указаны accuracy 0,7207, precision 0,6215 и recall 0,5488; метрики отражают качество на конкретном наборе данных и могут не переноситься на другие тексты. Распространяется по лицензии Apache-2.0.
Карточка модели dbmdz/bert-medium-historic-multilingual-cased на Hugging Face совпадает с карточкой dbmdz/bert-tiny-historic-multilingual-cased, поэтому описание составлено по ней. dbmdz/bert-tiny-historic-multilingual-cased — компактная многоязычная модель семейства BERT от команды dbmdz, обученная на исторических текстах. Она предназначена для предсказания замаскированных токенов в тексте и может служить компактной основой для обработки исторических документов. Модель имеет архитектуру BertForMaskedLM, 2 слоя и скрытый размер 128; содержит около 4,6 млн параметров и принимает последовательности длиной до 512 токенов. В обучающие корпуса вошли исторические материалы на немецком, французском, английском, финском и шведском языках, включая данные Europeana и Британской библиотеки. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Компактный размер облегчает запуск и дообучение на ограниченных ресурсах. По сравнению с крупными BERT-моделями её возможности и ёмкость ограничены; карточка описывает предобучение, но не приводит оценок качества для конкретных прикладных задач. Лицензия — MIT.
dbmdz/bert-tiny-historic-multilingual-cased — компактная многоязычная модель семейства BERT от команды dbmdz, обученная на исторических текстах. Она предназначена для предсказания замаскированных токенов в тексте и может служить компактной основой для обработки исторических документов. Модель имеет архитектуру BertForMaskedLM, 2 слоя и скрытый размер 128; содержит около 4,6 млн параметров и принимает последовательности длиной до 512 токенов. В обучающие корпуса вошли исторические материалы на немецком, французском, английском, финском и шведском языках, включая данные Europeana и Британской библиотеки. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Компактный размер облегчает запуск и дообучение на ограниченных ресурсах. По сравнению с крупными BERT-моделями её возможности и ёмкость ограничены; карточка описывает предобучение, но не приводит оценок качества для конкретных прикладных задач. Лицензия — MIT.