/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
5 041–5 070 из 25 791
JuelichSystemsAnalysis
quinex-statement-clf-v0-125M

quinex-statement-clf-v0-125M — англоязычный классификатор количественных утверждений, разработанный JuelichSystemsAnalysis на основе RoBERTa-base и дообученный для отнесения таких утверждений к разным типам. Он предназначен для извлечения количественной информации из текста: на вход подаётся текст с интересующей количественной формулировкой, выделенной маркерами 🍏...🍏, а на выходе — класс утверждения. Модель использует архитектуру RoBERTa для классификации последовательностей, содержит 151,8 млн параметров по метаданным и поддерживает контекст до 514 токенов. В README авторы указывают обучение на 247 примерах, преимущественно из текстов о водороде, и F1 68,6 на dev-наборе; это тестовый плейсхолдер, который, по предупреждению авторов, плохо обобщается и не подходит для надёжных предсказаний. Лицензия — MIT.

830окт. 2025ctx514
textmithugging-face
yzk
trocr-large-printed-vedic

yzk/trocr-large-printed-vedic — модель OCR для распознавания печатных ведических текстов на изображениях. Она разработана на основе microsoft/trocr-large-printed и дообучена на текстах из издания Шрёдера «Maitrāyaṇī Saṃhitā». Архитектура vision-encoder-decoder; модель использует библиотеку Transformers и распространяется в формате safetensors. Модель предназначена для преобразования изображений с печатным текстом на деванагари в текст, в частности для оцифровки ведических источников. Она ограничена текстами, где акценты обозначены вертикальными линиями над символами деванагари. Данные о качестве распознавания и результатах тестирования в карточке не приведены. Лицензия не указана.

1621апр. 2025ctx512
textimagehugging-face
navnav98
xlmr-comi-pos

navnav98/xlmr-comi-pos — дообученная модель классификации токенов на базе XLM-RoBERTa для разметки частей речи в текстах, смешивающих хинди и английский. Она разработана в рамках докторского исследования структурных и прагматических аспектов смешения языков в цифровой коммуникации. Модель предназначена для POS-разметки предложений на хинди, английском и их смешанном варианте, например как первого этапа аннотирования корпуса Reddit для корпусно-лингвистического анализа. Она использует архитектуру XLM-RoBERTa с 305,2 млн параметров и контекстом до 514 токенов; README сообщает, что входы длиннее 256 субслов усекаются. На тестовом разбиении COMI-LINGUA указана оценка F1 0,886. Модель помечена авторами как тестовая и не готовая к производственному использованию. Результаты следует проверять вручную; модель не рассчитана на другие языковые пары и заметно отличающиеся по скрипту или области монолингвальные тексты. Лицензия в метаданных — CC BY 4.0.

220июль 2026ctx514
textcc-by-4.0hugging-face
shah-bakhsh
balochi-pos-tagger

Balochi POS Tagger — модель разметки частей речи для текстов на балочском языке, записанных арабским письмом. Её разработал shahbakhsh; модель дообучена на датасете Balochi CoNLL-U от distilbert-base-multilingual-cased и использует архитектуру DistilBERT для классификации токенов. Модель присваивает токенам грамматические метки: например, определяет существительные, глаголы, прилагательные, местоимения, союзы и пунктуацию. Она предназначена для лингвистического анализа и построения NLP-процессов для балочского языка. Максимальная длина контекста — 512 токенов. В тестовой выборке указана точность 0,7002, полнота 0,5289 и precision 0,5994. Модель распространяется под лицензией Apache-2.0. Показатели тестирования указывают на возможные ошибки в разметке; перед использованием в критичных задачах результаты следует проверять на целевых данных.

91июль 2026ctx512
textapache-2.0hugging-face
patrickramos
bert-base-japanese-v2-wrime-fine-tune

Это японская модель BERT-base, разработанная на основе cl-tohoku/bert-base-japanese-v2 и дообученная автором репозитория на версии 1 датасета WRIME. Модель принимает японские твиты и оценивает интенсивность восьми эмоций: радости, грусти, предвкушения, удивления, гнева, страха, отвращения и доверия. Для каждой эмоции она выдаёт отдельную оценку для автора текста и усреднённую оценку читателей — всего 16 регрессионных выходов. Модель предназначена для анализа эмоциональной окраски японских сообщений в соцсетях, в том числе для сравнения предполагаемых эмоций автора и читателей. Архитектура — BertForSequenceClassification, размер — 138,4 млн параметров, максимальный контекст — 512 токенов. Карточка приводит результаты оценки на тестовой части WRIME. При регрессионном обучении модель может выдавать оценки за пределами диапазона обучающих меток. Она обучена на японских твитах WRIME, поэтому перенос результатов на другие жанры и языки не подтверждён. Лицензия — CC BY-SA 3.0.

7.9K6май 2022ctx512
textcc-by-sa-3.0hugging-face
arthurtechia
beto_prostata_bs32

beto_prostata_bs32 — дообученная модель BERT для классификации токенов, созданная на основе испаноязычной dccuchile/bert-base-spanish-wwm-cased. Репозиторий содержит веса в формате safetensors; модель насчитывает 137,1 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: F1 0,9579, точность 0,9930, precision 0,9555 и recall 0,9604. Название указывает на возможную связь с тематикой простаты, однако карточка не описывает метки, назначение классификации или обучающие данные, поэтому конкретный сценарий применения подтвердить нельзя. Лицензия в предоставленных метаданных и README не указана.

60июнь 2026ctx512
texthugging-face
Mardiyyah
CeLLaTe-tapt-pubmedbert-tokenizer-adapted-wwmask-combinedData

CeLLaTe-tapt-pubmedbert-tokenizer-adapted-wwmask-combinedData — англоязычная модель BERT для предсказания замаскированных токенов. Она дообучена Mardiyyah на наборе Mardiyyah/Combined_TAPT_dataset на основе microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext. Модель содержит 138,2 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов. Модель предназначена для восстановления пропущенных слов в англоязычных биомедицинских текстах и может применяться для адаптации к задачам анализа научной и медицинской литературы. В README приведены результаты оценки: loss 1,1730, accuracy 0,7562 и perplexity 3,2318. Использование модели регулируется лицензией Apache-2.0.

860июль 2026ctx512
textapache-2.0hugging-face
nlpie
distil-biobert

DistilBioBERT — сжатая дистиллированная версия BioBERT, представленная в репозитории nlpie. Модель обучали 100 тысяч шагов на корпусе PubMed с суммарным размером батча 192, используя задачу masked language modeling и согласование распределений выходов модели-ученика и учителя. Инициализацию выполнили весами каждого второго слоя BioBERT. Это BERT-модель с 6 трансформерными слоями, скрытым размером 768 и словарём из 28 996 токенов. В README указано около 65 млн параметров, тогда как метаданные Hugging Face сообщают 78,9 млн. Контекст составляет 512 токенов. Модель предназначена для заполнения замаскированных слов в биомедицинских текстах; доступен формат PyTorch. Сжатая архитектура может быть удобна для языкового моделирования биомедицинских текстов при ограниченных вычислительных ресурсах. Модель не описана как диалоговая и сама по себе не предназначена для генерации свободного текста. Лицензия — MIT.

3116авг. 2022ctx512
textmithugging-face
efontes
efontes-latin-lemma-v2

eFontes Latin Tagger v2 — модель лемматизации латинских словоформ, поддерживаемая и опубликованная Кшиштофом Новаком в 2026 году. Она составляет компонент лемматизации исправленного выпуска eFontes Latin Tagger v2 и использует архитектуру T5 с 364,6 млн параметров. Модель принимает форму слова и метку части речи в формате FORM:POS и генерирует лемму. Она предназначена прежде всего для средневековой латыни и используется вместе со средой выполнения eFontes Tagger, которая присваивает метки частей речи, сохраняет пунктуацию и числительные и возвращает готовую разметку. На отложенной выборке eFontes из 18 821 токена точность полного совпадения леммы составила 98,48%; в исходных ответах не было артефактов с метками частей речи. Точность может отличаться для других исторических периодов, вариантов орфографии, сокращений, повреждённых текстов и жанров, не представленных в обучающих и оценочных данных; предсказания требуют проверки специалистом. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на условиях распространения производных материалов на тех же условиях, но не для коммерческого использования.

1330сент. 2026
textcc-by-nc-sa-4.0hugging-face
aimgo
Emendator

Emendator — модель byt5-xl, дообученная Aidan McCarthy для исправления ошибок OCR в латинских текстах. Она принимает повреждённый распознаванием текст и восстанавливает читаемую латынь; в карточке приведены примеры исправления лёгких, сильных и очень сильных искажений. Модель содержит 3,3 млрд параметров, построена на архитектуре T5 и распространяется в формате safetensors. Для лучшей производительности текст следует подавать сегментами примерно по 250 символов. Модель подходит для восстановления распознанных латинских книг и исторических документов, когда важнее получить связный латинский текст, чем сохранить конкретную орфографию или редакционный стиль. Она может вносить редакторские изменения и смещать распределение токенов в сторону обучающих данных, поэтому результат не гарантирует точного восстановления исходного написания. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

3291янв. 2026
textcc-by-nc-4.0hugging-face
kweer
food_text_classification

kweer/food_text_classification — дообученная модель DistilBERT для классификации текстов. По карточке, она обучена на неизвестном наборе данных; назначение и категории классификации не раскрыты. Модель принимает текст и выдаёт метку класса. Архитектура — DistilBertForSequenceClassification, формат весов — safetensors, максимальная длина контекста — 512 токенов. Базовая модель — distilbert/distilbert-base-uncased. В README указаны loss 0,0005 и accuracy 1,0 на оценочном наборе, но без сведений о данных и методике оценки эти показатели не позволяют судить о качестве на новых текстах. Лицензия — Apache-2.0.

120июль 2026ctx512
textapache-2.0hugging-face
gokuls
model_v1_complete_training_wt_init_48_tiny_freeze_new_ffn_2

Это дообученная модель класса DistilBertForMaskedLM для заполнения пропусков в тексте. Она обучена на датасете gokuls/wiki_book_corpus_complete_processed_bert_dataset; в карточке приведены результаты оценки: loss 3,7039 и accuracy 0,3843. Модель использует архитектуру HybridBERT и поддерживает контекст длиной до 512 токенов. Модель предназначена для предсказания замаскированных токенов в тексте. Сведения о разработчике базовой модели, языках, условиях лицензии и ограничениях применения в карточке отсутствуют.

150нояб. 2023ctx512
texthugging-face
KoichiYasuoka
modernbert-base-thai-wikipedia

Koichi Yasuoka разработал ModernBERT-base, предварительно обученную на текстах тайской Википедии. Модель содержит 112,4 млн параметров, использует архитектуру ModernBERT для masked language modeling и принимает последовательности длиной до 8192 токенов. Опубликована в формате PyTorch; лицензия Apache-2.0. Модель подходит для заполнения маскированных токенов в тайском тексте и как основа для дообучения под разметку частей речи, синтаксический анализ зависимостей и другие задачи обработки тайского языка. Для загрузки в README приведён пример с Transformers и AutoModelForMaskedLM. Качество на конкретных прикладных задачах и ограничения модели в карточке не описаны; для специализированного применения потребуется дообучение и оценка на целевых данных.

460янв. 2025ctx8.2K
textapache-2.0hugging-face
ernie-research
PixelGPT

PixelGPT — официальная контрольная точка авторегрессионной модели, представленная в статье «Autoregressive Pre-Training on Pixels and Texts» (EMNLP 2024). Модель разработана для предобучения на пиксельных данных: она воспринимает документы как изображения и предсказывает следующий фрагмент изображения, не опираясь на токенизацию текста. Архитектура — плотная ErniePixelForCausalLM, размер — 315,9 млн параметров, контекст — 1024 токена. Модель предназначена для генерации и понимания текста, представленного в виде изображения, включая задачи с визуально сложными документами. Веса доступны в формате safetensors. README отсылает к GitHub проекта за инструкциями по использованию. Лицензия в предоставленных данных не указана.

245май 2024ctx1K
texthugging-face
suayptalha
Qwen3-0.6B-Diagnose

Qwen3-0.6B-Diagnose — дообученная разработчиком карточки модель Qwen3 для интерпретации клинической информации и формирования структурированных диагнозов. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и примерно 507,9 млн параметров; README сообщает о полном дообучении в формате bf16. Модель принимает текст и генерирует текст. Для неё заявлены диалоговые возможности и интерфейс вызова инструментов; длина контекста составляет 40 960 токенов. Модель предназначена для анализа описаний клинических случаев и помощи в подготовке диагностических заключений. В README приведён результат 71,68% диагностического сходства с DeepSeek V3-0324 на отложенной проверочной выборке, однако описание метрики и протокол оценки не раскрыты. Доступные языковые сведения указывают на английский. Модель выпущена по лицензии Apache-2.0. Она может помогать в клинической интерпретации, но приведённая оценка не подтверждает безопасность или точность для принятия медицинских решений; результаты следует проверять специалистом.

332май 2025ctx41K
textapache-2.0hugging-face
kktoto
tiny_focal_alpah

tiny_focal_alpah — компактная модель классификации токенов на архитектуре BERT, опубликованная пользователем kktoto. Модель содержит 12,6 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель обучалась с нуля на неизвестном наборе данных. Её назначение — классификация токенов, однако типы меток и конкретные сценарии применения в карточке не раскрыты. На указанном наборе оценки приведены значения precision 0,6951, recall 0,6796, F1 0,6873 и accuracy 0,9512; без описания данных и схемы разметки эти показатели трудно интерпретировать. Сведения о лицензии отсутствуют.

310июнь 2022ctx512
texthugging-face
LaMOP
TrOCR_Manicule_2026_Latin_Medieval

LaMOP/TrOCR_Manicule_2026_Latin_Medieval — модель распознавания рукописного текста, разработанная как дообучение microsoft/trocr-base-handwritten на строках средневековых рукописей на латыни и старофранцузском языке. Она предназначена для транскрибации строк на изображениях исторических документов, включая акты, картулярии и рукописи позднего Средневековья. Модель использует архитектуру TrOCR: визуальный энкодер ViT и декодер RoBERTa; входное разрешение — 384 × 384 пикселя. Реализация рассчитана на PyTorch и Transformers и может выполнять инференс на CUDA или CPU. Лицензия — MIT. Модель специализирована на средневековом почерке и указанных исторических языках; качество на других языках, типах текста и изображениях не подтверждено. Для распознавания отдельных строк необходимо подготовить изображения соответствующего формата.

2124сент. 2026ctx512
textimagemithugging-face
turkmedstt
whisper-large-v3-turkish-medical

turkmedstt/whisper-large-v3-turkish-medical — модель распознавания речи TurkMedSTT, созданная дообучением Whisper large-v3 с помощью LoRA на сбалансированной турецкой речи и синтетических медицинских аудиоданных. Это объединённая полная модель на базе WhisperForConditionalGeneration объёмом 905,2 млн параметров; для работы не требуется отдельно загружать адаптер PEFT. Репозиторий содержит веса safetensors и файлы процессора. Модель предназначена для распознавания турецкой клинической диктовки и медицинской терминологии, а также для исследований ASR и сравнения моделей с общей и медицинской адаптацией. Она принимает аудио и выдаёт текст. На небольшом тесте из 120 клипов медицинской речи от трёх добровольцев M2 показала WER 0,0854; результаты на синтетической проверочной выборке не следует считать показателем качества на реальной речи. Модель не является медицинским устройством: её выводы требуют проверки человеком и не должны использоваться для клинических решений или создания записей пациентов без контроля. Акценты, шум, одновременная речь и неясное произношение могут снижать точность; оценка основана на ограниченном числе говорящих. Лицензия модели — Apache-2.0; для базовой Whisper large-v3 указана MIT, а лицензии источников обучающих данных применяются отдельно.

2503июнь 2026
textaudioapache-2.0hugging-face
KoichiYasuoka
Xunzi-Qwen2-1.5B-upos

Koichi Yasuoka разработал модель на базе Qwen2 с 1,5 млрд параметров для разметки частей речи в классическом китайском языке. Модель предварительно обучена на текстах на классическом китайском и присваивает словам метки UPOS и грамматические признаки FEATS; в Hugging Face она отнесена к задаче token-classification. Архитектура — плотная Qwen2, формат весов — PyTorch, заявленная длина контекста — 131 072 токена. Модель подходит для морфосинтаксического анализа и подготовки корпусов классического китайского языка, включая автоматическую разметку частей речи и грамматических признаков. Лицензия Apache-2.0. Карточка показывает базовую модель Xunzi-Qwen2-1.5B, однако её идентификатор на Hugging Face не указан.

110июль 2024ctx131.1K
textapache-2.0hugging-face
unslothai
aws

unslothai/aws — модель или репозиторий на Hugging Face, опубликованный аккаунтом Unsloth Backup Account, связанным с разработчиком Unsloth. В карточке модель классифицирована как Feature Extraction и предназначена для извлечения признаковых представлений из входного текста с использованием библиотеки Transformers. Для загрузки указаны AutoTokenizer и AutoModel, а также pipeline с задачей feature-extraction. Ключевые характеристики ограниченно документированы: указаны форматы Safetensors и F32, теги Transformers и llama, однако размер модели отображается как 0 параметров. Архитектура, поддерживаемые языки, максимальная длина контекста и модальности не описаны. Модель не развернута у доступных Inference Providers, поэтому практическая доступность готового inference-сервиса ограничена. Лицензия и условия использования в карточке модели не указаны. Из-за отсутствия подробной model card нельзя надежно оценить качество, сильные стороны, ограничения или пригодность для конкретных прикладных сценариев.

85K1март 2024
textembeddinghugging-face
dbmdz
bert-mini-historic-multilingual-cased

Карточка модели dbmdz/bert-mini-historic-multilingual-cased на Hugging Face совпадает с карточкой dbmdz/bert-tiny-historic-multilingual-cased, поэтому описание составлено по ней. dbmdz/bert-tiny-historic-multilingual-cased — компактная многоязычная модель семейства BERT от команды dbmdz, обученная на исторических текстах. Она предназначена для предсказания замаскированных токенов в тексте и может служить компактной основой для обработки исторических документов. Модель имеет архитектуру BertForMaskedLM, 2 слоя и скрытый размер 128; содержит около 4,6 млн параметров и принимает последовательности длиной до 512 токенов. В обучающие корпуса вошли исторические материалы на немецком, французском, английском, финском и шведском языках, включая данные Europeana и Британской библиотеки. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Компактный размер облегчает запуск и дообучение на ограниченных ресурсах. По сравнению с крупными BERT-моделями её возможности и ёмкость ограничены; карточка описывает предобучение, но не приводит оценок качества для конкретных прикладных задач. Лицензия — MIT.

5533март 2022ctx512
textmithugging-face
Mardiyyah
CeLLaTe-tapt-pubmedbert-tokenizer-adapted_v2_lr-5e5

CeLLaTe-tapt-pubmedbert-tokenizer-adapted_v2_lr-5e5 — англоязычная BERT-модель с 137,6 млн параметров, дообученная Mardiyyah на наборе Mardiyyah/TAPT_CeLLaTe2.0 на базе microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext. Она предназначена для предсказания замаскированных слов в биомедицинских текстах и адаптации языковой модели к этому корпусу. Модель использует архитектуру BertForMaskedLM, принимает текст и выдаёт текстовые предсказания; контекст ограничен 512 токенами. В README указаны значения на оценочном наборе: loss 1,1756, accuracy 0,7630 и perplexity 3,2401. Модель распространяется по лицензии Apache-2.0.

120июль 2026ctx512
textapache-2.0hugging-face
KoichiYasuoka
deberta-base-ainu-upos

Koichi Yasuoka разработал модель DeBERTaV2 для морфосинтаксической разметки текстов на айнском языке. Модель дообучена на основе KoichiYasuoka/deberta-base-ainu и присваивает каждому слову тег части речи UPOS; карточка также указывает назначение для синтаксического анализа зависимостей. Поддерживаются тексты на айнском, записанные катаканой, латиницей и кириллицей. Модель содержит 118,5 млн параметров, использует архитектуру DeBERTaV2 и обрабатывает последовательности длиной до 512 токенов. Она предназначена для запуска через Transformers как модель классификации токенов. Распространяется по лицензии CC BY-SA 4.0.

450янв. 2023ctx512
textcc-by-sa-4.0hugging-face
ajrayman
Excitement_Seeking_continuous

ajrayman/Excitement_Seeking_continuous — модель классификации текста на основе Microsoft DeBERTa-v3-base. Она предназначена для оценки текстов по признаку поиска острых ощущений; архитектура использует DeBERTa V2 для классификации последовательностей, содержит 211,6 млн параметров и принимает последовательности длиной до 512 токенов. Модель создана дообучением базовой модели и опубликована в формате safetensors. Модель подойдёт для автоматической оценки текстов по выраженности склонности к поиску острых ощущений, например для исследовательской разметки или анализа текстовых данных. Карточка не содержит сведений о обучающих данных, метриках качества, шкале выходных значений или подтверждённых языках. Лицензия — MIT.

150авг. 2024ctx512
textmithugging-face
gokuls
HBERTv1_48_L6_H256_A4

HBERTv148L6H256A4 — модель для заполнения пропусков в тексте, дообученная на датасете gokuls/wiki_book_corpus_complete_processed_bert_dataset. В метаданных указана архитектура HybridBERT на основе DistilBertForMaskedLM, формат весов PyTorch и контекст до 512 токенов. Модель оценивает подходящие токены для замены маски в тексте. В README приведены результаты оценки: loss 5.1892 и accuracy 0.2230. Разработчик не описывает предполагаемые сценарии использования, ограничения или условия лицензии; сведений о лицензии в метаданных также нет. Указано, что модель дообучена, однако идентификатор её базовой модели не заполнен.

170сент. 2023ctx512
texthugging-face
vjosap
moralBERT-predict-authority-in-text

Это модель классификации текста vjosap/moralBERT-predict-authority-in-text, опубликованная Vjosa Preniqi на Hugging Face. По названию и профилю автора она предназначена для выявления в тексте моральной ценности «авторитет»; в профиле также указано приложение MoralBERT для анализа моральных ценностей. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Карточка указывает задачу text-classification, но не описывает обучающие данные, список меток, архитектуру, размер параметров, поддерживаемые языки или контекст. Поэтому результаты следует рассматривать как классификационные оценки для целевого понятия, а не как объяснение или универсальную оценку морального содержания текста.

11K0авг. 2024ctx512
textmithugging-face
evilfreelancer
ruMorpheme-v0.1

ruMorpheme-v0.1 — модель для морфемного анализа и сегментации слов русского языка, опубликованная evilfreelancer. Она размечает слова, выделяя приставки, корни, соединительные гласные, дефисы, суффиксы, постфиксы и окончания. В README приведены примеры сегментации с оценками уверенности для отдельных морфем. Модель предназначена для автоматической морфемной разметки русских слов и может использоваться в лингвистических инструментах и обработке русского текста. Вдохновлена кодовой базой NeuralMorphemeSegmentation и работой о supervised-сегментации русских морфем с помощью глубоких свёрточных сетей. Доступны веса PyTorch; лицензия — MIT.

121сент. 2024
textmithugging-face
shah-bakhsh
balochi-pos-tagger-v1

Balochi POS Tagger — модель разметки частей речи для текстов на языке белуджи, записанных арабским письмом. Разработчик shahbakhsh дообучил XLM-RoBERTa Base от FacebookAI на наборе Balochi CoNLL-U. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель присваивает каждому токену одну из 16 меток, включая существительное, глагол, прилагательное, местоимение и пунктуацию. Её можно применять для лингвистического анализа белуджских текстов и подготовки размеченных корпусов. На тестовой выборке указаны accuracy 0,7207, precision 0,6215 и recall 0,5488; метрики отражают качество на конкретном наборе данных и могут не переноситься на другие тексты. Распространяется по лицензии Apache-2.0.

311июль 2026ctx514
textapache-2.0hugging-face
dbmdz
bert-medium-historic-multilingual-cased

Карточка модели dbmdz/bert-medium-historic-multilingual-cased на Hugging Face совпадает с карточкой dbmdz/bert-tiny-historic-multilingual-cased, поэтому описание составлено по ней. dbmdz/bert-tiny-historic-multilingual-cased — компактная многоязычная модель семейства BERT от команды dbmdz, обученная на исторических текстах. Она предназначена для предсказания замаскированных токенов в тексте и может служить компактной основой для обработки исторических документов. Модель имеет архитектуру BertForMaskedLM, 2 слоя и скрытый размер 128; содержит около 4,6 млн параметров и принимает последовательности длиной до 512 токенов. В обучающие корпуса вошли исторические материалы на немецком, французском, английском, финском и шведском языках, включая данные Europeana и Британской библиотеки. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Компактный размер облегчает запуск и дообучение на ограниченных ресурсах. По сравнению с крупными BERT-моделями её возможности и ёмкость ограничены; карточка описывает предобучение, но не приводит оценок качества для конкретных прикладных задач. Лицензия — MIT.

4950март 2022ctx512
textmithugging-face
dbmdz
bert-tiny-historic-multilingual-cased

dbmdz/bert-tiny-historic-multilingual-cased — компактная многоязычная модель семейства BERT от команды dbmdz, обученная на исторических текстах. Она предназначена для предсказания замаскированных токенов в тексте и может служить компактной основой для обработки исторических документов. Модель имеет архитектуру BertForMaskedLM, 2 слоя и скрытый размер 128; содержит около 4,6 млн параметров и принимает последовательности длиной до 512 токенов. В обучающие корпуса вошли исторические материалы на немецком, французском, английском, финском и шведском языках, включая данные Europeana и Британской библиотеки. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Компактный размер облегчает запуск и дообучение на ограниченных ресурсах. По сравнению с крупными BERT-моделями её возможности и ёмкость ограничены; карточка описывает предобучение, но не приводит оценок качества для конкретных прикладных задач. Лицензия — MIT.

4.1K1март 2022ctx512
textmithugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей