/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
4 231–4 260 из 25 791
Sahajtomar
German-question-answer-Electra

Sahajtomar/German-question-answer-Electra — модель ответов на вопросы на немецком языке, дообученная автором Sahajtomar на наборе MLQA на основе GELECTRA Large от deepset.ai. Она принимает вопрос и текстовый контекст и предназначена для извлечения ответа из контекста. Архитектура — ELECTRA с 434,5 млн параметров; максимальная длина контекста составляет 512 токенов. Доступны веса PyTorch и TensorFlow. В карточке приведены результаты: EM 64,27 и F1 77,39 на немецкой dev-выборке MLQA, а также EM 66,38 и F1 82,25 на немецкой тестовой выборке XQuAD. Модель рассчитана на немецкоязычные QA-сценарии; сведения о лицензии в доступных данных отсутствуют.

497март 2022ctx512
texthugging-face
HalleluBERT
HalleluBERT_base

HalleluBERT-base — энкодерная языковая модель на архитектуре RoBERTa, разработанная как часть семейства HalleluBERT для современного иврита. Модель обучена с нуля на очищенных веб-текстах на иврите и Hebrew Wikipedia; вариант base содержит около 126 млн параметров в fp32. В метаданных репозитория указано 153,2 млн параметров и контекст длиной 514 токенов. Модель предназначена прежде всего для заполнения пропусков в тексте на иврите и может служить основой для задач понимания текста, включая распознавание именованных сущностей и анализ тональности. Токенизатор использует byte-level BPE в стиле GPT-2 с размером словаря 52 009. В README сообщается об оценке семейства на бенчмарках NER и анализа тональности для иврита. Модель распространяется по лицензии MIT. Это энкодерная модель для анализа текста, а не генеративная модель для свободного продолжения текста.

1882июль 2025ctx514
textmithugging-face
HalleluBERT
HalleluBERT_large

HalleluBERT_large — крупная модель RoBERTa, разработанная как часть семейства HalleluBERT для современного иврита. Её обучили с нуля на корпусе примерно из 49,1 ГБ очищенного иврита из веба и Википедии; для токенизации используется byte-level BPE с GPT-2-совместимым словарём на 52 009 токенов. В метаданных указано 455,9 млн параметров, а родная длина контекста составляет 514 токенов. Модель предназначена для заполнения пропусков в тексте и может служить энкодером для задач анализа иврита, включая распознавание именованных сущностей и анализ тональности. В оценке на бенчмарках иврита HalleluBERT_large показала высокие результаты в NER и анализе тональности. Модель распространяется по лицензии MIT.

1541июль 2025ctx514
textmithugging-face
l3cube-pune
hing-bert-lid

HingBERT-LID — модель на архитектуре BERT от L3Cube-Pune для определения языка отдельных токенов в текстах, где смешаны хинди и английский. Она дообучена на наборе L3Cube-HingLID и предназначена для анализа код-свитчинга, в том числе в корпусах хинглиш. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки классов для токенов. Поддерживает хинди и английский; опубликована в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0. Карточка не приводит количественных оценок качества.

3521март 2022ctx512
textcc-by-4.0hugging-face
AI4Industry
MoonViT-V2

MoonViT-V2 — визуальный энкодер, представленный как нативный vision backbone Kimi K3; репозиторий AI4Industry содержит извлечённые веса из чекпойнта moonshotai/Kimi-K3. Модель предназначена для кодирования изображений и видео в визуальные токены для мультимодальной обработки. Метаданные относят её к задаче извлечения признаков изображений. Архитектура — 27-слойный Vision Transformer примерно на 453 млн параметров с размером скрытого состояния 1024, 12 головами и патчами 14 × 14. Для изображений и видео используется общий путь с пространственным и временным вниманием; сжатие токенов включает pixel shuffle 2 × 2 и временной pooling. README указывает на обработку видео последовательностью кадров, по умолчанию до четырёх кадров. В репозитории сохранены веса vision tower в формате safetensors, без языковой модели и проектора, поэтому это не самостоятельная мультимодальная чат-модель. Модель может служить визуальным энкодером для распознавания текста, анализа интерфейсов и понимания видео. Обучающие данные, согласно README, охватывают подписи, документы, OCR, видео, визуальный код, grounding, SVG, 3D-объекты, веб-страницы, игры и CAD. Лицензия указана как other; конкретные условия следует сверить с лицензией репозитория и исходного Kimi K3.

1056авг. 2026
imageembeddingotherhugging-face
BSC-LT
MrBERT-es

MrBERT-es — двуязычная языковая модель на архитектуре ModernBERT, разработанная лабораторией Language Technologies Lab Барселонского суперкомпьютерного центра. Это encoder-модель с 149,6 млн параметров, обученная предсказывать замаскированные токены; она принимает текст и подходит для заполнения пропусков, а также может служить основой для задач анализа испанского и английского текста. Контекст модели составляет до 8192 токенов. Модель инициализирована весами MrBERT с адаптацией матрицы эмбеддингов для различий между токенизаторами, а затем продолжительно предобучена на сбалансированном англо-испанском корпусе объёмом 615 млрд токенов. В карточке приведены результаты оценки испанского языка на задачах разметки частей речи, распознавания сущностей и семантического сходства. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель предназначена прежде всего для испанского и английского языков. Как masked language model, она не является генеративным чат-ассистентом и сама по себе не выдаёт готовые метки для прикладных задач без соответствующей настройки. Авторы предупреждают о возможных смещениях и искажениях в результатах.

1.4K12дек. 2025ctx8.2K
textapache-2.0hugging-face
Yuchen
muril-large-cased-hita-qa

Yuchen/muril-large-cased-hita-qa — модель для ответов на вопросы на хинди и тамильском языках. Она основана на архитектуре BERT и представлена в формате PyTorch; число параметров — около 604,7 млн, максимальная длина контекста — 512 токенов. Модель предназначена для извлечения ответа из предоставленного текста по вопросу пользователя. Автор README указывает, что модель входила в ансамбль, занявший 4-е место среди 943 участников соревнования по Question Answering на хинди и тамильском, организованного Google Research India на Kaggle. Репозиторий распространяется по лицензии Apache-2.0. В карточке не описаны ограничения сверх контекстного окна в 512 токенов и участия модели в ансамбле.

4420март 2022ctx512
textapache-2.0hugging-face
raynardj
ner-chemical-bionlp-bc5cdr-pubmed

Модель raynardj/ner-chemical-bionlp-bc5cdr-pubmed — модель на базе RoBERTa для распознавания химических веществ в биомедицинских текстах. По карточке, её дообучили на наборах BioNLP и BC4CDR, используя PubMed-предобученную RoBERTa; размер составляет 151,8 млн параметров, контекст — 514 токенов. Модель выполняет маркировку токенов и выделяет упоминания химических веществ. Карточка также предлагает проверять её на упоминаниях генов и их продуктов, а также заболеваний, однако описанная схема меток содержит только классы O и Chemical, поэтому распознавание этих сущностей не подтверждено. Поддерживается английский язык. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Ограничение контекста составляет 514 токенов; схема меток ориентирована на химические вещества и не включает отдельные классы для генов, продуктов генов или заболеваний.

6685март 2022ctx514
textapache-2.0hugging-face
OpenMed
OpenMed-ZeroShot-NER-Disease-Medium-209M

OpenMed-ZeroShot-NER-Disease-Medium-209M — модель OpenMed для распознавания упоминаний заболеваний и патологических состояний в биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на наборе BC5CDR-Disease из 1 500 аннотаций PubMed с разметкой заболеваний. В README заявлена оценка F1 0,8848 на тестовой выборке, исключённой из обучения. Модель принимает текст и возвращает найденные сущности с метками. Её можно применять для извлечения заболеваний из научных аннотаций и медицинских записей, фенотипирования пациентов, индексирования заболеваний и отбора литературы. Заявлена возможность задавать пользовательские типы сущностей без дополнительного обучения, однако специализация и приведённая оценка относятся к распознаванию заболеваний. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель предназначена для англоязычных биомедицинских текстов; контекстное окно и размер в параметрах в предоставленных данных не указаны.

75K3сент. 2025
textapache-2.0hugging-face
OpenMed
OpenMed-ZeroShot-NER-Disease-Multi-209M

OpenMed-ZeroShot-NER-Disease-Multi-209M — специализированная модель OpenMed для распознавания упоминаний заболеваний и патологических состояний в биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на корпусе BC5CDR-Disease; в метаданных указан формат PyTorch, а размер модели в README обозначен как 209M. Модель предназначена для извлечения названий заболеваний из медицинской литературы и клинических текстов, включая задачи индексирования заболеваний, фенотипирования пациентов и отбора публикаций. GLiNER позволяет задавать типы сущностей при запросе, однако карточка подтверждает специализированное обучение только для типа DISEASE. Для тестового набора BC5CDR-Disease в README приведено значение F1 0,80; также заявлена оценка 0,8848 для варианта Medium, поэтому результаты зависят от варианта и оценки. Модель принимает текст и возвращает найденные сущности с их типами. Указан английский язык. Распространяется по лицензии Apache-2.0. Результаты могут быть слабее для редких или пользовательских типов сущностей; README рекомендует подбирать порог уверенности для таких запросов. Упоминание клинических сценариев не подтверждает пригодность для принятия медицинских решений.

84K4сент. 2025
textapache-2.0hugging-face
gp-tar4
QA_FineTuned_Arabert

QAFineTunedArabert — дообученная модель gp-tar4 для извлечения ответов на вопросы из арабского текста. Она основана на aubmindlab/bert-base-arabert и использует архитектуру BERT с головой BertForQuestionAnswering; в модели 162,4 млн параметров, формат весов — safetensors, максимальный контекст — 512 токенов. В метаданных указан датасет ARCD, однако README описывает обучающий датасет как неизвестный, поэтому состав обучения нельзя установить однозначно. Модель подходит для систем вопросов и ответов по арабским текстам, например для поиска ответа в предоставленном контексте. В README приведено значение loss 2,8357 на оценочном наборе, но отсутствуют подробности о методике оценки и практическом качестве. Лицензия в предоставленных данных не указана.

141май 2024ctx512
texthugging-face
CATIE-AQ
QAmembert-large

QAmembert-large — модель CATIE-AQ на базе CamemBERT Large, дообученная для ответов на вопросы по контексту на французском языке. Она извлекает ответ из предоставленного текста и рассчитана также на распознавание случаев, когда в контексте нет ответа. Модель обучали на объединённом наборе frenchQA из четырёх французских наборов данных: в обучении использовано более 221 тысяч пар контекста и вопроса с ответом, а для тестирования — 6 376 примеров. Модель имеет архитектуру CamemBERT для вопросно-ответных систем, содержит 435,4 млн параметров и поддерживает контекст длиной до 514 токенов. В README приведены оценки на французских наборах FQuaD, qwant/squadfr и frenchQA. Лицензия — MIT. Результаты относятся к указанным наборам данных; качество на других областях и длинных контекстах может отличаться.

11012апр. 2023ctx514
textmithugging-face
mlx-community
Qwen2.5-VL-3B-Instruct-bf16

mlx-community/Qwen2.5-VL-3B-Instruct-bf16 — конвертированная сообществом mlx-community версия Qwen2.5-VL-3B-Instruct от Alibaba для запуска в экосистеме MLX. Это плотная мультимодальная модель с архитектурой Qwen2.5-VL и примерно 3,1 млрд параметров; она принимает изображения и текстовые запросы, поддерживает диалоговый анализ изображений и выдаёт ответы на естественном языке. Модель также поддерживает работу с видео и структурированный вывод, а её контекст составляет до 128 000 токенов. Подходит для визуальных вопросов и ответов, описания содержимого изображений и видео, а также диалоговых сценариев с визуальным вводом. Метаданные указывают поддержку интерфейса вызова инструментов. Репозиторий содержит веса safetensors и рассчитан на использование с mlx-vlm. README направляет к карточке исходной модели за подробностями; конкретные условия лицензии и ограничения качества в предоставленных данных не описаны.

2874янв. 2025ctx128K
textimagehugging-face
merve
rfdetr-docvqa-media3-trainval-agree1-medium

rfdetr-docvqa-media3-trainval-agree1-medium — модель обнаружения объектов на изображениях, созданная дообучением Roboflow/rf-detr-medium на неизвестном наборе данных. Она предназначена для локализации объектов и присвоения им классов; метрики оценки отдельно приведены для изображений, диаграмм и подписей, что указывает на применение к визуальным документам. Архитектура относится к семейству RF-DETR, веса сохранены в формате safetensors; библиотека — Transformers. Модель распространяется по лицензии Apache-2.0. В карточке приведены результаты оценки, включая mAP 0,2703 и mAP@50 0,4858, однако описание данных и назначения классов отсутствует. Поэтому по имеющимся сведениям нельзя оценить качество для конкретных типов документов или объектов.

180июнь 2026
imageapache-2.0hugging-face
BSC-LT
RoBERTa-ca

RoBERTa-ca — базовая языковая модель для каталонского языка, разработанная лабораторией Language Technologies Lab Барселонского суперкомпьютерного центра. Это модель архитектуры RoBERTa с примерно 151,9 млн параметров по метаданным, предназначенная для предсказания замаскированных слов и дальнейшего дообучения для задач понимания текста. Модель создана на основе BSC-LT/mRoBERTa: веса инициализировали из мультиязычной модели, адаптировали эмбеддинги с учётом различий токенизаторов и продолжили предобучение на корпусе из 95 ГБ каталонских текстов. Используются SentencePiece-токенизатор с размером словаря 50 304 и контекст до 514 токенов. В карточке описана оценка на каталонском бенчмарке CLUB, включающем распознавание сущностей, разметку частей речи, семантическое сходство, классификацию, вывод и ответы на вопросы. Для работы с моделью нужна библиотека Transformers; веса доступны в формате Safetensors. Лицензия — Apache-2.0. В README отмечены возможные смещения и непреднамеренные искажения; при создании прикладных систем ответственность за управление рисками лежит на их разработчиках и пользователях.

3362март 2025ctx514
textapache-2.0hugging-face
tau
splinter-base

Splinter-base — предварительно обученная модель семейства Splinter, представленная авторами исследования Few-Shot Question Answering by Pretraining Span Selection. Она предназначена для извлечения ответов из текста и сценариев вопросно-ответной системы с небольшим количеством примеров. Модель обучалась на текстах Wikipedia и BookCorpus с помощью задачи Recurring Span Selection, которая имитирует выбор фрагмента текста в ответ на вопрос. Архитектура — плотная трансформерная модель SplinterForQuestionAnswering с 135,5 млн параметров и контекстом до 512 токенов; модель чувствительна к регистру и рассчитана на английский язык. В этой версии веса слоя Question-Aware Span Selection (QASS) не включены: при загрузке слой инициализируется случайно. Для использования с предварительно обученными весами QASS в README указан вариант tau/splinter-base-qass. Лицензия — Apache-2.0.

22K1март 2022ctx512
textapache-2.0hugging-face
andaba
TEMPURA-InternVL3-2B

TEMPURA-InternVL3-2B — дообученная мультимодальная модель для анализа видео, созданная на базе OpenGVLab/InternVL3-2B-hf в рамках проекта TEMPURA. Она предназначена для рассуждений о временной и причинной структуре событий и описания длинных видео с привязкой к временным меткам. Модель выполняет плотное описание видео, разбивая его на последовательные неперекрывающиеся события, предсказывает содержание скрытого сегмента и находит по текстовому запросу нужные моменты или яркие фрагменты. На вход подаётся видео в виде последовательности кадров с временными метками; для описанного формата кадры выбираются с частотой 0,5 кадра в секунду. Модель построена на архитектуре InternVL и выдаёт текст. В README приведены сценарии оценки на Charades-STA и QVHighlights. Модель опубликована под лицензией с обозначением «other»; конкретные условия лицензии следует проверять в репозитории. Карточка не приводит количественной оценки качества.

830сент. 2026ctx32.8K
textvideootherhugging-face
TencentARC
TimeLens-8B

TimeLens-8B — мультимодальная модель TencentARC для временной привязки событий в видео. Она дообучена на базе Qwen/Qwen3-VL-8B-Instruct с применением обучения с подкреплением по проверяемым наградам (RLVR) и набора данных TimeLens-100K. Модель принимает видео и текстовые запросы, а в ответ определяет временные фрагменты видео, соответствующие запросу. Модель предназначена для поиска событий и их временных границ в видео. В README заявлено, что среди открытых моделей она показывает передовые результаты на задачах временной привязки, однако сравнительная таблица в карточке опущена. Архитектура — плотная Qwen3-VL; веса опубликованы в формате safetensors. Для запуска README описывает использование Transformers и qwen-vl-utils. Указана лицензия other; её конкретные условия в предоставленных данных не раскрыты. Карточка ориентирована на английский язык. Отдельные показатели контекстной длины и ограничения модели в источниках не приведены.

81420дек. 2025ctx262.1K
textvideootherhugging-face
tropicals
Tropicals-T1

Tropicals-T1 — модель эмбеддингов, разработанная Tropicals.cn для сопоставления китайских названий тропических видов с таксонами. Она дообучена на базе BAAI/bge-base-zh-v1.5 на наборе из 1,2 млн пар «китайское обиходное название — таксон» и предназначена для семантического поиска и связывания сущностей в корпусе из 419 950 таксонов. Модель использует архитектуру BERT, содержит 129,5 млн параметров, принимает текст, выдаёт эмбеддинги и поддерживает контекст до 512 токенов. Модель подходит для поиска таксонов по формальным китайским обиходным названиям, торговым названиям и названиям садовых сортов, а также для сверки каталогов и нормализации номенклатуры. В опубликованной оценке TropicalsBench она показала Recall@1 53,43 % на тесте с известными родами и 50,58 % на тесте с родами, отсутствовавшими в обучении. Лицензия — CC BY 4.0. Результаты ограничены покрытием обучающего корпуса и шумом в эталонных метках: часть названий была сопоставлена с авторитетными данными неточно, а многие торговые и предварительно транслитерированные названия обучены недостаточно. Для сортов, гибридов и морф животных покрытие авторитетными названиями ограничено; модель не определяет организмы по изображениям или образцам и не предназначена для создания новых китайских названий.

1061авг. 2026ctx512
textembeddingcc-by-4.0hugging-face
poltextlab
xlm-roberta-large-ontolisst-minor-v3

poltextlab разработала XLM-RoBERTa Large OntoLISST Minor v3 — модель классификации текста на базе FacebookAI/xlm-roberta-large, распространяемая в формате safetensors и предназначенная для работы с Transformers. Она относит тексты к 44 тематическим категориям OntoLISST, включая жилищные вопросы, городскую среду, инфраструктуру, экологию и энергопотребление. Модель используется в CAP Babel Machine — инструменте для сравнительных исследований. В карточке приведены общая точность 80% и макро F1 0,79. Токенизатор SentencePiece; для старых версий Transformers до 4.27 требуется отдельно установить sentencepiece. Модель опубликована по лицензии CC BY 4.0.

500сент. 2026
textcc-by-4.0hugging-face
interneuronai
az-question-answering

Модель interneuronai/az-question-answering — версия XLM-RoBERTa, дообученная для ответов на вопросы по текстам на азербайджанском языке. Она предназначена для извлечения ответа из предоставленного текста по заданному вопросу и может использоваться через библиотеку Hugging Face Transformers. В основе модели лежит архитектура RoBERTa; число параметров — около 454,1 млн, контекст — до 514 токенов. Модель ориентирована на азербайджаноязычные сценарии вопросно-ответного поиска. Она может быть полезна для поиска сведений в документах и текстах, однако дообучение длилось один эпох, поэтому модель может не охватывать все языковые нюансы и сложные вопросы. Возможны смещения, связанные с обучающими данными; для чувствительных и критически важных решений ответы следует проверять. Лицензия — Apache-2.0.

95апр. 2024ctx514
textapache-2.0hugging-face
Davlan
bert-base-multilingual-cased-finetuned-yoruba

Davlan/bert-base-multilingual-cased-finetuned-yoruba — модель BERT, созданная Davlan дообучением bert-base-multilingual-cased на текстах на языке йоруба. Она предназначена для предсказания скрытых токенов и может использоваться как основа для задач классификации текста и распознавания именованных сущностей на йоруба; в тестах из карточки показала более высокие F1-результаты, чем исходная multilingual BERT, на MasakhaNER и BBC Yorùbá Textclass. Модель содержит 205,1 млн параметров, использует архитектуру BertForMaskedLM и поддерживает контекст до 512 токенов. Обучающие материалы включали Библию, JW300, Menyo-20k, Википедию, новостные и другие корпуса на йоруба. Качество может снижаться за пределами новостного домена и периода, представленного в обучающих данных. Лицензия в предоставленных данных не указана.

1071март 2022ctx512
texthugging-face
neuralmind
bert-large-portuguese-cased

BERTimbau Large — предварительно обученная модель BERT для бразильского португальского языка, опубликованная командой NeuralMind. Это плотный энкодер BERT-Large с 24 слоями; в README указано 335 млн параметров, тогда как метаданные каталога приводят 433,2 млн. Максимальная длина контекста — 512 токенов. Репозиторий предоставляет веса в форматах PyTorch и Flax. Основная задача модели — предсказание замаскированных токенов. Её также можно дообучать или использовать как основу для извлечения эмбеддингов и задач понимания португальского текста, включая распознавание именованных сущностей, оценку семантического сходства предложений и распознавание текстового следования. README сообщает о высоких результатах на этих задачах, но не приводит подробностей оценивания. Модель предназначена для бразильского португальского, поэтому её пригодность для других языков не подтверждена. Указана лицензия MIT.

697K74март 2022ctx512
textmithugging-face
uitnlp
CafeBERT

CafeBERT — предварительно обученная языковая модель для вьетнамского языка, разработанная авторами исследования, представленного на NAACL 2024 Findings. Она основана на XLM-RoBERTa и дополнительно обучена на крупном вьетнамском корпусе из разных областей, включая Википедию и газеты. В репозитории опубликованы веса примерно на 658,7 млн параметров в форматах PyTorch и safetensors; модель принимает текст и поддерживает контекст до 514 токенов. CafeBERT предназначена для понимания вьетнамского текста. Её можно использовать для заполнения маскированных токенов, а представления модели — как основу для машинного чтения и ответов на вопросы по тексту, классификации, распознавания логических отношений и разметки частей речи. Авторы сообщают о сильных результатах на VLUE и других задачах понимания языка. Лицензия — Apache-2.0.

1.8K16февр. 2023ctx514
textapache-2.0hugging-face
emanuelaboros
chrono-link-bert-topres19th-ner

chrono-link-bert-topres19th-ner — модель BERT для распознавания и классификации сущностей по токенам, созданная дообучением emanuelaboros/chrono-link-bert-americanstories-1850-1890. Модель содержит 135,5 млн параметров, использует архитектуру BertForTokenClassification и принимает последовательности длиной до 512 токенов. По названию репозитория модель предназначена для NER в текстах XIX века, однако README не описывает набор сущностей, обучающие данные и целевые сценарии подробнее. В оценке на тестовом наборе указаны precision 0,7574, recall 0,7970 и F1 0,7767. Лицензия — Apache-2.0.

60июль 2026ctx512
textapache-2.0hugging-face
liaad
CitiLink-XLMR-Anonymization-pt

XLMR-Council-Anonymizer — дообученная XLM-RoBERTa Large от разработчиков репозитория liaad для выявления персональных и других чувствительных данных в протоколах заседаний муниципалитетов Португалии. Модель выполняет токенную классификацию в формате NER и поддерживает автоматизацию последующей анонимизации документов. Модель обучена на 120 португалоязычных протоколах из шести муниципалитетов. Для снижения влияния дисбаланса классов применялась взвешенная функция потерь; заявлены 19 типов сущностей в BIO-разметке. Метаданные указывают 305,2 млн параметров, архитектуру XLMRobertaForTokenClassification и контекст до 514 токенов. README приводит другие значения — около 560 млн параметров и окно 512 токенов. На тестовой выборке указаны F1 72,67% macro и 83,51% micro; качество зависит от типа сущности. Модель предназначена прежде всего для административных протоколов Португалии и может хуже работать на других документах. Лицензия в метаданных обозначена как other; конкретные условия использования в доступных данных не раскрыты.

200июнь 2026ctx514
textotherhugging-face
Hassaanatif992
code-switching-codesaviours-si26-MuhammadHassaan

Модель разработана Muhammad Hassaan в рамках проекта Code Saviours SI-26 и представляет собой дообученную XLM-RoBERTa для пословной идентификации языка в текстах на Roman Urdu и английском с переключением языков. Для каждого слова она предсказывает одну из меток: URD (Roman Urdu), ENG (английский) или MIX (смешанный токен). Модель основана на xlm-roberta-base, содержит около 305,2 млн параметров и поддерживает контекст до 514 токенов. Модель подходит для разметки языков в смешанных сообщениях и анализа переключения между Roman Urdu и английским. В README сообщается о macro F1 0,9906 и accuracy 0,9863, однако тестовая выборка состояла всего из 36 предложений, а примеров класса MIX в ней было мало, поэтому результаты требуют осторожной интерпретации. Авторы также отмечают малый размер датасета и изменчивость написания Roman Urdu. Лицензия в предоставленных данных не указана.

200авг. 2026ctx514
texthugging-face
TriadParty
deepmoney-34b-200k-base

Deepmoney-34b-200k-base — финансовая языковая модель, разработанная TriadParty для анализа новостей, рынков и инвестиционных сценариев. Она предназначена быть базовой моделью в аналитическом конвейере: определять затронутые отрасли и инвестиционные цели, предлагать качественные и количественные методы анализа и помогать извлекать данные из исследовательских материалов. Модель основана на Yi-34B-200K и обучена полным дообучением на текстах финансовых учебников, профессиональных книг и исследовательских отчетов за 2019–2023 годы. Это плотная авторегрессионная архитектура Llama с 33,9 млрд параметров и контекстом до 200 000 токенов; репозиторий содержит веса PyTorch. В README описаны финансовые сценарии и обучение, ориентированное на отчеты и инвестиционный анализ. Лицензия — Apache-2.0. Модель генерирует текстовые выводы и аналитические предложения на основе предоставленного текста. Она не подключена сама по себе к актуальным рыночным данным, а заявленные результаты оценки представлены как примеры, без строгого бэктестинга; поэтому её выводы требуют проверки и не являются гарантией качества инвестиционных решений.

6074янв. 2024ctx200K
textapache-2.0hugging-face
vinimlo
gama

Gama v1.3 — модель Vinimlo для извлечения ссылок на судебные прецеденты и законодательные акты из документов на бразильском португальском языке. Это дообученная и дистиллированная версия jhu-clsp/mmBERT-base: 12 первых слоёв из 22 слоёв v1.2 обучены имитировать его вероятности. Модель использует ModernBERT и выполняет классификацию токенов по схеме BIO, выделяя три типа ссылок: нумерованные прецеденты, положения законов и судебные решения без номера. Контекст составляет 8192 токена. Модель предназначена для извлечения упоминаний права из судебных документов, в том числе как этапа проверки ссылок по внешнему корпусу судебных решений. Сама по себе она определяет границы ссылок и их тип, но не проверяет, существуют ли они в действительности; такая проверка выполняется отдельным компонентом. По README, версия v1.3 работает быстрее v1.2 и подходит для документов вне формата соревнования, хотя там возможны ложные срабатывания и пропуски. Лицензия — MIT.

1220сент. 2026ctx8.2K
textmithugging-face
mateoopa
gliner2-privacy-filter-PII-multi

GLiNER2-PII — модель извлечения сущностей на базе GLiNER2, дообученная для обнаружения и маскирования персональных данных. Она поддерживает 42 типа сущностей, включая имена, даты рождения, контактные данные, адреса и идентификаторы, и позволяет задавать нужное подмножество меток при обработке текста. Модель предназначена для редактирования PII, контроля данных и очистки обучающих корпусов; в отчёте карточки она показала средний span-level F1 0,477 на бенчмарке SPY по юридическим и медицинским текстам. Обучение проводилось на синтетическом наборе из 4 910 размеченных текстов. Карточка заявляет поддержку семи языков: английского, французского, испанского, немецкого, итальянского, португальского и нидерландского. Модель распространяется в формате safetensors под лицензией Apache-2.0. Точность на SPY составляет около 0,35–0,37, поэтому возможны ложные срабатывания: модель может ошибочно помечать общие слова, названия организаций и продуктов как имена людей. Оценка ограничена одним бенчмарком и двумя областями; синтетические обучающие данные не проверялись людьми, а качество для неевропейских языков и письменностей не измерено.

180июнь 2026
textapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей