/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
1 471–1 500 из 25 791
ottema
gliner2-ptbr-v23

ottema/gliner2-ptbr-v23 — модель извлечения именованных сущностей для бразильского португальского языка, разработанная в рамках открытого проекта Ottema GLiNER2-PTBR. Это дообученная версия fastino/gliner2-multi-v1 на данных HAREM, LFCC, синтетических примерах и псевдоразметке из португалоязычной Википедии. Архитектура GLiNER2 поддерживает извлечение сущностей с открытым набором меток; формат весов — safetensors. Модель предназначена для NER в энциклопедических и журналистских текстах на PT-BR. В оценке авторов на HAREM она показала entity F1 0,4749 по макроусреднению на уровне примеров и задержку 31 мс на GPU. Результат зависит от протокола оценки и не гарантирует аналогичного качества на других наборах данных. Репозиторий помечен как устаревший: для новых интеграций авторы рекомендуют ottema/gliner2-ptbr-harem; текущая версия сохранена для воспроизводимости и обратной совместимости и обновляться не будет. На разговорных сообщениях модель может работать хуже; качество определения границ сущностей уступает указанной авторами модели BERT-CRF. Лицензия — Apache-2.0.

900июнь 2026
textapache-2.0hugging-face
zstanjj
HTML-Pruner-Llama-1B

HTML-Pruner-Llama-1B — модель команды HtmlRAG для отбора релевантных блоков в HTML-документах, используемых как источник знаний в RAG-системах. Она построена на Llama-3.2-1B и дообучена для второго этапа двухэтапного метода pruning: после очистки HTML и оценки блоков по эмбеддингам модель генерирует пути к блокам, которые следует сохранить. Модель предназначена для сокращения длинных HTML-страниц перед передачей контекста генеративной модели, сохраняя полезные для ответа сведения. Это помогает использовать структуру HTML при поиске и ответах на вопросы по веб-источникам. Архитектура — плотная LlamaForCausalLM с 1,2 млрд параметров; заявленная длина контекста — 131072 токена. В метаданных указан английский язык. Модель распространяется в формате safetensors под лицензией Apache-2.0. Модель рассчитана на специализированный этап обработки HTML в HtmlRAG, а не на универсальную генерацию ответов. Для полного двухэтапного pruning нужны также очистка HTML и модель эмбеддингов; качество зависит от структуры документа и последующей генеративной модели.

13715окт. 2024ctx131.1K
textapache-2.0hugging-face
Dizex
InstaFoodRoBERTa-NER

InstaFoodRoBERTa-NER — модель Dizex для распознавания именованных сущностей, дообученная на базе RoBERTa. Она выделяет в неформальных публикациях в социальных сетях названия еды и присваивает им метку FOOD; модель обучена на 400 англоязычных публикациях Instagram из набора InstaFoodSet и подходит для анализа похожих текстов, например постов в Instagram, X и Reddit. Архитектура — RoBERTa для классификации токенов, около 151,9 млн параметров; максимальный контекст составляет 514 токенов. Для InstaFoodSet в карточке указаны F1 0,91, точность 0,89 и полнота 0,93. Модель распространяется по лицензии MIT.

27713нояб. 2022ctx514
textmithugging-face
YakuzaNeko
kr-dlp-ner-roberta-large

YakuzaNeko разработал Korean DLP NER v3 — дообученную модель klue/roberta-large для обнаружения и классификации персональных данных в корейском тексте. Модель распознаёт 14 типов сущностей: имена людей и организаций, адреса и даты, корейские идентификационные номера, регистрационные и водительские документы, телефоны, банковские счета, электронную почту, номера карт и автомобилей. Разметка использует 29 BIO-тегов. Модель построена на архитектуре RoBERTa Large и содержит 435,4 млн параметров. Для неё доступны веса Safetensors и ONNX; максимальная длина последовательности в обучении составляла 128 токенов, а нативный контекст — 514 токенов. В README указаны F1 95,63% на тесте KLUE с синтетическими данными и 93,75% на ручной выборке из 34 предложений. Модель подходит для выявления и разметки чувствительных данных при проверке корейских документов и текста. Оценки качества зависят от данных и могут не отражать качество на иных типах текста. Лицензия — Apache-2.0.

2660апр. 2026ctx514
textapache-2.0hugging-face
kmad00
legal-colbert-extractor

kmad00/legal-colbert-extractor — англоязычная модель поиска и извлечения положений из реальных коммерческих договоров, разработанная kmad00. Она дообучена на базе lightonai/GTE-ModernColBERT-v1 и использует архитектуру ModernBERT с поздним взаимодействием ColBERT: представляет токены 128-мерными векторами и оценивает совпадение запросов и фрагментов документов по MaxSim. Модель содержит 149 млн параметров, поддерживает контекст до 8192 токенов и работает через PyLate; автор отмечает, что её можно запускать на CPU. Модель предназначена для поиска договорных положений в текстах реальных договоров, в том числе условий о расторжении, уведомлениях, возмещении убытков, конфиденциальности, ограничении ответственности и применимом праве. Для лучших результатов запрос следует формулировать как описание нужного положения, а длинные документы делить на фрагменты примерно по 180–220 слов; запросы ограничиваются 48 токенами, фрагменты — 300 токенами. В слепой оценке на договорах из SEC EDGAR модель показала NDCG@10 0,7781. Лицензия — CC-BY-4.0. Модель рассчитана на англоязычные коммерческие договоры в американском стиле. Много-векторное хранение требует больше места, чем одно-векторные эмбеддинги; на шаблонных формулировках договорных положений модель немного уступает родственному clause-retriever, а для типов условий вне обучающей таксономии уверенность ниже.

280авг. 2026ctx8.2K
textcc-by-4.0hugging-face
ssanskar9
legal_ner_model

legalnermodel — модель распознавания именованных сущностей на основе RoBERTa-base, дообученная автором ssanskar9 для задачи token classification. Веса содержат около 151,8 млн параметров, сохранены в формате safetensors; максимальная длина контекста — 514 токенов. Модель распространяется по лицензии MIT. В README указаны результаты на оценочном наборе: accuracy 0,974, precision 0,952, recall 0,943 и F1 0,9475. Назначение в юридической сфере предполагает извлечение сущностей из текстов, однако конкретные типы сущностей, язык и состав обучающего набора не описаны, поэтому применимость к конкретным юридическим документам следует проверять отдельно.

301июль 2026ctx514
textmithugging-face
unsloth
LFM2.5-1.2B-Instruct-GGUF

unsloth/LFM2.5-1.2B-Instruct-GGUF — квантизированная GGUF-версия текстовой instruction-tuned модели LFM2.5-1.2B-Instruct, разработанной Liquid AI и подготовленной для локального развёртывания с использованием Unsloth. Модель предназначена для llama.cpp и совместимых инструментов, оптимизирована для CPU-инференса и работы на периферийных устройствах с ограниченными ресурсами. Модель содержит 1,17 млрд параметров, 16 слоёв, включая 10 double-gated LIV convolution blocks и 6 GQA blocks, поддерживает контекст до 32 768 токенов и словарь из 65 536 токенов. Это текстовая модель без поддержки изображений или аудио; заявлены английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Она рекомендована для агентских сценариев, извлечения данных и RAG, поддерживает вызов функций и ChatML-подобный шаблон диалога. К сильным сторонам относятся небольшой размер, низкие требования к памяти, высокая скорость инференса на CPU и мобильных NPU, а также возможность запуска менее чем с 1 ГБ памяти. Модель не рекомендуется для задач, требующих обширных фоновых знаний, и для программирования. Репозиторий указывает лицензию lfm1.0; формат GGUF снижает требования к ресурсам, но является квантизированной версией исходной модели.

36K46янв. 2026
textotherhugging-face
kavg
LiLT-RE-ZH

kavg/LiLT-RE-ZH — модель извлечения отношений между сущностями в документах, созданная дообучением nielsr/lilt-xlm-roberta-base на наборе данных XFUND. Она использует архитектуру LiLT с компонентом, похожим на RoBERTa, чтобы учитывать текст и его расположение на странице; число параметров — 305,2 млн, контекст — до 514 токенов. Модель предназначена для структурированного анализа документов, в частности для выявления связей между упомянутыми в них сущностями. На оценочной выборке XFUND модель показала precision 0,3911, recall 0,6703 и F1 0,4940. Эти результаты указывают на ограничения точности извлечения отношений; качество на других наборах данных и типах документов не установлено. Модель распространяется по лицензии MIT.

70февр. 2024ctx514
textmithugging-face
divinetribe
Muse-Glimmer-30B-Abliterated-MM-bf16

Muse-Glimmer-30B-Abliterated-MM-bf16 — мультимодальная модель с открытыми весами, созданная Matt Macosko на основе mlx-community/Muse-Glimmer-30B-bf16 и предназначенная для локального запуска на Apple Silicon через MLX. Это дообученная версия Muse-Glimmer-30B с удалённым направленным подавлением отказов; изменение затрагивает языковые веса, а визуальная часть сохранена. В описании базовой модели указано 29,6 млрд параметров. Модель принимает текст и изображения и формирует текстовые ответы в диалоге. Она предназначена для описания и распознавания содержимого изображений, идентификации объектов и ориентиров, чтения текста на изображениях и анализа диаграмм. Визуальная архитектура включает 50-слойный ViT в стиле Qwen2.5-VL, GELU-адаптер и проекцию признаков в текстовый поток. Весы представлены в bf16 в формате safetensors для MLX; README оценивает их размер примерно в 60 ГБ и указывает на необходимость Apple Silicon с большим объёмом памяти. Модель лишена стандартного поведения отказа, поэтому может отвечать на запросы, которые базовая модель отклонила бы. Лицензия обозначена как other; README требует соблюдать лицензию базовой модели и применимые законы.

5283авг. 2026ctx131.1K
textimageotherhugging-face
openfoodfacts
nutrition-extractor

Модель nutrition-extractor разработана Open Food Facts в рамках проекта Nutrisight и дообучена на microsoft/layoutlmv3-large на наборе openfoodfacts/nutrient-detection-layout. Она извлекает значения питательных веществ из фотографий таблиц пищевой ценности на упаковках продуктов; на тестовом наборе указаны F1 0,9596, точность 0,9917, полнота 0,9647 и loss 0,0534. Это мультимодальный LayoutLMv3ForTokenClassification на 454,1 млн параметров с контекстом 514 токенов. На вход подаются изображение, OCR-токены и их двумерные координаты; README сообщает, что OCR-данные при обучении получали через Google Cloud Vision. Доступны файлы Safetensors и экспорт ONNX. Модель предназначена для изображений продуктов с таблицей пищевой ценности, поэтому её результаты зависят от качества изображения, OCR и координат токенов. Лицензия — CC BY-NC-SA 4.0.

28023сент. 2024ctx514
textcc-by-nc-sa-4.0hugging-face
OpenMed
OpenMed-NER-ChemicalDetect-BioMed-335M

OpenMed-NER-ChemicalDetect-BioMed-335M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученная модель семейства BERT с архитектурой BertForTokenClassification, основанная на BiomedNLP-BiomedELECTRA-large-uncased-abstract. Она содержит 433,9 млн параметров, принимает токенизированный текст и выдаёт BIO-разметку химических упоминаний; длина контекста — 512 токенов. Модель обучена на корпусе BC4CHEMD и распознаёт метки B-CHEM и I-CHEM. Модель предназначена для извлечения названий химических соединений и веществ из научных публикаций, клинических записей и других биомедицинских документов. Такие результаты можно использовать для поиска лекарств в медицинских записях, мониторинга нежелательных явлений, анализа литературы для разработки препаратов и построения биомедицинских графов знаний. В README приведены показатели на BC4CHEMD: F1 0,94, точность 0,94 и полнота 0,95; отдельно указаны сравнительные результаты для модели с другим названием, поэтому их нельзя уверенно приписать этому чекпойнту. Лицензия — Apache-2.0.

97K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-ChemicalDetect-PubMed-109M

OpenMed-NER-ChemicalDetect-PubMed-109M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученная модель семейства BERT на основе BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext, построенная для классификации токенов и выдачи BIO-разметки B-CHEM и I-CHEM. В README указано 136,7 млн параметров; метаданные указывают контекст до 512 токенов и формат safetensors. Модель обучена на корпусе BC4CHEMD и предназначена для извлечения названий химических соединений и веществ из научных публикаций, медицинских записей и других биомедицинских документов. Такие результаты могут использоваться для поиска упоминаний препаратов, анализа литературы и построения биомедицинских баз знаний. Для работы предусмотрена интеграция с Transformers. README приводит на BC4CHEMD F1 0,949, precision 0,9447 и recall 0,9534 для этой версии. Эти показатели относятся к указанному корпусу и не гарантируют качество на других типах текста. Модель ориентирована на английский язык. Лицензия — Apache-2.0.

96K2июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-ChemicalDetect-SuperClinical-434M

OpenMed-NER-ChemicalDetect-SuperClinical-434M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученный трансформер DeBERTa-v2 для классификации токенов; README указывает базовую архитектуру deberta-v3-large, а метаданные — DebertaV2ForTokenClassification с 533,8 млн параметров. Модель принимает токенизированный текст и возвращает BIO-разметку химических соединений и веществ, используя метки B-CHEM и I-CHEM. Контекст ограничен 512 токенами; заявленный язык — английский. Модель предназначена для извлечения химических упоминаний из научных публикаций, клинических записей и других медицинских документов. Среди подходящих сценариев — поиск лекарственных веществ в записях пациентов, мониторинг нежелательных явлений и анализ литературы для разработки лекарств. В README заявлены F1 0,95, точность 0,94 и полнота 0,95 на BC4CHEMD; эти показатели приведены авторами карточки. Модель распространяется по лицензии Apache-2.0. Карточка не описывает ограничения применимости результатов в клинических решениях.

92K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-DiseaseDetect-BigMed-560M

OpenMed-NER-DiseaseDetect-BigMed-560M — модель OpenMed для распознавания упоминаний заболеваний в биомедицинском тексте. Это дообученный для классификации токенов трансформер семейства XLM-RoBERTa, основанный на xlm-roberta-large; в метаданных указано около 658,7 млн параметров, контекст — 514 токенов. Модель размечает сущности тегами B-DISEASE и I-DISEASE и предназначена для текстов, похожих на аннотации набора BC5CDR-Disease. Её можно применять для извлечения названий заболеваний из медицинских документов и научных публикаций, индексирования биомедицинской литературы и подготовки данных для медицинской аналитики. Карточка приводит F1 0,89, точность 0,88 и полноту 0,90, но не описывает условия оценки достаточно подробно, поэтому эти результаты не гарантируют аналогичного качества на других типах документов. Модель ориентирована на английский язык и доступна по лицензии Apache-2.0.

91K0июль 2025ctx514
textapache-2.0hugging-face
OpenMed
OpenMed-NER-DiseaseDetect-BioMed-109M

OpenMed-NER-DiseaseDetect-BioMed-109M — модель OpenMed для распознавания упоминаний заболеваний в биомедицинском тексте. Это дообученная модель на базе BiomedNLP-BiomedELECTRA-base-uncased-abstract с архитектурой BERT и 136,7 млн параметров; она выполняет токенную классификацию и размечает сущности тегами B-DISEASE и I-DISEASE. Контекст ограничен 512 токенами. Модель предназначена для извлечения названий заболеваний из научных публикаций и других биомедицинских текстов, например для индексирования литературы и построения медицинских баз знаний. В README заявлены F1 0,89, точность 0,87 и полнота 0,91 на BC5CDR-Disease. Датасет включает аннотации заболеваний в 1 500 абстрактах PubMed. Заявления о применении в клинических сценариях не заменяют отдельную медицинскую проверку результатов. Модель принимает токенизированный текст и возвращает метки для токенов, из которых можно собрать упоминания заболеваний. Карточка указывает лицензию Apache-2.0; модель распространяется в формате safetensors и интегрируется с Transformers.

94K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-DiseaseDetect-BioPatient-108M

OpenMed-NER-DiseaseDetect-BioPatient-108M — дообученная модель OpenMed для распознавания упоминаний заболеваний в биомедицинских текстах. Она основана на архитектуре BERT и выполняет токенную классификацию: каждому фрагменту текста присваивается BIO-метка B-DISEASE или I-DISEASE. Модель обучена на наборе BC5CDR-Disease; размер по метаданным — 135,5 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для извлечения названий заболеваний из научных публикаций, медицинских записей и других биомедицинских документов. Её можно применять для поиска заболеваний в клинических текстах, анализа литературы и поддержки биомедицинской индексации. В README приведены метрики на BC5CDR-Disease: F1 0,90, точность 0,89 и полнота 0,91. Модель принимает токенизированный текст и выдаёт разметку сущностей. Указанный язык — английский, лицензия — Apache-2.0. Результаты на целевом корпусе не гарантируют такую же точность на иных жанрах и данных; модель распознаёт только сущности заболеваний, а не химические вещества или лекарственные препараты.

98K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-DiseaseDetect-PubMed-v2-109M

OpenMed разработала OpenMed-NER-DiseaseDetect-PubMed-v2-109M — специализированную модель для распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученная модель семейства BERT для классификации токенов, основанная на BiomedNLP-BiomedBERT-base-uncased-abstract. Она размечает названия заболеваний тегами BIO: B-DISEASE и I-DISEASE. Модель предназначена для извлечения заболеваний из аннотаций PubMed и других биомедицинских текстов, включая медицинские записи и исследовательские документы. Её можно применять для поиска заболеваний в научной литературе, биомедицинского курирования и построения медицинских баз знаний. В README приведены оценки на BC5CDR-Disease: F1 0,90, точность 0,89 и полнота 0,91. Архитектура имеет 136,7 млн параметров и поддерживает контекст до 512 токенов; модель принимает токенизированный текст и выдаёт BIO-разметку. Модель распространяется по лицензии Apache-2.0 и интегрируется с Transformers. Обучение описано для BC5CDR-Disease, поэтому качество на других типах клинических текстов и за пределами этой предметной области может отличаться; заявленные метрики относятся к указанному корпусу.

100K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-DiseaseDetect-SuperClinical-141M

OpenMed-NER-DiseaseDetect-SuperClinical-141M — модель OpenMed для распознавания названий заболеваний в биомедицинском тексте. Она основана на архитектуре DeBERTa-v2 и дообучена для классификации токенов на наборе BC5CDR-Disease; в README указана базовая архитектура deberta-v3-small. Модель содержит 155 млн параметров, принимает токенизированный текст и возвращает BIO-разметку сущностей типов B-DISEASE и I-DISEASE. Контекст ограничен 512 токенами. Модель предназначена для извлечения заболеваний из медицинских записей и научных публикаций, а также для биомедицинского поиска и анализа литературы. README приводит для BC5CDR-Disease F1 0,89, точность 0,87 и полноту 0,92; эти показатели относятся к указанной в карточке оценке и не гарантируют качество на других данных. Указана лицензия Apache-2.0.

95K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-DNADetect-PubMed-v2-109M

OpenMed разработала OpenMed-NER-DNADetect-PubMed-v2-109M — дообученную модель BERT для распознавания биомедицинских сущностей в тексте. Она принимает токенизированный текст и присваивает токенам BIO-метки, выделяя белки, ДНК, РНК, клеточные линии и типы клеток. Модель предназначена для извлечения сущностей из научных публикаций, медицинских записей и других биомедицинских текстов, например для поиска сведений в литературе и построения биомедицинских баз знаний. Она дообучена на корпусе JNLPBA; в карточке указаны F1 0,80, точность 0,76, полнота 0,85 и accuracy 0,93. Архитектура — BertForTokenClassification, размер — 136,7 млн параметров, контекст — до 512 токенов. Поддерживаемый язык — английский. Модель опубликована в формате safetensors и совместима с Transformers. Лицензия — Apache-2.0. Показатели и наборы меток отражают обучение на JNLPBA; качество на клинических записях или текстах, отличающихся от обучающего корпуса, может быть ниже. Карточка также содержит заявления о применении в клинических сценариях, но не приводит подробностей валидации таких применений.

92K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-PathologyDetect-TinyMed-66M

OpenMed разработала OpenMed-NER-PathologyDetect-TinyMed-66M — дообученную модель DistilBERT для распознавания упоминаний заболеваний в биомедицинском тексте. Модель использует архитектуру distilbert-base-uncased, содержит около 66 млн параметров и выполняет токенную классификацию с BIO-метками B-Disease и I-Disease. Максимальная длина контекста — 512 токенов. Модель предназначена для извлечения названий заболеваний из научных публикаций и медицинских документов. Она обучена на корпусе NCBI Disease; в карточке указаны F1 0,87, точность 0,86 и полнота 0,88. Подходит для поиска упоминаний болезней в корпусах текстов и подготовки данных для последующего анализа. Модель ориентирована на английский текст. Она не выполняет нормализацию сущностей или диагностику, а качество на иных типах текстов и языках может отличаться от результатов на NCBI Disease. Распространяется по лицензии Apache-2.0.

13K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-PII-FastClinical-Small-82M-v1

OpenMed-PII-FastClinical-Small-82M-v1 — англоязычная модель OpenMed для обнаружения персональных и медицинских идентификаторов в тексте. Это дообученная на NVIDIA Nemotron-PII модель RoBERTa для классификации токенов; она размечает 54 типа чувствительных сущностей, включая имена, адреса, номера медицинских записей, контактные и финансовые данные. Модель предназначена для обезличивания клинических заметок и документов, подготовки наборов данных и поиска чувствительной информации при аудите. В метаданных указаны 95,2 млн параметров, контекст до 514 токенов и формат safetensors. Карточка приводит Micro F1 0,9511 на тестовой выборке из 2 000 примеров Nemotron-PII, но качество зависит от типа сущности и контекста: у некоторых категорий точность ниже. Лицензия — Apache-2.0.

890янв. 2026ctx514
textapache-2.0hugging-face
OpenMed
OpenMed-PII-French-ClinicalBGE-Large-568M-v1

OpenMed-PII-French-ClinicalBGE-Large-568M-v1 — модель OpenMed для обнаружения и классификации персональных данных во французском тексте. Это дообученная на BAAI/bge-m3 модель семейства XLM-RoBERTa с архитектурой token classification и примерно 658,7 млн параметров; она принимает текст и размечает токены, выделяя 54 типа чувствительных сущностей, включая имена, адреса, идентификаторы, медицинские сведения и контактные данные. Модель рассчитана на обработку клинических записей, медицинских документов и других текстовых коллекций, где требуется находить данные для последующего обезличивания, подготовки исследовательских наборов или аудита приватности. В README приведён результат micro F1 0,9733 на французской части набора AI4Privacy PII Masking 400k. Поддерживается французский язык, длина контекста — 8194 токена; модель использует Transformers и формат safetensors. Модель может помочь в потоках обработки данных, связанных с GDPR и другими требованиями приватности, но её разметку следует проверять человеком: возможны пропуски, а качество может меняться в зависимости от терминологии и контекста. Она оптимизирована для французского и может хуже работать на других языках. Лицензия — Apache-2.0.

5.0K0февр. 2026ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-PII-mSuperClinical-Large-279M-v1

OpenMed-PII-mSuperClinical-Large-279M-v1 — модель OpenMed для обнаружения и классификации персональных и медицинских идентификаторов в тексте. Это дообученная для токенной классификации модель на архитектуре DeBERTa V2; в метаданных указано 306 млн параметров, контекст до 512 токенов и формат safetensors. Модель обучена на NVIDIA Nemotron-PII и рассчитана прежде всего на англоязычный текст. Модель выделяет 54 типа чувствительных сущностей, включая имена, адреса, номера социального страхования и медицинских карт, контактные и финансовые данные. Её можно применять для поиска PII в клинических записях и документах, подготовки данных к исследованию, деидентификации и поддержки аудита приватности. В README сообщается micro F1 0,9534 на тестовой выборке из 2 000 примеров. Разработчик позиционирует модель как вспомогательный компонент конвейера обработки, а не замену проверке человеком: возможны пропуски, а качество зависит от терминологии и типа сущности. README указывает лицензию Apache-2.0; для использования в критичных сценариях результаты следует проверять.

10K0янв. 2026ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-ZeroShot-NER-Disease-Small-166M

OpenMed-ZeroShot-NER-Disease-Small-166M — модель распознавания сущностей из области биомедицины, разработанная OpenMed на архитектуре GLiNER. Она дообучена на наборе BC5CDR-Disease и предназначена прежде всего для выделения названий заболеваний и патологических состояний в биомедицинских текстах. Модель поддерживает zero-shot извлечение: пользователь может задавать типы сущностей без отдельного дообучения, хотя основная специализация этой версии — заболевания. Модель принимает текст и возвращает распознанные сущности с метками; в карточке указана задача token-classification. Её можно применять для индексации заболеваний, анализа медицинской литературы и извлечения упоминаний из клинических текстов. В README сообщается F1 0,77 на тестовой выборке BC5CDR-Disease, исключённой из обучения; результат зависит от текста, меток сущностей и порога предсказания. Поддержка в метаданных указана для английского языка. Распространяется по лицензии Apache-2.0.

14K0сент. 2025
textapache-2.0hugging-face
google
paligemma2-28b-pt-448

PaliGemma 2 28B — разработанная Google базовая модель компьютерного зрения и языка. Она объединяет визуальный энкодер SigLIP с языковой моделью Gemma 2 и принимает изображения размером 448×448 пикселей вместе с текстом; длина текстовой последовательности на входе и выходе — до 512 токенов. Веса доступны в формате bfloat16 для дообучения. Модель предназначена прежде всего для настройки под конкретные задачи: описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения и сегментации объектов. Возможные специализированные сценарии включают анализ снимков дистанционного зондирования, описание элементов интерфейса и ответы на визуальные вопросы. Модель поддерживает несколько языков, но их перечень в предоставленных данных не уточнён. Лицензия — Gemma; применяются условия использования и политика запрещённого использования Gemma. Это базовая модель для однократного запроса с изображением и текстом, а не многоходовый чат-бот; для специализированных задач рекомендуется дообучение. Она может ошибаться в фактах и рассуждениях, хуже справляться с неоднозначными или сложными открытыми запросами, а также отражать предвзятость данных обучения. Для применения нужны проверки качества и меры безопасности.

7812нояб. 2024
textimagegemmahugging-face
breezedeus
pix2text-mfd-1.5

Pix2Text-MFD-1.5 — модель обнаружения математических формул на изображениях из проекта Pix2Text, разработанного Breezedeus. Она предназначена для поиска областей с формулами в документах и других изображениях, в том числе как этап системы распознавания математических выражений. Для использования требуется библиотека pix2text версии 1.1.4 или новее. Модель опубликована в формате ONNX и распространяется по лицензии MIT. Данных о размере модели, поддерживаемых языках и длине контекста в предоставленных материалах нет; эти характеристики не относятся к описанному сценарию обнаружения формул.

2.2K0июнь 2025
textimagemithugging-face
PaddlePaddle
PP-FormulaNet_plus-S

PP-FormulaNet_plus-S — модель распознавания математических формул на изображениях, разработанная командой PaddleOCR. Это версия S семейства PP-FormulaNet_plus, использующая backbone PPHGNetV2_B4; она ориентирована на улучшенное распознавание формул на английском языке. Модель преобразует изображение формулы в текстовое представление LaTeX и может использоваться как модуль распознавания в конвейере обработки документов. При обучении использовался более разнообразный набор формул из китайских диссертаций, профессиональных и учебных книг, экзаменационных работ и математических журналов. В README приведены оценки BLEU для английских и китайских формул, а также время GPU-инференса для семейства моделей. Репозиторий распространяется по лицензии Apache-2.0.

1.0K0июнь 2025
textimageapache-2.0hugging-face
OpenMed
privacy-filter-nemotron-v2

OpenMed privacy-filter-nemotron-v2 — модель OpenMed для обнаружения персональных данных и подготовки текста к маскированию или деидентификации. Это дообученная модель token classification на базе openai/privacy-filter; она использует архитектуру MoE и размечает последовательности токенов метками BIOES. В README указано 1,4 млрд параметров в базовой модели и около 50 млн активных параметров на токен; метаданные этого репозитория указывают 145,4 млн параметров. Контекст модели — 131 072 токена. Модель предназначена для разметки текста по 55 категориям PII, включая имена, контакты, адреса, государственные и финансовые идентификаторы, медицинские номера и цифровые секреты. Версия v2 обучена на более широком наборе синтетических примеров и ориентирована на более полное обнаружение PII при сохранении детализированной схемы меток. Карточка перечисляет языки от болгарского и чешского до словацкого; датасеты включают Nemotron-PII, Gretel PII Masking и OpenPII. Для корректного маскирования README рекомендует декодирование BIOES с объединением пересекающихся и соседних фрагментов. Модель экспериментальная и требует проверки на целевом домене; для клинических, юридических и других регулируемых данных её следует включать в более широкий процесс деидентификации с аудитом и проверкой человеком. Лицензия указана как other, без уточнённых условий в предоставленных данных.

146K54май 2026ctx131.1K
textapache-2.0hugging-face
Wravn
privacy-policy-context

Wravn разработала PrivaScope Scope Classifier — классификатор предложений для анализа политик конфиденциальности. Модель принимает отдельное предложение и относит его к одной из 11 категорий области действия: например, веб-сайт, приложение, устройство, учетная запись или коммуникации. Это один из 16 классификаторов исследовательского конвейера PrivaScope. Модель основана на PrivBERT от mukund, дообученной версии RoBERTa, предварительно обученной на корпусе политик конфиденциальности. Классификатор выполняет однозначную классификацию по 11 классам; в README указаны значения F1 Macro 0,87 и F1 Micro 0,91. Размер модели — 151,8 млн параметров, контекст — 514 токенов; доступны веса Safetensors и ONNX. Она обучена на англоязычных политиках конфиденциальности. Модель предназначена только для определения области действия предложения: темы, содержание и атрибуты извлекаются отдельными компонентами полного конвейера. Обучающие данные включают 3 078 предложений, в том числе синтетические примеры, созданные LLM для балансировки классов. Лицензия — MIT.

1030авг. 2026ctx514
textmithugging-face
Taewan123
Qwen3-0.6B-JSON-SFT-GRPO

Taewan123/Qwen3-0.6B-JSON-SFT-GRPO — компактная плотная языковая модель семейства Qwen3, разработанная Taewan123 и дообученная на базе NotoriousH2/Qwen3-0.6B-JSON-SFT. Она предназначена для генерации текста в формате чата; базовая модель ориентирована на извлечение метаданных, поручений, решений и препятствий из корейских протоколов совещаний с выводом в JSON. Модель содержит 507,9 млн параметров, принимает текст и поддерживает контекст до 40 960 токенов. Карточка сообщает об обучении с использованием Unsloth и библиотеки TRL. Указана лицензия Apache-2.0. Доступные сведения описывают её назначение через базовую модель; отдельные характеристики качества или результаты оценки этой версии не приведены.

2790окт. 2026ctx41K
textapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей