/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
2 041–2 070 из 25 791
OpenMed
OpenMed-NER-GenomicDetect-MultiMed-335M

OpenMed-NER-GenomicDetect-MultiMed-335M — модель OpenMed для распознавания геномных сущностей в биомедицинском тексте. Это дообученный трансформер на архитектуре BERT с классификационной головой для разметки токенов; в метаданных указано 433,9 млн параметров и контекст до 512 токенов. Модель принимает токенизированный текст и выдаёт BIO-разметку. В README заявлено обучение на корпусе GELLUS и распознавание меток B-Cell-line-name и I-Cell-line-name; метаданные указывают английский язык и формат safetensors. Модель предназначена для извлечения упоминаний клеточных линий и геномных сущностей из научной и клинической литературы, а также для последующего поиска и анализа биомедицинских текстов. README приводит высокие показатели на GELLUS, однако подробности методики оценки не раскрыты, а перечисленные сценарии — например, обнаружение взаимодействий лекарств — не подтверждены указанными метками модели. Лицензия — Apache-2.0.

96K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-OncologyDetect-ElectraMed-109M

OpenMed-NER-OncologyDetect-ElectraMed-109M — специализированная модель OpenMed для распознавания и классификации биомедицинских сущностей, связанных с онкологией и генетикой рака. Это дообученный трансформер с архитектурой BERT для token classification; в метаданных указано 136,7 млн параметров, а карточка описывает обучение на корпусе BioNLP 2013 CG. Модель принимает токенизированный текст и возвращает BIO-метки сущностей, включая гены и их продукты, опухоли, клетки, ткани, органы и химические вещества. Английский язык указан в карточке модели; максимальный контекст — 512 токенов. Модель предназначена для извлечения сущностей из научной литературы и биомедицинских текстов, например для поиска генов, связанных с раком, и построения баз знаний. В README приведены результаты на BioNLP 2013 CG: F1 0,73, точность 0,72 и полнота 0,74; результаты следует оценивать в контексте этого набора данных. Карточка указывает лицензию Apache-2.0. Модель распознаёт сущности, но сама по себе не выполняет извлечение отношений, диагностику или проверку лекарственных взаимодействий.

95K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-OrganismDetect-BioMed-335M

OpenMed-NER-OrganismDetect-BioMed-335M — модель OpenMed для распознавания упоминаний организмов и видов в биомедицинских текстах. Это дообученный трансформер семейства BERT с архитектурой BertForTokenClassification и примерно 433,9 млн параметров. Модель размечает названия видов тегами B-SPECIES и I-SPECIES; контекстное окно составляет 512 токенов. Модель предназначена для извлечения организмов из научных аннотаций и другой биомедицинской литературы, анализа биоразнообразия и таксономических упоминаний. В README для набора SPECIES800 указаны F1 0,8639, точность 0,8557 и полнота 0,8722. Модель принимает текст и выдаёт BIO-разметку токенов; заявлена поддержка английского языка. Доступна в формате safetensors и совместима с Transformers. Лицензия — Apache-2.0.

97K1июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-OrganismDetect-ElectraMed-33M

OpenMed-NER-OrganismDetect-ElectraMed-33M — модель OpenMed для распознавания названий организмов в тексте. Это трансформер для token classification на основе архитектуры BERT, дообученный на корпусе SPECIES800; он выделяет упоминания видов BIO-метками B-SPECIES и I-SPECIES. По карточке, модель рассчитана на научные и биомедицинские тексты, включая аннотации и документы, где требуется находить научные или общеупотребительные названия видов. Размер модели — 40 млн параметров, контекст — до 512 токенов; входом служит токенизированный текст, выходом — разметка сущностей. В README приведены F1 0,81, точность 0,78 и полнота 0,85 на SPECIES800. Модель распространяется по лицензии Apache-2.0.

92K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-PathologyDetect-PubMed-109M

OpenMed разработала эту специализированную модель распознавания упоминаний заболеваний в биомедицинских текстах. Это дообученная для token classification модель на архитектуре BERT, основанная на BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext и обученная на корпусе NCBI Disease. Веса занимают около 136,7 млн параметров; модель принимает токенизированный текст и возвращает BIO-разметку сущностей заболеваний. Контекст ограничен 512 токенами, основной язык — английский. Модель предназначена для извлечения названий заболеваний из научных публикаций и медицинских документов, а также для поддержки биомедицинского поиска и анализа литературы. В README приведены результаты на NCBI Disease: F1 0,9110, точность 0,8918 и полнота 0,9310. Это узкоспециализированный распознаватель сущностей заболеваний; заявленные сценарии выявления лекарственных взаимодействий и химических соединений требуют дополнительных моделей или этапов обработки. Распространяется по лицензии Apache-2.0.

103K4июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-SpeciesDetect-BioPatient-108M

OpenMed-NER-SpeciesDetect-BioPatient-108M — модель OpenMed для распознавания упоминаний видов и организмов в биомедицинских текстах. Это дообученный трансформер на архитектуре BERT с 135,5 млн параметров, предназначенный для токенной классификации. Модель выделяет сущности метками B-SPECIES и I-SPECIES; контекстное окно составляет 512 токенов. Модель обучена на корпусе LINNAEUS и рассчитана на извлечение названий видов из научной литературы, клинических записей и других биомедицинских документов. Её можно применять для поиска упоминаний организмов, анализа литературы и построения биомедицинских баз знаний. В карточке заявлены F1 0,94, точность 0,92 и полнота 0,95; описание не приводит подробностей о методике оценки на клинических данных. Модель принимает токенизированный текст и выдаёт BIO-разметку сущностей. Лицензия — Apache-2.0.

92K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-SpeciesDetect-ElectraMed-109M

OpenMed разработала OpenMed-NER-SpeciesDetect-ElectraMed-109M — модель распознавания видов и организмов в биомедицинских текстах. Это дообученный трансформер для классификации токенов: он отмечает названия организмов тегами B-SPECIES и I-SPECIES, формируя BIO-разметку. Модель обучена на корпусе LINNAEUS и принимает токенизированный текст; контекст — до 512 токенов. В метаданных указана архитектура BERT и 136,7 млн параметров, а в README базовая архитектура названа e5-base-v2. Модель предназначена для извлечения упоминаний видов из научной литературы и других биомедицинских документов, а также для последующей индексации и анализа таких упоминаний. В README приведены F1 0,78, точность 0,72 и полнота 0,84; эти показатели следует учитывать при проверке результатов на целевых данных. Репозиторий использует формат safetensors, лицензия — Apache-2.0.

190K0июль 2025ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-NER-SpeciesDetect-ModernClinical-395M

OpenMed-NER-SpeciesDetect-ModernClinical-395M — модель OpenMed для распознавания названий видов и организмов в биомедицинских текстах. Это дообученный трансформер ModernBERT с архитектурой BioClinical-ModernBERT-large и примерно 394,7 млн параметров; для обработки текста используется контекст до 8192 токенов. Модель выполняет NER как классификацию токенов и выделяет сущности метками B-SPECIES и I-SPECIES. Она обучена на корпусе LINNAEUS и предназначена для поиска упоминаний видов в клинических записях и научной литературе, а также для текстового анализа в биомедицинских исследованиях. В карточке указаны F1, точность и полнота 0,94, однако детали оценки и клинической валидации не приведены. Модель принимает текст и возвращает BIO-разметку сущностей. В метаданных указан английский язык. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0.

152K0июль 2025ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-NER-SpeciesDetect-ModernMed-395M

OpenMed-NER-SpeciesDetect-ModernMed-395M — модель распознавания упоминаний видов и организмов в тексте, опубликованная OpenMed. Это дообученный ModernBERT для классификации токенов с метками B-SPECIES и I-SPECIES; модель содержит 394,7 млн параметров и поддерживает контекст до 8192 токенов. Она рассчитана на английские биомедицинские тексты, включая научную литературу и клинические документы, и возвращает BIO-разметку найденных упоминаний видов. Модель может применяться для извлечения названий организмов из публикаций и документов, поиска упоминаний видов в биомедицинских корпусах и подготовки данных для таксономического анализа и построения баз знаний. В README приведены результаты на LINNAEUS: F1 0,90, точность 0,93 и полнота 0,87; эти показатели относятся к описанной оценке и не гарантируют такое же качество на других корпусах. Указана лицензия Apache-2.0.

96K0июль 2025ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-PII-BiomedBERT-Base-110M-v1

OpenMed-PII-BiomedBERT-Base-110M-v1 — англоязычная модель OpenMed на архитектуре BERT, дообученная для токенной классификации и обнаружения 54 типов персональных и чувствительных данных в тексте. Она принимает текст и помечает сущности, включая имена, адреса, идентификаторы, контактные, финансовые и медицинские сведения. Модель основана на microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext, содержит 136,7 млн параметров и поддерживает контекст до 512 токенов. Модель предназначена для выявления и удаления персональных данных из клинических записей и других документов, подготовки наборов данных и аудита коллекций документов. В карточке указана оценка micro F1 0,9497 на тестовой выборке из NVIDIA Nemotron-PII; качество различается по типам сущностей, а для некоторых категорий, включая время, PIN-коды и сексуальность, оно ниже. Модель следует использовать как вспомогательный инструмент с проверкой результатов человеком: возможны пропуски, а качество может меняться на специализированной терминологии. Лицензия — Apache-2.0.

13K0янв. 2026ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-PII-BiomedELECTRA-Large-335M-v1

OpenMed-PII-BiomedELECTRA-Large-335M-v1 — модель OpenMed для обнаружения и классификации персональных и медицинских идентификаторов в тексте. Это дообученная модель токенной классификации на базе microsoft/BiomedNLP-BiomedELECTRA-large-uncased-abstract; в метаданных указаны архитектура семейства BERT, 433,9 млн параметров, контекст до 512 токенов и формат safetensors. Модель предназначена для выявления 54 типов чувствительных сущностей, включая имена, адреса, номера медицинских карт, контактные и финансовые данные. Её можно применять для обезличивания клинических записей и документов, проверки текстов на утечки данных, подготовки наборов данных к исследованиям и поддержки процессов соблюдения требований конфиденциальности. В README приведён результат micro F1 0,9544 на тестовой выборке из 2 000 примеров NVIDIA Nemotron-PII; качество различается по типам сущностей. Модель рассчитана преимущественно на английский текст, может пропускать чувствительные данные и требует проверки человеком в критичных сценариях. Лицензия — Apache-2.0.

1.8K1янв. 2026ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-PII-French-BioClinicalModern-Base-149M-v1

OpenMed-PII-French-BioClinicalModern-Base-149M-v1 — модель OpenMed для обнаружения и классификации персональных данных в текстах на французском языке. Это дообученный ModernBERT с архитектурой для классификации токенов, 149 млн параметров и контекстом до 8192 токенов. Модель распознаёт 54 типа сущностей, включая имена, адреса, идентификаторы, контактные, финансовые и медицинские сведения. Модель предназначена для поиска и удаления чувствительных данных во французских клинических записях, медицинских документах и других текстовых коллекциях, а также для подготовки наборов данных к исследованиям и поддержки проверок приватности. В оценке на французской части AI4Privacy указана микро-F1 0,9470. Модель выпущена под лицензией Apache-2.0. Это вспомогательный инструмент: пропуски PII возможны, поэтому важные результаты следует проверять человеком. Качество может снижаться при специализированной терминологии; модель оптимизирована для французского и может хуже работать на других языках.

12K0февр. 2026ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-PII-French-BioClinicalModern-Large-395M-v1

OpenMed-PII-French-BioClinicalModern-Large-395M-v1 — модель OpenMed для обнаружения и классификации персональных данных в текстах на французском языке. Это дообученная модель токенной классификации на архитектуре ModernBERT с 394,7 млн параметров и контекстом до 8192 токенов. Она размечает 54 типа сущностей, включая имена, адреса, контакты, финансовые и медицинские идентификаторы. Модель предназначена для поиска чувствительных данных в клинических записях, медицинских документах и других французских текстах, чтобы поддерживать обезличивание, подготовку наборов данных и аудит документов. В README приведён результат micro F1 0,9625 на французской части AI4Privacy; обучение описано как выполненное на BIO-разметке AI4Privacy PII Masking 400k. Автор указывает Apache-2.0 и называет модель готовой для производственных конвейеров. При этом она служит вспомогательным средством: возможны пропуски персональных данных, а качество может меняться в зависимости от терминологии; для важных случаев нужна проверка человеком. Модель оптимизирована для французского языка и может хуже работать на других языках.

6.1K0февр. 2026ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-PII-French-SnowflakeMed-Large-568M-v1

OpenMed-PII-French-SnowflakeMed-Large-568M-v1 — модель OpenMed для обнаружения и классификации персональных и других чувствительных данных во французском тексте. Это дообученный трансформер XLM-RoBERTa для разметки токенов: он выделяет 54 типа сущностей, включая имена, адреса, идентификаторы, финансовые и медицинские сведения, контактные данные и даты. Модель принимает текст и возвращает метки сущностей; нативная длина контекста составляет 8194 токена. В README приведён результат micro F1 0,9728 на французской части набора AI4Privacy. Модель предназначена для выявления и удаления PII из клинических записей и документов, подготовки исследовательских данных и аудита коллекций документов. Она разработана для французского языка и не рассчитана на надёжную работу с другими языками. Возможны пропуски чувствительных данных, а качество зависит от терминологии и контекста, поэтому критические результаты требуют проверки человеком. Лицензия — Apache-2.0.

12K3февр. 2026ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-PII-German-SuperClinical-Small-44M-v1

OpenMed разработала эту модель для выявления и классификации персональных и других чувствительных данных в немецком тексте. Это дообученная модель DeBERTa V3 Small для классификации токенов: она размечает 54 типа сущностей, включая имена, адреса, идентификаторы, медицинские записи, контактные и финансовые сведения. Модель рассчитана на поиск таких данных в клинических заметках, медицинских документах и других текстах, чтобы поддерживать обезличивание, подготовку данных и проверки приватности. В README сообщается о Micro F1 0,9591 на немецкой части набора AI4Privacy. Метаданные указывают 155 млн параметров, контекст до 512 токенов и формат safetensors; README отдельно называет размер 44 млн параметров, поэтому размер в источниках расходится. Модель оптимизирована для немецкого языка. Лицензия — Apache-2.0. Модель служит вспомогательным инструментом: она может пропускать чувствительные данные, а качество зависит от предметной области и контекста. Для критичных сценариев результаты следует проверять вручную; для языков, кроме немецкого, качество не гарантируется.

9.6K0февр. 2026ctx512
textapache-2.0hugging-face
OpenMed
OpenMed-PII-Portuguese-SnowflakeMed-Large-568M-v1

OpenMed-PII-Portuguese-SnowflakeMed-Large-568M-v1 — модель OpenMed на архитектуре XLM-RoBERTa для обнаружения и классификации персональных данных в португальском тексте. Это дообученная версия Snowflake/snowflake-arctic-embed-l-v2.0 с 658,7 млн параметров, предназначенная для разметки токенов по 54 типам чувствительных сущностей, включая имена, адреса, идентификаторы, медицинские записи, контакты и финансовые сведения. Модель принимает текст и возвращает метки сущностей; длина контекста — 8194 токена. Модель подходит для выявления и последующего удаления персональных данных из португальских клинических заметок, медицинских документов и наборов данных, а также для аудита документов и подготовки данных к исследованиям. В README указан Micro F1 0,8921 на тестовой выборке португальского языка, собранной из AI4Privacy и синтетических данных. Модель оптимизирована для португальского языка и может хуже работать на других языках или с узкоспециализированной терминологией; пропуски персональных данных возможны, поэтому результаты требуют проверки человеком. Лицензия — Apache-2.0.

15K11апр. 2026ctx8.2K
textapache-2.0hugging-face
OpenMed
OpenMed-ZeroShot-NER-Disease-XLarge-770M

OpenMed/OpenMed-ZeroShot-NER-Disease-XLarge-770M — специализированная модель OpenMed для обнаружения упоминаний заболеваний и патологических состояний в биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на наборе BC5CDR-Disease; размер модели в предоставленных данных не указан, несмотря на число в названии репозитория. Модель предназначена для извлечения названий болезней из научной литературы и медицинских текстов, например для индексирования заболеваний, фенотипирования пациентов и первичного отбора публикаций. В README заявлена возможность задавать типы сущностей без отдельного дообучения, однако обучение и приведённая оценка ориентированы на сущности заболеваний. Для BC5CDR-Disease указана F1-оценка 0,8593 на тестовом наборе, исключённом из обучения. Модель принимает текст и возвращает размеченные сущности. Карточка указывает совместимость с экосистемой Hugging Face Transformers и формат PyTorch. Лицензия — Apache-2.0. Результаты требуют проверки для клинического применения: приведённая метрика относится к конкретному набору данных и не подтверждает качество на всех типах медицинских документов или произвольных типах сущностей.

48K0сент. 2025
textapache-2.0hugging-face
facebook
PE-Lang-L14-448

PE-Lang-L14-448 — визуальный энкодер Meta из семейства Perception Encoder, обученный на контрастном выравнивании изображений и текста и дополнительно настроенный для задач мультимодального языкового моделирования. Он извлекает языково-информативные признаки из изображений и рассчитан на использование вместе с языковым декодером, например Llama или Qwen; особенно хорошо подходит для OCR и работы с документами. В приведённых авторами оценках использовался замороженный энкодер с декодером Llama 3.1 8B и изображениями размером 448 пикселей без тайлинга. Модель также относится к семейству энкодеров для понимания видео, однако карточка этого чекпойнта не описывает отдельную конфигурацию или загрузочный код для видео. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Это компонент энкодера, а не самостоятельный чат-ассистент: для генерации ответов требуется языковой декодер и соответствующая мультимодальная обвязка. В карточке приведены результаты бенчмарков, но нет загрузочного кода и сведений о размере модели или длине контекста.

458апр. 2025
imageembeddingapache-2.0hugging-face
dragonstorm123
qwen3.5-4b-sft

Карточка модели dragonstorm123/qwen3.5-4b-sft на Hugging Face совпадает с карточкой dragonstorm123/qwen3.5-4b-sft-disambiguation, поэтому описание составлено по ней. Мультимодальная модель Qwen3.5-4B, дообученная разработчиком dragonstorm123 на базе Qwen/Qwen3.5-4B с использованием Unsloth и библиотеки TRL. Предназначена для диалогового взаимодействия и задач image-text-to-text: модель принимает текст и изображения и формирует текстовые ответы. В метаданных также заявлены возможности работы с изображениями и интерфейс вызова инструментов. Модель содержит 4 млрд параметров и распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает обучающие данные и специальные ограничения применения; качество на конкретных задачах зависит от сценария использования.

110июль 2026ctx262.1K
textimageapache-2.0hugging-face
dragonstorm123
qwen3.5-4b-sft-base

Карточка модели dragonstorm123/qwen3.5-4b-sft-base на Hugging Face совпадает с карточкой dragonstorm123/qwen3.5-4b-sft-disambiguation, поэтому описание составлено по ней. Мультимодальная модель Qwen3.5-4B, дообученная разработчиком dragonstorm123 на базе Qwen/Qwen3.5-4B с использованием Unsloth и библиотеки TRL. Предназначена для диалогового взаимодействия и задач image-text-to-text: модель принимает текст и изображения и формирует текстовые ответы. В метаданных также заявлены возможности работы с изображениями и интерфейс вызова инструментов. Модель содержит 4 млрд параметров и распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает обучающие данные и специальные ограничения применения; качество на конкретных задачах зависит от сценария использования.

120июль 2026ctx262.1K
textimageapache-2.0hugging-face
tcz
qwen3-vl-8b-box-layouts-sft-plateau-9000a

Модель tcz/qwen3-vl-8b-box-layouts-sft-plateau-9000a — дообученная мультимодальная модель семейства Qwen3-VL, опубликованная tcz. Она принимает изображения и текст и предназначена для диалоговых сценариев, где нужно анализировать визуальные материалы и отвечать текстом. В метаданных указаны архитектура Qwen3VLForConditionalGeneration, формат safetensors и возможность работы с изображениями; обучение проводилось с использованием Unsloth и библиотеки TRL от Hugging Face. Карточка связывает модель с задачами разметки компоновок и ограничивающих рамок, однако не приводит подробностей обучающего набора или измерений качества. Лицензия — Apache-2.0. Размер модели и длина контекста в предоставленных данных не приведены.

170авг. 2026ctx262.1K
textimageapache-2.0hugging-face
prithivMLmods
Qwen3-VL-8B-Heretic-Stable

Qwen3-VL-8B-Heretic-Stable — мультимодальная модель prithivMLmods на архитектуре Qwen3-VL с 8 млрд параметров для диалога, анализа изображений и генерации текстовых ответов. Она принимает изображения и текст, поддерживает визуальное рассуждение, создание подписей и структурированных описаний, а также прототипирование инструментов анализа изображений. В карточке заявлены совместимость с актуальными версиями Transformers, обновлённая разбивка весов на шарды и сохранение поведения исходной модели без изменения основных весов или архитектуры. Модель основана на prithivMLmods/Qwen3-VL-8B-Instruct-Unredacted-MAX и связана в README с huihui-ai/Huihui-Qwen3-VL-8B-Instruct-abliterated; README описывает выпуск как переупаковку, тогда как метаданные указывают дообучение базовой модели. Поддерживаемый язык карточки — английский. Репозиторий использует safetensors и библиотеку Transformers; лицензия — Apache-2.0. Ответы могут быть неточными или неполными, а качество зависит от изображения, запроса, разрешения и сложности входных данных. Для эффективного инференса, особенно с изображениями высокого разрешения, README рекомендует GPU. Модель помечена как предназначенная для исследований и обучения; авторы возлагают ответственность за использование и полученные результаты на пользователя.

2734май 2026ctx262.1K
textimageapache-2.0hugging-face
CyberPeace-Institute
SecureBERT-NER

SecureBERT-NER — модель распознавания именованных сущностей в текстах по кибербезопасности, разработанная CyberPeace Institute. Это дообученная версия SecureBERT на наборе данных APTNER, предназначенная для выделения и классификации сущностей в текстах этой области. Модель построена на архитектуре RoBERTa для классификации токенов, содержит 151,8 млн параметров и рассчитана на контекст до 514 токенов. Поддерживаемый язык — английский. Модель подходит для извлечения сущностей из материалов об угрозах и киберинцидентах, а также для подготовки структурированных данных для последующего анализа. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — MIT.

59119июнь 2023ctx514
textmithugging-face
Xenova
sponsorblock-classifier-v2

Xenova/sponsorblock-classifier-v2 — модель классификации текста на базе архитектуры BERT с 136,7 млн параметров и максимальной длиной входного контекста 512 токенов. Модель опубликована в пространстве Xenova; разработчик и условия лицензирования в доступных данных не указаны. Модель предназначена для классификации фрагментов расшифровок видео по категориям, связанным с SponsorBlock: рекламная интеграция, неоплачиваемая самореклама, напоминание о взаимодействии с каналом и извлечение текста из видео. Она может использоваться в системах автоматической обработки субтитров и транскрипций для поиска и разметки таких сегментов. Сильная сторона модели — специализация на типичных сегментах видеоконтента и поддержка текстовой классификации через стандартный pipeline Hugging Face. Доступные данные не содержат сведений о поддерживаемых языках, качестве на отдельных наборах данных, полном наборе классов и лицензии; поэтому перед использованием в производстве необходима проверка на целевых данных.

2080апр. 2022ctx512
texthugging-face
stanfordnlp
stanza-ca

Модель Stanza для каталонского языка разработана Stanford NLP и предназначена для лингвистического анализа текста. Stanza предлагает инструменты для обработки текста от токенизации до синтаксического анализа и распознавания сущностей; в карточке Hugging Face эта модель отнесена к задаче классификации токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель подходит для анализа каталонских текстов и разметки отдельных токенов в NLP-конвейерах. Карточка не уточняет архитектуру, размер, длину контекста или конкретные ограничения модели.

8410март 2022
textapache-2.0hugging-face
stanfordnlp
stanza-th

stanfordnlp/stanza-th — модель обработки тайского языка из набора Stanza, разработанного группой Stanford NLP. Stanza предоставляет инструменты для лингвистического анализа текста: от исходного текста до синтаксического разбора и распознавания сущностей. В Hugging Face модель помечена задачей token-classification и предназначена для соответствующего анализа последовательностей токенов. Модель подходит для лингвистической разметки тайского текста и может использоваться в конвейерах NLP на базе библиотеки Stanza. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0.

1461март 2022
textapache-2.0hugging-face
pamessina
T5FactExtractor

T5FactExtractor — модель для извлечения клинических фактов из предложений рентгенологических заключений по снимкам грудной клетки. Её разработал автор pamessina на основе T5-small; это дообученная модель T5ForConditionalGeneration с 38,5 млн параметров, доступная в формате safetensors и рассчитанная на контекст до 512 токенов. На вход подаётся предложение из заключения, а на выходе модель формирует строку с JSON-массивом кратких фактов, например о плевральном выпоте или размере сердца. Её используют как первый этап системы Extracting and Encoding для подготовки фактов к векторному представлению, сравнению и оценке метриками вроде CXRFEScore; для кодирования фактов предусмотрена отдельная модель CXRFE. Модель предназначена для текстовых данных радиологии, в частности описаний рентгенограмм грудной клетки. Модель распространяется по лицензии Apache-2.0. Она извлекает факты из предложений, поэтому для обработки полного заключения может понадобиться предварительное разделение на предложения и последующая обработка результата; сама по себе она не анализирует изображения и не заменяет клиническую интерпретацию.

3990июнь 2024ctx512
textapache-2.0hugging-face
sshleifer
tiny-distilbert-base-cased

sshleifer/tiny-distilbert-base-cased — очень компактная модель на основе DistilBERT, опубликованная Sam Shleifer на Hugging Face. Она предназначена для классификации токенов: принимает текст и выдаёт метки для его отдельных токенов, например для выделения сущностей или разметки частей текста. Карточка Hugging Face показывает архитектуру BertForTokenClassification и возможность загрузить модель через Transformers. Метаданные указывают 58,1 тыс. параметров и контекст до 512 токенов; доступны веса PyTorch, TensorFlow и Flax. Модель подходит для компактных демонстраций и экспериментов с конвейером token classification. Конкретный набор меток, языковая поддержка и лицензия в доступных сведениях не подтверждены.

24K3март 2022ctx512
texthugging-face
megagonlabs
transformers-ud-japanese-electra-base-ginza-510

megagonlabs/transformers-ud-japanese-electra-base-ginza-510 — японская модель на архитектуре ELECTRA, разработанная Megagon Labs для использования в NLP-конвейере spaCy v3 и GiNZA. Она предварительно обучена примерно на 200 млн японских предложений из mC4, а затем дообучена на UD_Japanese_BCCWJ r2.8. Базовая модель — megagonlabs/transformers-ud-japanese-electra-base-discrimininator. Модель предназначена для извлечения контекстных признаков из японского текста и применения в задачах японского языкового анализа через экосистему GiNZA; дополнительные компоненты GiNZA распознают структуры bunsetu-фраз. Чекпойнт содержит 136,4 млн параметров, поддерживает контекст до 512 токенов и распространяется в формате PyTorch. Лицензия — MIT.

24K2март 2022ctx512
textembeddingmithugging-face
mgalkin
ultra_3g

ULTRA 3G — модель-основа для рассуждений по графам знаний, разработанная авторами проекта ULTRA. Она предсказывает связи: для запроса вида «сущность — отношение — ?» ранжирует сущности-кандидаты. Модель рассчитана на запуск без дообучения на графах с разными словарями сущностей и отношений; при необходимости её можно дообучить на конкретном графе. Архитектура использует графовые нейронные сети и модифицированные версии NBFNet. Вместо отдельных эмбеддингов сущностей и отношений для каждого графа ULTRA формирует переносимые представления отношений на основе их взаимодействий. В этом чекпойнте около 169 тысяч параметров; он предварительно обучен на трёх графах. Доступен в формате Safetensors, лицензия — MIT. Модель предназначена для дополнения графов знаний и оценки кандидатов на отсутствующие связи, в том числе в сценариях zero-shot. README сообщает о результатах на наборе более чем из 50 графов, но не приводит в предоставленной карточке полные сравнительные таблицы; результат зависит от графа и протокола оценки.

5211дек. 2023
textmithugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей