/ Модель

Характеристики

Контекст
514 токенов
Параметры
152 млн
Лицензия
MIT
Архитектура
roberta · dense
Опубликована
3 авг 2023

roberta_model_for_anonimization

Разметка токеновТекст → label6 профессий

Модель RoBERTa выявляет организации, людей и места в испанских и каталанских текстах для последующей анонимизации.

333скачиваний за 30 дней1лайквеса обновлены3 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BSC-LT разработала модель на архитектуре RoBERTa для выявления чувствительных сущностей в пользовательских текстах на испанском и каталанском языках. Она размечает последовательности токенов, выделяя организации (ORG), людей (PER) и места (LOC), чтобы использовать эти данные для последующей анонимизации. Модель рассчитана на работу в составе AnonymizationPipeline от BSC, но её можно применять и отдельно.

Модель содержит 151,8 млн параметров, принимает текст и имеет контекстное окно до 514 токенов. В README приведены оценки ENTS_F 90,03, ENTS_P 89,7 и ENTS_R 90,3. Распространяется по лицензии MIT.

Сценарии применения

  • поиск персональных сущностей в испанских текстах
  • поиск персональных сущностей в каталанских текстах
  • подготовка пользовательских текстов к анонимизации
  • выделение имён людей, организаций и мест в тексте

Ограничения

Модель выявляет только организации, людей и места; README указывает, что её предполагается использовать в составе AnonymizationPipeline. Контекст ограничен 514 токенами.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is a Roberta multilingual (Catalan & Spanish) anonimization model, for use with BSC's AnonymizationPipeline at:

https://github.com/TeMU-BSC/AnonymizationPipeline.

The anonymization pipeline is a library for performing sensitive data identification and ultimately anonymization of the detected data in Spanish and Catalan user generated plain text.

This is model can be used as a standalone model but it is meant to work within the pipeline.

The Roberta model can detect the following entities: ORG, PER, LOC

TypeScore
ENTS_F90.03
ENTS_P89.7
ENTS_R90.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForTokenClassification
Ревизия весов
315ac32

0 моделей