Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Архитектура: xlm-roberta · dense
Опубликована: 15 апр 2024

Ссылки

Hugging Face

punctuate-16

mukowaty

Разметка токеновТекст → label8 профессий

Мультиязычная модель на базе XLM-RoBERTa для восстановления пунктуации путём разметки токенов.

777скачиваний за 30 дней0лайковвеса обновлены15 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель mukowaty/punctuate-16 восстанавливает пунктуацию в тексте, выполняя поклассовую разметку токенов. Она основана на XLM-RoBERTa и работе Oliver Guhr; в модели около 305,2 млн параметров, а максимальный контекст составляет 514 токенов. В метаданных указана поддержка болгарского, английского, немецкого, французского, испанского, итальянского, польского, нидерландского, чешского, португальского, словенского, греческого, шведского, венгерского, румынского, словацкого и датского языков.

Модель подходит для автоматического восстановления знаков препинания в текстах, где пунктуация была удалена или утрачена, например при подготовке распознанной речи к чтению. Она выпущена в формате PyTorch. Сведения о лицензии в доступных источниках отсутствуют.

Сценарии применения

Восстановление пунктуации в распознанной речи
Расстановка знаков препинания в тексте без пунктуации
Подготовка автоматических транскрипций к чтению

Ограничения

Контекст ограничен 514 токенами, поэтому длинный текст может потребовать разбиения на фрагменты. Данные не уточняют лицензию и качество на отдельных языках.