Дообученная на украинских текстах модель XLM-RoBERTa восстанавливает пунктуацию и регистр букв.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ukr-models/uk-punctcase — модель на базе XLM-RoBERTa-Uk, дообученная на украинских текстах для восстановления пунктуации и регистра букв. Она выполняет разметку токенов, чтобы восстанавливать знаки препинания и правильное написание заглавных и строчных букв в тексте. Модель содержит 137,3 млн параметров, использует архитектуру XLM-RoBERTa и рассчитана на контекст до 514 токенов. Форматы весов — PyTorch и safetensors. Лицензия MIT.
Контекст модели ограничен 514 токенами; назначение карточки ограничено восстановлением пунктуации и регистра для украинского текста.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Fine-tuning of XLM-RoBERTa-Uk model on Ukrainian texts to recover punctuation and case.
Download script get_predictions.py from the repository.
from transformers import AutoTokenizer, AutoModelForTokenClassification
from get_predictions import recover_text
tokenizer = AutoTokenizer.from_pretrained('ukr-models/uk-punctcase')
model = AutoModelForTokenClassification.from_pretrained('ukr-models/uk-punctcase')
text = "..."
recover_text(text_processed, model, tokenizer)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…