Предварительно обученная украинская RoBERTa для заполнения пропусков и дообучения на задачах языкового анализа.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал RoBERTa-base-ukrainian — языковую модель RoBERTa, предварительно обученную на корпусе UberText. Модель содержит 136,3 млн параметров, использует архитектуру RobertaForMaskedLM и принимает последовательности длиной до 512 токенов.
Модель предназначена для заполнения пропусков в украинском тексте и дообучения для задач обработки украинского языка, включая разметку частей речи и синтаксический анализ зависимостей. Она работает с текстом и выдаёт текстовые предсказания; в репозитории доступны веса PyTorch.
Модель распространяется по лицензии CC BY-SA 4.0. Для задач, отличных от заполнения пропусков, потребуется дообучение; качество в конкретных прикладных сценариях зависит от данных и настройки.
Для разметки частей речи, синтаксического анализа и других задач модель нужно дообучить. Максимальная длина последовательности — 512 токенов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a RoBERTa model pre-trained on Корпус UberText. You can fine-tune roberta-base-ukrainian for downstream tasks, such as POS-tagging, dependency-parsing, and so on.
from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/roberta-base-ukrainian")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/roberta-base-ukrainian")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…