Характеристики

Контекст: 514 токенов
Параметры: 153 млн
Лицензия: Apache 2.0
Архитектура: roberta · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

ukr-roberta-base

youscan

Заполнение пропусковТекст → текст3 профессии

Украиноязычная модель RoBERTa для предсказания замаскированных слов и заполнения пропусков в тексте.

809скачиваний за 30 дней25лайковвеса обновлены11 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

youscan/ukr-roberta-base — украиноязычная модель семейства RoBERTa, разработанная Vitalii Radchenko. Это плотная модель с 153,2 млн параметров, обученная предсказывать замаскированные токены. Для предварительного обучения использовались украинская Википедия, украинский корпус OSCAR и выборка упоминаний из социальных сетей.

Модель подходит для заполнения пропусков в украинском тексте и как языковая основа для экспериментов и последующей адаптации под задачи обработки украинского языка. Она принимает текст и предсказывает скрытые в нём токены. Максимальная длина контекста — 514 токенов; доступны версии в форматах PyTorch и Flax.

Модель выпущена под лицензией Apache-2.0. Её обучение ориентировано на украинский язык, поэтому качество на других языках не подтверждено приведёнными данными; README не содержит результатов оценки качества.

Сценарии применения

заполнение пропусков в украинских предложениях
предсказание подходящего слова в замаскированном украинском тексте
создание украиноязычных языковых представлений для экспериментов

Ограничения

Модель обучалась на украинских корпусах, поэтому её применимость к другим языкам не подтверждена. В README не приведены результаты оценки качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ukr-roberta-base

Pre-training corpora

Below is the list of corpora used along with the output of wc command (counting lines, words and characters). These corpora were concatenated and tokenized with HuggingFace Roberta Tokenizer.

Tables	Lines	Words	Characters
Ukrainian Wikipedia - May 2020	18 001 466	201 207 739	2 647 891 947
Ukrainian OSCAR deduplicated dataset	56 560 011	2 250 210 650	29 705 050 592
Sampled mentions from social networks	11 245 710	128 461 796	1 632 567 763
Total	85 807 187	2 579 880 185	33 985 510 302

Pre-training details

Ukrainian Roberta was trained with code provided in HuggingFace tutorial
Currently released model follows roberta-base-cased model architecture (12-layer, 768-hidden, 12-heads, 125M parameters)
The model was trained on 4xV100 (85 hours)
Training configuration you can find in the original repository

Author

Vitalii Radchenko - contact me on Twitter @vitaliradchenko

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: 8149bde