Характеристики

Контекст: 512 токенов
Параметры: 138 млн
Лицензия: CC BY-SA 4.0
Архитектура: roberta · dense
Опубликована: 14 дек 2022

Ссылки

roberta-base-vietnamese

Заполнение пропусковТекст → текст3 профессии

Предварительно обученная на вьетнамской Википедии RoBERTa-модель для заполнения пропусков и дальнейшего дообучения под задачи анализа вьетнамского текста.

129скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RoBERTa-base — модель Koichi Yasuoka, предварительно обученная на текстах вьетнамской Википедии. Она предназначена для заполнения пропусков в тексте и может служить основой для дообучения под задачи разметки частей речи, синтаксического анализа зависимостей и другие задачи обработки вьетнамского языка.

Модель содержит 137,8 млн параметров, использует архитектуру RoBERTa для masked language modeling и принимает текстовые последовательности длиной до 512 токенов. Доступны веса PyTorch. Модель распространяется по лицензии CC BY-SA 4.0.

Сценарии применения

Заполнение пропусков во вьетнамских предложениях
Подготовка основы для разметки частей речи на вьетнамском языке
Дообучение для синтаксического анализа зависимостей во вьетнамском языке

Ограничения

Предварительное обучение выполнено на текстах вьетнамской Википедии, поэтому перенос на другие жанры и предметные области может потребовать дообучения. Для задач разметки частей речи и синтаксического анализа модель нужно дообучить.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

roberta-base-vietnamese

Model Description

This is a RoBERTa model pre-trained on Vietnamese Wikipedia texts. NVIDIA A100-SXM4-40GB took 20 hours 11 minutes for training. You can fine-tune roberta-base-vietnamese for downstream tasks, such as POS-tagging, dependency-parsing, and so on.

How to Use

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/roberta-base-vietnamese")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/roberta-base-vietnamese")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: c72bfa7