Характеристики

Контекст: 512 токенов
Параметры: 119 млн
Лицензия: CC BY-SA 4.0
Архитектура: roberta · dense
Опубликована: 5 янв 2023

Ссылки

roberta-base-ainu

Заполнение пропусковТекст → текст3 профессии

Предварительно обученная RoBERTa для работы с айнскими текстами и заполнения пропусков, которую можно дообучать для лингвистической разметки.

60скачиваний за 30 дней0лайковвеса обновлены1 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал RoBERTa-base-ainu — модель RoBERTa с 118,5 млн параметров, предварительно обученную на текстах на айнском языке. Корпус включает айнские тексты, записанные катаканой, латиницей и кириллицей; модель принимает текст и предсказывает замаскированные токены. Контекст ограничен 512 токенами.

Модель предназначена для заполнения пропусков в айнских текстах и как основа для дообучения под задачи обработки языка, например разметку частей речи и синтаксический анализ зависимостей. Опубликована в формате PyTorch и распространяется по лицензии CC BY-SA 4.0. Результаты для downstream-задач потребуют отдельного дообучения; сведения о качестве таких результатов в карточке не приведены.

Сценарии применения

восстановление пропущенных токенов в айнском тексте
предварительное обучение моделей для айнской разметки частей речи
дообучение для синтаксического анализа айнских предложений

Ограничения

Для разметки частей речи, синтаксического анализа и других downstream-задач модель необходимо дообучить. Указанное окно контекста составляет 512 токенов; метрики качества в карточке не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

roberta-base-ainu

Model Description

This is a RoBERTa model pre-trained on Ainu texts written in カタカナ, Roman, and Кириллица. You can fine-tune roberta-base-ainu for downstream tasks, such as POS-tagging, dependency-parsing, and so on.

How to Use

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/roberta-base-ainu")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/roberta-base-ainu")

Reference

安岡孝一: ローマ字・カタカナ・キリル文字併用アイヌ語RoBERTa・DeBERTaモデルの開発, 情報処理学会研究報告, Vol.2023-CH-131『人文科学とコンピュータ』, No.7 (2023年2月18日), pp.1-7.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: 56220dd