/ Модель
Каталог

Характеристики

Контекст
128 токенов
Параметры
12,6 млн
Лицензия
CC BY-SA 4.0
Архитектура
roberta · dense
Опубликована
2 мар 2022

Ссылки

Hugging Face

roberta-small-japanese-aozora-char

KoichiYasuoka
Заполнение пропусковТекст → текст3 профессии

Компактная японская RoBERTa для заполнения пропусков и дообучения под задачи лингвистического анализа текста.

177скачиваний за 30 дней1лайквеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RoBERTa-small-japanese-aozora-char — компактная модель Koichi Yasuoka на архитектуре RoBERTa, предварительно обученная на текстах японской библиотеки 青空文庫 с посимвольным токенизатором. Она предназначена для заполнения пропусков в тексте и может служить основой для дообучения под задачи обработки японского языка, включая разметку частей речи и синтаксический анализ зависимостей.

Модель содержит 12,6 млн параметров, принимает текстовые последовательности с контекстом до 128 токенов и выдаёт предсказания для замаскированных позиций. Доступны веса PyTorch; лицензия — CC BY-SA 4.0.

Сценарии применения

  • восстановление замаскированных символов в японском тексте
  • предобученная основа для разметки частей речи на японском языке
  • дообучение для синтаксического анализа зависимостей японских предложений

Ограничения

Максимальная длина контекста составляет 128 токенов. Для POS-разметки и синтаксического анализа модель нужно дообучить под соответствующие задачи.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

roberta-small-japanese-aozora-char

Model Description

This is a RoBERTa model pre-trained on 青空文庫 texts with character tokenizer. You can fine-tune roberta-small-japanese-aozora-char for downstream tasks, such as POS-tagging, dependency-parsing, and so on.

How to Use

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/roberta-small-japanese-aozora-char")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/roberta-small-japanese-aozora-char")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForMaskedLM
Ревизия весов
f96320e

0 моделей

    Создать бенчмарк