Характеристики

Контекст: 512 токенов
Параметры: 138 млн
Лицензия: CC BY-SA 4.0
Архитектура: deberta-v2 · dense
Базовая модель: deberta-base-japanese-wikipedia-luw-upos
Опубликована: 18 сен 2022

Ссылки

Hugging Face

deberta-base-japanese-wikipedia-ud-goeswith

KoichiYasuoka

Разметка токеновТекст → label3 профессии

Дообученная DeBERTa V2 размечает японский текст по частям речи и синтаксическим зависимостям с учётом сегментов слов.

127скачиваний за 30 дней0лайковвеса обновлены29 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал модель DeBERTa V2 для разметки японского текста: она определяет части речи и выполняет синтаксический разбор зависимостей, используя отношение goeswith для сегментов слов. Модель дообучена на базе KoichiYasuoka/deberta-base-japanese-wikipedia-luw-upos с использованием Universal Dependencies Japanese GSDLUW; предобучение проводилось на японской Википедии и текстах Aozora Bunko.

Модель содержит 137,8 млн параметров, принимает текст и работает с контекстом до 512 токенов. Она предназначена для морфологического и синтаксического анализа японских текстов, например для обработки статей и учебных материалов. Опубликована под лицензией CC BY-SA 4.0.

Сценарии применения

разметка частей речи в японских текстах
синтаксический разбор зависимостей японских предложений
анализ морфологии японских слов и их сегментов
подготовка разметки японских корпусов для NLP

Ограничения

Контекст ограничен 512 токенами. Модель ориентирована на японский язык и разметку в схеме Universal Dependencies Japanese GSDLUW.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

deberta-base-japanese-wikipedia-ud-goeswith

Model Description

This is a DeBERTa(V2) model pretrained on Japanese Wikipedia and 青空文庫 texts for POS-tagging and dependency-parsing (using goeswith for subwords), derived from deberta-base-japanese-wikipedia-luw-upos and UD_Japanese-GSDLUW.

How to Use

from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/deberta-base-japanese-wikipedia-ud-goeswith",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForTokenClassification
Ревизия весов: 61c3ad6