Небольшая японская DeBERTa V2 для заполнения пропусков в тексте и дообучения на задачах японского NLP.
168скачиваний за 30 дней0лайковвеса обновлены15 янв 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал небольшую модель DeBERTa V2, предварительно обученную на текстах японской библиотеки 青空文庫. Модель содержит 18,4 млн параметров, принимает текст и предсказывает замаскированные токены; для неё указано окно контекста 128 токенов.
Основное назначение — восстановление пропущенных слов в японском тексте и дообучение для последующих задач обработки японского языка, например разметки частей речи и синтаксического анализа зависимостей. Модель доступна в формате PyTorch и может использоваться через Transformers.
Лицензия — CC BY-SA 4.0. Поскольку обучение проводилось на литературном корпусе 青空文庫, применимость к современным, разговорным и специализированным текстам может быть ограничена; качество для конкретной задачи зависит от дообучения.
Сценарии применения
восстановление пропущенных токенов в японских предложениях
дообучение для разметки частей речи на японском языке
дообучение для синтаксического анализа японских предложений
эксперименты с masked language modeling на японской литературе
Ограничения
Модель предварительно обучена на литературных текстах 青空文庫, поэтому её пригодность для разговорного, современного и специализированного японского текста может быть ограничена. Для задач разметки частей речи и синтаксического анализа потребуется дообучение.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is a DeBERTa(V2) model pre-trained on 青空文庫 texts. NVIDIA A100-SXM4-40GB took 6 hours 42 minutes for training. You can fine-tune deberta-small-japanese-aozora for downstream tasks, such as POS-tagging, dependency-parsing, and so on.
How to Use
from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/deberta-small-japanese-aozora")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/deberta-small-japanese-aozora")
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров