/ Модель

Характеристики

Параметры
404 млн
Архитектура
t5 · dense
Опубликована
30 мая 2023

t5-large-korean-P2G

Языковая модель3 профессии

Дообученная корейская T5 восстанавливает исходное написание текста, преобразованного методом G2P.

19скачиваний за 30 дней6лайковвеса обновлены3 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

kfkas/t5-large-korean-P2G — дообученная модель семейства T5 для восстановления исходного корейского текста из данных, преобразованных методом G2P. Автор описывает обучение на 500 тысячах предложений из газетного корпуса Национального института корейского языка 2021 года; в примере модель исправляет фонетически записанный текст, возвращая исходное написание.

Модель имеет архитектуру T5ForConditionalGeneration и около 403,9 млн параметров. Она принимает текст и генерирует восстановленный текст на корейском языке; веса опубликованы в формате PyTorch. Лицензия в доступных данных не указана.

Сценарии применения

  • восстановление корейского текста после фонетической транскрипции G2P
  • исправление искажённых корейских газетных фраз
  • преобразование фонетически записанного корейского текста в исходное написание

Ограничения

Карточка не приводит результатов оценки и подробно не описывает ограничения; назначение подтверждено примером для корейского текста.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

t5-large-korean-P2G

이 모델은 lcw99 / t5-large-korean-text-summary을 국립 국어원 신문 말뭉치 50만개의 문장을 2021을 g2pK로 훈련시켜 G2P된 데이터를 원본으로 돌립니다. git : https://github.com/taemin6697

Usage

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
model_dir = "kfkas/t5-large-korean-P2G"
tokenizer = AutoTokenizer.from_pretrained(model_dir)
model = AutoModelForSeq2SeqLM.from_pretrained(model_dir)

text = "서규왕국 싸우디 태양광·풍녁 빨쩐 중심지 될 껃"
inputs = tokenizer.encode(text,return_tensors="pt")
output = model.generate(inputs)
decoded_output = tokenizer.batch(output[0], skip_special_tokens=True)
print(decoded_output)#석유왕국 사우디 태양광·풍력 발전 중심지 될 것

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • optimizer: None
  • training_precision: float16

Training results

Framework versions

  • Transformers 4.22.1
  • TensorFlow 2.10.0
  • Datasets 2.5.1
  • Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
05a096d

0 моделей