/ Модель

Характеристики

Опубликована
25 апр 2023

AinuTrans-2.0

ПереводТекст → текст

Модель Со Миягавы на основе mT5 для двустороннего перевода между айнским и японским языками, особенно текстов, похожих на сказания и эпические поэмы.

5скачиваний за 30 дней7лайковвеса обновлены21 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AinuTrans-2.0 — модель двустороннего машинного перевода между айнским и японским языками, разработанная Со Миягавой. Модель основана на mT5 и предназначена для перевода текстов с айнского на японский и с японского на айнский.

Обучающий корпус состоит из народных сказаний и эпических поэм, поэтому модель лучше подходит для лексики и сюжетов, характерных для этих жанров. В карточке указана оценка SacreBLEU 29,910. Модель может быть полезна для изучения и предварительного перевода текстов, однако результаты требуют проверки специалистом или уверенным носителем айнского языка.

Файлы представлены в формате PyTorch. Лицензия в предоставленных данных не указана.

Сценарии применения

  • перевод айнских текстов на японский
  • перевод японских текстов на айнский
  • черновой перевод айнских сказаний
  • черновой перевод айнских эпических поэм

Ограничения

Обучение проводилось только на корпусе народных сказаний и эпических поэм, поэтому модель может хуже переводить тексты других жанров. Результаты несовершенны и требуют проверки специалистом или продвинутым знатоком айнского языка.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

シサム語による説明

アイヌ語と日本語の双方向機械翻訳モデルです。 民話や叙事詩のコーパスばかり用いたので、それらに出てきそうな単語ばかり使っているなら、翻訳できます。

何かあれば、so-miyagawa at ninjal.ac.jpまでご連絡ください。

まあまあ良いSacreBLEUスコアです。chrFスコアなども計ってみたいです。詳しい人教えてください。

論文はこちらです。

So Miyagawa. 2023. Machine Translation for Highly Low-Resource Language: A Case Study of Ainu, a Critically Endangered Indigenous Language in Northern Japan. In Proceedings of the Joint 3rd International Conference on Natural Language Processing for Digital Humanities and 8th International Workshop on Computational Linguistics for Uralic Languages, pages 120–124, Tokyo, Japan. Association for Computational Linguistics. https://aclanthology.org/2023.nlp4dh-1.14/

右のInference APIで日本語やアイヌ語を入力して試してみてください。もちろん、完璧ではないので、初・中級者の方は結果はそのまま使わず、必ず専門家やアイヌ語上級者に見てもらってください。

英語による説明

This is a two-way machine translation model between Ainu and Japanese. We used only a corpus of folk tales and epic poems, so if you use only words that might appear in those, you can translate.

Please contact me at so-miyagawa at ninjal.ac.jp if you have any questions.

I have a so-so SacreBLEU score and would like to measure chrF score etc. Please let me know if you know more.

Here is the paper.

Miyagawa, So. 2023. Machine Translation for Highly Low-Resource Language: A Case Study of Ainu, a Critically Endangered Indigenous Language in Northern Japan. In Proceedings of the Joint 3rd International Conference on Natural Language Processing for Digital Humanities and 8th International Workshop In Proceedings of the Joint 3rd International Conference on Natural Language Processing for Digital Humanities and 8th International Workshop on Computational Linguistics for Uralic Languages, pages 120-124, Tokyo, Japan. https://aclanthology.org/2023.nlp4dh-1.14/

You can try using the Inference API on the right by entering Japanese or Ainu. Of course, it is not perfect, so if you are a beginner or intermediate user, please do not use the results as they are, and be sure to ask an expert or advanced Ainu speaker to review them.

Validation Metrics

  • Loss: 1.216
  • SacreBLEU: 29.910
  • Gen len: 10.022

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов
4063038

0 моделей