Модель MarianMT для перевода текстов с айнского языка на японский с ограниченной поддержкой символов и невысоким результатом на валидации.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
SoMiyagawa/ainu-2-japanese — модель машинного перевода с архитектурой MarianMT, дообученная автором SoMiyagawa для перевода с айнского языка на японский. Она принимает текст и предназначена для перевода текстовых фрагментов; размер модели — 56,3 млн параметров, контекст — до 512 токенов. Карточка сообщает, что модель обучалась на текстах с латинскими буквами и цифрами; катакана не поддерживается.
Для загрузки используются Transformers и PyTorch. На валидации указаны SacreBLEU 10,448 и loss 1,638, поэтому качество перевода может быть ограниченным. Для входа нельзя использовать точку: в обучающем корпусе её не было, и она вызывает ошибочный перевод. Лицензия — Creative Commons Attribution-ShareAlike 4.0 (CC BY-SA 4.0).
Модель обучена на английских буквах и цифрах; катакана не поддерживается. Не используйте точку во входном тексте: она вызывает ошибочный перевод, а указанная метрика SacreBLEU составляет 10,448.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
「.」がコーパスにないので，「.」を使わないようにしてください（.を使うといつも「そう言って」みたいなエラー翻訳が出ます）。英数字しか対応していません。（カタカナ表記でもいつか学習させてみます。）
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("SoMiyagawa/ainu-2-japanese")
model = AutoModelForSeq2SeqLM.from_pretrained("SoMiyagawa/ainu-2-japanese")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…