Характеристики

Параметры: 124 млн
Архитектура: t5 · dense
Базовая модель: nanot5-base-malaysian-cased
Библиотека: transformers
Опубликована: 3 дек 2024

Ссылки

nanot5-base-malaysian-translation-v2.1

ПереводТекст → текст3 профессии

Дообученная модель T5 для перевода малайзийских текстов между локализованной и стандартной формами, включая смешанную речь и код.

456скачиваний за 30 дней0лайковвеса обновлены1 сен 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

NanoT5 Base Malaysian Translation v2.1 — модель Mesolitica на базе T5, дообученная для перевода малайзийских текстов. Она переводит локализованные варианты текста на стандартный малайский и обратно, поддерживает переключение между языками в одном тексте, а также перевод кода. В карточке указано, что при переводе модель должна сохранять символы новой строки, табуляции и возврата каретки. Для обучения использовались контекст длиной 2048 токенов и 9 млрд токенов переводных данных; модель содержит 123,8 млн параметров.

Модель предназначена для нормализации разговорного и локализованного малайского, обратного перевода для расширения данных и перевода текстов с переключением языков. Разработчик отмечает улучшения относительно версии 2 при переводе научных и математических текстов, Manglish, кантонского, тамильского и Tanglish. Лицензия в предоставленных данных не указана.

Сценарии применения

нормализация локализованного малайского текста в стандартный малайский
обратный перевод стандартного малайского в локализованный вариант для аугментации данных
перевод текстов на Manglish и с Manglish
перевод смешанных малайских и английских текстов
перевод научных и математических текстов
перевод кода

Ограничения

В описании нет количественных оценок качества и подробностей о поддерживаемых направлениях перевода. Указания о сохранении управляющих символов и улучшениях относительно v2 приведены разработчиком без описания методики проверки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

NanoT5 Base Malaysian Translation v2.1

Finetuned https://huggingface.co/mesolitica/nanot5-base-malaysian-cased using 2048 context length on 9B tokens of translation dataset.

This model able to translate from localize text into standard text.
This model able to reverse translate from standard to localize text, suitable for text augmentation.
This model able to translate code.
This model natively code switching.
This model should maintain \n, \t, \r as it is.
Better Science and Math context translation compared to v2.
Better Manglish translation compared to v2.
Better Cantonese translation compared to v2.
Better Tamil and Tanglish translation compared to v2.

Wandb at https://wandb.ai/huseinzol05/nanot5-base-malaysian-cased-translation-v6-multipack-post

how to

You can follow the same how to from the small model README, https://huggingface.co/mesolitica/nanot5-small-malaysian-translation-v2.1#how-to

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 58f2032