Характеристики

Контекст: 512 токенов
Параметры: 52,7 млн
Лицензия: CC BY-NC-SA 4.0
Архитектура: t5 · dense
Опубликована: 31 дек 2023

Ссылки

Hugging Face

enko-t5-small-v0

nlp-with-deeplearning

Генерация текстаТекст → текст3 профессии

Модель T5-small, обученная с нуля для перевода текстов с английского на корейский.

30скачиваний за 30 дней5лайковвеса обновлены31 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ENKO-T5-SMALL-V0 — модель машинного перевода с английского на корейский, опубликованная пользователем nlp-with-deeplearning. Она обучена с нуля на архитектуре T5-small: это плотная модель типа encoder-decoder примерно на 52,7 млн параметров. Для токенизации обоих языков используется Byte-level BPE со словарём из 60 тысяч токенов; обучение проводилось на корпусе из 11 млн параллельных примеров, преимущественно из AI-Hub. В README упоминается оценка на пяти тестовых наборах, но конкретные результаты не приведены в доступных данных.

Модель предназначена для перевода английских текстов на корейский. Метаданные указывают контекст до 512 токенов и формат весов Safetensors. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространения производных материалов на тех же условиях, а также ограничивает коммерческое использование. Карточка также отмечает теги text-generation и feature-extraction, однако описанное назначение модели — машинный перевод.

Сценарии применения

перевод английских предложений на корейский
перевод англоязычных текстов на корейский для локализации
подготовка англо-корейских переводов для исследовательских экспериментов

Ограничения

Модель обучена на ограниченной паре языков и предназначена для перевода только с английского на корейский; качество может зависеть от тематики и тестовых данных. Контекст ограничен 512 токенами, а лицензия запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ENKO-T5-SMALL-V0

This model is for English to Korean Machine Translator, which is based on T5-small architecture, but trained from scratch.

Code

The training code is from my lecture(LLM을 위한 김기현의 NLP EXPRESS), which is published on FastCampus. You can check the training code in this github repo.

Dataset

The training dataset for this model is mainly from AI-Hub. The dataset consists of 11M parallel samples.

Tokenizer

I use Byte-level BPE tokenizer for both source and target language. Since it covers both languages, tokenizer vocab size is 60k.

Architecture

The model architecture is based on T5-small, which is popular encoder-decoder model architecture. Please, note that this model is trained from-scratch, not fine-tuned.

Evaluation

I conducted the evaluation with 5 different test sets. Following figure shows BLEU scores on each test set.

DEEPCL model is private version of this model, which is trained on much more data.

Contact

Kim Ki Hyun (nlp.with.deep.learning@gmail.com)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: T5Model
Ревизия весов: e81569f