Компактная испаноязычная версия T5 для генерации текста по текстовому запросу с уменьшенным словарём токенов.
20скачиваний за 30 дней0лайковвеса обновлены5 окт 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
hiiamsid/est5-base — уменьшенная испаноязычная версия модели google/mt5-base на архитектуре T5. В ней оставлены 25 тысяч наиболее частотных испанских токенов SentencePiece; в карточке сообщается, что такое сокращение словаря уменьшило размер исходной модели с 582 млн до 237 млн параметров и объём с 2,2 до 0,9 ГБ. Модель предназначена для генерации текста по текстовому запросу и может служить компактной основой для задач на испанском языке.
Модель использует класс T5ForConditionalGeneration и распространяется в формате PyTorch. В метаданных указаны 118,7 млн параметров, что расходится с числом 237 млн в README. Лицензия — MIT. README связывает модель с google/mt5-base и упоминает cointegrated/rut5-base как справочную работу; испанская версия основана на сокращении словаря mT5.
Сценарии применения
генерация текста на испанском языке
дообучение T5 для испаноязычных задач text-to-text
эксперименты с компактным словарём SentencePiece
Ограничения
Версия ограничена испанским словарём из 25 тысяч токенов. Размер модели указан по-разному: метаданные сообщают 118,7 млн параметров, а README — 237 млн.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is a smaller version of the google/mt5-base model with only Spanish embeddings left.
The original model has 582M parameters, with 237M of them being input and output embeddings.
After shrinking the sentencepiece vocabulary from 250K to 25K (top 25K Spanish tokens) the number of model parameters reduced to 237M parameters, and model size reduced from 2.2GB to 0.9GB - 42% of the original one.