Компактная версия mT5-base с сокращённым словарём, предназначенная для генеративных задач преобразования текста преимущественно на русском языке.
737скачиваний за 30 дней13лайковвеса обновлены20 мар 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
cointegrated/rut5-base — уменьшенная русскоязычная версия encoder-decoder модели mT5, созданная на основе google/mt5-base. Разработчик сократил SentencePiece-словарь с 250 тысяч до 30 тысяч токенов: оставлены 20 тысяч наиболее частотных русских и 10 тысяч английских токенов. В README указано, что исходная модель имела 582 млн параметров, а после сокращения словаря — 244 млн; метаданные репозитория при этом указывают 122,1 млн параметров.
Модель предназначена для генеративных задач преобразования текста, где нужен компактный вариант T5 с фокусом на русском и частичной поддержкой английского. Она использует архитектуру T5ForConditionalGeneration; доступны веса PyTorch, Flax и Safetensors. Лицензия — MIT.
Сокращённый словарь уменьшает требования к хранению по сравнению с исходной mT5-base, но ограничивает языковое покрытие преимущественно русским и английским. README не приводит результаты оценки качества или конкретные специализированные сценарии применения.
Сценарии применения
генерация текста на русском языке
преобразование и переформулирование русскоязычного текста
дообучение T5-модели для прикладных задач на русском
генерация текста с частичной поддержкой английского
Ограничения
Сокращённый словарь ориентирован главным образом на русский и частично английский, поэтому поддержка других языков ограничена. В README не приведены результаты сравнительной оценки качества.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
This is a smaller version of the google/mt5-base model with only Russian and some English embeddings left.
The original model has 582M parameters, with 384M of them being input and output embeddings.
After shrinking the sentencepiece vocabulary from 250K to 30K (top 10K English and top 20K Russian tokens) the number of model parameters reduced to 244M parameters, and model size reduced from 2.2GB to 0.9GB - 42% of the original one.