Модель mT5 с дополнительным обучением Prefix LM на mC4 для экспериментов с межъязыковой генерацией текста без примеров.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
DKYoon/mt5-small-lm-adapt — языковая модель на архитектуре mT5, дополнительно обученная на 100 тысячах шагов с целью Prefix LM на данных mC4. Работа описана в статье «Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation»; карточка указывает авторов Tu Vu, Aditya Barua, Brian Lester, Daniel Cer, Mohit Iyyer и Noah Constant. Репозиторий содержит PyTorch-порт исходного контрольного чекпойнта Flax из Google/T5X.
Модель предназначена для генерации текста и экспериментов с межъязыковой генерацией без примеров на целевом языке. Она насчитывает 157,4 млн параметров и распространяется в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Карточка не сообщает длину контекста или конкретный перечень поддерживаемых языков.
Карточка не приводит перечень поддерживаемых языков или длину контекста. Модель описана в контексте исследовательской работы по межъязыковой генерации.
README от автора на Hugging Face, как он его опубликовал
🤗 Language model initialized from mT5 and trained for an additional 100K steps on the Prefix LM objective using mC4 data.
Paper: Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation
Authors: Tu Vu, Aditya Barua, Brian Lester, Daniel Cer, Mohit Iyyer, Noah Constant
PyTorch port of the original Flax checkpoint at Google/T5X repository.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.