/ Модель

Характеристики

Контекст
130 токенов
Параметры
137 млн
Лицензия
MIT
Архитектура
roberta · dense
Опубликована
2 сен 2023

rouberta-base-uy22-cased

Заполнение пропусковТекст → текст3 профессии

RoBERTa-модель для заполнения пропусков в текстах на уругвайском испанском, обученная на местной прессе.

49скачиваний за 30 дней5лайковвеса обновлены28 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ROUBERTa cased — модель семейства RoBERTa-base, разработанная командой авторов из Уругвая и обученная с нуля на материалах уругвайской прессы на испанском языке. Она предназначена для заполнения пропусков в тексте: модель предсказывает подходящее слово или токен вместо маски. Архитектура — RobertaForMaskedLM, около 137,1 млн параметров; максимальная длина контекста — 130 токенов.

Модель специализируется на уругвайском варианте испанского и может быть полезна для языковых экспериментов и анализа текстов местной прессы. Распространяется по лицензии MIT. Обучение на новостных текстах ограничивает представительность других жанров и вариантов испанского.

Сценарии применения

  • подбор пропущенных слов в текстах уругвайской прессы
  • оценка языковых моделей на уругвайском испанском
  • анализ контекстного употребления слов в уругвайских новостях

Ограничения

Обучение только на уругвайской прессе может ограничивать качество на других жанрах, тематиках и вариантах испанского. Контекст ограничен 130 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ROUBERTa cased

This is a RoBERTa-base LM trained from scratch exclusively on Uruguayan press [1].

Cite this work

@inproceedings{rouberta2024,
  title={A Language Model Trained on Uruguayan Spanish News Text},
  author={Filevich, Juan Pablo and Marco, Gonzalo and Castro, Santiago and Chiruzzo, Luis and Ros{\'a}, Aiala},
  booktitle={Proceedings of the Second International Workshop Towards Digital Language Equality (TDLE): Focusing on Sustainability@ LREC-COLING 2024},
  pages={53--60},
  year={2024}
}

[1] huggingface.co/datasets/pln-udelar/uy22

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForMaskedLM
Ревизия весов
e7be30e

0 моделей