Modelo BilmaLat
Este modelo basado en Roberta se entrenó usando más de 600 millones de tweets en español recolectados entre diciembre del 2015 y febrero del 2023. A cada mensaje se le agruegó una etiqueta de información regionalizada como sigue:
_cc _year _mo Texto del mensaje.
donde _cc es el código de dos letras del país de origen del mensaje, _year y _mo son el año y el mes de publicación.
Por ejemplo
- _do _2017 _09 Y que es lo que uno va hacer con _usr ? E ponen hoy mi Plan de dato y con 5 minutos de eso se acabó _usr _usr 😤😤
- _ve _2016 _08 No te necesito, ni quiero morir por ti me sobran las razones para andar este camino pero que sentido tiene, yo te vi entre tanta gente
- _ar _2020 _03 soy demasiado buena para todo el mundo y se viven cagando en mí, que hago? me vuelvo una forra de mierda así me valoran?
- _mx _2019 _12 Felicidades para la nueva pareja, y para usted tambien. Gracias por el pedazo de pastel. _url
- _mx _2022 _01 Mayra, lectora de "El psicoanalista" del escritor estadounidense John Katzenbach. Felicidades. _url
- _es _2020 _05 _usr Ansias no ,lo tradicional es en semana Santa helados Durán, vamos con retraso, tenemos que recuperar los helados perdidos, jajajaja
Como se puede observar, se mantuvieron mayúsculas y minúsculas, emoticones y palabras mal escritas. Por motivos de privacidad, se cambiaron las menciones de usuario por el token _usr y las direcciones de internet por _url.
Los tokens que se usaron para los códigos de los paíes son:
| País | Código |
|---|---|
| Argentina | _ar |
| Bolivia | _bo |
| Colombia | _co |
| Costa Rica | _cr |
| Chile | _cl |
| Cuba | _cu |
| Ecuador | _ec |
| El Salvador | _sv |
| España | _es |
| Guatemala | _gt |
| Honduras | _hn |
| México | _mx |
| Nicaragua | _ni |
| Panamá | _pa |
| Paraguay | _py |
| Perú | _pe |
| República Dominicana | _do |
| Uruguay | _uy |
| Venezuela | _ve |
Los años son _2015 a _2023 y los meses _01 hasta _12.
Se creó el vocabulario de tamaño 30k usando WordPiece. El modelo se entrenaron usando el enmascaramiento de palabras con probabilidad de 0.15. Se usó el optimizador AdamW con una tasa de aprendizaje de 0.00002 durante una época.
Uso
El modelo se puede usar con una pipeline:
from transformers import pipeline
unmasker = pipeline('fill-mask', model="guillermoruiz/bilmaLAT")