Компактная итальянская BERT-модель для предсказания замаскированных слов и дообучения под задачи итальянского языка.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mascIT/bert-tiny-ita — компактная итальянская языковая модель семейства BERT, разработанная mascIT и обученная с нуля на 20 тысячах статей итальянской Википедии, а также на коллекции итальянских слов и словарных определений. Модель содержит 3,1 млн параметров, использует архитектуру BertForMaskedLM и контекст до 512 токенов.
Модель предназначена как базовая заготовка для дообучения под задачи итальянского языка. Её основная задача — предсказание замаскированных слов в тексте; это можно использовать, например, для языкового анализа или подготовки специализированных классификаторов после дообучения. Разработчик характеризует проект как находящийся в процессе разработки. В README указаны perplexity 45 и размер модели 12 МБ.
Условия лицензирования в предоставленных данных не указаны.
Проект обозначен разработчиком как находящийся в разработке; README сообщает perplexity 45. Модель обучена на ограниченном корпусе из итальянской Википедии и словарных материалов, поэтому качество для других языков и специализированных областей не подтверждено.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
bert-tiny-ita is an italian foundational model (based on bert-tiny) pretrained from scratch on 20k italian Wikipedia articles and on a wide collection of italian words and dictionary definitions. It uses 512 context window size.
The project is still a work in progress, new versions will come with time.
Use it as a foundational model to be finetuned for specific italian tasks.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · fill-mask
Подбираем GPU…