Компактная MiniLMv2 для предсказания пропущенных токенов в итальянском тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
osiria/minilm-l6-h384-italian-cased — компактная MiniLMv2 для итальянского языка, созданная Osiria на основе mMiniLMv2 L6xH384 mMiniLMv2. Авторы адаптировали модель к итальянскому, изменив слой эмбеддингов с учётом частот слов по корпусу Википедии. В метаданных указаны архитектура XLM-RoBERTa, 25,9 млн параметров и контекст до 514 токенов; README указывает словарь из 30 498 токенов и размер около 90 МБ.
Модель предназначена для заполнения пропусков в итальянском тексте: она предсказывает замаскированные токены в контексте. Доступны веса PyTorch и safetensors. Лицензия — MIT.
Модель ориентирована на итальянский язык и задачу заполнения пропусков; для свободной генерации диалога или текста она не предназначена.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a MiniLMv2 [1] model for the Italian language, obtained using mMiniLMv2 (L6xH384 mMiniLMv2) as a starting point and focusing it on the Italian language by modifying the embedding layer (as in [2], computing document-level frequencies over the Wikipedia dataset)
The resulting model has 23M parameters, a vocabulary of 30.498 tokens, and a size of ~90 MB.
[1] https://arxiv.org/abs/2012.15828
[2] https://arxiv.org/abs/2010.05609
The model is released under MIT license
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…