Характеристики

Контекст: 514 токенов
Параметры: 138 млн
Лицензия: CC BY-SA 4.0
Архитектура: camembert · dense

Ссылки

sloberta

Заполнение пропусковТекст → текст3 профессии

Одноязычная модель CamemBERT для словенского языка, предназначенная прежде всего для предсказания пропущенных токенов в тексте.

4 808скачиваний за 30 дней5лайковвеса обновлены24 ноя 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SloBERTa — одноязычная модель семейства BERT для словенского языка, разработанная EMBEDDIA и построенная на архитектуре CamemBERT. Она содержит 137,8 млн параметров, использует словарь из 32 000 токенов и принимает последовательности длиной до 514 токенов. Модель обучалась на корпусах Gigafida 2.0, Kas 1.0, части Janes 1.0, парламентском корпусе siParl 2.0 и slWaC; общий объём обучающих данных составил 3,47 млрд токенов.

Основная задача модели — предсказание замаскированных токенов. Это подходит для восстановления пропусков в словенском тексте и получения контекстных языковых представлений для последующей адаптации к задачам обработки словенского языка. Модель распространяется в формате PyTorch и загружается через Transformers как модель masked language modeling.

Лицензия — CC BY-SA 4.0. Модель специализируется на словенском языке; её карточка описывает предобучение, но не приводит результатов оценки качества на прикладных задачах.

Сценарии применения

восстановление замаскированных слов в словенском тексте
подготовка словенских текстов для языкового моделирования
получение контекстных представлений словенского текста для последующего дообучения

Ограничения

Модель предназначена для словенского языка и не заявлена как многоязычная. В карточке нет сведений об оценке качества на прикладных задачах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Usage

Load in transformers library with:

from transformers import AutoTokenizer, AutoModelForMaskedLM
  
  tokenizer = AutoTokenizer.from_pretrained("EMBEDDIA/sloberta")
  model = AutoModelForMaskedLM.from_pretrained("EMBEDDIA/sloberta")

SloBERTa

SloBERTa model is a monolingual Slovene BERT-like model. It is closely related to French Camembert model https://camembert-model.fr/. The corpora used for training the model have 3.47 billion tokens in total. The subword vocabulary contains 32,000 tokens. The scripts and programs used for data preparation and training the model are available on https://github.com/clarinsi/Slovene-BERT-Tool

SloBERTa was trained for 200,000 iterations or about 98 epochs.

Corpora

The following corpora were used for training the model:

Gigafida 2.0
Kas 1.0
Janes 1.0 (only Janes-news, Janes-forum, Janes-blog, Janes-wiki subcorpora)
Slovenian parliamentary corpus siParl 2.0
slWaC

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: CamembertForMaskedLM
Ревизия весов: 49db152