Характеристики

Контекст: 514 токенов
Параметры: 144 млн
Лицензия: CC BY-SA 4.0
Архитектура: camembert · dense

Ссылки

Hugging Face

est-roberta

EMBEDDIA

Заполнение пропусковТекст → текст3 профессии

Эстонская CamemBERT-подобная модель для предсказания замаскированных слов в тексте.

183скачиваний за 30 дней4лайкавеса обновлены29 ноя 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Est-RoBERTa — монолингвальная модель типа BERT для эстонского языка, разработанная EMBEDDIA и тесно связанная с архитектурой CamemBERT. Модель содержит 144 млн параметров, обучена на эстонских корпусах общим объёмом 2,51 млрд токенов в течение 40 эпох; её словарь субслов состоит из 40 000 токенов. Для работы используется библиотека Transformers, формат весов — PyTorch, максимальный контекст составляет 514 токенов.

Модель предназначена для заполнения пропусков в эстонском тексте: она предсказывает замаскированные токены по контексту. Лицензия — CC BY-SA 4.0. Карточка описывает языковую модель и её обучение, но не приводит конкретных оценок качества или дополнительных задач.

Сценарии применения

восстановление пропущенных слов в эстонском тексте
подстановка маскированного токена по контексту
проверка вариантов заполнения пропусков в эстонских фразах

Ограничения

Карточка не приводит оценок качества и описывает только задачу заполнения пропусков; контекст ограничен 514 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Usage

Load in transformers library with:

from transformers import AutoTokenizer, AutoModelForMaskedLM
  
  tokenizer = AutoTokenizer.from_pretrained("EMBEDDIA/est-roberta")
  model = AutoModelForMaskedLM.from_pretrained("EMBEDDIA/est-roberta")

Est-RoBERTa

Est-RoBERTa model is a monolingual Estonian BERT-like model. It is closely related to French Camembert model https://camembert-model.fr/. The Estonian corpora used for training the model have 2.51 billion tokens in total. The subword vocabulary contains 40,000 tokens.

Est-RoBERTa was trained for 40 epochs.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: CamembertForMaskedLM
Ревизия весов: 5b36f40