Scandinavian Roberta Base - MC4
Description
This is a sample reference model for Flax/Jax training using only on the MC4. It is trained for roughly three day on a TPU v3-8. Training procedure...
Description
My description
Характеристики
- Контекст
- 514 токенов
- Параметры
- 152 млн
- Лицензия
- CC BY 4.0
- Архитектура
- roberta · dense
Ссылки
roberta-base-scandinavian
Модель RoBERTa с 151,8 млн параметров для предсказания замаскированных фрагментов датского текста.
200скачиваний за 30 дней0лайковвеса обновлены23 сен 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
DDSC/roberta-base-scandinavian — языковая модель семейства RoBERTa с 151,8 млн параметров, разработанная для скандинавских текстов. Она обучена на корпусе mC4 и доступна в форматах PyTorch и Flax/JAX; длина контекста составляет 514 токенов. Основная задача модели — предсказание замаскированных фрагментов текста.
Модель подходит для заполнения пропусков и изучения контекстных представлений скандинавского языка в исследовательских и прикладных экспериментах. В метаданных указан датский язык, поэтому описание многоязычной поддержки скандинавских языков не подтверждается. Лицензия — CC BY 4.0; при использовании необходимо соблюдать её условия, включая атрибуцию.
Сценарии применения
- заполнение пропусков в датских предложениях
- подбор слова по контексту в датском тексте
- получение контекстных представлений датских текстов для экспериментов
Ограничения
README краток и не приводит оценок качества или подробностей обучения; поэтому заявлять о поддержке других скандинавских языков нельзя.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- RobertaForMaskedLM
- Ревизия весов
- 9e586e3