/ Модель

Характеристики

Контекст
514 токенов
Параметры
96,6 млн
Лицензия
Apache 2.0
Архитектура
bert · dense

danbert-small-cased

Заполнение пропусковТекст → текст3 профессии

Предварительно обученная датская модель BERT для предсказания замаскированных токенов и экспериментов с обработкой датского текста.

43скачиваний за 30 дней1лайквеса обновлены21 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DanBERT Small Cased — датская предварительно обученная языковая модель на архитектуре BERT, опубликованная Alexander Falk. Она основана на BERT-Base и обучена более чем на 2 млн предложений, содержащих около 40 млн датских слов; README указывает, что обучение проводилось в рамках дипломной работы. Модель содержит 96,6 млн параметров и рассчитана на контекст до 514 токенов.

Основная задача в каталоге Hugging Face — fill-mask: модель предсказывает замаскированные токены в датском тексте. Это подходит для экспериментов с языковым моделированием и построения задач на основе BERT; доступна загрузка через Transformers в форматах PyTorch и Flax. Лицензия — Apache-2.0. Карточка также отмечает английский язык, однако описание обучения сосредоточено на датском.

Сценарии применения

  • предсказание пропущенных слов в датском тексте
  • проверка языковых гипотез на датских текстах
  • создание признаков BERT для задач обработки датского языка

Ограничения

Обучение описано преимущественно для датского языка; пригодность для английского и других языков не уточняется. Контекст ограничен 514 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DanBERT

Model description

DanBERT is a danish pre-trained model based on BERT-Base. The pre-trained model has been trained on more than 2 million sentences and 40 millions, danish words. The training has been conducted as part of a thesis.
The model can be found at:

Intended uses & limitations

How to use

from transformers import AutoTokenizer, AutoModel  
tokenizer = AutoTokenizer.from_pretrained("alexanderfalk/danbert-small-cased")  
model = AutoModel.from_pretrained("alexanderfalk/danbert-small-cased") 

BibTeX entry and citation info

@inproceedings{...,
  year={2020},
  title={Anonymization of Danish, Real-Time Data, and Personalized Modelling},
  author={Alexander Falk},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
2f63f54

0 моделей