Описание составлено по карточке модели и метаданным Hugging Face
NB-BERT-base — базовая языковая модель семейства BERT, разработанная на основе цифровой коллекции Национальной библиотеки Норвегии. Она обучена на разнообразных норвежских текстах за последние 200 лет, включая букмол и нюношк, и использует архитектуру BERT Cased, близкую по структуре к многоязычной версии BERT. Модель содержит 205,1 млн параметров и рассчитана на контекст до 512 токенов.
Основной сценарий применения — предсказание пропущенных токенов в тексте. Модель общего назначения предназначена для последующей тонкой настройки под конкретные задачи и наборы данных. Доступны веса в форматах PyTorch, TensorFlow и Flax, включая Safetensors. Лицензия — CC BY 4.0.
Обучение преимущественно на исторических и современных норвежских текстах поддерживает работу с букмолом и нюношком, но не гарантирует одинакового качества на обоих вариантах языка или на других языках. Для специализированных задач требуется дообучение.
Сценарии применения
предсказание пропущенных слов в норвежском тексте
восстановление замаскированных токенов в букмоле
восстановление замаскированных токенов в нюношке
дообучение для классификации норвежских текстов
адаптация к прикладным задачам обработки норвежского языка
Ограничения
Модель обучена преимущественно на норвежских текстах и не ориентирована на другие языки. Для конкретных прикладных задач требуется тонкая настройка; максимальная длина контекста — 512 токенов.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
NB-BERT-base is a general BERT-base model built on the large digital collection at the National Library of Norway.
This model is based on the same structure as BERT Cased multilingual model, and is trained on a wide variety of Norwegian text (both bokmål and nynorsk) from the last 200 years.
Intended use & limitations
The 1.1 version of the model is general, and should be fine-tuned for any particular use. Some fine-tuning sets may be found on GitHub, see