/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
454 млн
Лицензия
CC BY 4.0
Архитектура
bert · dense
Опубликована
2 мар 2022

Ссылки

Hugging Face

nb-bert-large

NbAiLab
Заполнение пропусковТекст → текст3 профессии

Крупная норвежская BERT-модель для предсказания пропущенных слов и дообучения под задачи обработки букмола и нюношка.

34 531скачиваний за 30 дней14лайковвеса обновлены11 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки15

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • ScalaSvClassification

    accuracy · выше — лучше

    Результат

    0,621

    Общий результат 0,6188
    MTEB

    Публичная таблицаревизия не подтверждена

  • MassiveIntentClassification

    nb.f1 · выше — лучше

    Результат

    0,5798

    Общий результат 0,6268Общий результат 0,6253Общий результат 0,5874
    MTEB

    Публичная таблицаревизия не подтверждена

  • MassiveScenarioClassification

    sv.f1 · выше — лучше

    Результат

    0,5578

    Общий результат 0,6744Общий результат 0,6699Общий результат 0,6615
    MTEB

    Публичная таблицаревизия не подтверждена

  • NorwegianParliament

    accuracy · выше — лучше

    Результат

    0,6258

    Общий результат 0,6268Общий результат 0,6222Общий результат 0,6213
    MTEB

    Публичная таблицаревизия не подтверждена

  • LccSentimentClassification

    f1 · выше — лучше

    Результат

    0,5532

    Общий результат 0,5627
    MTEB

    Публичная таблицаревизия не подтверждена

  • ScalaNbClassification

    f1 · выше — лучше

    Результат

    0,6675

    Общий результат 0,6697
    MTEB

    Публичная таблицаревизия не подтверждена

  • DKHateClassification

    f1 · выше — лучше

    Результат

    0,5181

    Общий результат 0,6213
    MTEB

    Публичная таблицаревизия не подтверждена

  • NordicLangClassification

    f1 · выше — лучше

    Результат

    0,8525

    Общий результат 0,8527
    MTEB

    Публичная таблицаревизия не подтверждена

  • ScalaDaClassification

    f1 · выше — лучше

    Результат

    0,6239

    Общий результат 0,6285
    MTEB

    Публичная таблицаревизия не подтверждена

  • DanishPoliticalCommentsClassification

    f1 · выше — лучше

    Результат

    0,3219

    Общий результат 0,3504
    MTEB

    Публичная таблицаревизия не подтверждена

  • AngryTweetsClassification

    f1 · выше — лучше

    Результат

    0,5083

    Общий результат 0,5214
    MTEB

    Публичная таблицаревизия не подтверждена

  • SweRecClassification

    f1 · выше — лучше

    Результат

    0,6104

    Общий результат 0,677
    MTEB

    Публичная таблицаревизия не подтверждена

  • BornholmBitextMining

    accuracy · выше — лучше

    Результат

    0,064

    Общий результат 0,0423
    MTEB

    Публичная таблицаревизия не подтверждена

  • DalajClassification

    accuracy · выше — лучше

    Результат

    0,509

    Общий результат 0,5064
    MTEB

    Публичная таблицаревизия не подтверждена

  • NoRecClassification

    accuracy · выше — лучше

    Результат

    0,5546

    MTEB

    Публичная таблицаревизия не подтверждена

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

NB-BERT-large — крупная модель семейства BERT, разработанная на основе цифровых коллекций Национальной библиотеки Норвегии. Она обучена с нуля на разнообразных норвежских текстах за последние 200 лет и использует монолингвальный норвежский словарь, охватывающий букмол и нюношк. Модель содержит 453,9 млн параметров, принимает последовательности длиной до 512 токенов и предназначена для предсказания пропущенных токенов в тексте; её можно дообучать для конкретных задач обработки норвежского языка.

Модель общего назначения для норвежского языка доступна в форматах PyTorch, TensorFlow и Flax, включая safetensors. Для использования и распространения применяется лицензия CC BY 4.0. Карточка представляет выпуск 1.0beta; модель служит базой для дальнейшей настройки под прикладные сценарии.

Сценарии применения

  • восстановление пропущенных слов в норвежском тексте
  • подготовка норвежского текста для последующего дообучения
  • адаптация BERT-модели к классификации норвежских текстов
  • дообучение для извлечения сущностей из норвежских документов

Ограничения

Версия 1.0beta является общей базовой моделью, поэтому для конкретных прикладных задач её рекомендуется дообучить. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face
  • Release 1.0beta (April 29, 2021)

NB-BERT-large (beta)

Description

NB-BERT-large is a general BERT-large model built on the large digital collection at the National Library of Norway.

This model is trained from scratch on a wide variety of Norwegian text (both bokmål and nynorsk) from the last 200 years using a monolingual Norwegian vocabulary.

Intended use & limitations

The 1.0 version of the model is general, and should be fine-tuned for any particular use. Some fine-tuning sets may be found on Github, see

Training data

The model is trained on a wide variety of text. The training set is described on

More information

For more information on the model, see

https://github.com/NBAiLab/notram

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Ревизия весов
f9d0fc1

0 моделей

    Создать бенчмарк