Характеристики

Контекст: 512 токенов
Параметры: 468 млн
Архитектура: bert · dense
Опубликована: 25 авг 2023

Ссылки

Hugging Face

bert-large-nordic-pile-1M-steps

AI-Sweden-Models

Заполнение пропусковТекст → текст3 профессии

Шведская модель BERT на 468,2 млн параметров для предсказания замаскированных слов в контексте.

178скачиваний за 30 дней3лайкавеса обновлены15 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Bert Large Cased — шведская языковая модель семейства BERT, разработанная AI Sweden. Модель обучена на шведской части корпуса Nordic Pile с использованием Wafer-Scale Engine (WSE); её архитектура — BertForMaskedLM, объём — 468,2 млн параметров, контекст — до 512 токенов.

Модель предназначена для заполнения пропусков в шведском тексте: она предсказывает замаскированные токены с учётом окружающего контекста. Подходит для языковых экспериментов и задач, где требуется восстановить пропущенные слова или исследовать представления шведского текста. Доступный формат весов — PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

восстановление пропущенных слов в шведском тексте
предсказание замаскированных токенов для языкового анализа
создание шведских текстовых признаков на основе BERT

Ограничения

Модель обучена на шведской части Nordic Pile и рассчитана на контекст до 512 токенов; её применимость к другим языкам не подтверждена. Лицензия в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Bert Large Cased

This model is trained on the Swedish subset of the Nordic Pile corpus using the Wafer-Scale Engine (WSE).

from transformers import pipeline

classifier = pipeline("fill-mask", model="AI-Sweden-Models/bert-large-nordic-pile-1M-steps")
classifier("Stockholm är Sveriges [MASK].")

[{'score': 0.6612114906311035,
  'token': 21168,
  'token_str': 'huvudstad',
  'sequence': 'Stockholm är Sveriges huvudstad.'},
 {'score': 0.06771031022071838,
  'token': 7625,
  'token_str': 'hjärta',
  'sequence': 'Stockholm är Sveriges hjärta.'},
 {'score': 0.040731027722358704,
  'token': 40158,
  'token_str': 'framsida',
  'sequence': 'Stockholm är Sveriges framsida.'},
 {'score': 0.03236057981848717,
  'token': 58649,
  'token_str': 'mittpunkt',
  'sequence': 'Stockholm är Sveriges mittpunkt.'},
 {'score': 0.018861057236790657,
  'token': 37202,
  'token_str': 'navel',
  'sequence': 'Stockholm är Sveriges navel.'}]

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 031327b