Характеристики

Контекст: 512 токенов
Параметры: 152 млн
Архитектура: bert · dense

Ссылки

bert-base-swedish-cased-alpha

Заполнение пропусковТекст → текст3 профессии

Предварительно обученная шведская модель KBLab семейства ALBERT для предсказания замаскированных слов и адаптации к задачам обработки шведского текста.

1 712скачиваний за 30 дней0лайковвеса обновлены18 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KBLab/bert-base-swedish-cased-alpha — языковая модель семейства ALBERT, разработанная KBLab Национальной библиотеки Швеции. Она предназначена для работы со шведским текстом; метаданные указывают задачу fill-mask, архитектуру BertForMaskedLM, 151,6 млн параметров и контекст до 512 токенов. Карточка относит модель к alpha-версии и показывает использование через Transformers для предсказания замаскированных токенов.

Модель обучалась с сохранением регистра и whole word masking. Её можно применять для подстановки пропущенных слов и как основу для дообучения на шведские задачи обработки языка. В карточке репозитория лицензия не указана; описание моделей KBLab характеризует alpha-вариант как первую попытку ALBERT для шведского языка.

Сценарии применения

предсказание пропущенных слов в шведском тексте
предложение вариантов для замаскированного токена
подготовка представлений шведского текста для дообучения
адаптация языковой модели к задачам на шведском языке

Ограничения

Это alpha-версия, которую разработчики называют первой попыткой ALBERT для шведского языка. Модель предназначена для шведского текста, а не для генерации длинных ответов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Автор не опубликовал карточку модели.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: a43ddce