/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Лицензия
MIT
Опубликована
2 мар 2022

gbert-base

Заполнение пропусковТекст → текст3 профессии

Немецкоязычная модель BERT base для предсказания замаскированных слов и адаптации к задачам понимания немецкого текста.

34 680скачиваний за 30 дней44лайкавеса обновлены26 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

deepset/gbert-base — базовая немецкоязычная модель BERT, созданная совместно авторами оригинальной German BERT и dbmdz BERT; среди разработчиков указаны Branden Chan, Stefan Schweter и Timo Möller. Модель обучена для работы с немецким текстом и использует архитектуру BERT base с головой masked language modeling. В каталоге Hugging Face указаны 137,1 млн параметров и контекст до 512 токенов.

Основная задача модели — заполнение пропусков в тексте: она предсказывает замаскированные токены с учётом окружающего контекста. Её можно применять как основу для задач понимания немецкого языка и адаптировать под конкретные сценарии. В README приведены результаты на наборах GermEval14 и GermEval18, где модель, по утверждению авторов, превосходит предшественников. Обучение использовало данные, связанные с Wikipedia, OPUS и OpenLegalData.

Модель распространяется по лицензии MIT. Она предназначена для немецкого языка и не является генеративным чат-ассистентом; основное применение — masked language modeling, а не свободная генерация длинных текстов.

Сценарии применения

  • предсказание пропущенных слов в немецком тексте
  • проверка контекстуальной уместности немецких слов
  • создание признаков для классификации немецких текстов после адаптации
  • дообучение для задач понимания немецкого языка

Ограничения

Модель рассчитана на немецкий язык и контекст до 512 токенов. Она предсказывает замаскированные токены и сама по себе не предназначена для диалогов или свободной генерации длинных текстов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

German BERT base

Released, Oct 2020, this is a German BERT language model trained collaboratively by the makers of the original German BERT (aka "bert-base-german-cased") and the dbmdz BERT (aka bert-base-german-dbmdz-cased). In our paper, we outline the steps taken to train our model and show that it outperforms its predecessors.

Overview

Paper: here
Architecture: BERT base
Language: German

Performance

GermEval18 Coarse: 78.17
GermEval18 Fine:   50.90
GermEval14:        87.98

See also:
deepset/gbert-base deepset/gbert-large deepset/gelectra-base deepset/gelectra-large deepset/gelectra-base-generator deepset/gelectra-large-generator

Authors

Branden Chan: branden.chan [at] deepset.ai Stefan Schweter: stefan [at] schweter.eu Timo Möller: timo.moeller [at] deepset.ai

About us

deepset is the company behind the production-ready open-source AI framework Haystack.

Some of our other work:

Get in touch and join the Haystack community

We also have a Discord community open to everyone!

Twitter | LinkedIn | Discord | GitHub Discussions | Website | YouTube

By the way: we're hiring!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Нельзя запустить

Архитектура BertForMaskedLM неизвестна transformers в образе рантайма.

Класс архитектуры
BertForMaskedLM
Ревизия весов
d50cb1d

0 моделей