Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: MIT
Архитектура: electra · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face arXiv 2010.10906

gelectra-base

deepset

Языковая модель3 профессии

Немецкоязычный дискриминатор ELECTRA Base для задач понимания текста и дообучения под классификацию.

612скачиваний за 30 дней11лайковвеса обновлены26 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

deepset/gelectra-base — базовая немецкоязычная языковая модель ELECTRA, разработанная deepset совместно с авторами German BERT и dbmdz BERT. Это дискриминатор ELECTRA Base с 137,1 млн параметров и контекстом до 512 токенов; веса доступны в форматах PyTorch, Safetensors и TensorFlow. Модель обучалась на немецкоязычных данных, включая Wikipedia, OPUS и OpenLegalData.

Модель предназначена как базовый чекпойнт для задач понимания немецкого текста и последующего дообучения, например для классификации и оценки тональности. В README приведены результаты на GermEval 2018 и GermEval 2014. Авторы отмечают, что модель обучена недостаточно; для более высокой производительности среди моделей базового размера они рекомендуют deepset/gbert-base. Лицензия — MIT.

Сценарии применения

Классификация немецких текстов
Анализ тональности немецких сообщений
Дообучение модели для разметки немецких текстов
Оценка текста на наборах GermEval

Ограничения

Авторы считают модель недостаточно обученной и рекомендуют deepset/gbert-base для лучшей производительности среди моделей базового размера.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

German ELECTRA base

Released, Oct 2020, this is a German ELECTRA language model trained collaboratively by the makers of the original German BERT (aka "bert-base-german-cased") and the dbmdz BERT (aka bert-base-german-dbmdz-cased). In our paper, we outline the steps taken to train our model. Our evaluation suggests that this model is somewhat undertrained. For best performance from a base sized model, we recommend deepset/gbert-base

Overview

Paper: here
Architecture: ELECTRA base (discriminator) Language: German

Performance

GermEval18 Coarse: 76.02
GermEval18 Fine:   42.22
GermEval14:        86.02

See also:
deepset/gbert-base deepset/gbert-large deepset/gelectra-base deepset/gelectra-large deepset/gelectra-base-generator deepset/gelectra-large-generator

Authors

Branden Chan: branden.chan [at] deepset.ai Stefan Schweter: stefan [at] schweter.eu Timo Möller: timo.moeller [at] deepset.ai

About us

deepset is the company behind the production-ready open-source AI framework Haystack.

Some of our other work:

Get in touch and join the Haystack community

We also have a Discord community open to everyone!

By the way: we're hiring!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: ElectraForPreTraining
Ревизия весов: bda804f