Характеристики

Контекст: 512 токенов
Параметры: 138 млн
Лицензия: MIT
Архитектура: convbert · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

convbert-base-german-europeana-cased

dbmdz

ЭмбеддингиТекст → embedding3 профессии

Немецкая ConvBERT-модель для извлечения признаков из исторических текстов, обученная на газетном корпусе Europeana.

140скачиваний за 30 дней3лайкавеса обновлены18 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

German Europeana ConvBERT — модель для извлечения признаков, опубликованная командой цифровой библиотеки MDZ Баварской государственной библиотеки. Она основана на архитектуре ConvBERT и предварительно обучена на корпусе газет Europeana объёмом 51 ГБ, содержащем около 8 млрд токенов. Модель рассчитана на представление исторических немецкоязычных текстов в виде признаков; авторы также указывают на результаты применения к распознаванию именованных сущностей в исторических текстах.

Модель содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Доступны форматы PyTorch, SafeTensors и TensorFlow; лицензия — MIT. Карточка не сообщает отдельные метрики качества или подробные ограничения, поэтому результаты для конкретных корпусов следует проверять на целевых данных.

Сценарии применения

извлечение признаков из исторических немецких газет
получение векторных представлений исторических немецких текстов
подготовка представлений для распознавания именованных сущностей в исторических текстах

Ограничения

Максимальная длина последовательности составляет 512 токенов. В карточке не приведены метрики качества; применимость к современному немецкому или другим жанрам отдельно не подтверждена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🤗 + 📚 dbmdz ConvBERT model

In this repository the MDZ Digital Library team (dbmdz) at the Bavarian State Library open sources a German Europeana ConvBERT model 🎉

German Europeana ConvBERT

We use the open source Europeana newspapers that were provided by The European Library. The final training corpus has a size of 51GB and consists of 8,035,986,369 tokens.

Detailed information about the data and pretraining steps can be found in this repository.

Results

For results on Historic NER, please refer to this repository.

Usage

With Transformers >= 4.3 our German Europeana ConvBERT model can be loaded like:

from transformers import AutoModel, AutoTokenizer

model_name = "dbmdz/convbert-base-german-europeana-cased"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

Huggingface model hub

All other German Europeana models are available on the Huggingface model hub.

Contact (Bugs, Feedback, Contribution and more)

For questions about our Europeana BERT, ELECTRA and ConvBERT models just open a new discussion here 🤗

Acknowledgments

Research supported with Cloud TPUs from Google's TensorFlow Research Cloud (TFRC). Thanks for providing access to the TFRC ❤️

Thanks to the generous support from the Hugging Face team, it is possible to download both cased and uncased models from their S3 storage 🤗

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: ConvBertModel
Ревизия весов: 5bf2d7f