Характеристики

Контекст: 512 токенов
Параметры: 138 млн
Лицензия: MIT
Архитектура: electra · dense
Опубликована: 2 мар 2022

Ссылки

electra-base-french-europeana-cased-discriminator

Базовый дискриминатор ELECTRA, обученный на исторических французских текстах Europeana для задач понимания текста и последующего дообучения.

182скачиваний за 30 дней1лайквеса обновлены24 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель dbmdz/electra-base-french-europeana-cased-discriminator — дискриминатор ELECTRA, опубликованный командой MDZ Digital Library Баварской государственной библиотеки. Это базовая модель с 137,8 млн параметров, обученная на французских текстах корпуса Europeana: корпус включает преимущественно материалы XVIII–XX веков. Модель регистрозависимая, доступна в форматах PyTorch, Safetensors и TensorFlow; контекст составляет до 512 токенов.

Чекпойнт предназначен для использования как основа при решении задач понимания исторического французского текста, например для дообучения на распознавание именованных сущностей. В README упомянуты результаты для исторического NER, но готовая модель разметки сущностей здесь не заявлена. Лицензия — MIT.

Сценарии применения

дообучение для распознавания именованных сущностей в исторических французских документах
адаптация классификатора к французским текстам XVIII–XX веков
получение представлений исторического французского текста для NLP-задач

Ограничения

Это базовый дискриминатор, а не готовая модель для NER или диалогов; для прикладной разметки и других целевых задач требуется подходящая голова и/или дообучение. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🤗 + 📚 dbmdz ELECTRA models

In this repository the MDZ Digital Library team (dbmdz) at the Bavarian State Library open sources French Europeana ELECTRA models 🎉

French Europeana ELECTRA

We extracted all French texts using the language metadata attribute from the Europeana corpus.

The resulting corpus has a size of 63GB and consists of 11,052,528,456 tokens.

Based on the metadata information, texts from the 18th - 20th century are mainly included in the training corpus.

Detailed information about the data and pretraining steps can be found in this repository.

Model weights

ELECTRA model weights for PyTorch and TensorFlow are available.

French Europeana ELECTRA (discriminator): dbmdz/electra-base-french-europeana-cased-discriminator - model hub page
French Europeana ELECTRA (generator): dbmdz/electra-base-french-europeana-cased-generator - model hub page

Results

For results on Historic NER, please refer to this repository.

Usage

With Transformers >= 2.3 our French Europeana ELECTRA model can be loaded like:

from transformers import AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("dbmdz/electra-base-french-europeana-cased-discriminator")
model = AutoModel.from_pretrained("dbmdz/electra-base-french-europeana-cased-discriminator")

Huggingface model hub

All models are available on the Huggingface model hub.

Contact (Bugs, Feedback, Contribution and more)

For questions about our ELECTRA models just open an issue here 🤗

Acknowledgments

Research supported with Cloud TPUs from Google's TensorFlow Research Cloud (TFRC). Thanks for providing access to the TFRC ❤️

Thanks to the generous support from the Hugging Face team, it is possible to download our models from their S3 storage 🤗

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: ElectraForPreTraining
Ревизия весов: cd7b614