/ Модель

Характеристики

Контекст
512 токенов
Параметры
138 млн
Лицензия
MIT
Архитектура
electra · dense
Опубликована
23 июл 2023

teams-base-dewiki-v1-discriminator

Языковая модель3 профессии

Производная модели gwlms/bert-base-dewiki-v1. Немецкоязычная BERT-модель для предсказания замаскированных слов и заполнения пропусков в тексте.

17скачиваний за 30 дней0лайковвеса обновлены19 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели gwlms/teams-base-dewiki-v1-discriminator на Hugging Face совпадает с карточкой gwlms/bert-base-dewiki-v1, поэтому описание составлено по ней.

gwlms/bert-base-dewiki-v1 — немецкоязычная модель семейства BERT, разработанная gwlms и дообученная для предсказания замаскированных токенов на фрагментах немецкой Википедии. Она подходит для заполнения пропусков в немецком тексте и получения контекстных представлений слов. Модель содержит 137,8 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и Safetensors.

Модель ориентирована на немецкий язык и задачу fill-mask; лицензия — MIT. Карточка README пока не содержит подробных сведений об обучении или результатах, поэтому качество на других корпусах и пригодность для прикладных сценариев не подтверждены.

Сценарии применения

  • подбор вероятного слова вместо маски в немецком предложении
  • восстановление пропущенных слов в немецком тексте
  • получение контекстных представлений немецких слов

Ограничения

Обучение на фрагментах немецкой Википедии может ограничивать перенос на другие жанры и предметные области. README не приводит оценок качества или подробностей обучения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

German Wikipedia LMs

Coming soon!

Acknowledgements

Research supported with Cloud TPUs from Google's TPU Research Cloud (TRC). Many Thanks for providing access to the TPUs ❤️

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
ElectraForPreTraining
Ревизия весов
98e5ab4

0 моделей