Характеристики

Контекст: 512 токенов
Параметры: 138 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 24 июл 2023

Ссылки

bert-base-token-dropping-dewiki-v1

Заполнение пропусковТекст → текст3 профессии

Производная модели gwlms/bert-base-dewiki-v1. Немецкоязычная BERT-модель для предсказания замаскированных слов и заполнения пропусков в тексте.

16скачиваний за 30 дней0лайковвеса обновлены6 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели gwlms/bert-base-token-dropping-dewiki-v1 на Hugging Face совпадает с карточкой gwlms/bert-base-dewiki-v1, поэтому описание составлено по ней.

gwlms/bert-base-dewiki-v1 — немецкоязычная модель семейства BERT, разработанная gwlms и дообученная для предсказания замаскированных токенов на фрагментах немецкой Википедии. Она подходит для заполнения пропусков в немецком тексте и получения контекстных представлений слов. Модель содержит 137,8 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и Safetensors.

Модель ориентирована на немецкий язык и задачу fill-mask; лицензия — MIT. Карточка README пока не содержит подробных сведений об обучении или результатах, поэтому качество на других корпусах и пригодность для прикладных сценариев не подтверждены.

Сценарии применения

подбор вероятного слова вместо маски в немецком предложении
восстановление пропущенных слов в немецком тексте
получение контекстных представлений немецких слов

Ограничения

Обучение на фрагментах немецкой Википедии может ограничивать перенос на другие жанры и предметные области. README не приводит оценок качества или подробностей обучения.