Характеристики
- Контекст
- 512 токенов
- Лицензия
- Apache 2.0
- Архитектура
- distilbert · dense
- Опубликована
- 2 мар 2022
Ссылки
distilbert-base-german-cased
Компактная немецкоязычная модель DistilBERT для предсказания пропущенных токенов и извлечения контекстных представлений текста.
66 852скачиваний за 30 дней25лайковвеса обновлены6 мая 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
distilbert-base-german-cased — немецкоязычная модель DistilBERT от сообщества DistilBERT, представленная на Hugging Face. Это компактный трансформер на основе архитектуры BERT, обученный методом дистилляции под надзором bert-base-german-dbmdz-cased; модель содержит 67,4 млн параметров и рассчитана на последовательности до 512 токенов.
Модель предназначена для предсказания скрытых токенов в немецком тексте. Такой режим подходит для подстановки пропущенных слов и получения контекстных представлений текста, которые можно применять как основу для последующей настройки под задачи понимания языка. В материалах разработчика приведены результаты для распознавания именованных сущностей на немецких наборах CoNLL-2003 и GermEval 2014.
Модель работает с текстом на немецком языке и сохраняет регистр. Компактность DistilBERT рассчитана на более быстрый и лёгкий инференс по сравнению с BERT, хотя приведённые разработчиком результаты на NER немного ниже показателей исходной немецкой BERT-модели. Лицензия репозитория — Apache-2.0.
Сценарии применения
- подстановка пропущенного слова в немецком предложении
- получение контекстных представлений немецкого текста
- подготовка немецкой языковой модели к дообучению
- базовая модель для распознавания именованных сущностей на немецком языке
Ограничения
Модель предназначена для немецкого языка и ограничена контекстом до 512 токенов. В результатах разработчика качество на немецком NER немного уступает исходной модели bert-base-german-dbmdz-cased.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- DistilBertForMaskedLM
- Ревизия весов
- 6f96562