/ Модель

Характеристики

Контекст
512 токенов
Параметры
212 млн
Архитектура
deberta-v2 · dense
Опубликована
10 окт 2023

deberta-base-multi-label-classifier

Классификация текстаТекст → label8 профессий

Дообученная DeBERTa-v3-base для классификации текста по заданным меткам без отдельного обучения и задач языкового следования.

8скачиваний за 30 дней1лайквеса обновлены14 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Azma-AI/deberta-base-multi-label-classifier — модель DeBERTa-v3-base, дообученная с многозадачным обучением на 600 задачах классификации и понимания языка. Она предназначена для классификации текста по заданным категориям без отдельного обучения на этих категориях, а также для задач определения языкового следования и дальнейшей адаптации под новые задачи.

Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa-v2 для классификации последовательностей и принимает текст длиной до 512 токенов. В README отмечена высокая точность zero-shot-проверки на ряде задач; также заявлена совместимость с tasksource-adapters. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Сценарии применения

  • классификация текста по пользовательским категориям без обучающих примеров
  • определение тематик короткого текста
  • проверка языкового следования между посылкой и гипотезой
  • подготовка модели классификации для дальнейшего дообучения

Ограничения

Максимальная длина контекста составляет 512 токенов. Заявление о высокой zero-shot-точности приведено в карточке модели без подробных результатов по большинству задач.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for DeBERTa-v3-base-tasksource-nli

This is DeBERTa-v3-base fine-tuned with multi-task learning on 600 tasks. This checkpoint has strong zero-shot validation performance on many tasks (e.g. 70% on WNLI), and can be used for:

  • Zero-shot entailment-based classification pipeline (similar to bart-mnli), see [ZS].
  • Natural language inference, and many other tasks with tasksource-adapters, see [TA]
  • Further fine-tuning with a new task (classification, token classification or multiple-choice).

[ZS] Zero-shot classification pipeline

from transformers import pipeline
classifier = pipeline("zero-shot-classification",model="Azma-AI/deberta-base-multi-label-classifier")

text = "one day I will see the world"
candidate_labels = ['travel', 'cooking', 'dancing']
classifier(text, candidate_labels)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
DebertaV2ForSequenceClassification
Ревизия весов
d9ea848

0 моделей