| Datasets | asadfgglie/nli-zh-tw-all/test | asadfgglie/BanBan_2024-10-17-facial_expressions-nli/test | eval_dataset | test_dataset |
|---|---|---|---|---|
| eval_loss | 0.362 | 1.554 | 0.496 | 0.478 |
| eval_f1_macro | 0.872 | 0.516 | 0.835 | 0.841 |
| eval_f1_micro | 0.874 | 0.559 | 0.839 | 0.843 |
| eval_accuracy_balanced | 0.871 | 0.558 | 0.833 | 0.839 |
| eval_accuracy | 0.874 | 0.559 | 0.839 | 0.843 |
| eval_precision_macro | 0.874 | 0.59 | 0.839 | 0.847 |
| eval_recall_macro | 0.871 | 0.558 | 0.833 | 0.839 |
| eval_precision_micro | 0.874 | 0.559 | 0.839 | 0.843 |
| eval_recall_micro | 0.874 | 0.559 | 0.839 | 0.843 |
| eval_runtime | 230.697 | 4.066 | 51.216 | 203.905 |
| eval_samples_per_second | 36.845 | 232.653 | 36.883 | 37.061 |
| eval_steps_per_second | 0.29 | 1.967 | 0.293 | 0.294 |
| Size of dataset | 8500 | 946 | 1889 | 7557 |
Характеристики
- Контекст
- 512 токенов
- Параметры
- 306 млн
- Архитектура
- deberta-v2 · dense
- Базовая модель
- mDeBERTa-v3-base-xnli-multilingual-nli-2mil7
- Опубликована
- 16 ноя 2024
Ссылки
mDeBERTa-v3-base-xnli-multilingual-zeroshot-v1.0
Многоязычная модель на базе mDeBERTa-v3 для классификации текстов по заданным категориям без примеров обучения.
46скачиваний за 30 дней0лайковвеса обновлены24 фев 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
asadfgglie/mDeBERTa-v3-base-xnli-multilingual-zeroshot-v1.0 — дообученная многоязычная модель классификации текста на основе mDeBERTa-v3-base, разработанная asadfgglie. Она предназначена для классификации без примеров: пользователь задаёт категории, а модель оценивает, насколько текст соответствует каждой из них. Метаданные указывают архитектуру DeBERTa-v2, около 306 млн параметров и контекст до 512 токенов.
Модель дообучена на наборе NLI для zh-TW; в README приведены результаты оценки на нескольких наборах данных, включая macro F1 0,872 на одном из них. Используются веса PyTorch в формате safetensors. Лицензия в доступных данных не указана.
Сценарии применения
- классификация текста по пользовательским категориям
- определение тональности по заданным меткам
- сортировка новостей по темам без размечающих примеров
- классификация китайских текстов на традиционном письме
- анализ эмоциональных выражений в тексте
Ограничения
Контекст ограничен 512 токенами; приведённые в README оценки заметно различаются между наборами данных. Метаданные карточки указывают китайский язык, поэтому поддержку других языков по доступным сведениям подтвердить нельзя.
Для каких профессий подходит7
Разделы каталога профессий, в задачах которых используется эта модель
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейIII.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594моделиIII.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модельI.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…
- Класс архитектуры
- DebertaV2ForSequenceClassification
- Ревизия весов
- c6bc872