/ Модель

Характеристики

Контекст
512 токенов
Параметры
306 млн
Лицензия
Apache 2.0
Архитектура
deberta-v2 · dense
Опубликована
29 апр 2023

mdeberta-v3-base-tasksource-nli

Классификация текстаТекст → label9 профессий

Многоязычная модель mDeBERTa-v3 для вывода по тексту и классификации, в том числе zero-shot, с возможностью подключать адаптеры для множества задач.

160скачиваний за 30 дней18лайковвеса обновлены19 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sileod/mdeberta-v3-base-tasksource-nli — многоязычная модель на архитектуре mDeBERTa-v3-base, разработанная для задач классификации текста и вывода по тексту. Она обучалась в течение 30 тысяч шагов на наборе задач mtasksource и подходит как основа для дальнейшего дообучения, а также для определения, следует ли гипотеза из текста, и классификации по заданным категориям без отдельного обучения на этих категориях. Для сотен задач можно подключать предоставляемые адаптеры через экосистему tasknet и tasksource.

Модель содержит 306 млн параметров, принимает текст с контекстом до 512 токенов и доступна в форматах PyTorch и Safetensors. Карточка и метаданные указывают на многоязычное обучение; среди языков есть русский, английский, китайский, японский, арабский, немецкий, французский, испанский и другие. Лицензия — Apache-2.0. Это модель понимания и классификации текста, а не генеративная языковая модель; качество конкретной задачи зависит от выбранных меток или адаптера.

Сценарии применения

  • классификация текста по пользовательским категориям без отдельного обучения
  • проверка, следует ли гипотеза из текста
  • определение тональности отзывов на разных языках
  • классификация многоязычных сообщений и публикаций
  • подключение адаптеров для специализированных задач обработки текста
  • дообучение многоязычного классификатора под собственные данные

Ограничения

Контекст ограничен 512 токенами. Модель предназначена для классификации и вывода по тексту; для других задач могут потребоваться подходящий адаптер или дообучение.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for mDeBERTa-v3-base-tasksource-nli

Multilingual mdeberta-v3-base with 30k steps multi-task training on mtasksource This model can be used as a stable starting-point for further fine-tuning, or directly in zero-shot NLI model or a zero-shot pipeline. In addition, you can use the provided adapters to directly load a model for hundreds of tasks.

!pip install tasknet, tasksource -q
import tasknet as tn 
pipe=tn.load_pipeline(
  'sileod/mdeberta-v3-base-tasksource-nli',
  'miam/dihana')
pipe(['si','como esta?'])

For more details, see deberta-v3-base-tasksource-nli and replace tasksource by mtasksource.

Software

https://github.com/sileod/tasksource/ https://github.com/sileod/tasknet/

Contact and citation

For help integrating tasksource into your experiments, please contact damien.sileo@inria.fr.

For more details, refer to this article:

@article{sileo2023tasksource,
  title={tasksource: Structured Dataset Preprocessing Annotations for Frictionless Extreme Multi-Task Learning and Evaluation},
  author={Sileo, Damien},
  url= {https://arxiv.org/abs/2301.05948},
  journal={arXiv preprint arXiv:2301.05948},
  year={2023}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
DebertaV2ForSequenceClassification
Ревизия весов
4b26406

0 моделей