Характеристики

Контекст: 512 токенов
Параметры: 77,5 млн
Лицензия: MIT
Архитектура: deberta-v2 · dense
Базовая модель: deberta-v3-xsmall
Библиотека: transformers
Опубликована: 10 янв 2024

Ссылки

deberta-v3-xsmall-zeroshot-v1.1-all-33

Классификация текстаТекст → label6 профессий

Компактная дообученная DeBERTa-v3-xsmall для быстрой классификации английских текстов по заданным пользователем меткам без обучения на этих метках.

44 116скачиваний за 30 дней11лайковвеса обновлены7 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Moritz Laurer дообучил DeBERTa-v3-xsmall для классификации без заранее заданного набора классов: пользователь задаёт текстовые метки, а модель оценивает соответствие им входного текста. Модель предназначена для быстрого zero-shot анализа, в том числе на периферийных устройствах и в браузере через transformers.js.

Основа — microsoft/deberta-v3-xsmall. В README указаны 22 млн параметров основной части модели, 128 млн параметров словаря и размер файла 142 МБ; метаданные указывают 77,5 млн параметров. Модель принимает текст, поддерживает английский язык и имеет контекст 512 токенов. Доступны форматы PyTorch, safetensors и ONNX.

Модель компактнее и эффективнее более крупных вариантов семейства, но, согласно README, показывает более низкое качество. Отдельная zero-shot оценка для этой версии не проводилась; приведены результаты стандартной точности на наборах данных, использованных при обучении. Лицензия — MIT.

Сценарии применения

классификация отзывов по заданным темам
распределение обращений клиентов по категориям
определение тональности текста
поиск токсичных или оскорбительных высказываний
классификация новостей по пользовательским категориям

Ограничения

Качество ниже, чем у более крупных моделей семейства, а отдельная оценка zero-shot качества для этой версии не проводилась. Контекст ограничен 512 токенами; подтверждена поддержка английского языка.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

deberta-v3-xsmall-zeroshot-v1.1-all-33

This model was fine-tuned using the same pipeline as described in the model card for MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33 and in this paper.

The foundation model is microsoft/deberta-v3-xsmall. The model only has 22 million backbone parameters and 128 million vocabulary parameters. The backbone parameters are the main parameters active during inference, providing a significant speedup over larger models. The model is 142 MB small.

This model was trained to provide a small and highly efficient zeroshot option, especially for edge devices or in-browser use-cases with transformers.js.

Usage and other details

For usage instructions and other details refer to this model card MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33 and this paper.

Metrics:

I didn't not do zeroshot evaluation for this model to save time and compute. The table below shows standard accuracy for all datasets the model was trained on (note that the NLI datasets are binary).

General takeaway: the model is much more efficient than its larger sisters, but it performs less well.

Datasets	mnli_m	mnli_mm	fevernli	anli_r1	anli_r2	anli_r3	wanli	lingnli	wellformedquery	rottentomatoes	amazonpolarity	imdb	yelpreviews	hatexplain	massive	banking77	emotiondair	emocontext	empathetic	agnews	yahootopics	biasframes_sex	biasframes_offensive	biasframes_intent	financialphrasebank	appreviews	hateoffensive	trueteacher	spam	wikitoxic_toxicaggregated	wikitoxic_obscene	wikitoxic_identityhate	wikitoxic_threat	wikitoxic_insult	manifesto	capsotu
Accuracy	0.925	0.923	0.886	0.732	0.633	0.661	0.814	0.887	0.722	0.872	0.944	0.925	0.967	0.774	0.734	0.627	0.762	0.745	0.465	0.888	0.702	0.94	0.853	0.863	0.914	0.926	0.921	0.635	0.968	0.897	0.918	0.915	0.935	0.9	0.505	0.701
Inference text/sec (A10G, batch=128)	1573.0	1630.0	683.0	1282.0	1352.0	1072.0	2325.0	2008.0	4781.0	2743.0	677.0	228.0	238.0	2357.0	5027.0	4323.0	3247.0	3129.0	941.0	1643.0	335.0	1517.0	1452.0	1498.0	2367.0	974.0	2634.0	353.0	2284.0	260.0	252.0	256.0	254.0	259.0	1941.0	2080.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForSequenceClassification
Ревизия весов: 262ae02