Характеристики

Контекст: 512 токенов
Параметры: 305 млн
Архитектура: deberta-v2 · dense
Опубликована: 12 июл 2023

Ссылки

Hugging Face

mdebertav3-subjectivity-multilingual

GroNLP

Классификация текстаТекст → label3 профессии

Многоязычная модель на основе mDeBERTa V3 классифицирует предложения газетных статей как объективные или субъективные.

1 414скачиваний за 30 дней2лайкавеса обновлены11 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GroNLP разработала эту модель на основе mDeBERTa V3, дообучив её для определения субъективности предложений в газетных статьях. Для каждого предложения модель предсказывает метку OBJ (объективное) или SUBJ (субъективное); она предназначена для анализа новостных текстов и участвовала в задаче CLEF 2023 CheckThat! Lab Task 2. Модель содержит 305,3 млн параметров, использует архитектуру DeBERTa V2 для классификации последовательностей и принимает до 512 токенов контекста.

В соревновании CheckThat! она заняла второе место с macro F1 0,81 и F1 для класса SUBJ 0,81. Обучение проводилось на многоязычном наборе данных, однако конкретный перечень языков в доступных сведениях не приведён. Условия лицензии в доступных сведениях не указаны.

Сценарии применения

определение субъективных высказываний в новостных статьях
отбор мнений и оценочных суждений из газетных текстов
разметка предложений на объективные и субъективные для анализа новостей

Ограничения

Модель обучена для классификации предложений газетных статей, поэтому её качество на других жанрах и типах текста не подтверждено приведёнными результатами. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Fine-tuned mDeBERTa V3 model for subjectivity detection in newspaper sentences. This model was developed as part of the CLEF 2023 CheckThat! Lab Task 2: Subjectivity in News Articles.

The goal in this task is to detect whether a sentence is objective (OBJ) or subjective (SUBJ). A sentence is subjective if its content is based on or influenced by personal feelings, tastes, or opinions. Otherwise, the sentence is objective. (Antici et al., 2023).

The model was fine-tuned using a multilingual training and development dataset, for which the following (hyper)parameters were utilized:

Batch Size    = 64
Max Epochs    = 8
Learning Rate = 3e-5
Warmup Steps  = 500
Weight Decay  = 0.3

The model ranked second in the CheckThat! Lab and obtained a macro F1 of 0.81 and a SUBJ F1 of 0.81.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForSequenceClassification
Ревизия весов: 7e4a83e