/ Модель

Характеристики

Контекст
130 токенов
Параметры
162 млн
Лицензия
MIT
Архитектура
roberta · dense
Опубликована
16 апр 2022

BERTweet-Hedge

Классификация текстаТекст → label3 профессии

BERTweet-Hedge определяет, выражает ли англоязычный текст из социальных сетей лингвистическую неопределённость.

89скачиваний за 30 дней3лайкавеса обновлены31 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BERTweet-Hedge — модель классификации текста, созданная ChrisLiewJY дообучением базовой модели VinAI BERTweet на корпусе Wiki Weasel 2.0 из Szeged Uncertainty Corpus. Она определяет, содержит ли текст в социальных сетях языковые маркеры неопределённости (hedges), и возвращает одну из двух меток: наличие или отсутствие таких маркеров.

Модель основана на архитектуре RoBERTa и содержит 162,4 млн параметров. Она принимает текст на английском языке; длина контекста — 130 токенов. В README приведены показатели Accuracy 0,9680 и F1 0,8765. Модель предназначена для анализа формулировок в социальных сетях, однако её результаты на других типах текстов и языках не подтверждены.

Лицензия — MIT.

Сценарии применения

  • Поиск языковых маркеров неопределённости в сообщениях соцсетей
  • Разметка публикаций по наличию или отсутствию hedge-выражений
  • Анализ уверенности формулировок в англоязычных постах

Ограничения

Контекст ограничен 130 токенами; в README модель обучена на корпусе для текстов социальных сетей, поэтому перенос на другие жанры и языки не подтверждён.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Overview

Fine tuned VinAI's BERTweet base model on the Wiki Weasel 2.0 Corpus from the Szeged Uncertainty Corpus for hedge (linguistic uncertainty) detection in social media texts. Model was trained and optimised using Ray Tune's implementation of Deep Mind's Population Based Training with the arithmetic mean of Accuracy & F1 as its evaluation metric.

Labels

  • LABEL_1 = Positive (Hedge is detected within text)
  • LABEL_0 = Negative (No Hedges detected within text)

Model Performance

ModelAccuracyF1-ScoreAccuracy & F1-Score
BERTweet-Hedge0.96800.87650.9222

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForSequenceClassification
Ревизия весов
c6df13e

0 моделей