Характеристики

Контекст: 512 токенов
Параметры: 129 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 21 мар 2023

Ссылки

Hugging Face

toutiao

myml

Классификация текстаТекст → label3 профессии

BERT-модель для классификации китайских новостных текстов по категориям.

337скачиваний за 30 дней10лайковвеса обновлены23 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

myml/toutiao — модель классификации китайских новостей, обученная разработчиком на датасете Toutiao с использованием PyTorch. Она основана на BERT и предназначена для отнесения китайских текстов к категориям новостей; пример показывает классификацию короткой фразы через pipeline библиотеки Transformers. Модель содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов.

Модель подходит для учебных и прикладных экспериментов с классификацией китайских текстов. Результат возвращается как метка класса и оценка уверенности; README не приводит таблицу соответствия меток категориям. Репозиторий распространяется по лицензии MIT.

Сценарии применения

классификация китайских новостных заголовков
определение категории китайской новости
учебные эксперименты с классификацией китайского текста

Ограничения

README не содержит отображения меток LABEL_* на категории новостей, поэтому смысл предсказанного класса по одному результату определить нельзя. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

中文新闻分类模型

介绍

基于 pytorch 使用今日头条数据集训练的中文新闻分类模型，用于学习中文文本分类使用，python 源码见 main.py

使用

from transformers import pipeline
classifier = pipeline("text-classification",  model="myml/toutiao")
classifier("只要关羽不捣乱，峡谷4V5也不怕？")
# echo [{'label': 'LABEL_16', 'score': 0.9958072900772095}]

结果映射

LABEL_0 民生 故事 
LABEL_1 文化 文化 
LABEL_2 娱乐 娱乐 
LABEL_3 体育 体育 
LABEL_4 财经 财经 
LABEL_6 房产 房产 
LABEL_7 汽车 汽车 
LABEL_8 教育 教育 
LABEL_9 科技 科技 
LABEL_10 军事 军事 
LABEL_12 旅游 旅游 
LABEL_13 国际 国际 
LABEL_14 证券 股票 
LABEL_15 农业 三农 
LABEL_16 电竞 游戏

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 2f791fb