/ Модель

Характеристики

Контекст
512 токенов
Параметры
129 млн
Лицензия
afl-3.0
Архитектура
bert · dense
Опубликована
8 авг 2023

bert-base-chinese-word-classifier

Классификация текстаТекст → label3 профессии

BERT-модель для присвоения китайским словам одной или нескольких тематических категорий из 12 классов.

25скачиваний за 30 дней9лайковвеса обновлены9 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

iioSnail разработал модель для многоклассовой классификации китайских слов: каждому слову назначается одна или несколько категорий из 12 тематических классов, основанных на типах словаря Sogou. Модель использует архитектуру BERT с классификационной головой BertForSequenceClassification, содержит 129,5 млн параметров и принимает текстовые входные данные длиной до 512 токенов.

Модель предназначена для тематической разметки китайских слов, например для категоризации словарных записей и организации поиска по тематическим рубрикам. Она поддерживает китайский язык и доступна в форматах PyTorch и Safetensors. Лицензия — AFL-3.0.

Карточка описывает назначение и набор категорий, но не приводит метрик качества или подробностей обучения. Классы охватывают гуманитарные и общественные науки, сельское хозяйство, медицину, города, развлечения, инженерию, повседневную жизнь, видеоигры, естественные науки, искусство и спорт с досугом.

Сценарии применения

  • тематическая классификация китайских слов
  • автоматическая разметка записей китайского словаря
  • распределение слов по предметным рубрикам
  • индексация китайской лексики по темам

Ограничения

Карточка не приводит метрик качества, данных об обучении или рекомендаций по порогу для многометочных предсказаний; категории ограничены 12 типами из словаря Sogou.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

中文词语分类

本模型对中文词语进行分类(多标签)。对于一个中文词语,其会被分为一个或多个类别,类别有如下:

"1": "人文科学",
"2": "农林渔畜",
"3": "医学",
"4": "城市信息大全",
"5": "娱乐",
"6": "工程与应用科学",
"7": "生活",
"8": "电子游戏",
"9": "社会科学",
"10": "自然科学",
"11": "艺术",
"12": "运动休闲"

类别来源于搜狗词汇的类型

使用样例

import torch
from transformers import AutoTokenizer, BertForSequenceClassification

model_path = "iioSnail/bert-base-chinese-word-classifier"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = BertForSequenceClassification.from_pretrained(model_path)

words = ["2型糖尿病", "太古里", "跑跑卡丁车", "河豚"]
inputs = tokenizer(words, return_tensors='pt', padding=True)
outputs = model(**inputs).logits
outputs = outputs.sigmoid()
preds = outputs > 0.5
for i, pred in enumerate(preds):
    pred = torch.argwhere(pred).view(-1)
    labels = [model.config.id2label[int(id)] for id in pred]
    print(words[i], ":", labels)

输出:

2型糖尿病 : ['医学']
太古里 : ['城市信息大全']
跑跑卡丁车 : ['电子游戏']
河豚 : ['人文科学', '娱乐', '电子游戏', '自然科学']

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
8f4430e

0 моделей