/ Модель

Характеристики

Контекст
512 токенов
Параметры
129 млн
Лицензия
GPL 3.0
Архитектура
bert · dense
Опубликована
2 мар 2022

bert-base-chinese-ner

Разметка токеновТекст → label3 профессии

Модель BERT от CKIP размечает токены традиционного китайского текста для распознавания именованных сущностей.

93 270скачиваний за 30 дней135лайковвеса обновлены10 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ckiplab/bert-base-chinese — модель семейства BERT от CKIP для распознавания именованных сущностей в традиционном китайском тексте. Репозиторий проекта также предлагает модели и инструменты для сегментации слов, разметки частей речи и других задач обработки китайского языка, однако для этой модели основная задача в метаданных — классификация токенов.

Модель имеет архитектуру BertForTokenClassification и содержит около 129,5 млн параметров. Она принимает текст, поддерживает контекст до 512 токенов и распространяется в форматах PyTorch и Flax. Для токенизации автор рекомендует BertTokenizerFast.

Модель предназначена для извлечения сущностей из китайского текста; поддержка русского или других языков не заявлена. Репозиторий лицензирован по GPL-3.0.

Сценарии применения

  • извлечение именованных сущностей из китайских документов
  • разметка сущностей в новостных текстах на традиционном китайском
  • подготовка китайского текста к последующему анализу сущностей

Ограничения

Модель ориентирована на традиционный китайский язык, а заявленная длина контекста составляет 512 токенов. Для токенизации автор рекомендует BertTokenizerFast.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CKIP BERT Base Chinese

This project provides traditional Chinese transformers models (including ALBERT, BERT, GPT2) and NLP tools (including word segmentation, part-of-speech tagging, named entity recognition).

這個專案提供了繁體中文的 transformers 模型(包含 ALBERT、BERT、GPT2)及自然語言處理工具(包含斷詞、詞性標記、實體辨識)。

Homepage

Contributers

Usage

Please use BertTokenizerFast as tokenizer instead of AutoTokenizer.

請使用 BertTokenizerFast 而非 AutoTokenizer。

from transformers import (
  BertTokenizerFast,
  AutoModel,
)

tokenizer = BertTokenizerFast.from_pretrained('bert-base-chinese')
model = AutoModel.from_pretrained('ckiplab/bert-base-chinese-ner')

For full usage and more information, please refer to https://github.com/ckiplab/ckip-transformers.

有關完整使用方法及其他資訊,請參見 https://github.com/ckiplab/ckip-transformers 。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForTokenClassification
Ревизия весов
50c5afc

0 моделей