/ Модель

Характеристики

Контекст
512 токенов
Параметры
12,8 млн
Лицензия
GPL 3.0
Архитектура
albert · dense
Опубликована
2 мар 2022

albert-tiny-chinese-ner

Разметка токеновТекст → label4 профессии

Компактная модель CKIP на базе ALBERT для распознавания именованных сущностей в традиционно-китайском тексте.

1 440скачиваний за 30 дней3лайкавеса обновлены10 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CKIP ALBERT Tiny Chinese — компактная модель на архитектуре ALBERT для классификации токенов в традиционном китайском языке. Её разработал Mu Yang из CKIP; карточка проекта описывает набор традиционно-китайских моделей и инструментов для сегментации слов, разметки частей речи и распознавания именованных сущностей. Для этой модели основная задача — распознавание сущностей в тексте.

Модель содержит 12,8 млн параметров, использует формат PyTorch и поддерживает контекст до 512 токенов. Для токенизации автор рекомендует BertTokenizerFast. Модель подходит для извлечения сущностей из традиционно-китайских текстов, например имён людей, организаций и мест, однако карточка не уточняет набор меток и показатели качества. Лицензия — GPL-3.0.

Сценарии применения

  • распознавание имён людей в китайских текстах
  • извлечение названий организаций из традиционно-китайских документов
  • поиск географических названий в китайском тексте
  • автоматическая разметка сущностей в традиционно-китайских корпусах

Ограничения

Карточка не приводит перечень меток, обучающие данные или результаты оценки качества. Для токенизации автор рекомендует BertTokenizerFast вместо AutoTokenizer.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CKIP ALBERT Tiny Chinese

This project provides traditional Chinese transformers models (including ALBERT, BERT, GPT2) and NLP tools (including word segmentation, part-of-speech tagging, named entity recognition).

這個專案提供了繁體中文的 transformers 模型(包含 ALBERT、BERT、GPT2)及自然語言處理工具(包含斷詞、詞性標記、實體辨識)。

Homepage

Contributers

Usage

Please use BertTokenizerFast as tokenizer instead of AutoTokenizer.

請使用 BertTokenizerFast 而非 AutoTokenizer。

from transformers import (
  BertTokenizerFast,
  AutoModel,
)

tokenizer = BertTokenizerFast.from_pretrained('bert-base-chinese')
model = AutoModel.from_pretrained('ckiplab/albert-tiny-chinese-ner')

For full usage and more information, please refer to https://github.com/ckiplab/ckip-transformers.

有關完整使用方法及其他資訊,請參見 https://github.com/ckiplab/ckip-transformers 。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
AlbertForTokenClassification
Ревизия весов
bcb5198

0 моделей