/ Модель

Характеристики

Контекст
512 токенов
Параметры
129 млн
Лицензия
afl-3.0
Архитектура
nezha · dense
Опубликована
18 июн 2022

nezha-cn-base

Заполнение пропусковТекст → текст3 профессии

Базовая китайская модель NeZha для заполнения пропусков в тексте и получения контекстуализированных представлений.

9 123скачиваний за 30 дней12лайковвеса обновлены24 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sijunhe/nezha-cn-base — базовая версия модели NeZha для понимания китайского языка, опубликованная под именем sijunhe; в README приведены авторы исходной работы: Junqiu Wei и соавторы. Это плотная модель на 129,5 млн параметров с архитектурой NeZhaForMaskedLM, предназначенная для заполнения пропусков в тексте. В Transformers для токенизации используются классы BertTokenizer, а для работы с моделью — классы NeZha.

Модель принимает текст и выдаёт контекстуализированные представления токенов; основная задача в каталоге Hugging Face — fill-mask. Она рассчитана на китайский язык, а максимальная длина контекста составляет 512 токенов. Доступна в формате PyTorch. Лицензия — AFL-3.0.

Сценарии применения

  • предсказание пропущенных китайских слов и иероглифов
  • контекстуализация китайского текста
  • извлечение представлений токенов для последующих задач NLP

Ограничения

Контекст ограничен 512 токенами; модель ориентирована на китайский язык.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Please use 'Bert' related tokenizer classes and 'Nezha' related model classes

NEZHA: Neural Contextualized Representation for Chinese Language Understanding Junqiu Wei, Xiaozhe Ren, Xiaoguang Li, Wenyong Huang, Yi Liao, Yasheng Wang, Jiashu Lin, Xin Jiang, Xiao Chen and Qun Liu.

The original checkpoints can be found here

Example Usage

from transformers import BertTokenizer, NezhaModel
tokenizer = BertTokenizer.from_pretrained('sijunhe/nezha-cn-base')
model = NezhaModel.from_pretrained("sijunhe/nezha-cn-base")
text = "我爱北京天安门"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Нельзя запустить

Архитектура nezha неизвестна transformers в образе рантайма.

Класс архитектуры
NeZhaForMaskedLM
Ревизия весов
bc68bfa

0 моделей