/ Модель

Характеристики

Контекст
512 токенов
Параметры
3,2 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Опубликована
9 июн 2022

pai-bert-tiny-zh

Заполнение пропусковТекст → текст3 профессии

Компактная китайская BERT-модель для предсказания замаскированных токенов и заполнения пропусков в тексте.

203скачиваний за 30 дней10лайковвеса обновлены10 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

pai-bert-tiny-zh — компактная предобученная языковая модель BERT для китайского языка, разработанная командой Alibaba PAI на корпусах большого масштаба с использованием фреймворка EasyNLP. Модель содержит 3,2 млн параметров и принимает последовательности длиной до 512 токенов.

Основная задача модели — заполнение пропусков в тексте: она предсказывает вероятные китайские токены в замаскированных позициях. Это подходит для восстановления пропущенных слов и проверки языковых представлений в NLP-сценариях. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

Сценарии применения

  • заполнение пропусков в китайских предложениях
  • предсказание пропущенных китайских иероглифов или слов
  • оценка вариантов токена в замаскированной позиции

Ограничения

Модель предназначена для китайского языка и имеет компактный размер, поэтому её возможности могут уступать более крупным моделям. Карточка не сообщает результаты бенчмарков или подробные ограничения по применению.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Alibaba PAI BERT Tiny Chinese

This project provides Chinese pre-trained language models and various types of NLP tools. The models are pre-trained on the large-scale corpora hosted by the Alibaba PAI team. It is developed based on the EasyNLP framework (https://github.com/alibaba/EasyNLP).

Citation

If you find the resource is useful, please cite the following paper in your work:

@article{easynlp, 
title = {EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing},
publisher = {arXiv}, 
author = {Wang, Chengyu and Qiu, Minghui and Zhang, Taolin and Liu, Tingting and Li, Lei and Wang, Jianing and Wang, Ming and Huang, Jun and Lin, Wei}, 
url = {https://arxiv.org/abs/2205.00258}, 
year = {2022} 
} 

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Ревизия весов
4acdb97

0 моделей