Характеристики

Контекст: 512 токенов
Параметры: 11,7 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 14 ноя 2022

Ссылки

Hugging Face

minirbt-h256

hfl

Заполнение пропусковТекст → текст3 профессии

Компактная китайская BERT-модель для предсказания замаскированных слов и токенов в тексте.

738скачиваний за 30 дней10лайковвеса обновлены15 ноя 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

hfl/minirbt-h256 — небольшая предварительно обученная модель для обработки китайского языка, опубликованная HFL. Она основана на архитектуре BERT и обучена с применением дистилляции знаний с помощью инструментария TextBrewer и технологии Whole Word Masking. Модель предназначена для заполнения пропусков в китайском тексте: она предсказывает замаскированные токены по окружающему контексту.

Модель содержит 11,7 млн параметров и поддерживает контекст до 512 токенов. Доступны форматы PyTorch и TensorFlow. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит сравнительных оценок качества или подробностей о составе обучающих данных.

Сценарии применения

предсказание пропущенных слов в китайском предложении
восстановление замаскированных токенов по контексту
проверка контекстуальных представлений китайского текста в NLP-экспериментах

Ограничения

Модель предназначена для китайского языка и ограничена контекстом до 512 токенов. В карточке нет сравнительных результатов качества, поэтому пригодность для конкретного сценария следует оценивать отдельно.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Please use 'Bert' related functions to load this model!

Chinese small pre-trained model MiniRBT

In order to further promote the research and development of Chinese information processing, we launched a Chinese small pre-training model MiniRBT based on the self-developed knowledge distillation tool TextBrewer, combined with Whole Word Masking technology and Knowledge Distillation technology.

This repository is developed based on：https://github.com/iflytek/MiniRBT

You may also interested in,

Chinese LERT: https://github.com/ymcui/LERT
Chinese PERT: https://github.com/ymcui/PERT
Chinese MacBERT: https://github.com/ymcui/MacBERT
Chinese ELECTRA: https://github.com/ymcui/Chinese-ELECTRA
Chinese XLNet: https://github.com/ymcui/Chinese-XLNet
Knowledge Distillation Toolkit - TextBrewer: https://github.com/airaria/TextBrewer

More resources by HFL: https://github.com/iflytek/HFL-Anthology

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 446e1b4