Характеристики

Контекст: 512 токенов
Параметры: 127 млн
Архитектура: bert · dense
Опубликована: 3 апр 2022

Ссылки

Hugging Face arXiv 2010.12148

ernie-gram-zh

ЭмбеддингиТекст → embedding6 профессий

Китайская модель ERNIE-Gram на архитектуре BERT для получения контекстных признаков текста и задач понимания естественного языка.

19скачиваний за 30 дней5лайковвеса обновлены22 авг 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ERNIE-Gram-zh — китайская языковая модель семейства ERNIE-Gram, представленная в виде PyTorch-чекпойнта для извлечения признаков и задач понимания естественного языка. Архитектура основана на BERT: 12 слоёв, размер скрытого состояния 768 и 12 голов внимания; всего 127,1 млн параметров, контекст — до 512 токенов.

Модель предназначена для получения контекстных представлений китайского текста, которые можно использовать в прикладных системах понимания языка. Чекпойнт преобразован из официально выпущенной модели ERNIE на PaddlePaddle в PyTorch; автор README сообщает о проверках точности преобразования. Лицензия в предоставленных источниках не указана.

Сценарии применения

получение векторных представлений китайских текстов
извлечение признаков для классификации китайских текстов
подготовка представлений текста для поиска и ранжирования
использование в системах понимания китайского языка

Ограничения

Контекст ограничен 512 токенами. Предоставленный чекпойнт предназначен для получения признаков; качество для конкретных последующих задач зависит от выбранной модели или дополнительной настройки.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ERNIE-Gram-zh

Introduction

ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding

More detail: https://arxiv.org/abs/2010.12148

Released Model Info

Model Name	Language	Model Structure
ernie-gram-zh	Chinese	Layer:12, Hidden:768, Heads:12

This released Pytorch model is converted from the officially released PaddlePaddle ERNIE model and a series of experiments have been conducted to check the accuracy of the conversion.

Official PaddlePaddle ERNIE repo: https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/transformers/ernie_gram/modeling.py
Pytorch Conversion repo: https://github.com/nghuyong/ERNIE-Pytorch

How to use

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-gram-zh")
model = AutoModel.from_pretrained("nghuyong/ernie-gram-zh")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: BertModel
Ревизия весов: def93d8