Характеристики

Контекст: 512 токенов
Параметры: 161 млн
Лицензия: Apache 2.0
Архитектура: electra · dense
Опубликована: 2 мар 2022

Ссылки

electra-base-vn

Предварительно обученный на вьетнамском тексте дискриминатор ELECTRA для получения языковых представлений и дальнейшей адаптации.

168скачиваний за 30 дней6лайковвеса обновлены23 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

NlpHUST/electra-base-vn — языковая модель семейства ELECTRA, разработанная для вьетнамского языка. Это плотный Transformer-дискриминатор ElectraForPreTraining с 160,9 млн параметров и контекстом до 512 токенов. Модель предварительно обучена на более чем 148 ГБ текста; метод ELECTRA учит различать исходные токены и заменённые токены, созданные другой нейросетью, что позволяет эффективно обучать языковые представления.

Модель предназначена прежде всего для получения вьетнамских языковых представлений и дальнейшей адаптации к задачам понимания текста. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка не описывает готовый интерфейс генерации текста или результаты для прикладных задач.

Сценарии применения

дообучение классификатора вьетнамских текстов
адаптация к распознаванию сущностей во вьетнамском языке
создание модели для анализа тональности вьетнамских отзывов

Ограничения

Это модель предварительного обучения, а не готовая генеративная модель или прикладной классификатор; для целевых задач потребуется соответствующая адаптация. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ELECTRA

Introduction

ELECTRA is a method for self-supervised language representation learning. It can be used to pre-train transformer networks using relatively little compute. ELECTRA models are trained to distinguish "real" input tokens vs "fake" input tokens generated by another neural network, similar to the discriminator of a GAN. At small scale, ELECTRA achieves strong results even when trained on a single GPU. At large scale, ELECTRA achieves state-of-the-art results on the SQuAD 2.0 dataset.

Electra-base-vn is trained on more 148gb text with max length 512.

You can download tensorflow version at Electra base TF version

Contact information

For personal communication related to this project, please contact Nha Nguyen Van (nha282@gmail.com).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: ElectraForPreTraining
Ревизия весов: e52ff40