Характеристики

Контекст: 512 токенов
Параметры: 66,3 млн
Лицензия: Своя лицензия
Архитектура: bart · dense
Библиотека: transformers
Опубликована: 25 окт 2022

Ссылки

bart-base-cantonese

Заполнение пропусковТекст → текст3 профессии

Кантонская BART-модель для заполнения пропусков и восстановления текста, дополнительно предобученная на сообщениях LIHKG.

37скачиваний за 30 дней9лайковвеса обновлены14 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Ayaka/bart-base-cantonese — это Cantonese-версия BART base, опубликованная Ayaka. Модель прошла дополнительное предварительное обучение на данных LIHKG на основе fnlp/bart-base-chinese; в карточке также указан репозиторий базовой модели ayaka14732/bart-base-jax. Это плотная модель архитектуры BART с 66,3 млн параметров и контекстом до 512 токенов.

Модель предназначена для заполнения пропусков и восстановления кантонского текста: в примере из карточки она подставляет пропущенное слово в предложении. Для токенизации README рекомендует BertTokenizer с её словарём. Доступны веса PyTorch и Flax. Лицензия указана как other; автор README просит не использовать модель ни для каких целей из-за опасений по поводу авторских прав.

Сценарии применения

восстановление пропущенного слова в кантонском предложении
подстановка маскированных токенов в кантонском тексте
эксперименты с предобученными языковыми моделями для кантонского

Ограничения

Автор README просит не использовать модель из-за опасений по поводу авторских прав. Для токенизации рекомендуется BertTokenizer, а не исходный BartTokenizer.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bart-base-cantonese

This is the Cantonese model of BART base. It is obtained by a second-stage pre-training on the LIHKG dataset based on the fnlp/bart-base-chinese model.

This project is supported by Cloud TPUs from Google's TPU Research Cloud (TRC).

Note: To avoid any copyright issues, please do not use this model for any purpose.

GitHub Links

Dataset: ayaka14732/lihkg-scraper
Tokeniser: ayaka14732/bert-tokenizer-cantonese
Base model: ayaka14732/bart-base-jax
Pre-training: ayaka14732/bart-base-cantonese

Usage

from transformers import BertTokenizer, BartForConditionalGeneration, Text2TextGenerationPipeline
tokenizer = BertTokenizer.from_pretrained('Ayaka/bart-base-cantonese')
model = BartForConditionalGeneration.from_pretrained('Ayaka/bart-base-cantonese')
text2text_generator = Text2TextGenerationPipeline(model, tokenizer)  
output = text2text_generator('聽日就要返香港，我激動到[MASK]唔着', max_length=50, do_sample=False)
print(output[0]['generated_text'].replace(' ', ''))
# output: 聽日就要返香港，我激動到瞓唔着

Note: Please use the BertTokenizer for the model vocabulary. DO NOT use the original BartTokenizer.

Training Details

Optimiser: SGD 0.03 + Adaptive Gradient Clipping 0.1
Dataset: 172937863 sentences, pad or truncate to 64 tokens
Batch size: 640
Number of epochs: 7 epochs + 61440 steps
Time: 44.0 hours on Google Cloud TPU v4-16

WandB link: 1j7zs802

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BartModel
Ревизия весов: a975e23