/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
130 млн
Лицензия
CC BY 4.0
Архитектура
bert · dense
Базовая модель
bert-base-chinese
Опубликована
14 сен 2023

Ссылки

Hugging Face

bert-base-cantonese

indiejoseph
Заполнение пропусковТекст → текст3 профессии

Продолжительно предобученная на кантонском тексте модель BERT для предсказания пропущенных токенов.

700скачиваний за 30 дней9лайковвеса обновлены13 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

indiejoseph/bert-base-cantonese — модель семейства BERT, разработанная как продолжение предобучения bert-base-chinese на 198 млн токенов корпуса Cantonese Common Crawl. Словарь расширен примерно на 500 китайских иероглифов, часто встречающихся в кантонском языке, включая 冧, 噉, 麪, 笪, 冚 и 乸.

Модель предназначена для заполнения пропусков в тексте на кантонском языке. Она содержит около 129,9 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов. Доступны веса PyTorch и safetensors.

Лицензия — CC BY 4.0. README не приводит оценок качества, подробностей об обучении сверх корпуса и объёма токенов, а также конкретных ограничений применения.

Сценарии применения

  • предсказание пропущенного слова в кантонском тексте
  • восстановление замаскированных кантонских иероглифов
  • получение контекстных представлений кантонских фраз

Ограничения

README не содержит результатов оценки качества и подробного описания ограничений. Модель ориентирована на кантонский текст и имеет максимальный контекст 512 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделейI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-cantonese

This model is a continue pre-train version of bert-base-chinese on Cantonese Common Crawl dataset with 198m tokens.

Model description

This model has extended 500 more Chinese characters which very common in Cantonese, such as 冧, 噉, 麪, 笪, 冚, 乸 etc.

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 24
  • eval_batch_size: 8
  • seed: 42
  • gradient_accumulation_steps: 8
  • total_train_batch_size: 192
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.1
  • num_epochs: 1.0

Training results

Framework versions

  • Transformers 4.35.0.dev0
  • Pytorch 2.1.1+cu121
  • Datasets 2.14.6
  • Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
65442e1

0 моделей

    Создать бенчмарк