/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
152 млн
Лицензия
MIT
Архитектура
bert · dense
Опубликована
16 апр 2023

Ссылки

Hugging Face

mlm-20230416-003-1

intanm
Заполнение пропусковТекст → текст3 профессии

BERT-модель для предсказания пропущенных слов в индонезийских финансовых новостях.

71скачиваний за 30 дней0лайковвеса обновлены17 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mlm-20230416-003-1 — дообученная модель семейства BERT, разработанная на основе indobenchmark/indobert-base-p1. Она предназначена для заполнения пропусков в тексте: модель предсказывает замаскированный токен с учётом окружающего контекста. Число параметров — 151,6 млн, длина контекста — до 512 токенов; формат весов — PyTorch.

Модель обучалась на наборе intanm/financial_news_id_v1.0, поэтому её применение связано с финансовыми новостями на индонезийском языке. В README приведён результат оценки Loss 2,3201, но подробности тестирования и ограничения не описаны. Лицензия — MIT.

Сценарии применения

  • предсказание пропущенного слова в финансовой новости
  • восстановление замаскированных токенов в индонезийском тексте
  • анализ языковых шаблонов в финансовых новостях
  • оценка вероятных продолжений фрагмента финансового текста

Ограничения

README не раскрывает подробности обучающих и оценочных данных, кроме ссылки на набор финансовых новостей, а также не описывает ограничения применения. Приведено только значение Loss 2,3201 без контекста методики оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlm-20230416-003-1

This model is a fine-tuned version of indobenchmark/indobert-base-p1 on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 2.3201

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 20

Training results

Training LossEpochStepValidation Loss
No log1.03304.2545
5.09122.06603.6314
5.09123.09903.2435
3.70164.013203.0558
3.225.016502.9062
3.226.019802.8126
2.9467.023102.6621
2.76828.026402.5513
2.76829.029702.5651
2.62410.033002.5347
2.546611.036302.4664
2.546612.039602.4375
2.449613.042902.4663
2.39514.046202.3948
2.39515.049502.4003
2.337716.052802.3072
2.288117.056102.3502
2.288118.059402.3236
2.265919.062702.3138
2.241920.066002.3359

Framework versions

  • Transformers 4.28.1
  • Pytorch 2.0.0+cu118
  • Datasets 2.11.0
  • Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
c0371b9

0 моделей

    Создать бенчмарк