Характеристики

Лицензия: Apache 2.0
Базовая модель: ModernBERT-base
Библиотека: transformers
Опубликована: 24 дек 2024

Ссылки

Hugging Face

populism_multilingual_modernbert_base

AnonymousCS

Заполнение пропусковТекст → текст

Дообученная ModernBERT-base для заполнения пропусков в тексте.

0скачиваний за 30 дней1лайквеса обновлены20 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная версия answerdotai/ModernBERT-base, опубликованная пользователем AnonymousCS. Модель относится к семейству ModernBERT и предназначена для заполнения пропусков в тексте; метаданные Hugging Face указывают задачу fill-mask и библиотеку Transformers. Базовая модель имеет encoder-only архитектуру и около 149 млн параметров.

Карточка не описывает датасет, языки обучения, качество, контекстное окно или специальные сценарии для популизма, поэтому такие свойства нельзя подтвердить по доступным сведениям. Репозиторий использует формат safetensors и лицензию Apache-2.0; базовая ModernBERT-base в каталоге описана как англоязычная, но мультиязычность этой производной карточкой не подтверждена.

Сценарии применения

восстановление пропущенных слов в предложении
подстановка маскированного слова при анализе текста
создание признаков на основе контекстного представления текста

Ограничения

README не приводит сведения о датасете, метриках, поддержке языков или целевом применении к популизму; мультиязычность из названия не подтверждена. Для базовой ModernBERT указано английское назначение, поэтому пригодность этой версии для других языков не установлена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

populism_multilingual_modernbert_base

This model is a fine-tuned version of answerdotai/ModernBERT-base on an unknown dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 64
eval_batch_size: 16
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Framework versions

Transformers 4.49.0.dev0
Pytorch 2.5.1+cu121
Datasets 3.2.0
Tokenizers 0.21.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: b60137d