Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Базовая модель: distilbert-base-uncased-G1
Опубликована: 23 апр 2024

Ссылки

Hugging Face

distilbert-base-uncased-G2

ChakuChidiya

Разметка токеновТекст → label3 профессии

Дообученная на базе DistilBERT модель для разметки токенов во входном тексте.

8скачиваний за 30 дней0лайковвеса обновлены24 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ChakuChidiya/distilbert-base-uncased-G2 — дообученная модель DistilBERT для классификации токенов. Она основана на ChakuChidiya/distilbert-base-uncased-G1 и предназначена для задач разметки отдельных токенов во входном тексте. Архитектура — DistilBERT с головой token classification; длина контекста — до 512 токенов. Репозиторий содержит формат TensorFlow.

Модель опубликована ChakuChidiya и лицензирована по Apache-2.0. В карточке указано дообучение на неизвестном датасете, но конкретная схема меток, область применения и результаты оценки не описаны, поэтому пригодность для определённых видов разметки не установлена.

Сценарии применения

классификация токенов в тексте
разметка последовательностей токенов

Ограничения

Датасет дообучения, набор меток и результаты оценки не описаны, поэтому качество и пригодность для конкретных видов разметки не установлены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert-base-uncased-G2

This model is a fine-tuned version of ChakuChidiya/distilbert-base-uncased-G1 on an unknown dataset. It achieves the following results on the evaluation set:

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

optimizer: {'name': 'AdamWeightDecay', 'learning_rate': {'module': 'keras.optimizers.schedules', 'class_name': 'PolynomialDecay', 'config': {'initial_learning_rate': 2e-05, 'decay_steps': 1971, 'end_learning_rate': 0.0, 'power': 1.0, 'cycle': False, 'name': None}, 'registered_name': None}, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-08, 'amsgrad': False, 'weight_decay_rate': 0.07}
training_precision: float32

Training results

Framework versions

Transformers 4.37.0
TensorFlow 2.15.0
Datasets 2.14.5
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Класс архитектуры: DistilBertForTokenClassification
Ревизия весов: e7b0ae4