Характеристики

Контекст: 512 токенов
Параметры: 129 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: chinese-roberta-wwm-ext
Библиотека: transformers
Опубликована: 23 сен 2024

Ссылки

Hugging Face

adl_hw1_qa_model2

b09501048

Ответы на вопросыТекст → текст

Дообученная китайская BERT-модель для поиска ответов на вопросы в тексте.

7скачиваний за 30 дней0лайковвеса обновлены23 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

adlhw1qamodel2 — дообученная модель на базе hfl/chinese-roberta-wwm-ext для ответа на вопросы по тексту. Она использует архитектуру BERT и содержит 129,5 млн параметров; максимальная длина контекста — 512 токенов. В карточке приведён результат оценки: loss 0,6794, однако набор данных и методика оценки не описаны.

Модель поддерживает задачу question-answering и распространяется в формате Safetensors по лицензии Apache-2.0. Базовая модель предназначена для китайского языка; README не уточняет языки и сценарии дообученной версии, поэтому её специализацию и качество на конкретных данных следует оценивать отдельно.

Сценарии применения

извлечение ответа из предоставленного текста по вопросу
создание прототипа системы вопросов и ответов на китайском языке
поиск ответов в китайских текстовых документах

Ограничения

Данные обучения не описаны, а единственная указанная метрика — loss 0,6794 без подробностей о наборе и методике оценки. Не следует считать, что качество проверено на произвольных текстах или вне китайского языка.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

adl_hw1_qa_model2

This model is a fine-tuned version of hfl/chinese-roberta-wwm-ext on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.6794

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 256
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss
No log	1.0	85	0.8146
No log	2.0	170	0.6870
No log	3.0	255	0.6794

Framework versions

Transformers 4.44.2
Pytorch 2.4.1+cu121
Datasets 3.0.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForQuestionAnswering
Ревизия весов: ee6bed0