Характеристики

Контекст: 512 токенов
Параметры: 3,3 млрд
Архитектура: albert · dense

Ссылки

Hugging Face

albert_xxlargev1_squad2_512

ahotrod

Ответы на вопросыТекст → текст7 профессий

Англоязычная ALBERT-модель для извлечения ответов на вопросы из текста, обученная для задачи SQuAD 2.0.

82скачиваний за 30 дней6лайковвеса обновлены11 дек 2020

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ahotrod/albert_xxlargev1_squad2_512 — англоязычная модель семейства ALBERT для поиска ответов на вопросы по предоставленному тексту. В метаданных указаны архитектура AlbertForQuestionAnswering, 3,3 млрд параметров и контекст до 512 токенов; доступны веса PyTorch и TensorFlow.

README приводит результаты на наборе SQuAD 2.0: exact match 86,11 и F1 89,35 по 11 873 примерам, включая вопросы с ответом и без ответа. Модель подходит для извлечения ответа из контекста, в том числе для определения случаев, когда в тексте нет ответа. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Сценарии применения

извлечение ответа из фрагмента текста
ответы на вопросы по документу
определение, есть ли ответ на вопрос в тексте

Ограничения

Оценки в README относятся к SQuAD 2.0 и сами по себе не подтверждают качество на других данных. Лицензия и условия использования в предоставленных материалах не указаны.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Albert xxlarge version 1 language model fine-tuned on SQuAD2.0

(updated 30Sept2020) with the following results:

exact: 86.11134506864315
f1: 89.35371214945009
total': 11873
HasAns_exact': 83.56950067476383
HasAns_f1': 90.06353312254078
HasAns_total': 5928
NoAns_exact': 88.64592094196804
NoAns_f1': 88.64592094196804
NoAns_total': 5945
best_exact': 86.11134506864315
best_exact_thresh': 0.0
best_f1': 89.35371214944985
best_f1_thresh': 0.0

from script:

python ${EXAMPLES}/run_squad.py \
  --model_type albert \
  --model_name_or_path albert-xxlarge-v1 \
  --do_train \
  --do_eval \
  --train_file ${SQUAD}/train-v2.0.json \
  --predict_file ${SQUAD}/dev-v2.0.json \
  --version_2_with_negative \
  --do_lower_case \
  --num_train_epochs 3 \
  --max_steps 8144 \
  --warmup_steps 814 \
  --learning_rate 3e-5 \
  --max_seq_length 512 \
  --doc_stride 128 \
  --per_gpu_train_batch_size 6 \
  --gradient_accumulation_steps 8 \
  --per_gpu_eval_batch_size 48 \
  --fp16 \
  --fp16_opt_level O1 \
  --threads 12 \
  --logging_steps 50 \
  --save_steps 3000 \
  --overwrite_output_dir \
  --output_dir ${MODEL_PATH}

using the following software & system:

Transformers: 3.1.0
PyTorch: 1.6.0
TensorFlow: 2.3.1
Python: 3.8.1
OS: Linux-5.4.0-48-generic-x86_64-with-glibc2.10
CPU/GPU: Intel i9-9900K / NVIDIA Titan RTX 24GB

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры: AlbertForQuestionAnswering
Ревизия весов: 291f0fa