/ Модель

Характеристики

Контекст
512 токенов
Параметры
136 млн
Архитектура
bert · dense
Опубликована
2 мар 2022

PruebaBert

Ответы на вопросыТекст → текст3 профессии

Англоязычная BERT-модель, дообученная на научных публикациях CORD-19 для ответов на вопросы по тексту.

56скачиваний за 30 дней0лайковвеса обновлены2 авг 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

JAlexis/PruebaBert — англоязычная модель для ответов на вопросы, созданная дообучением deepset/bert-base-cased-squad2 на наборе научных публикаций CORD-19 от 31 января 2022 года. Она использует архитектуру BERT и предназначена для извлечения ответов из предоставленного текста, в частности из материалов о COVID-19 и биомедицинских исследованиях.

Модель содержит 135,5 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Для обучения использовались Haystack и FARM; в метаданных указан формат PyTorch. Лицензия в предоставленных данных не обозначена.

Сценарии применения

  • поиск ответов на вопросы в научных статьях CORD-19
  • извлечение фактов из публикаций о COVID-19
  • ответы на вопросы по биомедицинским текстам
  • поиск сведений в предоставленном англоязычном отрывке

Ограничения

Ограничение контекста — 512 токенов; модель предназначена для англоязычного текста и специализируется на материалах, близких к обучающим данным CORD-19. Лицензия в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model description

This model was obtained by fine-tuning deepset/bert-base-cased-squad2 on Cord19 Dataset.

How to use

from transformers.pipelines import pipeline
model_name = "JAlexis/PruebaBert"
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
inputs = {
    'question': 'How can I protect myself against covid-19?',
    'context': 'Preventative measures consist of recommendations to wear a mask in public, maintain social distancing of at least six feet, wash hands regularly, and use hand sanitizer. To facilitate this aim, we adapt the conceptual model and measures of Liao et al. [6] to the current context of the COVID-19 pandemic and the culture of the USA. Applying this model in a different time and context provides an opportunity to make comparisons of reactions to information sources across a decade of evolving attitudes toward media and government, between two cultures (Hong Kong vs. the USA), and between two considerably different global pandemics (H1N1 vs. COVID-19). ',
    'question': 'How can I protect myself against covid-19?',
    'context': ' ',
}
nlp(inputs)

Overview

Language model: deepset/bert-base-cased-squad2
Language: English
Downstream-task: Q&A
Datasets: CORD-19 from 31rd January 2022
Code: Haystack and FARM
Infrastructure: Tesla T4

Hyperparameters

batch_size = 8
n_epochs = 9
max_seq_len = max_length
learning_rate = AdamW: 1e-5

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForQuestionAnswering
Ревизия весов
f00fee7

0 моделей