We released the German Question Answering model fine-tuned with our own German Question Answering dataset (deQuAD) containing 130k training and 11k test QA pairs.
Overview
- Language model: electra-base-german-uncased
- Language: German
- Training data: deQuAD2.0 training set (~42MB)
- Evaluation data: deQuAD2.0 test set (~4MB)
- Infrastructure: 8xV100 GPU
Evaluation
We benchmarked the question answering performance on our deQuAD test data with some German language models. The fine-tuned electra-base-german-uncased model gives the best performance (Exact Match/F1).
| Model | All | HasAns | NoAns |
|---|---|---|---|
| electra-base-german-uncased | 70.97/76.18 | 67.73/78.02 | 74.29/74.29 |
| bert-base-german-cased | 58.98/64.77 | 49.19/60.63 | 69.03/69.03 |
| bert-base-german-dbmdz-uncased | 63.70/68.00 | 57.03/65.52 | 70.51/70.51 |
| dbmdz/bert-base-german-europeana-uncased | 58.79/63.38 | 52.14/61.22 | 65.59/65.59 |
Use Model in Pipeline
from transformers import pipeline
qa_pipeline = pipeline(
"question-answering",
model="deutsche-telekom/electra-base-de-squad2",
tokenizer="deutsche-telekom/electra-base-de-squad2"
)
contexts = ['''Die Robert Bosch GmbH ist ein im Jahr 1886 von Robert Bosch gegründetes multinationales deutsches Unternehmen.
Es ist tätig als Automobilzulieferer, Hersteller von Gebrauchsgütern und Industrie- und Gebäudetechnik und darüber hinaus
in der automatisierten Verpackungstechnik, wo Bosch den führenden Platz einnimmt. Die Robert Bosch GmbH und ihre rund 460
Tochter- und Regionalgesellschaften in mehr als 60 Ländern bilden die Bosch-Gruppe. Der Sitz der Geschäftsführung befindet
sich auf der Schillerhöhe in Gerlingen, der Firmensitz in Stuttgart. Seit dem 1. Juli 2012 ist Volkmar Denner Vorsitzender
der Geschäftsführung. Im Jahr 2015 konnte Bosch die Spitzenposition zurückgewinnen. Die Automobilsparte war im Jahr 2018
für 61 % des Konzernumsatzes von Bosch verantwortlich. Das Unternehmen hatte im Jahr 2018 in Deutschland an 85 Standorten
139.400 Mitarbeiter.''']*2
questions = ["Wer leitet die Robert Bosch GmbH?",
"Wer begründete die Robert Bosch GmbH?"]
qa_pipeline(context=contexts, question=questions)
Output
[{'score': 0.9537325501441956,
'start': 577,
'end': 591,
'answer': 'Volkmar Denner'},
{'score': 0.8804352879524231,
'start': 47,
'end': 59,
'answer': 'Robert Bosch'}]
License - The MIT License
Copyright (c) 2021 Fang Xu, Deutsche Telekom AG