Дообученная китайская RoBERTa WWM Ext Large для ответов на вопросы по тексту и задач машинного чтения с пониманием.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель luhua/chinese_pretrain_mrc_roberta_wwm_ext_large разработана как дообученная версия RoBERTa WWM Ext Large, обученная на большом объёме китайских данных для машинного чтения с пониманием текста (MRC). В метаданных архитектура указана как BERT с классом BertForQuestionAnswering; модель содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов.
Основное назначение — отвечать на вопросы по предоставленному тексту и решать задачи китайского чтения с пониманием. В README также заявлено улучшение результатов в задачах классификации и приведены упоминания высоких мест участников соревнований DuReader-2021 и Tencent Medical, однако полные таблицы результатов в доступном тексте отсутствуют. Модель работает с текстом на китайском языке и опубликована в формате PyTorch.
Лицензия — Apache-2.0. README не приводит подробностей о конкретной процедуре обучения или ограничениях качества за пределами указанных задач.
Контекст ограничен 512 токенами. README не содержит полной таблицы метрик, поэтому заявленное улучшение результатов нельзя оценить по предоставленным данным.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
| 模型/数据集 | Dureader-2021 | tencentmedical |
|---|---|---|
| F1-score | Accuracy | |
| dev / A榜 | test-1 | |
| macbert-large (哈工大预训练语言模型) | 65.49 / 64.27 | 82.5 |
| roberta-wwm-ext-large (哈工大预训练语言模型) | 65.49 / 64.27 | 82.5 |
| macbert-large (ours) | 70.45 / 68.13 | 83.4 |
| roberta-wwm-ext-large (ours) | 68.91 / 66.91 | 83.1 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · question-answering
Подбираем GPU…