Дообученная GPT-2 для ответов на вопросы по контексту на персидском языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
m3hrdadfi/gpt2-persian-qa — дообученная модель GPT-2 для ответов на вопросы по тексту на персидском языке. Её обучали на PersianQA и оценивали на PersianQA и задаче чтения с пониманием из ParsinLU; карточка также упоминает демонстрационное приложение на Streamlit.
Модель предназначена для сценариев вопросно-ответного поиска по предоставленному контексту. Она использует плотную архитектуру GPT2LMHeadModel, принимает текст и генерирует текстовый ответ. Максимальная длина контекста — 1024 токена; доступны веса в форматах PyTorch и TensorFlow.
В README приведены F1 45,93 и Exact Match 23,19 для PersianQA, а для ParsNLU — F1 46,95 и Exact Match 20,39. Эти результаты относятся к указанным наборам данных. Инструкция по использованию в карточке пока не заполнена. Лицензия и число параметров в предоставленных источниках не указаны.
Показатели оценки на PersianQA и ParsNLU умеренные и могут не переноситься на другие данные. В README отсутствует инструкция по использованию модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
It is a new approach to using GPT2 in other downstream NLP tasks like QA. The model was trained on PersianQA and evaluated on PersianQA and PersiNLU (Reading Comprehension).
The following table summarizes the scores obtained by the model.
| Dataset | F1 Score (%) | Exact Match (%) | Total (#) |
|---|---|---|---|
| ParsNLU | 46.95 | 20.39 | 564 |
| PersianQA | 45.93 | 23.19 | 651 |
TODO (will be filled shortly)...
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…