Компактная модель BERT для извлечения ответов на вопросы по юридическим документам CUAD.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
muhtasham/bert-small-finetuned-cuad — компактная модель BERT, дообученная на части набора CUAD для ответов на вопросы по юридическим документам. Она принимает вопрос и текст документа и извлекает из него ответ в формате задачи question answering.
Модель основана на google/bert_uncased_L-4_H-512_A-8, содержит 32,4 млн параметров и имеет контекст до 512 токенов. При обучении использованы первые 10% обучающей и первые 10% тестовой выборок CUAD, поэтому покрытие данных ограничено. Доступны веса PyTorch; лицензия — Apache-2.0.
Модель обучена только на первых 10% обучающей и тестовой выборок CUAD, поэтому её охват ограничен. Контекст ограничен 512 токенами, что может затруднять обработку длинных документов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a fine-tuned version of google/bert_uncased_L-4_H-512_A-8 on the portion of cuad dataset.
The model was not trained on the whole dataset but, the first 10% of train + the first 10% of test.
raw_datasets_train, raw_datasets_test = load_dataset("cuad", split=['train[:10%]', 'test[:10%]'])
datasets = DatasetDict({'train': raw_datasets_train, 'validation': raw_datasets_test})
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · question-answering
Подбираем GPU…