Модель RoBERTa для разметки английских предложений семантическими фреймами FrameNet в задаче классификации токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
liyucheng/frame_finder — модель на архитектуре RoBERTa, разработанная для классификации семантических фреймов в предложениях по FrameNet v1.7. Разметка сведена к задаче последовательной классификации токенов: модель назначает метки фреймов словам в контексте предложения.
Модель предназначена для анализа английского текста и автоматической разметки семантических ролей и фреймов в предложениях. Она содержит 151,8 млн параметров, имеет контекст длиной до 514 токенов и представлена в формате PyTorch. В README указаны accuracy, precision, recall и micro-F1 около 0,838, а macro-F1 — около 0,458.
Модель обучена на FrameNet v1.7; репозиторий датасета указан как liyucheng/FrameNet_v17. Лицензия репозитория — CC. Низкое значение macro-F1 указывает на возможные трудности с редкими классами; качество может зависеть от распределения фреймов и соответствия входного текста обучающим данным.
Макро-F1 в README заметно ниже micro-F1, поэтому качество может быть низким для редких фреймов. Модель обучена на FrameNet v1.7 и предназначена для английского текста.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is trained FrameNet v1.7. Check out the training dataset here.
The data is loaded with ds = dataset.load_dataset('liyucheng/FrameNet_v17', name = 'frame_label').
This flatten all frame annotation to specific sentences, making frame classification a sequence tagging task.
{'accuracy_score': 0.8382018348623853, 'precision': 0.8382018348623853, 'recall': 0.8382018348623853, 'micro_f1': 0.8382018348623853, 'macro_f1': 0.45824850358482677}
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…