Характеристики

Контекст: 512 токенов
Параметры: 434 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 11 июл 2023

Ссылки

Hugging Face

wikipedia_categories_setfit

KnutJaegersberg

Сходство предложенийТекст → score

Англоязычный SetFit-классификатор для отнесения текстов к примерно 37 категориям Википедии при исследовании корпусов.

104скачиваний за 30 дней1лайквеса обновлены11 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KnutJaegersberg/wikipedia_categories_setfit — англоязычный классификатор на основе SetFit и e5-large, обученный предсказывать примерно 37 категорий Википедии. Для обучения использовались объединённые заголовки статей нижнего уровня категорий в режиме few-shot: по восемь подкатегорий на каждую категорию второго уровня. Модель принимает текст и выдаёт категорию; для сопоставления результатов с названиями категорий используйте набор данных KnutJaegersberg/wikipedia_categories_labels.

На тестовом разбиении указана точность 85%; автор рассматривает эту оценку как признак успешного обучения, а модель — как инструмент для исследования корпусов, поскольку результаты могут отличаться в производственных данных. Максимальная длина контекста — 512 токенов. Модель опубликована под лицензией MIT.

Сценарии применения

предварительная классификация англоязычных текстов по категориям Википедии
исследование тематического состава корпуса статей
группировка текстов по категориям второго уровня Википедии

Ограничения

Заявленная точность 85% получена на тестовом разбиении и не гарантирует таких же результатов на рабочих данных. Модель предназначена прежде всего для исследования корпусов; обучение охватывает примерно 37 категорий и использует few-shot данные.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This English model (e5-large as basis) predicts wikipedia categories (roundabout 37 labels). It is trained on the concatenation of the headlines of the lower level categories articles in few shot setting (i.e. 8 subcategories with their headline concatenations per level 2 category). Accuracy on test data split is 85 %. Note that these numbers are just an indicator that training worked, it will differ in production settings, which is why this classifier is meant for corpus exploration.
Use the wikipedia_categories_labels dataset as key.

from setfit import SetFitModel

Download from Hub and run inference model = SetFitModel.from_pretrained("KnutJaegersberg/wikipedia_categories_setfit")

Run inference preds = model(["i loved the spiderman movie!", "pineapple on pizza is the worst 🤮"])

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели SetFit требуют отдельного рантайма.

Класс архитектуры: BertModel
Ревизия весов: 3a1c4d1