/ Модель

Характеристики

Контекст
514 токенов
Параметры
137 млн
Лицензия
GPL 3.0
Архитектура
mpnet · dense
Опубликована
21 мар 2023

FewShotIssueClassifier-NLBSE23

ЭмбеддингиТекст → embedding7 профессий

Англоязычная модель SetFit на базе MPNet для классификации отчётов о проблемах в проектах и представления текстов в виде векторов для поиска и кластеризации.

115скачиваний за 30 дней4лайкавеса обновлены13 мая 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FewShotIssueClassifier-NLBSE23 — модель на базе SetFit и Sentence Transformers, разработанная для классификации отчётов об ошибках в четырёх категориях: bug, documentation, feature и question. Она дообучена на размеченной вручную части набора NLBSE23 и кодирует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов и кластеризации.

Модель построена на архитектуре MPNet, содержит 136,7 млн параметров и принимает текст с контекстом до 514 токенов. Основной сценарий — классификация сообщений об ошибках и запросах в проектах; векторы также пригодны для семантического поиска и группировки похожих отчётов. Поддерживаемый язык карточки — английский. Модель распространяется по лицензии GPL-3.0.

Сценарии применения

  • классификация сообщений проекта как ошибка, документация, функция или вопрос
  • поиск похожих отчётов об ошибках по смыслу
  • кластеризация обращений и сообщений проекта
  • получение векторных представлений описаний проблем

Ограничения

Обучена на размеченной вручную подвыборке NLBSE23 и предназначена для четырёх заданных категорий; её применение к другим тематикам или схемам меток может потребовать дополнительной проверки или дообучения.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FewShotIssueClassifier-NLBSE23

This is a SetFit model using Sentence Transformers to map sentences & paragraphs to a 768 dimensional dense vector space. It be used for tasks like clustering or semantic search.

This specific model is fine-tuned for Issue Report Classification in 4 classes: bug, documentation, feature, question

Usage

You can use the model like this:

from sentence_transformers.losses import CosineSimilarityLoss
from setfit import SetFitModel
from setfit import SetFitTrainer
sentences = ["error in line 20", "add method list_features"]

label_mapping = {
  0 : "bug",
  1 : "documentation",
  2 : "feature",
  3 : "question"
}

model = SetFitModel.from_pretrained('PeppoCola/FewShotIssueClassifier-NLBSE23')
predictions = model.predict(sentences)
print([label_mapping[i] for i in predictions])

Dataset

This model is trained on a subset of the NLBSE23 dataset. The sample was hand-labeled, and made available on Zenodo

Citing & Authors

@software{Colavito_Few-Shot_Learning_for_2023,
	title        = {{Few-Shot Learning for Issue Report Classification}},
	author       = {Colavito, Giuseppe and Lanubile, Filippo and Novielli, Nicole},
	year         = 2023,
	month        = 2,
	url          = {https://github.com/collab-uniba/Issue-Report-Classification-NLBSE2023},
	version      = {1.0.0}
}

@dataset{colavito_giuseppe_2023_7628150,
  author       = {Colavito Giuseppe and
                  Lanubile Filippo and
                  Novielli Nicole},
  title        = {Few-Shot Learning for Issue Report Classification},
  month        = feb,
  year         = 2023,
  note         = {{To use this, merge the CSV with the original 
                   dataset (after removing duplicates on the 'id'
                   column)}},
  publisher    = {Zenodo},
  doi          = {10.5281/zenodo.7628150},
  url          = {https://doi.org/10.5281/zenodo.7628150}
}
@inproceedings{Colavito-2023,
	title        = {Few-Shot Learning for Issue Report Classification},
	author       = {Colavito, Giuseppe and Lanubile, Filippo and Novielli, Nicole},
	year         = 2023,
	booktitle    = {2nd International Workshop on Natural Language-Based Software Engineering (NLBSE)}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MPNetModel
Ревизия весов
e4f7e60

0 моделей