/ Модель

Характеристики

Контекст
512 токенов
Параметры
25,9 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Опубликована
28 ноя 2023

test-setfit-sst2-diff-head

ЭмбеддингиТекст → embedding6 профессий

Тестовая модель SetFit на основе BERT для классификации текста и получения эмбеддингов предложений.

2 753скачиваний за 30 дней0лайковвеса обновлены28 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SetFit/test-setfit-sst2-diff-head — модель классификации текста на основе BERT и подхода SetFit. В репозитории SetFit её использовали как тестовый пример; разработчики отмечают, что модель не обучалась для достижения высокого качества. Чекпойнт содержит около 25,9 млн параметров и рассчитан на входные последовательности длиной до 512 токенов.

SetFit сочетает дообучение Sentence Transformer контрастивным обучением и обучение классификационной головы на полученных признаках. Модель предназначена для классификации текста; каталог также отмечает извлечение признаков и оценку сходства предложений. Поддерживает обработку текста и выдаёт классы и текстовые эмбеддинги. Используется формат PyTorch; лицензия Apache-2.0.

Сценарии применения

  • классификация коротких текстов по тональности
  • извлечение эмбеддингов предложений
  • сравнение семантического сходства предложений

Ограничения

Разработчики указывают, что модель создана только для тестов SetFit и не обучалась для высокой точности. Контекст ограничен 512 токенами.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SetFit/test-setfit-sst2-diff-head

NOTE: This model exists only for test cases in the SetFit repository, it was not trained to be strong.

This is a SetFit model that can be used for text classification. The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Usage

To use this model for inference, first install the SetFit library:

python -m pip install setfit

You can then run inference as follows:

from setfit import SetFitModel

# Download from Hub and run inference
model = SetFitModel.from_pretrained("SetFit/test-setfit-sst2-diff-head")
# Run inference
preds = model(["i loved the spiderman movie!", "pineapple on pizza is the worst 🤮"])

BibTeX entry and citation info

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
1162c12

0 моделей