Характеристики
- Контекст
- 512 токенов
- Параметры
- 534 млн
- Архитектура
- deberta-v2 · dense
- Опубликована
- 28 авг 2023
Ссылки
cross-encoder-stsb-deberta-v3-large
Крупная DeBERTa-v3 cross-encoder модель для оценки семантического сходства пар англоязычных текстов, переранжирования и текстовой классификации.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
yunyu/cross-encoder-stsb-deberta-v3-large — модель, опубликованная пользователем yunyu на Hugging Face. Это cross-encoder на архитектуре DeBERTa-v3-large, дообученный для оценки семантического сходства пар текстов на основе задачи STS-B. Модель принимает пару текстов и возвращает оценку их смысловой близости, поэтому подходит для классификации и ранжирования текстовых пар.
Модель содержит около 533,8 млн параметров и поддерживает контекст длиной до 512 токенов. В метаданных Hugging Face она обозначена как text-classification; используются Transformers и PyTorch. Основной сценарий — переранжирование результатов поиска, сопоставление пользовательского запроса с документами или описаниями, а также фильтрация и оценка семантического сходства в RAG-конвейерах.
Как cross-encoder модель обрабатывает две последовательности совместно и обычно требует отдельного вычисления для каждой пары, что ограничивает производительность при массовом сравнении большого числа кандидатов. Контекст ограничен 512 токенами. Сведения о лицензии в доступных источниках не установлены.
Сценарии применения
- переранжирование результатов семантического поиска
- сопоставление запроса с фрагментами документов в RAG
- оценка сходства двух предложений
- поиск наиболее релевантных описаний или ответов
- фильтрация дубликатов и близких текстовых пар
Ограничения
Модель ограничена контекстом до 512 токенов и требует отдельного совместного прогонки каждой пары текстов, поэтому массовое сравнение может быть вычислительно затратным. Сведения о лицензии в доступных источниках не установлены.
Для каких профессий подходит10
Разделы каталога профессий, в задачах которых используется эта модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…
- Класс архитектуры
- DebertaV2ForSequenceClassification
- Ревизия весов
- 4c366ce