/ Модель

Характеристики

Контекст
512 токенов
Параметры
424 млн
Архитектура
bert · dense
Библиотека
sentence-transformers
Опубликована
30 июн 2024

xiaobu-embedding-v2

ЭмбеддингиТекст → embedding9 профессий

Плотная BERT-модель для получения эмбеддингов текста и оценки сходства предложений, обученная на данных xiaobu-embedding-v1 с использованием circle loss.

818скачиваний за 30 дней61лайквеса обновлены3 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки35

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • BQ

    main_score

    Результат

    0,7508

    MTEB

    Публичная таблицаревизия не подтверждена

  • PAWSX

    main_score

    Результат

    0,4742

    MTEB

    Публичная таблицаревизия не подтверждена

  • ATEC

    main_score

    Результат

    0,5881

    MTEB

    Публичная таблицаревизия не подтверждена

  • Cmnli

    main_score

    Результат

    0,8645

    MTEB

    Публичная таблицаревизия не подтверждена

  • T2Retrieval

    main_score

    Результат

    0,8501

    MTEB

    Публичная таблицаревизия не подтверждена

  • CLSClusteringP2P

    main_score

    Результат

    0,6042

    MTEB

    Публичная таблицаревизия не подтверждена

  • Ocnli

    main_score

    Результат

    0,8544

    MTEB

    Публичная таблицаревизия не подтверждена

  • VideoRetrieval

    main_score

    Результат

    0,8009

    MTEB

    Публичная таблицаревизия не подтверждена

  • LCQMC

    main_score

    Результат

    0,7982

    MTEB

    Публичная таблицаревизия не подтверждена

  • CmedqaRetrieval

    main_score

    Результат

    0,4714

    MTEB

    Публичная таблицаревизия не подтверждена

  • CMedQAv2-reranking

    main_score

    Результат

    0,9041

    MTEB

    Публичная таблицаревизия не подтверждена

  • AmazonReviewsClassification

    main_score

    Результат

    0,5007

    MTEB

    Публичная таблицаревизия не подтверждена

  • CMedQAv1-reranking

    main_score

    Результат

    0,9096

    MTEB

    Публичная таблицаревизия не подтверждена

  • STS22

    main_score

    Результат

    0,6696

    MTEB

    Публичная таблицаревизия не подтверждена

  • ThuNewsClusteringP2P

    main_score

    Результат

    0,7876

    MTEB

    Публичная таблицаревизия не подтверждена

  • MMarcoReranking

    main_score

    Результат

    0,3991

    MTEB

    Публичная таблицаревизия не подтверждена

  • DuRetrieval

    main_score

    Результат

    0,8944

    MTEB

    Публичная таблицаревизия не подтверждена

  • MassiveScenarioClassification

    main_score

    Результат

    0,853

    MTEB

    Публичная таблицаревизия не подтверждена

  • MultilingualSentiment

    main_score

    Результат

    0,7945

    MTEB

    Публичная таблицаревизия не подтверждена

  • JDReview

    main_score

    Результат

    0,8908

    MTEB

    Публичная таблицаревизия не подтверждена

  • STSB

    main_score

    Результат

    0,8205

    MTEB

    Публичная таблицаревизия не подтверждена

  • CovidRetrieval

    main_score

    Результат

    0,894

    MTEB

    Публичная таблицаревизия не подтверждена

  • ThuNewsClusteringS2S

    main_score

    Результат

    0,7196

    MTEB

    Публичная таблицаревизия не подтверждена

  • T2Reranking

    main_score

    Результат

    0,6903

    MTEB

    Публичная таблицаревизия не подтверждена

  • Waimai

    main_score

    Результат

    0,8934

    MTEB

    Публичная таблицаревизия не подтверждена

  • EcomRetrieval

    main_score

    Результат

    0,705

    MTEB

    Публичная таблицаревизия не подтверждена

  • MassiveIntentClassification

    main_score

    Результат

    0,7745

    MTEB

    Публичная таблицаревизия не подтверждена

  • MedicalRetrieval

    main_score

    Результат

    0,6819

    MTEB

    Публичная таблицаревизия не подтверждена

  • IFlyTek

    main_score

    Результат

    0,5176

    MTEB

    Публичная таблицаревизия не подтверждена

  • AFQMC

    main_score

    Результат

    0,6096

    MTEB

    Публичная таблицаревизия не подтверждена

  • CLSClusteringS2S

    main_score

    Результат

    0,4954

    MTEB

    Публичная таблицаревизия не подтверждена

  • QBQTC

    main_score

    Результат

    0,4514

    MTEB

    Публичная таблицаревизия не подтверждена

  • TNews

    main_score

    Результат

    0,5464

    MTEB

    Публичная таблицаревизия не подтверждена

  • OnlineShopping

    main_score

    Результат

    0,949

    MTEB

    Публичная таблицаревизия не подтверждена

  • MMarcoRetrieval

    main_score

    Результат

    0,8219

    MTEB

    Публичная таблицаревизия не подтверждена

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

xiaobu-embedding-v2 — модель эмбеддингов предложений, разработанная на основе piccolo-embedding. В версии v2 синтетические данные заменены данными, накопленными для xiaobu-embedding-v1; обучение объединяет шесть типов задач CMTEB с использованием circle loss и позволяет учитывать несколько положительных примеров из исходных наборов данных.

Модель предназначена для создания векторных представлений текста и вычисления сходства между предложениями, например для семантического поиска и поиска похожих фраз. Это плотная модель архитектуры BERT с 424,3 млн параметров и контекстом до 512 токенов; доступна в форматах PyTorch, Safetensors и ONNX, используется через Sentence-Transformers. README указывает на задачи CMTEB, но не сообщает конкретные языки поддержки. Условия лицензии в предоставленных данных не приведены.

Сценарии применения

  • семантический поиск по текстовым фрагментам
  • поиск предложений, похожих по смыслу
  • сравнение сходства пары текстов

Ограничения

Контекст ограничен 512 токенами. В предоставленных материалах не указаны конкретные языки поддержки и лицензия.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

xiaobu-embedding-v2

基于piccolo-embedding[1],主要改动如下:

  • 合成数据替换为xiaobu-embedding-v1[2]所积累数据
  • 在circle_loss[3]视角下统一处理CMTEB的6类问题,最大优势是可充分利用原始数据集中的多个正例,其次是可一定程度上避免考虑多个不同loss之间的权重问题

Usage (Sentence-Transformers)

pip install -U sentence-transformers

相似度计算:

from sentence_transformers import SentenceTransformer
sentences_1 = ["样例数据-1", "样例数据-2"]
sentences_2 = ["样例数据-3", "样例数据-4"]
model = SentenceTransformer('lier007/xiaobu-embedding-v2')
embeddings_1 = model.encode(sentences_1, normalize_embeddings=True)
embeddings_2 = model.encode(sentences_2, normalize_embeddings=True)
similarity = embeddings_1 @ embeddings_2.T
print(similarity)

Reference

  1. https://github.com/hjq133/piccolo-embedding
  2. https://huggingface.co/lier007/xiaobu-embedding
  3. https://arxiv.org/abs/2002.10857

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
1912f2e

0 моделей