/ Модель

Характеристики

Контекст
512 токенов
Параметры
424 млн
Лицензия
CC BY-NC 4.0
Архитектура
bert · dense
Библиотека
sentence-transformers
Опубликована
22 авг 2024

Conan-embedding-v1

ЭмбеддингиТекст → embedding9 профессий

Китайская BERT-модель Tencent для создания текстовых эмбеддингов, семантического поиска и сравнения предложений.

495 тыс.скачиваний за 30 дней166лайковвеса обновлены27 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки19

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • OnlineShopping

    main_score

    Результат

    0,9507

    MTEB

    Публичная таблицаревизия не подтверждена

  • ReMe

    main_score

    Результат

    0,5165

    Общий результат 0,7161Общий результат 0,5295
    MTEB

    Публичная таблицаревизия не подтверждена

  • MemGovern

    main_score

    Результат

    0,7272

    Общий результат 0,7927Общий результат 0,7556Общий результат 0,6882
    MTEB

    Публичная таблицаревизия не подтверждена

  • EPBench

    main_score

    Результат

    0,3015

    Общий результат 0,9Общий результат 0,7723Общий результат 0,73
    MTEB

    Публичная таблицаревизия не подтверждена

  • MemBench

    main_score

    Результат

    0,3623

    Общий результат 0,0028
    MTEB

    Публичная таблицаревизия не подтверждена

  • ConvoMem

    main_score

    Результат

    0,7009

    Общий результат 0,4657
    MTEB

    Публичная таблицаревизия не подтверждена

  • TMD

    main_score

    Результат

    0,3335

    Общий результат 0,3212Общий результат 0,0133
    MTEB

    Публичная таблицаревизия не подтверждена

  • Waimai

    main_score

    Результат

    0,897

    MTEB

    Публичная таблицаревизия не подтверждена

  • AmazonReviewsClassification

    main_score

    Результат

    0,5031

    MTEB

    Публичная таблицаревизия не подтверждена

  • KnowMeBench

    main_score

    Результат

    0,2248

    MTEB

    Публичная таблицаревизия не подтверждена

  • Gorilla

    main_score

    Результат

    0,1853

    MTEB

    Публичная таблицаревизия не подтверждена

  • MassiveIntentClassification

    main_score

    Результат

    0,7814

    MTEB

    Публичная таблицаревизия не подтверждена

  • DuRetrieval

    main_score

    Результат

    0,8853

    MTEB

    Публичная таблицаревизия не подтверждена

  • LongMemEval

    main_score

    Результат

    0,7918

    MTEB

    Публичная таблицаревизия не подтверждена

  • LoCoMo

    main_score

    Результат

    0,2044

    MTEB

    Публичная таблицаревизия не подтверждена

  • AFQMC

    main_score

    Результат

    0,6066

    MTEB

    Публичная таблицаревизия не подтверждена

  • DeepPlanning

    main_score

    Результат

    0,377

    MTEB

    Публичная таблицаревизия не подтверждена

  • BQ

    main_score

    Результат

    0,7451

    MTEB

    Публичная таблицаревизия не подтверждена

  • LooGLE

    main_score

    Результат

    0,2903

    MTEB

    Публичная таблицаревизия не подтверждена

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Conan-embedding-v1 — модель эмбеддингов от Tencent, представленная в формате sentence-transformers и основанная на архитектуре BERT. Она преобразует текст в векторные представления для поиска и сравнения текстов; в карточке приведены результаты на задачах извлечения, ранжирования, кластеризации и оценки сходства предложений. Модель содержит 424,3 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и safetensors.

В метаданных указан китайский язык. По опубликованному сравнению модель показывает средний результат 72,62, а также результаты по отдельным категориям MTEB. Подробности обучения отсылаются к техническому отчёту, который не включён в карточку. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Сценарии применения

  • семантический поиск по китайским документам
  • поиск подходящих фрагментов для RAG
  • сравнение сходства двух предложений
  • ранжирование текстов по релевантности запросу
  • кластеризация китайских текстов

Ограничения

Контекст ограничен 512 токенами. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Conan-embedding-v1

Performance

ModelAverageCLSClusteringRerankingRetrievalSTSPair_CLS
gte-Qwen2-7B-instruct72.0575.0966.0668.9276.0365.3387.48
xiaobu-embedding-v272.4374.6765.1772.5876.564.5391.87
Conan-embedding-v172.6275.0366.3372.7676.6764.1891.66

Methods and Training Detials

Please refer to our technical report.

Citation

If you find our models / papers useful in your research, please consider giving ❤️ and citations. Thanks!

@misc{li2024conanembeddinggeneraltextembedding,
  title={Conan-embedding: General Text Embedding with More and Better Negative Samples}, 
  author={Shiyu Li and Yang Tang and Shizhe Chen and Xi Chen},
  year={2024},
  eprint={2408.15710},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2408.15710}, 
}

About

Created by the Tencent BAC Group. All rights reserved.

License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
bb9749a

0 моделей