/ Модель
Каталог

Характеристики

Контекст
514 токенов
Параметры
659 млн
Лицензия
MIT
Архитектура
xlm-roberta · dense
Опубликована
9 дек 2023

Ссылки

Hugging Face

Solon-embeddings-large-0.1

OrdalieTech
ЭмбеддингиТекст → embedding9 профессий

Франкоязычная модель OrdalieTech на базе XLM-RoBERTa для получения текстовых эмбеддингов и семантического поиска, сравнения и ранжирования текстов.

346 тыс.скачиваний за 30 дней55лайковвеса обновлены26 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки29

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MasakhaNEWSClusteringS2S

    main_score

    Результат

    0,5281

    MTEB

    Публичная таблицаревизия совпадает

  • MTOPDomainClassification

    main_score

    Результат

    0,9046

    MTEB

    Публичная таблицаревизия совпадает

  • SIB200ClusteringS2S

    main_score

    Результат

    0,2776

    Общий результат 0,3621Общий результат 0,3109Общий результат 0,2757
    MTEB

    Публичная таблицаревизия совпадает

  • IN22GenBitextMining

    Среднее по поднаборам

    Результат

    0,7682

    MTEB

    Расчёт каталогаревизия совпадает

  • AmazonReviewsClassification

    main_score

    Результат

    0,3541

    MTEB

    Публичная таблицаревизия совпадает

  • CUREv1

    main_score

    Результат

    0,4538

    Общий результат 0,4057
    MTEB

    Публичная таблицаревизия совпадает

  • Tatoeba

    main_score

    Результат

    0,8489

    Общий результат 0,9205
    MTEB

    Публичная таблицаревизия совпадает

  • MassiveIntentClassification

    main_score

    Результат

    0,6128

    Общий результат 0,6597Общий результат 0,6284
    MTEB

    Публичная таблицаревизия совпадает

  • IndicGenBenchFloresBitextMining

    main_score

    Результат

    0,9987

    Общий результат 1Общий результат 0,9987Общий результат 0,9973
    MTEB

    Публичная таблицаревизия совпадает

  • MassiveScenarioClassification

    main_score

    Результат

    0,7341

    Общий результат 0,7057Общий результат 0,697
    MTEB

    Публичная таблицаревизия совпадает

  • MLQARetrieval

    main_score

    Результат

    0,7854

    Общий результат 0,8334Общий результат 0,7125Общий результат 0,6442
    MTEB

    Публичная таблицаревизия совпадает

  • CQADupstackTexRetrieval

    main_score

    Результат

    0,2905

    MTEB

    Публичная таблицаревизия совпадает

  • XPQARetrieval

    main_score

    Результат

    0,7022

    Общий результат 0,4167Общий результат 0,3901Общий результат 0,3338
    MTEB

    Публичная таблицаревизия совпадает

  • STS17

    main_score

    Результат

    0,7972

    MTEB

    Публичная таблицаревизия совпадает

  • XNLI

    main_score

    Результат

    0,7513

    MTEB

    Публичная таблицаревизия совпадает

  • LEMBNeedleRetrieval

    main_score

    Результат

    0,42

    MTEB

    Публичная таблицаревизия совпадает

  • RuSTSBenchmarkSTS

    main_score

    Результат

    0,8014

    MTEB

    Публичная таблицаревизия совпадает

  • MIRACLRetrieval

    main_score

    Результат

    0,6267

    MTEB

    Публичная таблицаревизия совпадает

  • SwedishSentimentClassification

    main_score

    Результат

    0,9239

    MTEB

    Публичная таблицаревизия совпадает

  • CQADupstackMathematicaRetrieval

    main_score

    Результат

    0,2833

    MTEB

    Публичная таблицаревизия совпадает

  • CodeEditSearchRetrieval

    main_score

    Результат

    0,4804

    MTEB

    Публичная таблицаревизия совпадает

  • NorQuadRetrieval

    main_score

    Результат

    0,236

    MTEB

    Публичная таблицаревизия совпадает

  • OpusparcusPC

    main_score

    Результат

    0,9448

    MTEB

    Публичная таблицаревизия совпадает

  • MLSUMClusteringP2P

    main_score

    Результат

    0,396

    Общий результат 0,4417
    MTEB

    Публичная таблицаревизия совпадает

  • CataloniaTweetClassification

    main_score

    Результат

    0,4935

    MTEB

    Публичная таблицаревизия совпадает

  • BigPatentClustering.v2

    main_score

    Результат

    0,3283

    MTEB

    Публичная таблицаревизия совпадает

  • MultiEURLEXMultilabelClassification

    main_score

    Результат

    0,0537

    MTEB

    Публичная таблицаревизия совпадает

  • SNLHierarchicalClusteringS2S

    main_score

    Результат

    0,5551

    MTEB

    Публичная таблицаревизия совпадает

  • PawsXPairClassification

    main_score

    Результат

    0,5348

    MTEB

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Solon-embeddings-large-0.1 — открытая модель векторных представлений текста от OrdalieTech. Она основана на архитектуре XLM-RoBERTa и содержит 658,7 млн параметров; веса опубликованы в формате safetensors. Модель предназначена для французского языка и рассчитана на создание эмбеддингов, используемых в задачах сравнения текстов и поиска по смыслу. Контекст модели — до 514 токенов.

Модель подходит для семантического поиска, оценки сходства текстов, классификации и ранжирования. В описании приведены результаты по девяти французским тестам MTEB и другим бенчмаркам; для запросов на извлечение информации README рекомендует добавлять префикс «query : », тогда как для текстов-пассажей инструкции не нужны. Лицензия — MIT. Результаты бенчмарков не гарантируют аналогичного качества на других данных и сценариях.

Сценарии применения

  • семантический поиск по французским документам
  • поиск релевантных пассажей по запросу на французском языке
  • сравнение смысловой близости французских текстов
  • ранжирование результатов поиска на французском языке
  • классификация французских текстов по эмбеддингам

Ограничения

Контекст ограничен 514 токенами; для запросов в сценариях поиска README рекомендует префикс «query : ». Заявленные бенчмарки охватывают французские наборы данных и не устанавливают качество на других языках или прикладных корпусах.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Solon Embeddings — large 0.1

SOTA Open source french embedding model.

Instructions :
Add "query : " before the query to retrieve to increase performance of retrieval.
No instructions needed for passages.

ModelMean Score
OrdalieTech/Solon-embeddings-large-0.10.7490
cohere/embed-multilingual-v30.7402
OrdalieTech/Solon-embeddings-base-0.10.7306
openai/ada-0020.7290
cohere/embed-multilingual-light-v30.6945
antoinelouis/biencoder-camembert-base-mmarcoFR0.6826
dangvantuan/sentence-camembert-large0.6756
voyage/voyage-010.6753
intfloat/multilingual-e5-large0.6660
intfloat/multilingual-e5-base0.6597
Sbert/paraphrase-multilingual-mpnet-base-v20.5975
dangvantuan/sentence-camembert-base0.5456
EuropeanParliament/eubert_embedding_v10.5063

These results have been obtained through 9 french benchmarks on a variety of text similarity tasks (classification, reranking, STS) :

  • AmazonReviewsClassification (MTEB)
  • MassiveIntentClassification (MTEB)
  • MassiveScenarioClassification (MTEB)
  • MTOPDomainClassification (MTEB)
  • MTOPIntentClassification (MTEB)
  • STS22 (MTEB)
  • MiraclFRRerank (Miracl)
  • OrdalieFRSTS (Ordalie)
  • OrdalieFRReranking (Ordalie)

We created OrdalieFRSTS and OrdalieFRReranking to enhance the benchmarking capabilities of French STS and reranking assessments.

(evaluation script available here : github.com/OrdalieTech/mteb)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaModel
Ревизия весов
9f6465f

0 моделей

    Создать бенчмарк