/ Модель

Характеристики

Контекст
514 токенов
Параметры
305 млн
Лицензия
MIT
Архитектура
xlm-roberta · dense
Опубликована
21 ноя 2023

Solon-embeddings-base-0.1

Сходство предложенийТекст → score9 профессий

Французская модель эмбеддингов XLM-RoBERTa для семантического поиска, сравнения текстов и переранжирования.

1 614скачиваний за 30 дней17лайковвеса обновлены26 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Solon Embeddings Base 0.1 — открытая модель эмбеддингов от OrdalieTech для сравнения смысловой близости текстов и поиска по ним. Она основана на XLM-RoBERTa, содержит 305,2 млн параметров и принимает текстовые последовательности длиной до 514 токенов; репозиторий содержит веса в формате safetensors.

Модель предназначена прежде всего для французских текстов. Её оценивали на девяти французских бенчмарках для классификации, семантического сходства и переранжирования. Для запросов в поиске авторы рекомендуют добавлять префикс «query : », тогда как пассажи можно подавать без специальной инструкции.

Лицензия — MIT. Карточка приводит результаты бенчмарков, но не описывает ограничения по тематике или гарантии качества на других языках и типах текстов; показатели на французских наборах не гарантируют аналогичную точность в иных сценариях.

Сценарии применения

  • семантический поиск по французским документам
  • поиск пассажей по французскому запросу с префиксом «query : »
  • сравнение смысловой близости французских текстов
  • переранжирование результатов поиска на французском
  • классификация французских текстов по эмбеддингам

Ограничения

Основные оценки проведены на французских бенчмарках; качество для других языков и прикладных наборов может отличаться. Для повышения качества поиска авторы рекомендуют добавлять к запросу префикс «query : ».

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Solon Embeddings — Base 0.1

SOTA Open source french embedding model.

Instructions :
Add "query : " before the query to retrieve to increase performance of retrieval.
No instructions needed for passages.

ModelMean Score
OrdalieTech/Solon-embeddings-large-0.10.7490
cohere/embed-multilingual-v30.7402
OrdalieTech/Solon-embeddings-base-0.10.7306
openai/ada-0020.7290
cohere/embed-multilingual-light-v30.6945
antoinelouis/biencoder-camembert-base-mmarcoFR0.6826
dangvantuan/sentence-camembert-large0.6756
voyage/voyage-010.6753
intfloat/multilingual-e5-large0.6660
intfloat/multilingual-e5-base0.6597
Sbert/paraphrase-multilingual-mpnet-base-v20.5975
dangvantuan/sentence-camembert-base0.5456
EuropeanParliament/eubert_embedding_v10.5063

These results have been obtained through 9 french benchmarks on a variety of text similarity tasks (classification, reranking, STS) :

  • AmazonReviewsClassification (MTEB)
  • MassiveIntentClassification (MTEB)
  • MassiveScenarioClassification (MTEB)
  • MTOPDomainClassification (MTEB)
  • MTOPIntentClassification (MTEB)
  • STS22 (MTEB)
  • MiraclFRRerank (Miracl)
  • OrdalieFRSTS (Ordalie)
  • OrdalieFRReranking (Ordalie)

We created OrdalieFRSTS and OrdalieFRReranking to enhance the benchmarking capabilities of French STS and reranking assessments.

(evaluation script available here : github.com/OrdalieTech/mteb)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaModel
Ревизия весов
d9cfe58

0 моделей