/ Модель

Характеристики

Контекст
512 токенов
Параметры
18,8 млн
Лицензия
MIT
Архитектура
bert · dense
Библиотека
sentence-transformers
Опубликована
30 апр 2024

Wartortle

ЭмбеддингиТекст → embedding8 профессий

Компактная английская модель эмбеддингов для семантического автодополнения и сравнения предложений.

180скачиваний за 30 дней0лайковвеса обновлены30 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки31

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • IndicGenBenchFloresBitextMining

    main_score

    Результат

    0,0388

    Общий результат 0,0306Общий результат 0,0057Общий результат 0,004
    MTEB

    Публичная таблицаревизия совпадает

  • SIB200ClusteringS2S

    main_score

    Результат

    0,0792

    Общий результат 0,0388Общий результат 0,0355
    MTEB

    Публичная таблицаревизия совпадает

  • SinhalaNewsClassification

    main_score

    Результат

    0,3431

    MTEB

    Публичная таблицаревизия совпадает

  • Tatoeba

    main_score

    Результат

    0,0557

    Общий результат 0,055
    MTEB

    Публичная таблицаревизия совпадает

  • MultiEURLEXMultilabelClassification

    main_score

    Результат

    0,0152

    Общий результат 0,0216
    MTEB

    Публичная таблицаревизия совпадает

  • OpusparcusPC

    main_score

    Результат

    0,8651

    Общий результат 0,7915
    MTEB

    Публичная таблицаревизия совпадает

  • RiaNewsRetrievalHardNegatives.v2

    main_score

    Результат

    0,0059

    MTEB

    Публичная таблицаревизия совпадает

  • STS22.v2

    main_score

    Результат

    0,6175

    MTEB

    Публичная таблицаревизия совпадает

  • CUREv1

    main_score

    Результат

    0,0196

    Общий результат 0,0383
    MTEB

    Публичная таблицаревизия совпадает

  • DutchBookReviewSentimentClassification.v2

    main_score

    Результат

    0,5405

    MTEB

    Публичная таблицаревизия совпадает

  • FaroeseSTS

    main_score

    Результат

    0,628

    MTEB

    Публичная таблицаревизия совпадает

  • SICK-R-PL

    main_score

    Результат

    0,5608

    MTEB

    Публичная таблицаревизия совпадает

  • MLQARetrieval

    main_score

    Результат

    0,0776

    Общий результат 0,1075Общий результат 0,0699
    MTEB

    Публичная таблицаревизия совпадает

  • StackExchangeClustering.v2

    main_score

    Результат

    0,5038

    MTEB

    Публичная таблицаревизия совпадает

  • IndicCrosslingualSTS

    main_score

    Результат

    −0,0861

    MTEB

    Публичная таблицаревизия совпадает

  • SwednClusteringS2S

    main_score

    Результат

    0,0144

    MTEB

    Публичная таблицаревизия совпадает

  • MassiveScenarioClassification

    main_score

    Результат

    0,2589

    Общий результат 0,4587Общий результат 0,0854
    MTEB

    Публичная таблицаревизия совпадает

  • CQADupstackTexRetrieval

    main_score

    Результат

    0,1359

    MTEB

    Публичная таблицаревизия не подтверждена

  • AmazonCounterfactualClassification

    main_score

    Результат

    0,704

    Общий результат 0,6133
    MTEB

    Публичная таблицаревизия совпадает

  • XPQARetrieval

    main_score

    Результат

    0,0726

    Общий результат 0,0612
    MTEB

    Публичная таблицаревизия совпадает

  • ImdbClassification

    main_score

    Результат

    0,746

    MTEB

    Публичная таблицаревизия не подтверждена

  • GerDaLIRSmall

    main_score

    Результат

    0,0413

    MTEB

    Публичная таблицаревизия совпадает

  • UrduRomanSentimentClassification

    main_score

    Результат

    0,4

    MTEB

    Публичная таблицаревизия совпадает

  • STS22

    main_score

    Результат

    0,267

    Общий результат 0,4787Общий результат 0,2748
    MTEB

    Публичная таблицаревизия совпадает

  • TwentyNewsgroupsClustering.v2

    main_score

    Результат

    0,3298

    MTEB

    Публичная таблицаревизия совпадает

  • CQADupstackStatsRetrieval

    main_score

    Результат

    0,1768

    MTEB

    Публичная таблицаревизия не подтверждена

  • MasakhaNEWSClusteringP2P

    main_score

    Результат

    0,4741

    MTEB

    Публичная таблицаревизия совпадает

  • LEMBPasskeyRetrieval

    main_score

    Результат

    0,02

    MTEB

    Публичная таблицаревизия совпадает

  • MTOPDomainClassification

    main_score

    Результат

    0,6982

    MTEB

    Публичная таблицаревизия совпадает

  • RuSciBenchGRNTIClusteringP2P

    main_score

    Результат

    0,1014

    MTEB

    Публичная таблицаревизия совпадает

  • MassiveIntentClassification

    main_score

    Результат

    0,3548

    MTEB

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Wartortle — компактная модель эмбеддингов на базе BERT, созданная Mihaiii как дистилляция bge-base-en-v1.5. Она предназначена прежде всего для семантического автодополнения: преобразует текст в векторы, которые можно использовать для поиска подходящего продолжения или сопоставления фраз. Модель содержит 18,8 млн параметров, работает с контекстом до 512 токенов и доступна в форматах Safetensors и ONNX.

Для корректного использования в сценарии семантического автодополнения README рекомендует CLS-пулинг и нормализацию эмбеддингов; модель также можно применять в задачах сходства предложений и извлечения признаков. Базовая модель ориентирована на английский язык. Лицензия — MIT.

Сценарии применения

  • семантическое автодополнение поисковых запросов
  • поиск похожих предложений
  • ранжирование вариантов продолжения текста по смыслу

Ограничения

Контекст ограничен 512 токенами. Для семантического автодополнения необходимы CLS-пулинг и нормализация эмбеддингов.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Wartortle

Wartortle is a distill of bge-base-en-v1.5.

Intended purpose

This model is designed for use in semantic-autocomplete (click here for demo). Make sure you also pass pipelineParams={{ pooling: "cls", normalize: true }} since the default pooling in the component is mean.

Usage

Other than within semantic-autocomplete, you can use this model same as bge-base-en-v1.5.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
14caca5

0 моделей