/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
205 млн
Архитектура
bert · dense

Ссылки

Hugging FacearXiv 1508.05326arXiv 1809.05053

rubert-base-cased-sentence

DeepPavlov
ЭмбеддингиТекст → embedding10 профессий

Русский Sentence-BERT-кодировщик на базе RuBERT для получения эмбеддингов предложений и их семантического сравнения.

9 058скачиваний за 30 дней32лайкавеса обновлены18 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки29

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • SIB200Classification

    main_score

    Результат

    0,2835

    Общий результат 0,4495Общий результат 0,4165Общий результат 0,3611
    MTEB

    Публичная таблицаревизия совпадает

  • MassiveIntentClassification

    main_score

    Результат

    0,3116

    Общий результат 0,3301
    MTEB

    Публичная таблицаревизия совпадает

  • OdiaNewsClassification

    main_score

    Результат

    0,5745

    MTEB

    Публичная таблицаревизия совпадает

  • MTOPDomainClassification

    main_score

    Результат

    0,5139

    MTEB

    Публичная таблицаревизия совпадает

  • XNLI

    main_score

    Результат

    0,9014

    MTEB

    Публичная таблицаревизия совпадает

  • SIB200ClusteringS2S

    main_score

    Результат

    0,0641

    Общий результат 0,0885Общий результат 0,0483Общий результат 0,0381
    MTEB

    Публичная таблицаревизия совпадает

  • IndicGenBenchFloresBitextMining

    main_score

    Результат

    0,0095

    MTEB

    Публичная таблицаревизия совпадает

  • WebFAQRetrieval

    main_score

    Результат

    0,0339

    MTEB

    Публичная таблицаревизия совпадает

  • PawsXPairClassification

    main_score

    Результат

    0,5661

    MTEB

    Публичная таблицаревизия совпадает

  • WikipediaRerankingMultilingual

    main_score

    Результат

    0,5342

    MTEB

    Публичная таблицаревизия совпадает

  • LEMBNeedleRetrieval

    main_score

    Результат

    0,26

    MTEB

    Публичная таблицаревизия совпадает

  • MLQARetrieval

    main_score

    Результат

    0,0017

    MTEB

    Публичная таблицаревизия совпадает

  • MassiveScenarioClassification

    main_score

    Результат

    0,0716

    MTEB

    Публичная таблицаревизия совпадает

  • BlurbsClusteringP2P

    main_score

    Результат

    0,1655

    MTEB

    Публичная таблицаревизия совпадает

  • MIRACLRetrievalHardNegatives

    main_score

    Результат

    0,0081

    MTEB

    Публичная таблицаревизия совпадает

  • WikiClusteringP2P.v2

    main_score

    Результат

    0,1908

    Общий результат 0,2602
    MTEB

    Публичная таблицаревизия совпадает

  • STSBenchmarkMultilingualSTS

    main_score

    Результат

    0,6151

    Общий результат 0,7406Общий результат 0,5541
    MTEB

    Публичная таблицаревизия совпадает

  • StatcanDialogueDatasetRetrieval

    main_score

    Результат

    0

    MTEB

    Публичная таблицаревизия совпадает

  • EstonianValenceClassification

    main_score

    Результат

    0,294

    MTEB

    Публичная таблицаревизия совпадает

  • VABBMultiLabelClassification

    main_score

    Результат

    0,2329

    MTEB

    Публичная таблицаревизия совпадает

  • CQADupstackUnixRetrieval

    main_score

    Результат

    0,0303

    MTEB

    Публичная таблицаревизия совпадает

  • CQADupstackWebmastersRetrieval

    main_score

    Результат

    0,0248

    MTEB

    Публичная таблицаревизия совпадает

  • RARbMath

    main_score

    Результат

    0,0557

    MTEB

    Публичная таблицаревизия совпадает

  • MIRACLRetrieval

    main_score

    Результат

    0

    MTEB

    Публичная таблицаревизия совпадает

  • MasakhaNEWSClusteringS2S

    main_score

    Результат

    0,4417

    MTEB

    Публичная таблицаревизия совпадает

  • TweetTopicSingleClassification

    main_score

    Результат

    0,4732

    MTEB

    Публичная таблицаревизия совпадает

  • HotpotQA

    main_score

    Результат

    0,0239

    MTEB

    Публичная таблицаревизия совпадает

  • CUREv1

    main_score

    Результат

    0,0077

    MTEB

    Публичная таблицаревизия совпадает

  • NTREXBitextMining

    main_score

    Результат

    0,0826

    MTEB

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DeepPavlov/rubert-base-cased-sentence — русскоязычный кодировщик предложений на базе RuBERT, разработанный DeepPavlov. Это 12-слойная модель семейства BERT с 768 скрытыми измерениями и 12 головами внимания; метаданные указывают 205,1 млн параметров и контекст до 512 токенов. Модель дообучена на переведённом на русский SNLI и русской части dev-набора XNLI. Представление предложения получается усреднением векторных представлений токенов, как в Sentence-BERT.

Модель предназначена для получения эмбеддингов русских предложений и использования их в семантическом поиске, сравнении сходства и задачах, где требуется сопоставлять значения предложений. Доступны версии в форматах PyTorch и Flax. В README сведения о лицензии не приведены.

Сценарии применения

  • получение эмбеддингов русских предложений
  • поиск семантически похожих предложений
  • ранжирование предложений по смысловому сходству
  • сопоставление пар предложений в поиске и NLP-системах

Ограничения

Обучение опирается на SNLI, переведённый машинным переводом, и русскую часть dev-набора XNLI; качество на других жанрах и прикладных задачах в карточке не описано. Контекст ограничен 512 токенами.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

rubert-base-cased-sentence

Sentence RuBERT (Russian, cased, 12-layer, 768-hidden, 12-heads, 180M parameters) is a representation‑based sentence encoder for Russian. It is initialized with RuBERT and fine‑tuned on SNLI[1] google-translated to russian and on russian part of XNLI dev set[2]. Sentence representations are mean pooled token embeddings in the same manner as in Sentence‑BERT[3].

[1]: S. R. Bowman, G. Angeli, C. Potts, and C. D. Manning. (2015) A large annotated corpus for learning natural language inference. arXiv preprint arXiv:1508.05326

[2]: Williams A., Bowman S. (2018) XNLI: Evaluating Cross-lingual Sentence Representations. arXiv preprint arXiv:1809.05053

[3]: N. Reimers, I. Gurevych (2019) Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. arXiv preprint arXiv:1908.10084

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
78b5122

0 моделей

    Создать бенчмарк