Характеристики

Контекст: 2 048 токенов
Параметры: 29 млн
Лицензия: MIT
Архитектура: bert · dense
Базовая модель: rubert-tiny2
Опубликована: 21 июн 2024

Ссылки

Hugging Face

rubert-tiny-turbo

sergeyzh

ЭмбеддингиТекст → embedding9 профессий

Компактный русскоязычный BERT-энкодер для получения эмбеддингов предложений и оценки их семантического сходства.

73 127скачиваний за 30 дней31лайквеса обновлены31 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки28

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

SIB200ClusteringS2S
main_score
Результат
0,0267
Общий результат 0,0541Общий результат 0,0383
MTEB
Публичная таблицадругая ревизия
SIB200Classification
main_score
Результат
0,306
Общий результат 0,3535Общий результат 0,3425Общий результат 0,3083
MTEB
Публичная таблицадругая ревизия
MLQARetrieval
main_score
Результат
0,2065
Общий результат 0,267Общий результат 0,2138Общий результат 0,1041
MTEB
Публичная таблицадругая ревизия
NusaX-senti
main_score
Результат
0,5428
MTEB
Публичная таблицадругая ревизия
NTREXBitextMining
main_score
Результат
0,1275
MTEB
Публичная таблицадругая ревизия
MasakhaNEWSClassification
main_score
Результат
0,5789
Общий результат 0,6406
MTEB
Публичная таблицадругая ревизия
MIRACLRetrievalHardNegatives
main_score
Результат
0
MTEB
Публичная таблицадругая ревизия
MasakhaNEWSClusteringP2P
main_score
Результат
0,0466
MTEB
Публичная таблицадругая ревизия
MassiveIntentClassification
main_score
Результат
0,0521
Общий результат 0,021Общий результат 0,0206
MTEB
Публичная таблицадругая ревизия
SemRel24STS
main_score
Результат
−0,0288
MTEB
Публичная таблицадругая ревизия
MIRACLRetrieval
main_score
Результат
0,3707
MTEB
Публичная таблицадругая ревизия
IndicGenBenchFloresBitextMining
main_score
Результат
0,0718
Общий результат 0,0844
MTEB
Публичная таблицадругая ревизия
BiorxivClusteringP2P
main_score
Результат
0,2
MTEB
Публичная таблицадругая ревизия
MTOPDomainClassification
main_score
Результат
0,6252
Общий результат 0,1644
MTEB
Публичная таблицадругая ревизия
ContractNLIPermissibleDevelopmentOfSimilarInformationLegalBenchClassification
main_score
Результат
0,7132
MTEB
Публичная таблицадругая ревизия
CUADVolumeRestrictionLegalBenchClassification
main_score
Результат
0,6832
MTEB
Публичная таблицадругая ревизия
AmazonReviewsClassification
main_score
Результат
0,2124
MTEB
Публичная таблицадругая ревизия
IndicCrosslingualSTS
main_score
Результат
0,1929
MTEB
Публичная таблицадругая ревизия
CodeSearchNetRetrieval
main_score
Результат
0,3478
MTEB
Публичная таблицадругая ревизия
MIRACLReranking
main_score
Результат
0,1561
MTEB
Публичная таблицадругая ревизия
STSBenchmarkMultilingualSTS
main_score
Результат
0,7812
MTEB
Публичная таблицадругая ревизия
SwissJudgementClassification
main_score
Результат
0,6224
MTEB
Публичная таблицадругая ревизия
AngryTweetsClassification
main_score
Результат
0,4474
MTEB
Публичная таблицадругая ревизия
RTE3
main_score
Результат
0,8568
MTEB
Публичная таблицадругая ревизия
STS22
main_score
Результат
0,2155
MTEB
Публичная таблицадругая ревизия
CUADAffiliateLicenseLicenseeLegalBenchClassification
main_score
Результат
0,7374
MTEB
Публичная таблицадругая ревизия
LEMBNeedleRetrieval
main_score
Результат
0,04
MTEB
Публичная таблицадругая ревизия
GermanDPR
main_score
Результат
0,1283
MTEB
Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sergeyzh/rubert-tiny-turbo — компактная русскоязычная модель на архитектуре BERT, разработанная как дообученная версия cointegrated/rubert-tiny2 для быстрого получения эмбеддингов предложений. В README для неё указаны 29 млн параметров, размер эмбеддинга 312 и контекст до 2048 токенов; модель распространяется в формате safetensors и рассчитана на использование с Sentence Transformers.

Модель предназначена для вычисления векторных представлений русских предложений и оценки их семантического сходства. Эмбеддинги можно применять для поиска похожих текстов, кластеризации и как признаки для классификации. В карточке приведены результаты ruMTEB и encodechka; показатели различаются по задачам, а README отмечает быстродействие, сопоставимое с базовой моделью. Лицензия — MIT.

Это компактный русскоязычный энкодер, поэтому его область применения — текст на русском языке; в данных не заявлены генерация текста или мультимодальные возможности. Метрики бенчмарков не гарантируют качество на конкретном наборе данных, а для критически важных задач результат следует проверять отдельно.

Сценарии применения

поиск семантически похожих русских предложений
ранжирование документов по сходству с запросом
кластеризация русскоязычных текстов
классификация текстов по эмбеддингам
поиск дубликатов и близких по смыслу фраз

Ограничения

Модель ориентирована на русскоязычный текст и не предназначена для генерации. Приведённые в README бенчмарковые оценки не гарантируют качество на конкретных данных.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Быстрая модель BERT для расчетов эмбеддингов предложений на русском языке. Модель основана на cointegrated/rubert-tiny2 - имеет аналогичные размеры контекста (2048), ембеддинга (312) и быстродействие.

Использование

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer('sergeyzh/rubert-tiny-turbo')

sentences = ["привет мир", "hello world", "здравствуй вселенная"]
embeddings = model.encode(sentences)
print(util.dot_score(embeddings, embeddings))

Метрики

Оценки модели на бенчмарке encodechka:

model	CPU	GPU	size	Mean S	Mean S+W	dim
sergeyzh/LaBSE-ru-turbo	120.40	8.05	490	0.789	0.702	768
BAAI/bge-m3	523.40	22.50	2166	0.787	0.696	1024
intfloat/multilingual-e5-large	506.80	30.80	2136	0.780	0.686	1024
intfloat/multilingual-e5-base	130.61	14.39	1061	0.761	0.669	768
sergeyzh/rubert-tiny-turbo	5.51	3.25	111	0.749	0.667	312
intfloat/multilingual-e5-small	40.86	12.09	449	0.742	0.645	384
cointegrated/rubert-tiny2	5.51	3.25	111	0.704	0.638	312

model	STS	PI	NLI	SA	TI	IA	IC	ICX	NE1	NE2
sergeyzh/LaBSE-ru-turbo	0.864	0.748	0.490	0.814	0.974	0.806	0.815	0.801	0.305	0.404
BAAI/bge-m3	0.864	0.749	0.510	0.819	0.973	0.792	0.809	0.783	0.240	0.422
intfloat/multilingual-e5-large	0.862	0.727	0.473	0.810	0.979	0.798	0.819	0.773	0.224	0.374
intfloat/multilingual-e5-base	0.835	0.704	0.459	0.796	0.964	0.783	0.802	0.738	0.235	0.376
sergeyzh/rubert-tiny-turbo	0.828	0.722	0.476	0.787	0.955	0.757	0.780	0.685	0.305	0.373
intfloat/multilingual-e5-small	0.822	0.714	0.457	0.758	0.957	0.761	0.779	0.691	0.234	0.275
cointegrated/rubert-tiny2	0.750	0.651	0.417	0.737	0.937	0.746	0.757	0.638	0.360	0.386

Оценки модели на бенчмарке ruMTEB:

Model Name	Metric	sbert_large_ mt_nlu_ru	sbert_large_ nlu_ru	rubert-tiny2	rubert-tiny-turbo	multilingual-e5-small	multilingual-e5-base	multilingual-e5-large
CEDRClassification	Accuracy	0.368	0.358	0.369	0.390	0.401	0.423	0.448
GeoreviewClassification	Accuracy	0.397	0.400	0.396	0.414	0.447	0.461	0.497
GeoreviewClusteringP2P	V-measure	0.584	0.590	0.442	0.597	0.586	0.545	0.605
HeadlineClassification	Accuracy	0.772	0.793	0.742	0.686	0.732	0.757	0.758
InappropriatenessClassification	Accuracy	0.646	0.625	0.586	0.591	0.592	0.588	0.616
KinopoiskClassification	Accuracy	0.503	0.495	0.491	0.505	0.500	0.509	0.566
RiaNewsRetrieval	NDCG@10	0.214	0.111	0.140	0.513	0.700	0.702	0.807
RuBQReranking	MAP@10	0.561	0.468	0.461	0.622	0.715	0.720	0.756
RuBQRetrieval	NDCG@10	0.298	0.124	0.109	0.517	0.685	0.696	0.741
RuReviewsClassification	Accuracy	0.589	0.583	0.570	0.607	0.612	0.630	0.653
RuSTSBenchmarkSTS	Pearson correlation	0.712	0.588	0.694	0.787	0.781	0.796	0.831
RuSciBenchGRNTIClassification	Accuracy	0.542	0.539	0.456	0.529	0.550	0.563	0.582
RuSciBenchGRNTIClusteringP2P	V-measure	0.522	0.504	0.414	0.481	0.511	0.516	0.520
RuSciBenchOECDClassification	Accuracy	0.438	0.430	0.355	0.415	0.427	0.423	0.445
RuSciBenchOECDClusteringP2P	V-measure	0.473	0.464	0.381	0.411	0.443	0.448	0.450
SensitiveTopicsClassification	Accuracy	0.285	0.280	0.220	0.244	0.228	0.234	0.257
TERRaClassification	Average Precision	0.520	0.502	0.519	0.563	0.551	0.550	0.584

Model Name	Metric	sbert_large_ mt_nlu_ru	sbert_large_ nlu_ru	rubert-tiny2	rubert-tiny-turbo	multilingual-e5-small	multilingual-e5-base	multilingual-e5-large
Classification	Accuracy	0.554	0.552	0.514	0.535	0.551	0.561	0.588
Clustering	V-measure	0.526	0.519	0.412	0.496	0.513	0.503	0.525
MultiLabelClassification	Accuracy	0.326	0.319	0.294	0.317	0.314	0.329	0.353
PairClassification	Average Precision	0.520	0.502	0.519	0.563	0.551	0.550	0.584
Reranking	MAP@10	0.561	0.468	0.461	0.622	0.715	0.720	0.756
Retrieval	NDCG@10	0.256	0.118	0.124	0.515	0.697	0.699	0.774
STS	Pearson correlation	0.712	0.588	0.694	0.787	0.781	0.796	0.831
Average	Average	0.494	0.438	0.431	0.548	0.588	0.594	0.630

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: BertModel
Ревизия весов: 93769a3