Характеристики

Контекст: 512 токенов
Параметры: 23,1 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 10 июл 2025

Ссылки

Hugging Face

rubert-tiny-lite

sergeyzh

ЭмбеддингиТекст → embedding9 профессий

Компактная русскоязычная BERT-модель для создания эмбеддингов, семантического поиска и сравнения текстов.

1 087скачиваний за 30 дней1лайквеса обновлены10 июл 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sergeyzh/rubert-tiny-lite — компактная модель на архитектуре BERT, разработанная sergeyzh для получения векторных представлений русскоязычных текстов и сравнения предложений. Она создана последовательной дистилляцией sergeyzh/rubert-tiny-turbo и BAAI/bge-m3 и содержит 23,1 млн параметров. Размер эмбеддинга — 256, максимальная длина контекста — 512 токенов.

Модель предназначена для семантического поиска, оценки сходства предложений, кластеризации и классификации текста на CPU и GPU. По данным автора, она работает быстрее rubert-tiny-turbo примерно в 1,4 раза на CPU и в 1,2 раза на GPU при сопоставимом качестве. Результаты в README показывают её качество на бенчмарках encodechka и ruMTEB; для некоторых задач она уступает более крупным многоязычным моделям.

Модель рассчитана на русский язык и выдаёт эмбеддинги текста. Репозиторий содержит веса в формате safetensors; для запуска автор приводит пример с SentenceTransformer. Лицензия — MIT.

Сценарии применения

семантический поиск по русскоязычным документам
поиск похожих предложений и текстов
ранжирование документов по сходству с запросом
кластеризация русскоязычных текстов
классификация текстов на основе эмбеддингов

Ограничения

Контекст ограничен 512 токенами; модель ориентирована на русский язык. По приведённым в README бенчмаркам, на ряде задач более крупные многоязычные модели показывают лучшие результаты.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Быстрая модель BERT для русского языка с размером ембеддинга 256 и длиной контекста 512. Модель получена методом последовательной дистилляции моделей sergeyzh/rubert-tiny-turbo и BAAI/bge-m3. Выигрывает по скорости у rubert-tiny-turbo при аналогичном качестве на CPU в ~x1.4, на GPU в ~x1.2 раза.

Использование

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('sergeyzh/rubert-tiny-lite')

sentences = ["привет мир", "hello world", "здравствуй вселенная"]
embeddings = model.encode(sentences)

print(model.similarity(embeddings, embeddings))

Метрики

Оценки модели на бенчмарке encodechka:

model	STS	PI	NLI	SA	TI
BAAI/bge-m3	0.864	0.749	0.510	0.819	0.973
intfloat/multilingual-e5-large	0.862	0.727	0.473	0.810	0.979
sergeyzh/rubert-tiny-lite	0.839	0.712	0.488	0.788	0.949
intfloat/multilingual-e5-base	0.835	0.704	0.459	0.796	0.964
sergeyzh/rubert-tiny-turbo	0.828	0.722	0.476	0.787	0.955
intfloat/multilingual-e5-small	0.822	0.714	0.457	0.758	0.957
cointegrated/rubert-tiny2	0.750	0.651	0.417	0.737	0.937

Оценки модели на бенчмарке ruMTEB:

Model Name	Metric	rubert-tiny2	rubert-tiny-turbo	rubert-tiny-lite	multilingual-e5-small	multilingual-e5-base	multilingual-e5-large
CEDRClassification	Accuracy	0.369	0.390	0.407	0.401	0.423	0.448
GeoreviewClassification	Accuracy	0.396	0.414	0.423	0.447	0.461	0.497
GeoreviewClusteringP2P	V-measure	0.442	0.597	0.611	0.586	0.545	0.605
HeadlineClassification	Accuracy	0.742	0.686	0.652	0.732	0.757	0.758
InappropriatenessClassification	Accuracy	0.586	0.591	0.588	0.592	0.588	0.616
KinopoiskClassification	Accuracy	0.491	0.505	0.507	0.500	0.509	0.566
RiaNewsRetrieval	NDCG@10	0.140	0.513	0.617	0.700	0.702	0.807
RuBQReranking	MAP@10	0.461	0.622	0.631	0.715	0.720	0.756
RuBQRetrieval	NDCG@10	0.109	0.517	0.511	0.685	0.696	0.741
RuReviewsClassification	Accuracy	0.570	0.607	0.615	0.612	0.630	0.653
RuSTSBenchmarkSTS	Pearson correlation	0.694	0.787	0.799	0.781	0.796	0.831
RuSciBenchGRNTIClassification	Accuracy	0.456	0.529	0.544	0.550	0.563	0.582
RuSciBenchGRNTIClusteringP2P	V-measure	0.414	0.481	0.510	0.511	0.516	0.520
RuSciBenchOECDClassification	Accuracy	0.355	0.415	0.424	0.427	0.423	0.445
RuSciBenchOECDClusteringP2P	V-measure	0.381	0.411	0.438	0.443	0.448	0.450
SensitiveTopicsClassification	Accuracy	0.220	0.244	0.282	0.228	0.234	0.257
TERRaClassification	Average Precision	0.519	0.563	0.574	0.551	0.550	0.584

Model Name	Metric	rubert-tiny2	rubert-tiny-turbo	rubert-tiny-lite	multilingual-e5-small	multilingual-e5-base	multilingual-e5-large
Classification	Accuracy	0.514	0.535	0.536	0.551	0.561	0.588
Clustering	V-measure	0.412	0.496	0.520	0.513	0.503	0.525
MultiLabelClassification	Accuracy	0.294	0.317	0.344	0.314	0.329	0.353
PairClassification	Average Precision	0.519	0.563	0.574	0.551	0.550	0.584
Reranking	MAP@10	0.461	0.622	0.631	0.715	0.720	0.756
Retrieval	NDCG@10	0.124	0.515	0.564	0.697	0.699	0.774
STS	Pearson correlation	0.694	0.787	0.799	0.781	0.796	0.831
Average	Average	0.431	0.548	0.567	0.588	0.594	0.630

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: BertModel
Ревизия весов: 9c3bb58