/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
15,4 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Библиотека
sentence-transformers
Опубликована
19 апр 2026

Ссылки

Hugging Face

me5s-student-me5s_compressed_v3_distilled

gomyk
ЭмбеддингиТекст → embedding9 профессий

Компактный многоязычный BERT-энкодер для создания эмбеддингов предложений и оценки их семантического сходства.

71скачиваний за 30 дней0лайковвеса обновлены19 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

me5s-student-me5s_compressed_v3_distilled — компактный многоязычный энкодер предложений, созданный сжатием и дистилляцией модели intfloat/multilingual-e5-small. Модель построена на архитектуре BERT с 4 слоями, размерностью скрытого состояния 384 и словарём из 15 424 токенов; её объём сокращён примерно в 9 раз. Максимальная длина входа — 512 токенов.

Модель предназначена для получения векторных представлений предложений и сравнения их семантической близости. Она подходит для поиска похожих текстов, группировки предложений и классификации на основе эмбеддингов. По результатам MTEB, средняя оценка составляет 54,46%, а для задач семантического сходства — 70,1%; эти показатели относятся к указанным в карточке наборам и не гарантируют качество на других данных.

Поддерживаются 16 языков: корейский, английский, японский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, арабский, хинди, тайский, вьетнамский, индонезийский и польский. Для использования указана библиотека Sentence Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0.

Сценарии применения

  • поиск семантически похожих предложений
  • ранжирование текстов по близости к запросу
  • группировка многоязычных текстов по смыслу
  • классификация текстов на основе эмбеддингов

Ограничения

Максимальная длина входа составляет 512 токенов. Сжатие примерно в 9 раз уменьшает модель, а приведённые оценки MTEB не гарантируют такое же качество на других языках и предметных данных.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделейI.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

me5s_compressed_v3_distilled (Distilled)

Compact multilingual sentence encoder compressed from intfloat/multilingual-e5-small (9x compression).

Model Details

PropertyValue
Base modelintfloat/multilingual-e5-small
Architecturebert (encoder)
Hidden dim384 (from 384)
Layers4 (from 12)
Intermediate1536
Attention heads12
Vocab size15,424 (from 250,037)
Parameters~13.2M
Model size (FP32)51.0MB
Compression9x
DistilledYes

Quick Start

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("me5s_compressed_v3_distilled", trust_remote_code=True)

sentences = [
    "Hello, how are you?",
    "안녕하세요, 잘 지내세요?",
    "こんにちは、元気ですか？",
    "你好，你好吗？",
]

embeddings = model.encode(sentences)
print(embeddings.shape)  # (4, 384)

MTEB Evaluation Results

Overall Average: 54.46%

Task GroupAverage
Classification58.28%
Clustering31.08%
STS70.1%

Classification

TaskAverageDetails
AmazonCounterfactualClassification68.95%de: 72.16%, en-ext: 71.78%, en: 71.12%, ja: 60.74%
Banking77Classification66.96%default: 66.96%
ImdbClassification59.98%default: 59.98%
MTOPDomainClassification81.96%en: 86.71%, es: 84.21%, hi: 81.69%, th: 80.77%, de: 80.09%
MassiveIntentClassification33.24%en: 60.91%, ja: 56.73%, zh-CN: 56.17%, pt: 55.75%, it: 54.64%
MassiveScenarioClassification40.6%en: 67.11%, zh-CN: 65.44%, ja: 64.59%, de: 62.88%, ko: 62.48%
ToxicConversationsClassification54.49%default: 54.49%
TweetSentimentExtractionClassification60.05%default: 60.05%

Clustering

TaskAverageDetails
ArXivHierarchicalClusteringP2P49.68%default: 49.68%
ArXivHierarchicalClusteringS2S45.56%default: 45.56%
BiorxivClusteringP2P.v219.6%default: 19.6%
MedrxivClusteringP2P.v224.83%default: 24.83%
MedrxivClusteringS2S.v222.03%default: 22.03%
StackExchangeClustering.v239.38%default: 39.38%
StackExchangeClusteringP2P.v231.8%default: 31.8%
TwentyNewsgroupsClustering.v215.77%default: 15.77%

STS

TaskAverageDetails
BIOSSES72.57%default: 72.57%
SICK-R74.69%default: 74.69%
STS1273.58%default: 73.58%
STS1373.43%default: 73.43%
STS1473.35%default: 73.35%
STS1582.21%default: 82.21%
STS1759.08%en-en: 84.4%, es-es: 79.74%, ko-ko: 72.11%, ar-ar: 67.11%, fr-en: 64.15%
STS22.v245.12%fr: 67.71%, es: 63.98%, es-en: 61.84%, en: 60.59%, it: 60.2%
STSBenchmark77.7%default: 77.7%
STSBenchmarkMultilingualSTS69.24%en: 77.7%, es: 73.92%, fr: 73.89%, pt: 71.41%, it: 70.75%

Training

Stage 1: Model Compression

  • Teacher: intfloat/multilingual-e5-small (12L, 384d)
  • Compression: Layer pruning + Vocab pruning
  • Result: 4L / 384d / 15,424 vocab

Stage 2: Knowledge Distillation

  • Method: MSE + Cosine Similarity loss
  • Data: MTEB Classification/Clustering/STS task datasets
  • Optimizer: AdamW (lr=2e-5, weight_decay=0.01)
  • Schedule: Cosine annealing over 3 epochs

Supported Languages (16)

ko, en, ja, zh, es, fr, de, pt, it, ru, ar, hi, th, vi, id, pl

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
117bc4c

0 моделей

    Создать бенчмарк