/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
17,5 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Библиотека
sentence-transformers
Опубликована
20 апр 2026

Ссылки

Hugging Face

me5s-student-me5s_compressed_v4_distilled

gomyk
ЭмбеддингиТекст → embedding

Компактная многоязычная BERT-модель для построения эмбеддингов предложений, сравнения их сходства и поиска похожих текстов.

101скачиваний за 30 дней0лайковвеса обновлены21 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

me5s-student-me5s_compressed_v4_distilled — компактный многоязычный энкодер предложений на архитектуре BERT, созданный сжатием и дистилляцией модели intfloat/multilingual-e5-small. Модель содержит 17,5 млн параметров, использует 4 слоя и векторное представление размерности 384; словарь сокращён до 21 028 токенов. Максимальная длина контекста — 512 токенов.

Модель предназначена для получения эмбеддингов предложений, оценки их сходства, поиска и группировки похожих текстов, а также задач классификации на основе представлений. По README, на приведённых наборах MTEB средний результат составляет 53,98%, а для группы задач семантического сходства — 69,64%. Поддерживаются 16 языков: корейский, английский, японский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, арабский, хинди, тайский, вьетнамский, индонезийский и польский. Модель распространяется по лицензии Apache-2.0.

Сжатие выполнено прореживанием слоёв и словаря, после чего модель дистиллирована с использованием потерь MSE и косинусного сходства. Компактный размер удобен для внедрения, однако сокращённая архитектура может уступать исходной модели на отдельных языках и задачах; результаты README относятся к указанным тестам и не гарантируют качество на произвольных данных.

Сценарии применения

  • поиск похожих предложений в многоязычной коллекции
  • семантический поиск по коротким текстам
  • сравнение перефразированных запросов и документов
  • группировка похожих предложений
  • классификация текстов по эмбеддингам

Ограничения

Контекст ограничен 512 токенами. Сжатие до четырёх слоёв может снижать качество относительно исходной модели на отдельных языках и задачах; приведённые метрики MTEB не гарантируют результат на других данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

me5s_compressed_v4_distilled (Distilled)

Compact multilingual sentence encoder compressed from intfloat/multilingual-e5-small (8x compression).

Model Details

PropertyValue
Base modelintfloat/multilingual-e5-small
Architecturebert (encoder)
Hidden dim384 (from 384)
Layers4 (from 12)
Intermediate1536
Attention heads12
Vocab size21,028 (from 250,037)
Parameters~15.4M
Model size (FP32)59.2MB
Compression8x
DistilledYes

Quick Start

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("me5s_compressed_v4_distilled", trust_remote_code=True)

sentences = [
    "Hello, how are you?",
    "안녕하세요, 잘 지내세요?",
    "こんにちは、元気ですか？",
    "你好，你好吗？",
]

embeddings = model.encode(sentences)
print(embeddings.shape)  # (4, 384)

MTEB Evaluation Results

Overall Average: 53.98%

Task GroupAverage
Classification57.84%
Clustering30.54%
STS69.64%

Classification

TaskAverageDetails
AmazonCounterfactualClassification68.58%de: 72.39%, en-ext: 71.31%, en: 70.72%, ja: 59.9%
Banking77Classification66.48%default: 66.48%
ImdbClassification60.45%default: 60.45%
MTOPDomainClassification81.11%en: 86.31%, es: 83.43%, hi: 80.55%, th: 79.82%, de: 78.84%
MassiveIntentClassification32.44%en: 60.21%, ja: 56.1%, zh-CN: 55.79%, pt: 54.51%, it: 53.26%
MassiveScenarioClassification39.97%en: 66.62%, zh-CN: 64.52%, ja: 63.65%, ko: 61.75%, de: 61.51%
ToxicConversationsClassification54.38%default: 54.38%
TweetSentimentExtractionClassification59.34%default: 59.34%

Clustering

TaskAverageDetails
ArXivHierarchicalClusteringP2P46.97%default: 46.97%
ArXivHierarchicalClusteringS2S45.12%default: 45.12%
BiorxivClusteringP2P.v219.34%default: 19.34%
MedrxivClusteringP2P.v224.71%default: 24.71%
MedrxivClusteringS2S.v221.49%default: 21.49%
StackExchangeClustering.v239.62%default: 39.62%
StackExchangeClusteringP2P.v232.24%default: 32.24%
TwentyNewsgroupsClustering.v214.83%default: 14.83%

STS

TaskAverageDetails
BIOSSES71.48%default: 71.48%
SICK-R74.06%default: 74.06%
STS1273.67%default: 73.67%
STS1372.82%default: 72.82%
STS1472.9%default: 72.9%
STS1581.85%default: 81.85%
STS1757.66%en-en: 83.69%, es-es: 80.8%, ko-ko: 70.95%, ar-ar: 66.44%, es-en: 61.8%
STS22.v246.75%fr: 68.67%, es: 64.85%, es-en: 62.91%, en: 62.07%, zh: 61.11%
STSBenchmark77.12%default: 77.12%
STSBenchmarkMultilingualSTS68.06%en: 77.12%, fr: 72.88%, es: 72.67%, pt: 69.94%, it: 68.6%

Training

Stage 1: Model Compression

  • Teacher: intfloat/multilingual-e5-small (12L, 384d)
  • Compression: Layer pruning + Vocab pruning
  • Result: 4L / 384d / 21,028 vocab

Stage 2: Knowledge Distillation

  • Method: MSE + Cosine Similarity loss
  • Data: MTEB Classification/Clustering/STS task datasets
  • Optimizer: AdamW (lr=2e-5, weight_decay=0.01)
  • Schedule: Cosine annealing over 3 epochs

Supported Languages (16)

ko, en, ja, zh, es, fr, de, pt, it, ru, ar, hi, th, vi, id, pl

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
0a328ae

0 моделей

    Создать бенчмарк