/ Модель

Характеристики

Лицензия
MIT
Базовая модель
multilingual-e5-small
Опубликована
14 авг 2026

multilingual-e5-small-gguf

Сходство предложенийТекст → score9 профессий

multilingual-e5-small-gguf — это GGUF-конверсия модели intfloat/multilingual-e5-small, подготовленная TwinSunsLLC для локального поиска и retrieval на устройствах.

1 060скачиваний за 30 дней2лайкавеса обновлены14 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для построения эмбеддингов, оценки семантического сходства, поиска похожих текстов и многоязычного сопоставления запросов с фрагментами документов, в том числе в сценариях приватного офлайн-использования.

Модель имеет 384-мерные эмбеддинги, 12 слоёв и поддерживает контекст до 512 токенов. Квантование Q8_0 уменьшает размер до 126 МБ по сравнению с 236 МБ в формате f16; заявлено, что результаты косинусного сходства практически совпадают с f16. Модель может запускаться через llama.cpp или llama.swift в режиме embeddings с mean pooling. Поддерживаются многоязычные сценарии; в README приведены примеры для английского, французского и испанского языков.

Для корректной работы асимметричного поиска исходные тексты следует предварять префиксом «passage: », а запросы — «query: ». Пропуск или смешивание префиксов ухудшает retrieval. Из-за высокого базового уровня сходства нерелевантных текстов рекомендуется ранжировать результаты по top-k, а не использовать абсолютный порог сходства. Модель распространяется по лицензии MIT; авторство базовой модели принадлежит исходным разработчикам intfloat/multilingual-e5-small.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

multilingual-e5-small — GGUF (Q8_0)

GGUF conversion of intfloat/multilingual-e5-small, quantized to Q8_0, for on-device retrieval in Offline AI: Private Chat.

  • 384 dimensions, 12 layers, 512 max tokens
  • 126 MB (f16 is 236 MB)
  • Runs via llama.cpp / llama.swift with embeddings = true and mean pooling

Quantization is free here

Q8_0 matches f16 to three decimal places on cosine similarity, and produces an identical ranking order — which is what retrieval actually depends on.

PairQ8_0f16
EN paraphrase0.8680.868
EN → FR translation0.8960.896
EN → ES translation0.8430.843
query → correct passage0.8480.848
EN → unrelated topic0.7370.736
query → wrong passage0.6710.671

Note the high floor: unrelated text still scores 0.737. Rank by top-k; do not use an absolute similarity threshold.

Usage

E5 is asymmetric — prefix stored text with passage: and queries with query: . Omitting the prefixes degrades retrieval, and mixing them is worse than using neither.

Conversion

convert_hf_to_gguf.py fails on this model with BPE pre-tokenizer was not recognized: it declares architectures: ["BertModel"] but ships an XLM-RoBERTa SentencePiece tokenizer. Rewrite config.json to architectures: ["XLMRobertaModel"] first, then convert and quantize.

License

MIT, inherited from the base model. Copyright belongs to the original authors — see intfloat/multilingual-e5-small.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
b6cac96

0 моделей