Характеристики

Лицензия: MIT
Опубликована: 7 авг 2024

Ссылки

multilingual-e5-large-instruct-GGUF

Ralriki/multilingual-e5-large-instruct-GGUF — это GGUF-версия мультиязычной embedding-модели multilingual-e5-large-instruct, разработанной командой intfloat и адаптированной для использования в llama.cpp после добавления поддержки XLM-RoBERTa.

24 034скачиваний за 30 дней6лайковвеса обновлены9 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для создания векторных представлений текста, включая мультиязычный поиск, семантическое сходство и другие задачи, где требуется сопоставление текстов по смыслу. Для разных сценариев рекомендуется использовать соответствующие prompt-шаблоны из исходной модели.

Доступны варианты квантования q4_k_m, q6_k, q8_0 и f16. Автор README рекомендует q6_k или q8_0: переход к 8-битному квантованию обычно почти не снижает качество относительно базовой модели, тогда как при переходе от q6 к q4 возможно небольшое заметное ухудшение, а при использовании уровней около q3 и ниже — существенная потеря качества. Модель ориентирована на мультиязычные тексты, однако конкретный список поддерживаемых языков и размер контекста в README не указаны.

Модель распространяется по лицензии MIT. Для работы требуется совместимая поддержка GGUF и llama.cpp с поддержкой XLM-RoBERTa.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

The multilingual-e5 family is one of the best options for multilingual embedding models.

This is the GGUF version of https://huggingface.co/intfloat/multilingual-e5-large-instruct. Check out their prompt recommendations for different tasks!

It is supported since the XLMRoberta addition in llama.cpp was merged on 6th August 2024. https://github.com/ggerganov/llama.cpp/pull/8658

Currently q4_k_m, q6_k, q8_0 and f16 versions are available. I would recommend q6_k or q8_0. In general you barely have any performance loss going to 8-bit quantization from base models, while there usually is a small but noticable dropoff occuring somewhere between q6-q4. At some point the dropoff gets pretty massive going towards ~q3 or lower.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача, поэтому рантайм не знает, как её запускать.

Ревизия весов: f43c843