/ Модель

Характеристики

Лицензия
MIT
Опубликована
17 фев 2024

bge-small-zh-v1.5-gguf

Эмбеддинги9 профессий

bge-small-zh-v1.5-gguf — это модель для создания векторных представлений текста (embeddings), основанная на BAAI/bge-small-zh-v1.5.

30 231скачиваний за 30 дней3лайкавеса обновлены17 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий GGUF-файлов подготовлен Compendium Labs. Модель предназначена для семантического поиска, сравнения текстов, кластеризации, retrieval-сценариев и других задач, где требуются embedding-векторы. По названию и исходной модели она ориентирована на китайский язык, однако точный перечень поддерживаемых языков в README не указан.

Модель доступна в форматах GGUF с представлениями F32, F16, Q8_0 и Q4_K_M; размеры файлов составляют примерно от 15 до 91 МБ. Она совместима с llama.cpp и llama-cpp-python, поддерживает получение embedding-векторов для одной строки или списка строк и автоматическую пакетную обработку. Архитектура, число параметров, размерность векторов, максимальная длина контекста и перечень модальностей в README не указаны; по представленным данным это текстовая, а не мультимодальная модель.

К сильным сторонам относятся компактность, возможность локального запуска и ускорение на CPU при использовании квантованных вариантов: заявлено до 30% прироста скорости при минимальной потере точности. На GPU преимущество над ONNX описано как умеренное и зависящее от приложения, а из-за небольшого размера модели выгода от квантования может быть ограниченной. Лицензия — MIT, если соблюдаются её условия.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bge-small-zh-v1.5-gguf

Source model: https://huggingface.co/BAAI/bge-small-zh-v1.5

Quantized and unquantized embedding models in GGUF format for use with llama.cpp. A large benefit over transformers is almost guaranteed and the benefit over ONNX will vary based on the application, but this seems to provide a large speedup on CPU and a modest speedup on GPU for larger models. Due to the relatively small size of these models, quantization will not provide huge benefits, but it does generate up to a 30% speedup on CPU with minimal loss in accuracy.

Files Available

FilenameQuantizationSize
bge-small-zh-v1.5-f32.ggufF3291 MB
bge-small-zh-v1.5-f16.ggufF1646 MB
bge-small-zh-v1.5-q8_0.ggufQ8_026 MB
bge-small-zh-v1.5-q4_k_m.ggufQ4_K_M15 MB

Usage

These model files can be used with pure llama.cpp or with the llama-cpp-python Python bindings

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

Here texts can either be a string or a list of strings, and the return value is a list of embedding vectors. The inputs are grouped into batches automatically for efficient execution. There is also LangChain integration through langchain_community.embeddings.LlamaCppEmbeddings.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача, поэтому рантайм не знает, как её запускать.

Ревизия весов
5bf683e

0 моделей