Характеристики

Лицензия: MIT
Базовая модель: bge-m3
Опубликована: 26 фев 2025

Ссылки

Hugging Face

bge-m3-gguf

pqnet

ЭмбеддингиТекст → embedding9 профессий

GGUF-конверсия многоязычной BGE-M3 для получения эмбеддингов и семантического поиска по текстам.

124скачиваний за 30 дней0лайковвеса обновлены3 апр 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

pqnet/bge-m3-gguf — конвертированная в формат GGUF версия модели BGE-M3 от BAAI, подготовленная для запуска через llama.cpp. Репозиторий содержит веса F16 без квантизации; исходная модель предназначена для многоязычного семантического, лексического и гибридного поиска по текстам и документам, а также получения эмбеддингов и вычисления сходства предложений. Лицензия — MIT.

Модель подходит для построения векторного поиска, сравнения текстов и извлечения признаков в приложениях, использующих llama.cpp. Карточка репозитория указывает на конверсию весов из BAAI/bge-m3 и отсылает к исходной карточке за подробностями о возможностях модели.

Сценарии применения

построение эмбеддингов для поиска по документам
семантический поиск по многоязычной базе знаний
сравнение сходства двух предложений
извлечение признаков из текста для поиска

Ограничения

Это конверсия в GGUF без квантизации, поэтому заявленного уменьшения веса за счёт квантизации нет. README не описывает отдельные характеристики или ограничения конвертированной версии и направляет к карточке исходной модели.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

pqnet/bge-m3-GGUF

This is the full f16 weights converted from BAAI/bge-m3 without any quantization. Refer to the original model card for more details on the model.

Use with llama.cpp

Install llama.cpp through brew (works on Mac and Linux)

brew install llama.cpp

Invoke the llama.cpp server or the CLI.

CLI:

llama-cli --hf-repo pqnet/bge-m3-GGUF --hf-file bge-m3-f16.gguf -p "The meaning to life and the universe is"

Server:

llama-server --hf-repo pqnet/bge-m3-GGUF --hf-file bge-m3-f16.gguf -c 2048

Note: You can also use this checkpoint directly through the usage steps listed in the Llama.cpp repo as well.

Step 1: Clone llama.cpp from GitHub.

git clone https://github.com/ggerganov/llama.cpp

Step 2: Move into the llama.cpp folder and build it with LLAMA_CURL=1 flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).

cd llama.cpp && LLAMA_CURL=1 make

Step 3: Run inference through the main binary.

./llama-cli --hf-repo pqnet/bge-m3-GGUF --hf-file bge-m3-f16.gguf -p "The meaning to life and the universe is"

./llama-server --hf-repo pqnet/bge-m3-GGUF --hf-file bge-m3-f16.gguf -c 2048

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: 753ca2a