ggml-org/bge-m3-Q8_0-GGUF
This model was converted to GGUF format from BAAI/bge-m3 using llama.cpp via the ggml.ai's GGUF-my-repo space.
Refer to the original model card for more details on the model.
ggml-org/bge-m3-Q8_0-GGUF — это модель для извлечения признаков и вычисления семантического сходства предложений, преобразованная в формат GGUF из базовой модели BAAI/bge-m3.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Конвертацию выполнили с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для задач поиска по смыслу, ранжирования, сопоставления текстов и построения векторных представлений, в том числе при локальном запуске через совместимые инструменты llama.cpp.
Ключевая характеристика этой версии — квантование Q8_0 в формате GGUF, которое обычно позволяет сократить требования к памяти по сравнению с полноразмерными весами при сохранении большей части качества исходной модели. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста и точных модальностях; по назначению и указанной базовой модели речь идет о текстовой embedding-модели. Ограничения качества и совместимости зависят от исходной BAAI/bge-m3 и используемого программного окружения. Лицензия — MIT.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to GGUF format from BAAI/bge-m3 using llama.cpp via the ggml.ai's GGUF-my-repo space.
Refer to the original model card for more details on the model.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).