all-MiniLM-L6-v2 - GGUF
- Model creator: Sentence Transformers
- Original model: all-MiniLM-L6-v2
Description
This repo contains GGUF format model files for all-MiniLM-L6-v2.
leliuga/all-MiniLM-L6-v2-GGUF — это квантизированные файлы модели all-MiniLM-L6-v2 в формате GGUF.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Исходную модель разработала команда Sentence Transformers, а репозиторий с GGUF-файлами подготовлен пользователем Leliuga. Модель предназначена для получения векторных представлений предложений и оценки семантического сходства текста, а также может применяться в задачах поиска, сопоставления и извлечения признаков.
Модель основана на архитектуре BERT и относится к семейству Sentence Transformers; её название указывает на использование компактного варианта MiniLM с шестью слоями. Поддерживаемый язык — английский. В README не указаны точный размер модели, доступные уровни квантования, длина контекста и перечень модальностей; по представленным данным модель является текстовой.
К сильным сторонам относятся компактность архитектуры и формат GGUF, удобный для локального инференса в совместимых инструментах. Ограничениями являются англоязычная специализация и отсутствие в README подробностей о производительности, точности, контексте и конкретных вариантах квантования. Исходная модель распространяется по лицензии Apache-2.0; для GGUF-репозитория также указана лицензия Apache-2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This repo contains GGUF format model files for all-MiniLM-L6-v2.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).