all-MiniLM-L12-v2 - GGUF
- Model creator: Sentence Transformers
- Original model: all-MiniLM-L12-v2
Description
This repo contains GGUF format model files for all-MiniLM-L12-v2.
leliuga/all-MiniLM-L12-v2-GGUF — это квантованные файлы модели all-MiniLM-L12-v2 в формате GGUF.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Исходную модель разработала команда Sentence Transformers, а данный вариант подготовлен пользователем Leliuga на основе sentence-transformers/all-MiniLM-L12-v2.
Модель предназначена для получения эмбеддингов предложений и задач сравнения семантического сходства текста, включая sentence similarity, поиск и извлечение признаков. Она относится к семейству BERT и использует архитектуру MiniLM; в README указано, что поддерживается английский язык. Формат GGUF ориентирован на использование в совместимых локальных инструментах инференса, однако конкретные параметры квантования и требования к ресурсам не указаны.
Сильными сторонами модели являются компактный формат распространения и специализация на семантическом представлении предложений. В качестве ограничений следует учитывать англоязычную направленность, отсутствие сведений о размере модели, длине контекста, точных вариантах квантования и готовых характеристиках производительности. Модель распространяется по лицензии Apache-2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This repo contains GGUF format model files for all-MiniLM-L12-v2.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).