Характеристики

Контекст: 512 токенов
Параметры: 25,9 млн
Размер весов: 12,8 МБ
Лицензия: Apache 2.0
Архитектура: bert · dense
Библиотека: sentence-transformers
Опубликована: 9 мар 2026

Ссылки

all-MiniLM-L6-v2-4bit

ЭмбеддингиТекст → embedding9 профессий

Квантованная 4-битная MLX-версия MiniLM для построения английских эмбеддингов предложений и вычисления их семантического сходства.

893скачиваний за 30 дней0лайковвеса обновлены9 мар 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

thoddnn/all-MiniLM-L6-v2-4bit — компактная англоязычная модель семейства MiniLM для получения векторных представлений предложений и оценки их семантического сходства. Модель основана на sentence-transformers/all-MiniLM-L6-v2 и преобразована в формат MLX; README указывает использование mlx-embeddings. Модель содержит 25,9 млн параметров, использует 4-битное представление и поддерживает контекст до 512 токенов.

Модель предназначена для семантического поиска, сопоставления предложений, кластеризации текстов, дедупликации и построения retrieval-компонентов. Она возвращает нормализованные эмбеддинги, между которыми можно вычислять сходство скалярным произведением. Обучение исходной модели связано с наборами данных для поиска, вопросов и ответов, текстового сходства и извлечения информации.

Основные преимущества — небольшой размер, низкие требования к памяти и возможность запуска в MLX на совместимом оборудовании. Модель ориентирована на английский язык и не предназначена для генерации текста, диалогов или прямого ответа на вопросы. Длина входа ограничена 512 токенами, а 4-битная квантизация может снижать точность по сравнению с исходной моделью. Лицензия — Apache-2.0.

Сценарии применения

семантический поиск по англоязычным документам
поиск похожих предложений и документов
кластеризация текстов по смыслу
дедупликация текстового корпуса
сопоставление вопросов и ответов
построение retrieval-компонента для RAG

Ограничения

Модель ориентирована на английский язык и ограничена контекстом 512 токенов. Она создаёт эмбеддинги, но не генерирует текст и не отвечает на вопросы напрямую; 4-битная квантизация может уменьшать точность.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/all-MiniLM-L6-v2-4bit

The Model mlx-community/all-MiniLM-L6-v2-4bit was converted to MLX format from sentence-transformers/all-MiniLM-L6-v2 using mlx-lm version 0.0.3.

Use with mlx

pip install mlx-embeddings

from mlx_embeddings import load, generate
import mlx.core as mx

model, tokenizer = load("mlx-community/all-MiniLM-L6-v2-4bit")

# For text embeddings
output = generate(model, processor, texts=["I like grapes", "I like fruits"])
embeddings = output.text_embeds  # Normalized embeddings

# Compute dot product between normalized embeddings
similarity_matrix = mx.matmul(embeddings, embeddings.T)

print("Similarity matrix between texts:")
print(similarity_matrix)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: BertModel
Ревизия весов: c09bdc8