/ Модель

Характеристики

Контекст
40 960 токенов
Параметры
7,6 млрд
Размер весов
15,1 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3 · dense
Базовая модель
Qwen3-Embedding-8B
Библиотека
mlx
Опубликована
29 июл 2026

Qwen3-Embedding-8B-MLX-BF16

Генерация текстаТекст → текст10 профессий

BF16-конверсия Qwen3-Embedding-8B для создания текстовых эмбеддингов и семантического поиска на Apple Silicon с MLX.

174скачиваний за 30 дней0лайковвеса обновлены29 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TiGa-RCE опубликовал BF16-конверсию модели Qwen3-Embedding-8B в формате MLX для запуска на Apple Silicon через MLX или oMLX. Модель основана на Qwen/Qwen3-Embedding-8B и предназначена для создания текстовых эмбеддингов, семантического поиска и задач извлечения признаков. В метаданных указаны 7,6 млрд параметров и контекст до 40 960 токенов; базовая модель поддерживает многоязычный поиск, в том числе поиск по коду и межъязыковой поиск.

В ограниченном локальном smoke-тесте извлечения модель достигла 24/24 совпадений top-1 и MRR 1,0 на 24 парах запросов и документов. Это небольшая инженерная проверка, а не оценка на MTEB и не гарантия качества для других данных. Контрольная точка рассчитана на Apple Silicon и MLX/oMLX; результаты для CUDA и PyTorch к ней не относятся. Лицензия — Apache-2.0.

Сценарии применения

  • семантический поиск по документам
  • поиск релевантных фрагментов для RAG
  • межъязыковой поиск по тексту
  • поиск по исходному коду
  • извлечение эмбеддингов запросов и документов

Ограничения

Оценка ограничена 24 парами запросов и документов и не подтверждает качество на широком наборе задач. Контрольная точка предназначена для MLX/oMLX на Apple Silicon; результаты CUDA и PyTorch не характеризуют её производительность.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3-Embedding-8B — MLX BF16

BF16 reference checkpoint for this matched local sweep.

This is the BF16 MLX conversion checkpoint from a matched local embedding-quantization experiment. It is published with explicit lineage, calibration evidence where applicable, and the bounded evaluation result that accompanied the conversion.

Provenance and lineage

  • Upstream model: Qwen/Qwen3-Embedding-8B
  • Upstream revision recorded for publication: 1d8ad4ca9b3dd8059ad90a75d4983776a23d44af
  • Revision evidence: exact source snapshot retained in the local Hugging Face download metadata
  • Direct parent: Qwen/Qwen3-Embedding-8B
  • Conversion rule: every quantized checkpoint branches directly from the family MLX BF16 checkpoint; no lossy checkpoint was used to create another.
  • Quantization: BF16 MLX conversion
  • Local conversion stack: oMLX 0.5.3, mlx-lm 0.31.3, MLX 0.32.0
  • Full collection: MLX Embedding Quantization Matrix

PROVENANCE.json contains machine-readable lineage and SHA-256 hashes for the published weight files. No importance matrix was used for this checkpoint.

Bounded local evaluation

RoleRetrieval smoke
BF16 reference24/24 top-1, MRR 1.0

The evaluation used 24 frozen query/document pairs, the upstream query instruction recipe, last-token pooling, L2 normalization, and direct comparison with vectors from the family BF16 checkpoint. This is an engineering smoke test, not MTEB and not a claim of universal quality. Retrieval success and representation fidelity are reported separately.

Runtime scope

This checkpoint targets Apple Silicon through MLX/oMLX. CUDA and PyTorch results are a separate control lane and must not be interpreted as measurements of MLX/Metal kernel performance.

License and attribution

Apache-2.0, following the upstream model card. The original model authors retain attribution for the upstream model; this repository contains a local MLX conversion or quantized derivative prepared by TiGa-RCE for reproducibility research.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры
Qwen3ForCausalLM
Ревизия весов
db4aad4

0 моделей