Характеристики

Контекст: 262 144 токена
Параметры: 1,1 млрд
Лицензия: openmdw-1.1
Архитектура: ministral3 · dense
Базовая модель: Nemotron-3-Embed-1B-BF16
Библиотека: llama.cpp
Опубликована: 2 сен 2026

Ссылки

Nemotron-3-Embed-1B-GGUF

Nemotron-3-Embed-1B GGUF — это модель для создания текстовых эмбеддингов, основанная на Nemotron-3-Embed-1B-BF16 от NVIDIA и преобразованная в формат GGUF для использования с llama.cpp.

598скачиваний за 30 дней1лайквеса обновлены2 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена для семантического поиска, построения retrieval-систем, сопоставления текстов, кластеризации и других задач, где требуется сравнивать смысловое сходство текстовых фрагментов.

Модель использует архитектуру mistral3 (Ministral3): 16 слоёв, скрытое представление размером 2048, 24 Q-heads и 8 KV-heads. Заявлен контекст до 262 тысяч токенов с поддержкой YaRN. Для получения эмбеддингов применяются mean pooling и L2-нормализация. Доступны варианты BF16 размером около 2,2 ГБ и Q8_0 размером около 1,2 ГБ. Поддерживаемые языки и другие модальности в README не указаны.

Сильной стороной модели является совместимость с llama.cpp и возможность локального запуска в формате GGUF, включая экономичный вариант Q8_0. Для полного совпадения исходных векторов с реализацией Hugging Face необходимо отключить автоматическое добавление BOS-токена; при стандартной настройке качество поиска, согласно README, не меняется, хотя сами векторы немного отличаются. Лицензия — openmdw-1.1.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Nemotron-3-Embed-1B GGUF

GGUF conversion of nvidia/Nemotron-3-Embed-1B-BF16 for use with llama.cpp.

Files

File	Quant	Size
`model-BF16.gguf`	BF16 (lossless, matches source)	2.2 GB
`model-Q8_0.gguf`	Q8_0	1.2 GB

Usage

Serve with llama-server for embeddings (mean pooling, L2 normalized output):

llama-server -m model-BF16.gguf \
  --pooling mean \
  --embed-normalize 2 \
  --host 0.0.0.0 --port 8080

Then query:

curl http://localhost:8080/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{"input": "hello world"}'

Notes

Architecture: mistral3 (Ministral3, 16 layers, hidden 2048, 24 Q / 8 KV heads, 262k context with YaRN).
The model was trained and served as a sentence-transformers model, which does not prepend a BOS token. llama.cpp's tokenizer for this model does add one by default. If you need embeddings that exactly match the Hugging Face reference, run the server with: --override-kv tokenizer.ggml.add_bos_token=bool:false Retrieval quality is unaffected either way (the BOS token applies a nearly constant offset to all embeddings), but the raw vectors will differ.
Converted with convert_hf_to_gguf.py from the BF16 safetensors.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · llama.cpp

Нельзя запустить

У модели не указана задача, поэтому рантайм не знает, как её запускать.

Класс архитектуры: Ministral3Model
Ревизия весов: 22112b2