Характеристики

Лицензия: Apache 2.0
Базовая модель: granite-embedding-311m-multilingual-r2
Опубликована: 17 авг 2026

Ссылки

granite-embedding-311m-multilingual-r2-GGUF

ЭмбеддингиТекст → embedding13 профессий

Многоязычная модель эмбеддингов IBM Granite на ModernBERT для семантического поиска, сравнения текстов и поиска по коду.

66скачиваний за 30 дней0лайковвеса обновлены18 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

arshvir/granite-embedding-311m-multilingual-r2-GGUF — конвертированная в формат GGUF модель эмбеддингов IBM Granite Embedding 311M Multilingual R2 на архитектуре ModernBERT. Репозиторий содержит веса в формате F16; модель насчитывает 311 млн параметров и поддерживает контекст до 32 768 токенов. Она преобразует текст в векторы размерностью 768, которые можно усекать до 512, 384, 256 или 128 измерений благодаря Matryoshka Representation Learning.

Модель предназначена для многоязычного и межъязыкового семантического поиска, сравнения предложений и поиска по длинным документам, а также для поиска по коду. В README заявлена поддержка более 200 языков, с усиленным обучением на 52 языках и примерами языков программирования. Для загрузки GGUF предлагается использовать llama-cpp-python.

По README, модель набрала 65,2 на 18 задачах многоязычного retrieval-бенчмарка MTEB; эти результаты приведены автором карточки. Репозиторий указывает лицензию Apache 2.0. Это преобразование исходной модели в GGUF F16, а не новая обученная версия; для использования нужна совместимая среда выполнения GGUF.

Сценарии применения

многоязычный семантический поиск по документам
межъязыковой поиск по запросам и текстам
сравнение смысловой близости предложений
поиск релевантных фрагментов для RAG
поиск по исходному коду и технической документации
индексация длинных документов в векторной базе

Ограничения

Модель выдаёт векторы для поиска и сравнения, а не готовые текстовые ответы. Веса доступны в GGUF F16, поэтому для запуска нужна совместимая среда выполнения GGUF.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Granite Embedding 311M Multilingual R2 - GGUF

This is a GGUF-format conversion of the ibm-granite/granite-embedding-311m-multilingual-r2 embedding model.

🛡️ Why this repository exists (Transparency & Trust)

I intentionally created this GGUF conversion from scratch rather than relying on pre-packaged vendor binaries because I believe in full transparency, trust, and control over the model pipeline. When running local AI, you should know exactly how your weights were processed.

To ensure anyone can audit the conversion or generate alternative quantization formats (like q8_0 or q4_K_M), I have provided the exact, reproducible Google Colab conversion script at the bottom of this model card. You do not have to trust my binary—you can verify it or build it yourself.

📊 Model Specifications

This model uses the ModernBERT architecture, bringing alternating attention, GeGLU activations, and rotary position embeddings (RoPE) to deliver state-of-the-art retrieval.

Parameters: 311 Million
Context Window: 32,768 tokens (Expanded 64x from the R1 version)
Embedding Dimension: 768 (Supports Matryoshka Representation Learning, allowing truncation down to 512, 384, 256, or 128 dimensions)
Format: GGUF (f16 16-bit float)
Storage Size: ~623 MB
Languages Supported: 200+ languages, with explicitly enhanced training for 52 languages and programming code (Python, Go, Java, JavaScript, C++, SQL, etc.).
License: Apache 2.0

🏆 Performance & Evaluation

The Granite 311M Multilingual R2 model is highly optimized for multi-lingual and cross-lingual text search, code retrieval, and long-document search.

Multilingual MTEB Retrieval (18 tasks): 65.2 score (a +13 point jump over the previous 278M generation).
Code Retrieval: State-of-the-art performance for an open model under 500M parameters.
Throughput: Capable of ~1,828 documents per second at 512-token lengths.

💻 How to Use

1. Using `llama-cpp-python`

You can easily load this embedding model in Python to generate vector embeddings for your documents or queries.

pip install llama-cpp-python
Python
from llama_cpp import Llama

# Load the model (ensure you download the .gguf file first)
model = Llama(
    model_path="granite-311m-multilingual-r2-f16.gguf",
    embedding=True,
    n_ctx=32768 # Support for full context window
)

# Generate an embedding
text = "The quick brown fox jumps over the lazy dog."
embedding = model.embed(text)

print(f"Embedding dimension: {len(embedding[0])}")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: 3ca9f78