Модель BERT для задач симметричного сравнения запросов (query). Получена дистилляцией эмбеддингов русских и английских текстов с учётом префикса Qwen/Qwen3-Embedding-8B. Модель принадлежит к виду uncased - не различает при обработке текста буквы, написанные в верхнем и нижнем регистре.
Модель может использоваться для кэшировании и фильтрации запросов к LLM, Q2Q RAG.
Основные характеристики модели:
- размер ембеддинга - 1024,
- длина контекста - 512,
- слоёв - 12,
- префиксы - не требуются.
Использование
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('sergeyzh/rubert-large-uncased-query')
sentences = ["восстановление доступа", "как сбросить пароль"]
embeddings = model.encode(sentences)
print(model.similarity(embeddings, embeddings))
Метрики
Оценка качества модели для русского языка выполнена на сравнении близости пар поисковых запросов датасета ai-forever/rubq-retrieval с ответами референсной модели Qwen/Qwen3-Embedding-8B:
| Модель | Pearson r | Spearman ρ |
|---|---|---|
| Qwen/Qwen3-Embedding-8B | 1.000 | 1.000 |
| sergeyzh/rubert-large-uncased-query | 0.850 | 0.800 |
| Qwen/Qwen3-Embedding-4B | 0.845 | 0.788 |
| Qwen/Qwen3-Embedding-0.6B | 0.716 | 0.655 |
| sergeyzh/rubert-mini-uncased-query | 0.714 | 0.641 |
| intfloat/multilingual-e5-large-instruct | 0.707 | 0.636 |
| intfloat/e5-large | 0.654 | 0.570 |
| sergeyzh/rubert-mini-frida | 0.638 | 0.539 |
| BAAI/bge-m3 | 0.630 | 0.533 |
| ai-forever/FRIDA | 0.623 | 0.533 |