Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Gemma 105k Prompt Embedding Model — модель эмбеддингов предложений на базе Gemma, упакованная как модель Sentence Transformers. Она предназначена для поиска по текстам: запросы кодируются с префиксом «task: search result | query: », а документы — с префиксом «title: none | text: ». Модель экспортирована после второго этапа обучения; лучший чекпойнт выбран по метрике nDCG@10 на наборе DeepEdu. README описывает готовый к загрузке пакет Sentence Transformers с конфигурацией промптов и артефактами обучения и оценки.

Модель выдаёт текстовые эмбеддинги для поиска и сравнения сходства предложений. В метаданных указаны английский и вьетнамский языки, однако README не уточняет размеры модели и контекстное окно. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.

Сценарии применения

поиск документов по текстовому запросу
семантический поиск по базе знаний
ранжирование документов по релевантности запросу
сравнение сходства предложений
создание эмбеддингов запросов и документов для retrieval-системы

Ограничения

В предоставленных данных нет описания лицензии; перед использованием следует проверить условия репозитория. README не приводит размеры модели и контекстное окно.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma 105k Prompt Embedding Model

This model package was exported from the Stage 2 training run:

Run directory: 20260812_100911_gemma105k_matryoshka_v1
Export date: 2026-08-27

It is intended to be downloaded directly from Hugging Face and tested immediately by another team.

What Is Included

The full Sentence Transformers model at repo root
Prompt-aware configuration in config_sentence_transformers.json
Training/evaluation manifests under artifacts/
Post-train benchmark outputs under artifacts/post_eval/

Prompt Behavior

The exported model keeps the prompt prefixes used during training and evaluation:

Query prefix: task: search result | query:
Document prefix: title: none | text:

This means users can load the model normally:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("your-org/gemma105k-prompt-embed")
emb = model.encode(
    ["what is photosynthesis?"],
    prompt_name="query",
)

Best Checkpoint Selection

load_best_model_at_end: True
metric_for_best_model: eval_DeepEdu_dot_ndcg@10
best_metric: 0.6407359510534348
best_model_checkpoint: output/20260812_100911_gemma105k_matryoshka_v1/checkpoints/checkpoint-200

Multi-Best Summary

{
  "deb": {
    "value": 0.6407359510534348,
    "step": 200,
    "checkpoint": "output/20260812_100911_gemma105k_matryoshka_v1/best_checkpoints/deb"
  },
  "rteb_financebench": {
    "value": 0.8054662482334365,
    "step": 200,
    "checkpoint": "output/20260812_100911_gemma105k_matryoshka_v1/best_checkpoints/rteb_financebench"
  },
  "rteb_humaneval": {
    "value": 0.987053136533919,
    "step": 800,
    "checkpoint": "output/20260812_100911_gemma105k_matryoshka_v1/best_checkpoints/rteb_humaneval"
  },
  "rteb_legalsummarization": {
    "value": 0.6590277899878882,
    "step": 400,
    "checkpoint": "output/20260812_100911_gemma105k_matryoshka_v1/best_checkpoints/rteb_legalsummarization"
  },
  "vnmteb_mini": {
    "value": 0.5384664016717299,
    "step": 200,
    "checkpoint": "output/20260812_100911_gemma105k_matryoshka_v1/best_checkpoints/vnmteb_mini"
  },
  "train_loss": {
    "value": 0.5513583866022251,
    "step": 800,
    "checkpoint": "output/20260812_100911_gemma105k_matryoshka_v1/best_checkpoints/train_loss"
  }
}

Post-Train Benchmark Summary

{
  "stage2_run": "20260812_100911_gemma105k_matryoshka_v1",
  "final_model_dir": "output/20260812_100911_gemma105k_matryoshka_v1/final_model",
  "benchmarks": {
    "sdg939q_canonical": {
      "status": "completed",
      "results_path": "output/20260812_100911_gemma105k_matryoshka_v1/post_eval/20260813_093214_sdg939q_canonical/eval_results.json",
      "comparison_path": "output/20260812_100911_gemma105k_matryoshka_v1/post_eval/20260813_093214_sdg939q_canonical/comparison.json",
      "wandb_run_url": "https://wandb.ai/aivforever/deepedu_embed/runs/hxzm1lvl"
    },
    "rteb_financebench": {
      "status": "completed",
      "results_path": "output/20260812_100911_gemma105k_matryoshka_v1/post_eval/20260813_101350_rteb_financebench/eval_results.json",
      "comparison_path": "output/20260812_100911_gemma105k_matryoshka_v1/post_eval/20260813_101350_rteb_financebench/comparison.json",
      "wandb_run_url": "https://wandb.ai/aivforever/deepedu_embed/runs/tyebh3p5"
    },
    "rteb_humaneval": {
      "status": "completed",
      "results_path": "output/20260812_100911_gemma105k_matryoshka_v1/post_eval/20260813_101421_rteb_humaneval/eval_results.json",
      "comparison_path": "output/20260812_100911_gemma105k_matryoshka_v1/post_eval/20260813_101421_rteb_humaneval/comparison.json",
      "wandb_run_url": "https://wandb.ai/aivforever/deepedu_embed/runs/frumsd6y"
    },
    "rteb_legalsummarization": {
      "status": "completed",
      "results_path": "output/20260812_100911_gemma105k_matryoshka_v1/post_eval/20260813_101507_rteb_legalsummarization/eval_results.json",
      "comparison_path": "output/20260812_100911_gemma105k_matryoshka_v1/post_eval/20260813_101507_rteb_legalsummarization/comparison.json",
      "wandb_run_url": "https://wandb.ai/aivforever/deepedu_embed/runs/zev4hay1"
    },
    "vnmteb10": {
      "status": "completed",
      "results_path": "output/20260812_100911_gemma105k_matryoshka_v1/post_eval/20260813_101635_vnmteb10/eval_results.json",
      "comparison_path": "output/20260812_100911_gemma105k_matryoshka_v1/post_eval/20260813_101635_vnmteb10/comparison.json",
      "wandb_run_url": "https://wandb.ai/aivforever/deepedu_embed/runs/e8defs9f"
    }
  },
  "created_at": "2026-08-13T18:08:22.182796"
}

Artifact Layout

root: loadable Sentence Transformers model
artifacts/stage2_manifest.json: training/export manifest
artifacts/best_summary.json: best-checkpoint summary
artifacts/post_eval_summary.json: post-train benchmark summary
artifacts/post_eval/: raw post-eval outputs

Minimal Load Example

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("your-org/gemma105k-prompt-embed")
query_vec = model.encode(
    ["task: search result | query: what is photosynthesis?"],
    normalize_embeddings=True,
)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 22dcdc5

Характеристики

Ссылки

gemma105k-prompt-embed