Ruri-Reranker: Japanese General Reranker
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("cl-nagoya/ruri-reranker-stage1-small", trust_remote_code=True)
inputs = [
[
"瑠璃色はどんな色？",
"瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
],
[
"瑠璃色はどんな色？",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
"瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
],
]
scores = model.predict(inputs)
print(scores)
result = model.rank(
query="瑠璃色はどんな色？",
documents=[
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
"瑠璃、または琉璃（るり）は、仏教の七宝の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
"瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
],
)
print(result)
Benchmarks
| Model | #Param.(w/oEmb.) | JQaRA | JaCWIR | MIRACL |
|---|---|---|---|---|
| hotchpotch/japanese-reranker-cross-encoder-xsmall-v1 | 107M(11M) | 61.4 | 93.8 | 90.6 |
| hotchpotch/japanese-reranker-cross-encoder-small-v1 | 118M(21M) | 62.5 | 93.9 | 92.2 |
| hotchpotch/japanese-reranker-cross-encoder-base-v1 | 111M(86M) | 67.1 | 93.4 | 93.3 |
| hotchpotch/japanese-reranker-cross-encoder-large-v1 | 337M(303M) | 71.0 | 93.6 | 91.5 |
| hotchpotch/japanese-bge-reranker-v2-m3-v1 | 568M(303M) | 69.2 | 93.7 | 94.7 |
| BAAI/bge-reranker-v2-m3 | 568M(303M) | 67.3 | 93.4 | 94.9 |
| Ruri-Reranker-Small (this model) | 68M(43M) | 64.5 | 92.6 | 92.3 |
| Ruri-Reranker-Base | 111M(86M) | 74.3 | 93.5 | 95.6 |
| Ruri-Reranker-Large | 337M(303M) | 77.1 | 94.1 | 96.1 |
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: cl-nagoya/ruri-pr-small
- Maximum Sequence Length: 512 tokens
- Language: Japanese
- License: Apache 2.0
- Paper: https://arxiv.org/abs/2409.07737
Training Details
Framework Versions
- Python: 3.10.13
- Sentence Transformers: 3.0.0
- Transformers: 4.41.2
- PyTorch: 2.3.1+cu118
- Accelerate: 0.30.1
- Datasets: 2.19.1
- Tokenizers: 0.19.1
License
This model is published under the Apache License, Version 2.0.