ELYZA-japanese-Llama-2-MoE-2x7B-v0.1
概要
Llama-2ベースの学習済み日本語モデルであるelyza/ELYZA-japanese-Llama-2-7bと、そのinstruction tuningモデルであるelyza/ELYZA-japanese-Llama-2-7b-instruct を、mergekitを使ってMoEを行い作成したモデルです。
以下2モデルを利用しています。
ライセンス
元モデルの通り、Llama2ライセンスを継承します。
Llama 2 is licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.
ベンチマーク
ベースとしたELYZA-japanese-Llama-2-7b-instructと本モデルのjapanese-mt-benchの結果は以下の通りです。 （シングルターン）
| Model | Size | Coding | Extraction | Humanities | Math | Reasoning | Roleplay | STEM | Writing | avg_score |
|---|---|---|---|---|---|---|---|---|---|---|
| ELYZA-japanese-Llama-2-7b-instruct | 7B | 2.4 | 3.3 | 5.7 | 1.8 | 4.7 | 4.7 | 4.8 | 6.2 | 4.2125 |
| This model | 2x7B | 2.2 | 6.4 | 5.5 | 2.1 | 3.9 | 5.5 | 5.3 | 5.9 | 4.6000 |
ベンチマークに使用したプロンプト
"""<s>[INST] <<SYS>>
あなたは誠実で優秀な日本人のアシスタントです。
<</SYS>>
{instruction} [/INST]"""
Description
This model is created using MoE (Mixture of Experts) through mergekit based on elyza/ELYZA-japanese-Llama-2-7b and elyza/ELYZA-japanese-Llama-2-7b-instruct.
Click here for the GGUF version
It utilizes the following two models:
License
This model inherit the Llama2 license.
Llama 2 is licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.
Benchmark
The results of this model and the base ELYZA-japanese-Llama-2-7b-instruct on japanese-mt-bench are as follows. (Single turn)
| Model | Size | Coding | Extraction | Humanities | Math | Reasoning | Roleplay | STEM | Writing | avg_score |
|---|---|---|---|---|---|---|---|---|---|---|
| ELYZA-japanese-Llama-2-7b-instruct | 7B | 2.4 | 3.3 | 5.7 | 1.8 | 4.7 | 4.7 | 4.8 | 6.2 | 4.2125 |
| This model | 2x7B | 2.2 | 6.4 | 5.5 | 2.1 | 3.9 | 5.5 | 5.3 | 5.9 | 4.6000 |
Prompt used for benchmark
"""<s>[INST] <<SYS>>
あなたは誠実で優秀な日本人のアシスタントです。
<</SYS>>
{instruction} [/INST]"""
Merge config
base_model: ./ELYZA-japanese-Llama-2-7b-instruct
gate_mode: random
dtype: bfloat16
experts:
- source_model: ./ELYZA-japanese-Llama-2-7b-instruct
positive_prompts: []
- source_model: ./ELYZA-japanese-Llama-2-7b
positive_prompts: []
tokenizer_source: model:./ELYZA-japanese-Llama-2-7b-instruct