AntlerStar-RP
GGUF版はこちら/Click here for the GGUF version
概要
This is a merge of pre-trained language models created using mergekit.
Aratako/Antler-7B-RP-v3とAratako/Japanese-Starling-ChatV-7B-RPの2つのモデルをベースにマージして作成したロールプレイ用モデルです。
マージの詳細
まず、Aratako/Antler-7B-RP-v3とAratako/Japanese-Starling-ChatV-7B-RPの2モデルに対し、以下4モデルのChat Vectorを0.5倍して加算し、各4種類、計8種類のChat Vector加算モデルを作成しました。
- senseable/WestLake-7B-v2
- SanjiWatsuki/Kunoichi-DPO-v2-7B
- SanjiWatsuki/Silicon-Maid-7B
- SanjiWatsuki/Loyal-Macaroni-Maid-7B
次に、このChat Vector加算によってできた各4モデルと元のモデルを、それぞれModel Stockという手法を用い以下のようなconfigを使ってmergekitでマージし、2つのモデルを作成しました。
models:
- model: ./Antler-7B-RP-v3
- model: ./Antler-7B-RP-v3-WestLake-ChatVector
- model: ./Antler-7B-RP-v3-Kunoichi-ChatVector
- model: ./Antler-7B-RP-v3-SiliconMaid-ChatVector
- model: ./Antler-7B-RP-v3-LoyalMacaroniMaid-ChatVector
merge_method: model_stock
base_model: ./Antler-7B-RP-v3
dtype: bfloat16
tokenizer_source: union
models:
- model: ./Japanese-Starling-ChatV-7B-RP
- model: ./Japanese-Starling-ChatV-7B-RP-WestLake-ChatVector
- model: ./Japanese-Starling-ChatV-7B-RP-Kunoichi-ChatVector
- model: ./Japanese-Starling-ChatV-7B-RP-SiliconMaid-ChatVector
- model: ./Japanese-Starling-ChatV-7B-RP-LoyalMacaroniMaid-ChatVector
merge_method: model_stock
base_model: ./Japanese-Starling-ChatV-7B-RP
dtype: bfloat16
tokenizer_source: union
最後に、この2つのモデルをDARE TIESという手法でmergekitを用いてマージしました。
models:
- model: ./Antler-7B-RP-v3-Model-Stock
# no parameters necessary for base model
- model: ./Japanese-Starling-ChatV-7B-RP-Model-Stock # follow user intent
parameters:
density: 1
weight: 0.7
merge_method: dare_ties
base_model: ./Antler-7B-RP-v3-Model-Stock
dtype: bfloat16
tokenizer_source: union