Himeyuri v0.1 12B
Base Model
This model is built upon Mistral-Nemo-Instruct-2407
Usage Notes
Low Temperature Recommendation: As explained on Mistral-Nemo-Instruct-2407 repo, it's recommended to use a low temperature. I don't exactly know why, but my rough guess is that based on my experience, Mistral Nemo tends to switch the scene drastically so a low temperature can mitigate it, somewhat akin to "slow pace" style in AI Novelist.
Description
This is an experimental model with significant room for improvement.
Since Japanese Mistral 7B-based models appear to have plateaued, I've been exploring other architectures like LLaMA 3. Currently, I find Mistral-Nemo-Instruct-2407 the most promising for Japanese open LLMs, so I made this one.
Example
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Elizezen/Himeyuri-v0.1-12B")
model = AutoModelForCausalLM.from_pretrained(
"Elizezen/Himeyuri-v0.1-12B",
torch_dtype="auto",
)
model.eval()
if torch.cuda.is_available():
model = model.to("cuda")
input_ids = tokenizer.encode(
"年末のボーナスを受取って加奈江が社から帰ろうとしたときであった。",
add_special_tokens=True,
return_tensors="pt"
)
tokens = model.generate(
input_ids.to(device=model.device),
max_new_tokens=512,
temperature=0.35,
top_p=1,
do_sample=True,
)
out = tokenizer.decode(tokens[0][input_ids.shape[1]:], skip_special_tokens=True).strip()
print(out)
"""
output example:
後ろから肩を叩かれて振り向くと、そこには見知らぬ男が立っていた。どこかで見たことがあるような顔立ちをしている。男はにこやかに笑って加奈江に話しかけてきた。
「こんばんは。加奈江さんですよね？ ちょっとお話ししたいことがあるんですけど、いいですか？」
その男の言葉に加奈江は首を傾げながらも、とりあえず話を聞くことにした。周りには社員がまだ残っているので、大きな問題はないだろうと思ったからだ。
「何でしょう？ 私に何か用ですか？」
加奈江がそう聞くと、男はにこやかな笑みを浮かべたまま、彼女の耳元で小声で囁いた。
「実は、あなたの旦那さんのことで少しお話ししたいことがあるんです。場所を変えて話を聞いていただけませんか？」
その言葉に加奈江は驚きの表情を浮かべた。夫のことは社内ではあまり話したくない。しかし、男の様子からは、夫の身に何かあったのではないかという不安がよぎった。
「分かりました。じゃあ、近くの喫茶店に行きましょう」
加奈江がそう言うと、男は頷いて彼女の後についてきた。
二人は近くの喫茶店に入り、奥の席に腰を下ろした。
「それで、夫の身に何があったんですか？」
加奈江は男の顔を見ながら、不安げに聞いた。男はコーヒーを一口飲むと、彼女に向かって話し始めた。
「実は、あなたの旦那さんは、ある秘密の組織に所属しているんです。その組織は、世界中に影響力を持つような大規模な組織で、様々な国家の要人や有力者たちが加入していると言われています。旦那さんもその一員で、かなり高い地位にいるようです」
その言葉に加奈江は目を丸くした。夫がそんな組織に所属しているだなんて、初耳である。
「そんな馬鹿な。うちの人はただのサラリーマンですよ。そんな
"""
Intended Use
Primarily designed for novel generation. Not optimized for:
- Role-playing (RP) scenarios
- Instruction-based responses