Llama-3-8B-saiga-suzume-ties
Llama-3-8B-saiga-suzume-ties is a merge of the following models using LazyMergekit:
🧩 Configuration
models:
- model: NousResearch/Meta-Llama-3-8B-Instruct
- model: IlyaGusev/saiga_llama3_8b
parameters:
density: 0.5
weight: 0.3
- model: lightblue/suzume-llama-3-8B-multilingual
parameters:
density: 0.5
weight: 0.5
merge_method: ties
base_model: NousResearch/Meta-Llama-3-8B-Instruct
parameters:
normalize: true
dtype: float16
💻 Usage
!pip install -qU transformers accelerate
from transformers import AutoTokenizer
import transformers
import torch
model = "d0rj/Llama-3-8B-saiga-suzume-ties"
messages = [{"role": "user", "content": "What is a large language model?"}]
tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
"text-generation",
model=model,
torch_dtype=torch.float16,
device_map="auto",
)
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])
or
import torch
from transformers import AutoTokenizer, GenerationConfig, AutoModelForCausalLM
model_id = "d0rj/Llama-3-8B-saiga-suzume-ties"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.float16,
attn_implementation="flash_attention_2", # if you can
).to("cuda").eval()
generation_config = GenerationConfig(
do_sample=True,
top_k=30,
top_p=0.9,
temperature=1.04,
repeatition_penalty=1.2,
max_length=8192,
max_new_tokens=512,
min_new_tokens=2,
pad_token_id=tokenizer.eos_token_id,
)
data = tokenizer.apply_chat_template(
[
{"role": "system", "content": "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."},
{"role": "user", "content": "Привет! Как дела?"},
{"role": "assistant", "content": "Привет! Спасибо, дела неплохо. Как у тебя? Чем могу помочь?"},
{"role": "user", "content": "Расскажи, как сдать сессию, если лень даже думать о ней?"},
],
return_tensors="pt",
return_dict=True,
add_generation_prompt=True,
).to(model.device)
with torch.inference_mode():
output_ids = model.generate(
**data,
generation_config=generation_config
)[0]
output_ids = output_ids[len(data["input_ids"][0]):]
output = tokenizer.decode(output_ids, skip_special_tokens=True)
print(output.strip())
Сдача сессии — это важный момент в жизни каждого студента. Если вы чувствуете лень думать о ней, возможно, стоит попытаться найти мотивацию. Вот несколько советов, которые могут помочь:
1. **Определите причины своей лени.** Если лень связана с чем-то конкретным, попробуйте определить и устранить эту проблему. Например, может быть, вы недосыпаете, вечно устаете или что-то еще.
2. **Рассмотрите сессию как часть вашей жизни.** Понимание того, что сессия — это не просто обязанность, а также возможность учиться и развиваться, может изменить ваше отношение к этому процессу.
3. **Разбейте задачи на маленькие части.** Часто кажется, что большая задача непреодолима, но если разделить ее на меньшие, они станут более доступными.
4. **Планируйте и организуйте свое время.** Разработайте план изучения и следуйте ему. Это поможет вам лучше управлять своим временем и мотивацией.
5. **Получите поддержку.** Поделитесь своими трудностями с друзьями или семьей. Они могут предложить советы или поддержку.
6. **Найдите способы сделать изучение интересным.** Может быть, найдите что-то, что вам нравится, и начните изучать вместе с этим. Это поможет сделать процесс более приятным и стимулирует вас к обучению.
7. **Создайте для себя награды за выполнение задач.** Это может быть что-то простое, например, посмотреть свою любимую серию или сходить на прогулку. Таким образом, вы будете мотивированы продолжать изучение.
8. **Помните о своих целях.** Долгосрочные цели могут служить хорошим мотивационным фактором. Помните, что каждая сессия — это шаг к достижению ваших мечт.
Помните, что самое главное — это не сдача сессии, а процесс обучения и развития. Будьте добры к себе и не забывайте о своих успехах