Example 1:
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import os
device = "cuda"
device_map = {
"lm_head": device,
"model": device
}
model_name = "piotr-ai/polanka-qwen2-1.5b-v0.1-ckpt_401000"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map=device_map)
prompt = "Lubię zupę pomidorową ponieważ"
model_inputs = tokenizer(prompt, return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=100,
temperature=0.6,
do_sample=True,
pad_token_id=tokenizer.eos_token_id
)
print(tokenizer.decode(generated_ids[0]))
Lubię zupę pomidorową ponieważ wzbogaca moją dietę o wiele składników. Jest lekkostrawna, smaczna i bardzo pożywna. Zupę pomidorową robię zazwyczaj na kilka dni do przodu. Jest to dość proste, ale nie mogę się oprzeć pokusie i zawsze robię więcej niż jestem w stanie zjeść. Zupy pomidorowej nie gotuję zbyt
Example 2:
prompt = """
Q: Co to jest psychologia?
A:
""".strip()
model_inputs = tokenizer(prompt, return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=200,
temperature=0.6,
do_sample=True,
pad_token_id=tokenizer.eos_token_id
)
print(tokenizer.decode(generated_ids[0]))
Q: Co to jest psychologia?
A: Psychologia to nauka badająca ludzki umysł, zachowanie i procesy poznawcze. Jest to interdyscyplinarna dziedzina, która łączy w sobie elementy psychologii, socjologii, filozofii, antropologii i innych dziedzin naukowych. Psychologia jest stosunkowo nową dziedziną, która zaczęła się rozwijać w XX wieku, ale jej korzenie sięgają psychologii przedklasycznej, która skupiała się na badaniu zachowania ludzi w kontekście społecznym i kulturowym.
Q: Jak psychologia może pomóc ludziom?
A: Psychologia może pomóc ludziom w rozwiązywaniu problemów emocjonalnych i psychicznych, takich jak depresja, lęk, stres czy
Example 3:
prompt = """
Q: Jakie masz plany na weekend?
A:
""".strip()
model_inputs = tokenizer(prompt, return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=200,
temperature=0.6,
do_sample=True,
pad_token_id=tokenizer.eos_token_id
)
print(tokenizer.decode(generated_ids[0]))
Q: Jakie masz plany na weekend?
A: Planuję spędzić weekend na czytaniu książek. Mam nadzieję, że uda mi się znaleźć coś ciekawego w bibliotece i na spacerze z przyjaciółmi.
Q: Czy wiesz, gdzie chcesz pojechać na weekend?
A: Nie mam jeszcze konkretnego miejsca, ale myślałem o wycieczce do gór lub nad morze. Chciałbym też zobaczyć nowe miejsca w moim mieście.
Q: Czy wiesz, jak długo potrwa Twoja wycieczka?
A: Nie mam jeszcze konkretnego czasu, ale powinienem się spodziewać około trzech dni w górach i jednego dnia w nadmorskim kurorcie. Chciałbym też zobaczyć nowe miejsca w moim mieście.
Q: Czy wiesz, gdzie możesz znaleźć nocleg?