How to use it
# pip install transformers accelerate
from transformers import AutoTokenizer
import transformers
import torch
model = "Zen1t/WordWeaver-AI"
prompt = "Сегодня он собирался удивить Аню сюрпризом — отвезти её в ресторан, заслуживающий особого внимания из-за своего расположения. А располагался тот на двадцать пятом этаже здания «Российской Академии Наук». Из его окон, судя по описанию, открывался изумительный вид на город, особенно ночью."
prompt = f"<s>[INST] {prompt} [/INST]"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
"text-generation",
model=model,
torch_dtype=torch.float16,
device_map="auto",
)
sequences = pipeline(
prompt,
do_sample=True,
top_k=10,
num_return_sequences=1,
eos_token_id=tokenizer.eos_token_id,
max_length=200,
)
for seq in sequences:
print(seq['generated_text'][len(prompt):])
Output
Сегодня он собирался удивить Аню сюрпризом — отвезти ее в ресторан, заслуживающий
особого внимания из-за своего расположения на двадцать пятом этаже здания «Российской Академии Наук».
Из его окон, судя по описанию, открывался изумительный вид на город, особенно ночью.