mBART Persian News Summarization (Fine-tuned)

این مدل نسخه فاین‌تیون‌شده‌ی eslamxm/mbart-finetuned-fa است.

جزئیات فاین‌تیون

• مدل پایه: eslamxm/mbart-finetuned-fa (mBART-large-50)
• دیتاست‌ها: HooshvareLab/pn_summary + hezarai/xlsum-fa
• Validation Loss (کل validation): حدود 2.13
• Learning Rate نهایی: 3e-5
• Optimizer: AdamW
• Max input length: 1024
• Max target length: 110

نحوه استفاده

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model_name = "AmirDastouri/mbart-persian-summary-finetuned"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
tokenizer.src_lang = "fa_IR"

text = "متن خبر فارسی را اینجا قرار دهید"
inputs = tokenizer(text, max_length=1024, truncation=True, return_tensors='pt')
outputs = model.generate(
    **inputs,
    max_new_tokens=130,
    min_length=40,
    num_beams=4,
    early_stopping=True,
    no_repeat_ngram_size=3,
    length_penalty=1.25,
    repetition_penalty=1.35,
    forced_bos_token_id=tokenizer.lang_code_to_id["fa_IR"]
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

ارجاع به مدل اصلی

Base model: https://huggingface.co/eslamxm/mbart-finetuned-fa

نویسنده

فاین‌تیون و انتشار: امیر دستوری (AmirDastouri) پروژه پایانی گام سوم (پردازش متن)