Model Card: IndoBERTweet Sentiment Analysis - Program MBG
Model Description
Model ini merupakan hasil fine-tuning dari IndoBERTweet-base-uncased untuk klasifikasi sentimen berbahasa Indonesia. Model dirancang khusus untuk menganalisis sentimen publik terhadap Program Makan Bergizi Gratis (MBG) berdasarkan data media sosial, dengan tiga kelas output: negatif, netral, dan positif.
Model dilatih menggunakan hyperparameter tuning (learning rate dan batch size) dengan early stopping berbasis validation loss, dan dievaluasi menggunakan F1-Score Macro.
Intended Uses
Model ini ditujukan untuk:
- Analisis sentimen publik terhadap Program MBG dari data media sosial (Twitter/X, dan berpotensi platform lain dengan gaya bahasa serupa)
- Riset akademik terkait opini publik terhadap kebijakan pemerintah
Training Data
Model dilatih menggunakan data cuitan berbahasa Indonesia yang berkaitan dengan Program MBG. Data melalui tahap preprocessing: case folding, cleaning (penghapusan emoji, URL, mention, hashtag, angka), dan normalisasi kata tidak baku menggunakan kamus custom.
Catatan: Data mentah tidak dipublikasikan mengikuti praktik umum terkait kebijakan platform sumber data.
Training Procedure
- Base model: indolem/indobertweet-base-uncased
- Hyperparameter search: learning rate {1e-5, 2e-5, 3e-5, 5e-5}, batch size {16, 32}
- Early stopping: patience 3 epoch, berbasis validation loss
- Kombinasi terbaik: learning rate 3e-5, batch size 32
Evaluation Results
- F1-Score (Macro): 0.8641
Bias and Limitations
- Model dilatih khusus pada data Twitter/X terkait topik MBG, sehingga performa dapat menurun pada domain teks lain (misalnya komentar YouTube/Instagram) atau topik di luar cakupan training.
- Model tidak divalidasi untuk konteks sarkasme kompleks atau sentimen implisit yang sangat bergantung konteks eksternal.
- Sebagaimana model bahasa pada umumnya, hasil klasifikasi tetap perlu diverifikasi manusia untuk keputusan yang berdampak signifikan.
How to Use
from transformers import AutoModelForSequenceClassification, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("suaib18/indobertweet-mbg-sentiment")
model = AutoModelForSequenceClassification.from_pretrained("suaib18/indobertweet-mbg-sentiment")
Citation
Model dasar:
@inproceedings{koto2021indobertweet,
title={IndoBERTweet: A Pretrained Language Model for Indonesian Twitter with Effective Domain-Specific Vocabulary Initialization},
author={Fajri Koto and Jey Han Lau and Timothy Baldwin},
booktitle={Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)},
year={2021}
}
Demo
Coba model ini langsung lewat web app: mbg-sentiment-app