davranis-analizi-v1

🎭 Demo / Try it: https://huggingface.co/spaces/akadirgok/davranis-analizi-demo

Türkçe · English

⚠️ Teşhis aracı değildir. Yalan tespiti yapmaz. İşe alım, kolluk, eğitim/sınav, sigorta, kredi gibi kişiler hakkında karar verilen bağlamlarda kullanılmamalıdır. Not a diagnostic tool. It does not detect lies. Do not use it in any context where decisions are made about people (hiring, law enforcement, education, insurance, credit, …).

Türkçe

Ne yapar

Tek bir kişinin kısa (≈3 sn'lik pencereler) video+ses kaydından gerekçeli bir ruh hali yorumu üretir: 8 sınıf olasılığı (Korku, Mutluluk, Nötr, Öfke, Sakin, Şaşkınlık, Tiksinme, Üzüntü), 20 davranış işaretinin kişiye göre sapması (z-skoru) ve şu alanlara sahip bir cevap JSON'u: dayanaklar, duygu, durum, yorum, alternatif, guven. Yorumlar, "kaşlar çatık", "ses kısık ve alçak" gibi gözlenebilir işaretleri dayanak gösterir; kişinin niyeti, doğruluğu veya sağlığı hakkında hüküm vermez.

Mimari

8 yüz karesi (224×224, gri) ─► göz: duygu7 ViT (CLS, 768) ─┐
                                                           ├─► bağlantı katmanı (MLP'ler + modalite/konum gömmeleri)
3 sn ses (16 kHz) ─► kulak: Whisper-small encoder (768) ──┘      │
                              (kişi normu çıkarılır)             ├─► yardımcı başlıklar: 8 sınıf olasılığı + 20 işaret z-skoru
                                                                 └─► 24 "algı" tokeni ─► Qwen2.5-1.5B-Instruct + LoRA ─► cevap JSON'u

• Göz: duygu7_final (ViTForImageClassification, 224×224, 7 duygu; yalnızca CLS gömmesi kullanılır, dondurulmuş).
• Kulak: openai/whisper-small kodlayıcısı (dondurulmuş; depoya dahil değildir, otomatik indirilir).
• Bağlantı: 8 göz + 16 kulak = 24 algı tokeni (LLM gizli boyutu 1536). Yardımcı başlıklar sınıf (8) ve z-skoru (20) tahmin eder.
• LLM: Qwen2.5-1.5B-Instruct (dondurulmuş) + LoRA (r=16, α=32, tüm dikkat/MLP projeksiyonları). CPU için LoRA birleştirilmiş Q8_0 GGUF (llm_q8_0.gguf, 1,65 GB).
• Kişi normu: Her kişinin göz/kulak gömmelerinin ortalaması çıkarılır (eğitimde kişi başına; kullanımda ilk ≥3 geçerli pencere veya eğitimdeki tüm kişilerin ortalaması: populasyon_normu.npz).

Eğitim verisi

• Öğrenci model: CREMA-D ve RAVDESS — 8.881 klip, 115 kişi, kişiye göre ayrılmış train/val/test (7.107 / 916 / 858 klip; test: eğitimde hiç görülmemiş 11 kişi).
• Göz modeli duygu7: FER2013, AffectNet ve RAF-DB yüz-duygu verileri üzerinde eğitilmiştir. Lisans durumu: bu veri kümeleri araştırma/ticari olmayan kullanım koşullarıyla dağıtılır (AffectNet ve RAF-DB başvuru gerektirir; FER2013 Kaggle yarışma koşullarına tabidir) ve türetilmiş model ağırlıklarının yeniden dağıtımına ilişkin koşulları net değildir. Bu nedenle model yalnızca ticari olmayan amaçla paylaşılır ve herkese açık yayımlamadan önce bu koşullar sahipleri tarafından gözden geçirilmelidir.
• Cevap anahtarı (uydurmasız gerekçe): Her klip için MediaPipe blendshape ölçümleri (16 yüz işareti) + ses ölçümleri (şiddet, sessizlik oranı, perde ort./std.) kişinin kendi dağılımına göre z-skoruna çevrilir; gerçek etiket (veri kümesinin duygu etiketi) ile birlikte şablonla Türkçe cevap üretilir. Dayanaklar yalnızca ölçülen işaretlerden seçilir (dil modeli uydurması yok).

Sonuçlar (test seti: 858 klip, eğitimde hiç görülmemiş 11 kişi)

Sınıf bazında (LLM duygu alanı | yardımcı sınıflandırıcı):

Sakin ve Şaşkınlık sınıflarında yalnızca 16'şar test klibi vardır; bu yüzdeler çok gürültülüdür.

Karşılaştırma (aynı test seti):

⚠️ Sınırlar (lütfen okuyun)

• Oyunculu, İngilizce, stüdyo verisi. CREMA-D ve RAVDESS'te oyuncular önceden belirlenmiş cümleleri belirli bir duyguyla söyler. Gerçek hayata ve webcam görüntüsüne genelleme sınırlıdır; canlı uygulamada webcam, ışık, kamera açısı, doğal konuşma ve Türkçe ile belirgin bir alan farkı gözlemledik. Bu modelin test doğruluğu gerçek dünyadaki doğruluğunu göstermez.
• Sessizlikte çalışmaz. Kulak girdisi sıfırlanınca model geçerli JSON üretemez (ölçüldü); canlı uygulamada bu durumda LLM çalıştırılmaz. Yüz görünmüyorsa yalnızca ses kullanılabilir (göz girdisi sıfır).
• Dayanakların yaklaşık yarısı yanlıştır: üretilen dayanakların ~%45'i klipte gerçekte ölçülmeyen "tipik" işaretlerdir (eğitim verisindeki duygu–işaret örüntülerinden gelen alışkanlık). Dayanaklar kesin gözlem değil, olası işaretlerdir.
• Güveni abartma eğilimi: guven alanı çoğunlukla yüksek/orta çıkar; kalibre edilmemiştir.
• Tek kişi, kısa klip içindir; kalabalık, birden çok kişi, uzun kayıt, gürültülü ses için tasarlanmamıştır. Duygu etiketleri ruh halini değil oyunculanmış ifadeyi temsil eder.
• Teşhis aracı DEĞİLDİR; yalan tespiti yapmaz. İşe alım, kolluk, eğitim/sınav gibi kişiler hakkında karar verilen bağlamlarda kullanılmamalıdır.
• Hız (Intel i5-12450H, 5 çekirdek, CPU, Q8_0 GGUF): LLM cevabı ≈ 16–23 sn/pencere (~11–12 token/sn); ağır CPU yükü altında ölçüldü.

Kullanım

pip install torch transformers opencv-python mediapipe soundfile numpy llama-cpp-python   # + ffmpeg PATH'te
# llm="hf" için: pip install peft

from davranis_cikarim import analiz_et
sonuc = analiz_et("klip.mp4", model_dizini=".", llm="gguf")        # CPU
for p in sonuc["pencereler"]:
    print(p["t0"], p["durum"], p["olasiliklar"], p["cevap"])

python davranis_cikarim.py klip.mp4 --llm gguf --llm-pencere 2 komut satırından da çalışır. Cevap örneği:

{"dayanaklar":["ses kısık ve alçak","gülümsemeden eser yok"],"duygu":"uzgun","durum":"gayet üzgün","yorum":"…","alternatif":"…","guven":"orta"}

Dosyalar: ogrenci_model/ (bağlantı katmanı, yardımcı başlıklar, LoRA), duygu7_final/ (göz), llm_q8_0.gguf, populasyon_normu.npz, davranis_cikarim.py, config.json.

Lisans

CC BY-NC 4.0 — yalnızca ticari olmayan kullanım (RAVDESS ve duygu7'nin eğitim verileri nedeniyle). Temel modeller kendi lisanslarına tabidir (Qwen2.5-1.5B-Instruct: Apache-2.0; Whisper: Apache-2.0/MIT; MediaPipe: Apache-2.0). CREMA-D: ODC-By 1.0; RAVDESS: CC BY-NC-SA 4.0 — ShareAlike koşulunun bu ağırlıklara etkisi hukuki olarak netleştirilmelidir.

Atıflar

• CREMA-D — Cao, H. et al. (2014). CREMA-D: Crowd-sourced Emotional Multimodal Actors Dataset. IEEE Trans. Affective Computing 5(4).
• RAVDESS — Livingstone, S. R. & Russo, F. A. (2018). The Ryerson Audio-Visual Database of Emotional Speech and Song. PLoS ONE 13(5).
• Qwen2.5 — Qwen Team (2024). Qwen2.5 Technical Report. arXiv:2412.15115.
• Whisper — Radford, A. et al. (2022). Robust Speech Recognition via Large-Scale Weak Supervision. arXiv:2212.04356.
• MediaPipe — Lugaresi, C. et al. (2019). MediaPipe: A Framework for Building Perception Pipelines. arXiv:1906.08172.
• LoRA — Hu, E. et al. (2021). arXiv:2106.09685. ViT — Dosovitskiy, A. et al. (2020). arXiv:2010.11929.

English

What it does

Given a short (≈3 s windows) video+audio clip of one person, it produces a grounded mood interpretation: probabilities over 8 classes (Fear, Happiness, Neutral, Anger, Calm, Surprise, Disgust, Sadness), per-person deviation scores (z) for 20 behavioural cues, and an answer JSON with dayanaklar (evidence cues), duygu (emotion), durum (state), yorum (comment), alternatif (alternative reading), guven (confidence). Outputs are in Turkish. The evidence cites observable cues ("brows furrowed", "voice low and quiet"); the model makes no claims about intent, honesty or health.

Architecture

Eye: duygu7 ViT (CLS, frozen) on 8 face crops · Ear: Whisper-small encoder (frozen) on 3 s of audio · per-person norm subtracted · connector MLPs (24 "percept" tokens) · auxiliary heads (8-class + 20 z-scores) · Qwen2.5-1.5B-Instruct (frozen) + LoRA (r=16, α=32) generating the answer JSON. A LoRA-merged Q8_0 GGUF is included for CPU inference.

Training data

• Student model: CREMA-D + RAVDESS — 8,881 clips, 115 speakers, split by speaker (7,107 / 916 / 858 clips; test = 11 unseen speakers).
• Eye model (duygu7): trained on FER2013, AffectNet and RAF-DB. Licensing, stated plainly: these are research / non-commercial datasets (AffectNet and RAF-DB require an application; FER2013 follows Kaggle competition terms) and their terms on redistributing derived model weights are unclear. Hence non-commercial release only; the rights holders' terms should be reviewed before any public release.
• Answer-key method (no invented rationales): per clip, MediaPipe blendshape measurements (16 facial cues) + audio measurements (loudness, silence ratio, pitch mean/std) are converted to per-person z-scores and, together with the ground-truth label, rendered into the Turkish answer with templates. Evidence cues are chosen only from measured signals.

Results (test set: 858 clips, 11 unseen speakers)

Per class (LLM / auxiliary): Fear 83.8 / 87.3 (n=142) · Happiness 92.3 / 93.7 (142) · Neutral 88.8 / 92.2 (116) · Anger 90.1 / 93.0 (142) · Calm 93.8 / 100 (16) · Surprise 100 / 100 (16) · Disgust 87.3 / 89.4 (142) · Sadness 75.4 / 78.2 (142). Calm and Surprise have only 16 test clips each — very noisy.

⚠️ Limitations (please read)

• Acted, English, studio data. Generalisation to real life and webcams is limited; in our live app we observed a clear domain gap (webcam, lighting, angle, spontaneous speech, Turkish). The test accuracy above does not reflect real-world accuracy.
• Does not work in silence. With a zeroed audio input the model cannot produce valid JSON (measured); our live app skips the LLM in that case. If no face is visible only audio can be used (eye input zeroed).
• About half of the evidence cues are wrong: ≈45% of generated cues are "typical" cues that were not actually measured in the clip (habits learned from emotion–cue patterns in the training data). Treat them as plausible hints, not observations.
• Over-confidence: guven is mostly high/medium and not calibrated.
• Designed for one person and short clips; not for crowds, multiple speakers, long recordings or noisy audio. Labels represent acted expression, not inner mood.
• NOT a diagnostic tool; does NOT detect lies. Must not be used where decisions are made about people (hiring, law enforcement, education/exams, …).
• Speed (Intel i5-12450H, CPU, Q8_0 GGUF): ≈16–23 s per window for the LLM answer (~11–12 tokens/s), measured under heavy CPU load.

Usage

See the Turkish section above: from davranis_cikarim import analiz_et; analiz_et("clip.mp4", model_dizini=".", llm="gguf") (needs ffmpeg on PATH; llm="hf" needs peft).

License

CC BY-NC 4.0 — non-commercial use only (because of RAVDESS and duygu7's training data). Base models keep their own licences (Qwen2.5-1.5B-Instruct: Apache-2.0; Whisper: Apache-2.0/MIT; MediaPipe: Apache-2.0). CREMA-D: ODC-By 1.0; RAVDESS: CC BY-NC-SA 4.0 — the effect of the ShareAlike term on these weights needs legal clarification.

Citations

CREMA-D (Cao et al., 2014), RAVDESS (Livingstone & Russo, 2018), Qwen2.5 (Qwen Team, 2024), Whisper (Radford et al., 2022), MediaPipe (Lugaresi et al., 2019), LoRA (Hu et al., 2021), ViT (Dosovitskiy et al., 2020).