HTDN — نموذج لغوي مخصّص (JAX/Flax)
نموذج HTDN (بنية مخصّصة تجمع بين طبقة ديناميكيات متكرّرة وانتباه ذاتي سببي مع RoPE و SwiGLU) دُرِّب على بيانات عربية متعددة المصادر (streaming) على GPU T4×2 عبر Kaggle.
⚠️ هذه ليست معمارية transformers قياسية، لذا لا يمكن تحميلها مباشرة
عبر AutoModel.from_pretrained. لكن التحميل والتشغيل صارا تلقائيَّين
بالكامل عبر دالتين جاهزتين مرفوعتين ضمن modeling_htdn.py في هذا
المستودع — لا حاجة لأي تفكيك/تجميع يدوي للأوزان.
طريقة الاستخدام (تلقائية بالكامل)
pip install -q jax flax transformers huggingface_hub safetensors
from huggingface_hub import hf_hub_download
import importlib.util
# خطوة تنزيل الكود المخصّص — لا مفرّ منها لأن هذه بنية غير قياسية
path = hf_hub_download("gijl/htdn-arabic-350m1", "modeling_htdn.py")
spec = importlib.util.spec_from_file_location("modeling_htdn", path)
modeling_htdn = importlib.util.module_from_spec(spec)
spec.loader.exec_module(modeling_htdn)
# تحميل تلقائي كامل: النموذج + الأوزان + المحلل اللغوي
model, params, tokenizer, config = modeling_htdn.load_htdn_from_hub("gijl/htdn-arabic-350m1")
# توليد نص تلقائي كامل
print(modeling_htdn.generate(model, params, tokenizer, "مرحبا"))
# أو الاختصار الكامل بسطر واحد فعلي:
# print(modeling_htdn.quick_generate("gijl/htdn-arabic-350m1", "مرحبا"))
معلومات التدريب
- الخطوة عند الرفع: 428440
- عدد المعاملات: ~0.0M
- المحلل اللغوي:
bert-base-multilingual-cased - أفضل خسارة مسجَّلة: 0.3741021156311035
- الزمن التراكمي للتدريب: 120:36:03
هذا نموذج تجريبي/بحثي — النتائج أولية.