SIBA Meristem Native 0.5B (base)
SIBA's first language model trained from scratch, by Aghasalim Mustafazada at SIBA (Baku). Every weight was trained on Azerbaijani text; no third-party model was used as a starting point. It uses SIBA's own 262,144-piece Azerbaijani tokenizer, which needs about 1.7 pieces per Azerbaijani word.
This is a base model. It continues text; it does not follow instructions or chat, and it often states invented facts fluently. Instruction tuning is the next step.
| Architecture | Llama (LlamaForCausalLM), 24 layers, 1,024 hidden, 16 heads / 4 KV heads, 2,816 MLP, tied embeddings |
| Parameters | 539 M (268 M of them in the embedding) |
| Context | 2,048 tokens |
| Training data | 5.94 B tokens of Azerbaijani, one pass |
| Training | 11,315 steps of 524,288 tokens, AdamW 6e-4, warmup-stable-decay schedule, bf16, JAX on a Kaggle TPU v5e-8 |
| Held-out loss | 2.359 (cross-entropy per token, held-out Azerbaijani) |
Scores (azbench, zero-shot, log-likelihood)
Each question has four answers; the model picks the one it finds most likely after the question (lm-eval-harness
acc_norm). Chance is 25 %. At 0.5B parameters and 6B tokens the model is close to chance on knowledge questions; this is a
baseline to measure SIBA's next models against, not a competitive score.
| Task | What it tests | Items | acc_norm |
|---|---|---|---|
| Belebele (azj_Latn) | reading comprehension | 900 | 28.6 % |
| INCLUDE (Azerbaijani) | regional exam questions | 548 | 27.0 % * |
| TUMLU-mini (Azerbaijani) | school exams | 700 | 32.1 % * |
* About 0.2 % of the training tokens (329 documents from FinePDFs and FineWeb-2) shared 13-word sequences with INCLUDE or TUMLU questions. They were found and removed from SIBA's corpus after this model's training set was uploaded, so these two scores may be slightly inflated. No overlap with Belebele was found.
Samples
Unedited, sampled with temperature 0.7, top-p 0.9 (prompt in bold). The style is right; the facts are often not.
Süni intellekt texnologiyaları ilə tanış olan insanlar üçün bu, onların öz fikirlərini ifadə etmək və ya digər insanların fikirlərini dinləmək üçün istifadə edə biləcəkləri bir çox imkanlar yaradır. Bu, həm də onların öz düşüncələrini və hisslərini ifadə etmələrinə imkan verir. Məsələn, siz “Apple”da işləyə bilərsiniz. Siz sadəcə olaraq sizin üçün uyğun olan proqramı yükləyə və onu əldə edə bilərsiniz. Bu, həm də onlara başqal…
Qanunun 5-ci maddəsinə əsasən, bu Qanunun 4.0.2-ci maddəsində nəzərdə tutulmuş dövlət orqanları (qurumları) tərəfindən görülən işlərin və göstərilən xidmətlərin hüquqi əsası həmin orqanın Nizamnaməsində göstərilir. 3. Azərbaycan Respublikasının Nazirlər Kabineti: 3.1. “Azərbaycan Respublikasının Şəhərsalma və Tikinti Məcəlləsinin təsdiq edilməsi, qüvvəyə minməsi və bununla bağlı hüquqi tənzimləmə haqqında” Azərbaycan Respublik…
Use
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("aghasalim/siba-meristem-native-0.5b-base")
model = AutoModelForCausalLM.from_pretrained("aghasalim/siba-meristem-native-0.5b-base")
ids = tok("Azərbaycan Respublikası", return_tensors="pt", add_special_tokens=False).input_ids
print(tok.decode(model.generate(ids, max_new_tokens=60, do_sample=True, temperature=0.7, top_p=0.9, repetition_penalty=1.1)[0]))
A GGUF (Q8_0) is in gguf/. llama.cpp needs no special handling; the tokenizer's pre-tokenizer is llama.cpp's
smollm type.
Training data
Azerbaijani Wikipedia and Wikisource (CC BY-SA 4.0), Azerbaijani legislation, and the Azerbaijani parts of FinePDFs and FineWeb-2 (ODC-By 1.0). Wikipedia, legislation and Wikisource were repeated three times. Near-duplicates were removed.
Licence
Apache 2.0 — the "SIBA Open Licence". See LICENSE and NOTICE. "SIBA" and "Meristem" are trademarks of SIBA:
modified versions must use a different name.
Aghasalim Mustafazada · SIBA (SÜNİ İNTELLEKT BİZNES AVTOMATLAŞDIRMA MMC)