quipu-moe-1B-A149M-chat

A mixture-of-experts language model trained from scratch: 998,007,552 parameters in total, 148,660,992 active per token (998.0M total / 148.7M active). Own tokenizer, own data pipeline, no fine-tuned base. Code and ten languages: English, Indonesian, Malay, Simplified and Traditional Chinese, Japanese, Korean, Tamil, Hindi (Devanagari and romanised) and romanised Urdu.

This is the chat model: quipu-moe-1B-A149M after a short supervised fine-tune on human-written conversations (spec 13).

At this size it is often wrong. It is published as an honest record of what a small sparse model learns under a $20 compute cap, with every A/B result, including the ones that lost. Fields marked not yet measured had no result file when this card was generated.

Project page: https://quipu-lm.vercel.app · Code: https://github.com/Aneek1/quipu

Architecture

Data

Mix achieved (share of training tokens): code 60.0%, eng_Latn 28.0%, other_languages 12.0%.

Training tokens in the shard set: 8,300,000,000 (the train split; validation and evaluation splits are separate).

Code licences kept: mit, apache-2.0, bsd-2-clause, bsd-3-clause, isc, cc0-1.0, unlicense.

Language identification: every text document was checked with the fastText specialist from AneekC/lid-specialists-9plus1 (MIT, revision 117966eb565a), the owner's own model; a document whose top label is not its source language was dropped, and FineWeb-2's cmn_Hani was split into Simplified and Traditional Chinese by its labels.

Benchmark decontamination

Documents dropped because they contain a HumanEval or MBPP problem (rule, from the shard manifest: a document is dropped when it contains a problem's text (HumanEval: prompt, canonical_solution; MBPP: code, task text) as a whitespace-collapsed substring of at least 60 characters, or, for one of the problem's n-gram texts (its solution; HumanEval also its prompt and each docstring in it), at least 50% and at least 2 of that text's distinct 13-grams (tokens: \w+ runs and single punctuation characters; a text with fewer than 2 13-grams takes no part)):

Chat fine-tuning data

Human-written conversations only (spec 13); from the SFT data manifest:

Training

A/B tests (run before the full run, results kept either way)

Runs (from results/ab/summary.md, verbatim)

Decisions (from results/ab/summary.md, verbatim)

Rules (on the decision loss above): the other option needs lower final loss by more than the seed noise; AttnRes <= 10% tokens/s cost; SiTU-GLU no more spikes (step loss > 1.5 x EMA, beta 0.98); FP8 >= 1.2x tokens/s, loss within noise, no more spikes. A missing arm keeps the simpler option (AdamW, no AttnRes, SwiGLU, bf16).

FP8

FP8 training was not tried in the paid run: the owner decided (2026-09-29) not to spend A/B time on the FP8 pair, so the run is bf16. The FP8 option exists in the training code (quipu/fp8.py) and was only checked on the laptop.

Evaluation

Bits per byte per language

Bits per byte (lower is better; comparable across tokenizers) on held-out text per language and held-out code. Definition: summed next-token loss in bits over the UTF-8 bytes of the target tokens. Every <|endoftext|> document separator is a target too: its loss counts but it is 0 bytes of text, so these numbers are slightly higher (more pessimistic) than a separator-free measure.

Code: HumanEval and MBPP

Published numbers are copied from their sources with the setting each source states; they were produced with other prompts, decoding and harnesses, so compare them with care (a row's setting says what differs).

Protocol of the quipu rows (results/code_eval_local/quipu-moe-1B-A149M-chat.json; added 13 Oct 2026, run on a laptop)

• Mode: chat.
• HumanEval prompt: chat template <|user|>...<|end|><|assistant|>; the user turn asks to complete the function and shows the published prompt in a ```python fence; the reply's first code block (or the whole reply) is the code.
• MBPP prompt: chat template; the user turn is the task text, 'Your code should pass this test:' and the first assert; the reply's first code block is the code.
• Stop tokens: <|end|>, <|endoftext|>; at most 384 new tokens; no stop sequences.
• Greedy: temperature 0 (argmax), one completion per problem -> greedy pass@1. Sampled: not run.
• Execution: 10.0 s timeout per program; subprocess python -I in a temporary directory with a reliability guard; best effort, not a security boundary.

Expert usage

Routing frequency per expert, per layer and language (16 layers x 64 experts): the full tables and a heatmap are in the repository (results/experts). Here, dead: < 10% of the balanced target over the evaluated tokens; overloaded: > 300%. These are the trainer's health-alert bounds (quipu.train MOE_HEALTH_LOW / MOE_HEALTH_HIGH), applied to one evaluation pass; the training log's own "dead" count is stricter (experts with zero assignments in a logging interval), and its health alert needs a sustained window of steps out of bounds.

Expert specialisation by programming language (Python vs JavaScript / JSX, spec 7) was not measured: the code validation split carries no per-document language label, so code is one split in the expert-usage tables.

Chat samples and held-out chat loss

Held-out chat loss per source (the SFT's validation conversations, micro-batch 1):

Replies of the chat model to two fixed prompts per language, one user turn in the chat template, temperature 0 (greedy), unedited: good and bad alike. A reply marked (cut) hit the 200-token cap.

eng_Latn: What is photosynthesis? Explain it in two sentences.

Photosynthesis is the process by which plants and animals convert sunlight into energy. It is a complex process that involves the conversion of sunlight into chemical energy.

Photosynthesis is a complex process that involves the conversion of sunlight into chemical energy. It is a complex process that involves the conversion of water into energy.

Photosynthesis is a complex process that involves the conversion of sunlight into chemical energy. It is a complex process that involves the conversion of water into energy.

Photosynthesis is a complex process that involves the conversion of sunlig ...

eng_Latn: Write a Python function that checks whether a number is prime. (cut at 200 tokens)

def is_prime(n):
    if n <= 2:
        return True
    if n == 2:
        return False
    return False

def is_prime(n):
    if n <= 2:
        return True
    if n == 2:
        return False
    return False

def is_prime(n):
    if n <= 2:
        return True
    if n == 2:
        return False
    return False

def is_prime_prime(n):
    if n <= 2:
        return True
    if n == 2:
        return False
    return False

def is_prime_prime(n):
    if n <= 2:
        return True
    if n == 2:
        return False
    return False

def is_prime(n):
    if n <= 2:
        return True
    if ...

ind_Latn: Apa ibu kota Indonesia?

Ibu kota Indonesia merupakan sebuah kota yang terletak di wilayah Provinsi Jawa Tengah, di bagian barat Sumatera, Indonesia. Ia merupakan kota yang terletak di wilayah Provinsi Jawa Tengah, di bagian barat Sumatera, Indonesia. Ia merupakan kota yang terletak di wilayah Provinsi Jawa Tengah, di bagian barat Sumatera, Indonesia.

ind_Latn: Jelaskan dengan singkat apa itu fotosintesis.

Fotosintesis adalah sebuah fakta yang tidak dapat dipisahkan dari fakta-fakta yang ada. Ia adalah fakta yang tidak dapat dipisahkan dari fakta-fakta yang ada.

Fotosintesis adalah fakta yang tidak dapat dipisahkan dari fakta-fakta yang ada. Ia adalah fakta yang tidak dapat dipisahkan dari fakta-fakta yang ada.

Fotosintesis adalah fakta yang tidak dapat dipisahkan dari fakta-fakta yang ada. Ia adalah fakta yang tidak dapat dipisahkan dari fakta-fakta yang ada.

zsm_Latn: Apakah makanan tradisional Malaysia yang terkenal?

Makanan tradisional Malaysia yang terkenal ialah nasi lemak, nasi lemak, nasi lemak, nasi lemak.

zsm_Latn: Terangkan secara ringkas bagaimana hujan terbentuk. (cut at 200 tokens)

Jawapan yang betul ialah hujan terbentuk apabila hujan turun dan hujan turun dengan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

Jawapan yang betul ialah hujan lebat.

J ...

zho_Hans: 中国的首都是哪里？ (cut at 200 tokens)

中国的首都是中国的首都。首都是中国的中国人，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。首都是中国的政治领域，是中国的政治领域。

zho_Hans: 请简单解释什么是光合作用。 (cut at 200 tokens)

光合作用是指在光线上或者光线上或者光线上或者光线上或者光线上或者光线上或者光线上。光合作用可以用于光线上或者光线上，如光纤维、光线上或光线上。

光合作用的特点是光线上或者光线上，如光纤维、光线上或者光线上。光合作用可以用于光线上或者光线上，如光纤维、光线上或者光线上。

光合作用的特点是光线上或者光线上，如光纤维、光线上或者光线上，如光纤维、光线上或者光线上。光合作用可以用于光线上或者光线上，如光纤维、光

zho_Hant: 台灣最有名的小吃是什麼？ (cut at 200 tokens)

台灣最有名的小吃是：
- 花莲肉饭
- 花莲肉圆
- 花莲肉圆（Taipei）
- 花莲肉圆（Taipei）
- 花莲肉圆（Taipei）
- 花莲肉圆（Taipei）
- 花莲肉圆（Taipei）
- 花莲肉圆（Taipei）
- 花莲肉圆（Taipei）
- 花莲肉圆（Taipei）
- 花莲肉圆（Taipei）
- 花莲肉圆（Taipei）
- 花莲肉圆（Taipei）
- 花莲肉�

zho_Hant: 請簡單說明地震是怎麼發生的。 (cut at 200 tokens)

地震是指地球的地殼內部發生，它是地球上最大的地震，它是地球上最大的地震，它是地球上最大的地震。地震是地球上最大的地震，它是地球上最大的地震。地球上最大的地震是地球上最大的地震。地球上最大的地震是地球上最大的地震。地球上最大的地震是地球上最大的地震。地球上最大的地震是地球上最大的地震。地球上最大的地震是地球上最大的地震。地球上最大的地震是地球上最大的地震。地球上最大的地震是地球上最大的地震。地球上最大的地震是地球上最大的地震。地球上最大的地

jpn_Jpan: 日本で一番高い山は何ですか？ (cut at 200 tokens)

日本で一番高い山は、日本の中心となる山です。日本の中心となる山は、1000年以上前から、日本の中心となる山の数が増えて、1000年以上前から1000年以上前まで続いています。日本の中心となる山は、1000年以上前から1000年以上前まで続いています。

日本の中心となる山は、1000年以上前から1000年以上前まで続いています。日本の中心となる山は、1000年以上前から1000年以上前まで続いています。日本の中心となる山は、1000年以上前から1000年以上前まで続いています。

日本の中心となる山は、1000年以上前から10

jpn_Jpan: 光合成とは何か、簡単に説明してください。 (cut at 200 tokens)

光合成は、光を通じて、光を分けた光の色や光の形などに変えることができます。光合成は、光を通じて、光を分けた光の色や光の形などに変えることができます。

光合成は、光を通じて、光を分けた光の色や光の形などに変えることができます。光合成は、光を通じて、光を分けた光の色などに変えることができます。

光合成は、光を通じて、光を分けた光の色などに変えることができます。光合成は、光を通じて、光を分けた光の色などに変えることができます。

光合成は、光を通じて、光を分けた光の色などに変える

kor_Hang: 한국의 수도는 어디입니까? (cut at 200 tokens)

한국 수도는 1980년대에는 수도를 포함하여 수도원, 수도원, 수도원 등 지역에서 가장 많이 사용되는 수도입니다. 수도는 1980년대에는 수도가 1980년대에는 100% 수입되어 있습니다. 수도는 1980년대에는 수도가 100% 수입되어 있습니다. 수도는 1980년대에는 수도가 100% 수입되어 있습니다. 수도는 1980년대에는 수도가 100% 수입되어 있습니다. 수도는 1980년대에는 수도가 100% 수입되어 있습니다. 수도는 1980년대에는 수도가 100% 수입되어 있습니다. 수도는

kor_Hang: 광합성이 무엇인지 간단히 설명해 주세요. (cut at 200 tokens)

광합성이란 성인의 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이 되는 때에만 성인이

tam_Taml: தமிழ்நாட்டின் தலைநகரம் எது? (cut at 200 tokens)

தமிழ்நாட்டின் தலைநகரம் தமிழ்நாட்டின் தலைநகரமாகும். தமிழ்நாட்டின் தலைநகரம் தமிழ்நாட்டின் தலைநகரமாகும். தமிழ்நாட்டின் தலைநகரம் தமிழ்நாட்டின் தலைநகரமாகும். தமிழ்நாட்டின் தலைநகரம் தமிழ்நாட்டின் தலைநகரமாகும். தமிழ்நாட்டின் தலைநகரம் தமிழ்நாட்டின் தலைநகரமாகும். தமிழ்நாட்டின் தலைநகரம் தமிழ்நாட்டின் தலைநகரமாகும். தமிழ்நாட்டின் தலைநகரம் தமிழ்நாட்டின் தலைநகரமாகும். தமிழ்நாட்டின் தலைநகரம் தமிழ்நாட்டின் தலைநகரமாகும். தமிழ்நாட்டின் தலைநகரம் தமிழ்நாட்டின் தலைநகரமாகும். தமிழ்நாட்டின் தலைநகரம் தமிழ்நாட்டின் தலைநகரமாகும்

tam_Taml: ஒளிச்சேர்க்கை என்றால் என்ன என்று சுருக்கமாக விளக்குங்கள்.

ஒளிச்சேர்க்கை என்பது ஒரு பொருளின் இயக்கமாகும். இது ஒரு பொருளின் இயக்கமாகும். இது ஒரு பொருளின் இயக்கமாகும். இது ஒரு பொருளின் இயக்கம் ஆகும். இது ஒரு பொருளின் இயக்கம் ஆகும். இது ஒரு பொருளின் இயக்கம் ஆகும். இது ஒரு பொருளின் இயக்கம் ஆகும். இது ஒரு பொருளின் இயக்கமாகும். இது ஒரு பொருளின் இயக்கம் ஆகும். இது ஒரு பொருளின் இயக்கம் ஆகும். இது ஒரு பொருளின் இயக்கம் ஆகும்.

hin_Deva: भारत की राजधानी क्या है? (cut at 200 tokens)

भारत की राजधानी है. यह भारत की राजधानी है. भारत में राजधानी के नाम पर राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर राजधानी का नाम है. राजधानी के नाम पर

hin_Deva: प्रकाश संश्लेषण क्या है, संक्षेप में समझाइए। (cut at 200 tokens)

संश्लेषण एक संक्षेप में समझने और समझने के लिए एक संक्षेप में समझने की क्षमता है। संक्षेप में समझने के लिए एक संक्षेप में समझने के लिए एक संक्षेप में समझने की क्षमता है। संक्षेप में समझने के लिए एक संक्षेप में समझने के लिए एक संक्षेप में समझने की क्षमता है।

संक्षेप में समझने के लिए एक संक्षेप में समझने के लिए एक संक्षेप में समझने की क्षमता है। संक्षेप में समझने के लिए एक संक्षेप में समझने के लिए एक संक्षेप में समझने की क्षमता है। संक्षेप में समझने के लिए एक संक्षेप में समझने के लिए एक संक्षेप में समझने की क्षमता है।

hin_Latn: Bharat ki rajdhani kya hai?

Bharat ki rajdhani ek rajdhani hai.

hin_Latn: Photosynthesis kya hota hai, thode mein samjhao. (cut at 200 tokens)

Photosynthesis ek prakar ka process hai, jiska ek tukada hai, jiska ek tukada hai.

1. Photosynthesis ek prakar ka process hai, jiska ek tukada hai.

2. Photosynthesis ek prakar ka process hai, jiska ek tukada hai.

3. Photosynthesis ek prakar ka process hai, jiska ek tukada hai.

4. Photosynthesis ek prakar ka process hai, jiska ek tukada hai.

5. Photosynthesis ek prakar ka process hai, jiska ek tukada hai.

6. Photosynthesis ek prakar ka process hai, jiska ek tukada hai.

7. Photosynthesis ek prakar ka process hai, jiska ek tukada hai.

8. Photosynthesis ek prakar ka process hai, jiska ek t ...

urd_Latn: Pakistan ka darul hukumat kaun sa shehar hai?

Pakistan ka darul hukumat kaun sa shehar hai?

urd_Latn: Barish kaise hoti hai, mukhtasar mein batayein. (cut at 200 tokens)

Barish mein se ek hai, aur ismein se ek barish mein se ek barish mein se ek barish mein se ek barish mein se.

1. Barish mein se ek barish mein se ek barish mein se ek barish mein se ek barish mein se.
2. Barish mein se ek barish mein se ek barish mein se ek barish mein se.
3. Barish mein se ek barish mein se ek barish mein se ek barish mein se.
4. Barish mein se ek barish mein se ek barish mein se ek barish mein se.
5. Barish mein se ek barish mein se ek barish mein se ek barish mein se.
6. Barish mein se ek barish mein se ek barish mein se ek barish mein se.
7. Barish mein se ek barish mein  ...

int4

Weight-only int4 (int4-groupwise-asym-v1, groups of 128 along the last dimension, fp16 scale + minimum per group) for the attention, shared and routed expert matrices; embedding bf16; router, norms and biases fp32. Dequantized to fp32 on load (the file is smaller; memory once loaded is not).

The first tokens of each evaluation split (count per row). bf16 = the weights rounded to bf16, arithmetic in fp32 (spec 12's baseline); fp32 = the trained weights as saved.

Standalone-loader parity (max |logit difference| against the training code): final (fp32) 1.8e-05; milestone step_000282 (bf16) 1.8e-05; int4 (dequantized) 1.8e-05.

Stepbuild score, int4 vs bf16: not yet measured (needs the chat/step fine-tune).

Usage

pip install torch safetensors tokenizers huggingface_hub

from huggingface_hub import hf_hub_download
import importlib.util, sys

path = hf_hub_download("AneekC/quipu-moe-1B-A149M-chat", "modeling_quipu_moe.py")
spec = importlib.util.spec_from_file_location("modeling_quipu_moe", path)
mq = importlib.util.module_from_spec(spec)
sys.modules["modeling_quipu_moe"] = mq
spec.loader.exec_module(mq)

model = mq.load("AneekC/quipu-moe-1B-A149M-chat")                                    # fp32
# model = mq.load("AneekC/quipu-moe-1B-A149M-chat", weights="model-int4.safetensors")  # int4 file
tok = mq.load_tokenizer("AneekC/quipu-moe-1B-A149M-chat")
print(mq.chat(model, tok, [{"role": "user", "content": "Write a Python function that reverses a string."}]))

This is not a transformers model; there is no AutoModel class for it. The loader runs the experts one after another without a KV cache: correct, not fast.

Limitations

• Small: 148,660,992 parameters are active per token. It states false things with confidence; do not use its output as information.
• The nine languages other than English together are 12.0% of the training tokens (English 28.0%, code 60.0%; shard manifest, mix achieved). Expect weaker output in them than in English, and some mixing of languages; the bits per byte above show how much weaker, per language.
• Code: greedy decoding solves 0.0% of HumanEval and 1.9% of MBPP problems (see above); treat generated code as untested. The distilled variant, quipu-moe-1B-A149M-chat-distill, solves 0.6% / 7.4%.
• Expert specialisation by programming language (Python vs JavaScript / JSX, spec 7) was not measured: the code validation split carries no per-document language label, so code is one split in the expert-usage tables.
• Trained on web text and public code, which carry their biases; no safety tuning.
• This chat model had one short supervised fine-tune (data above). How well it follows instructions was not measured beyond the held-out chat loss per source, the fixed-prompt replies and the chat-mode HumanEval / MBPP numbers above.

Credits and licence

Weights and code: Apache-2.0. Language identification of the training text used AneekC/lid-specialists-9plus1 (MIT). Training data: FineWeb-Edu and FineWeb-2 (ODC-By 1.0, © Hugging Face) and the permissively licensed subset of codeparrot/github-code-clean (files keep their licences). Chat fine-tuning data: CohereForAI/aya_dataset (Apache-2.0), OpenAssistant/oasst2 (Apache-2.0), data/stepbuild (per repository (permissive; the row's licence field)) and the stepbuild train split (FILE-block replies mined from permissively licensed public repositories, each keeping its repository's licence; built for this project, its test split and benchmark apps held out). HumanEval (MIT) and MBPP (CC-BY-4.0) were used for evaluation only and filtered (substring / 13-gram matching) from the training data.