Модель предназначена для генерации текста и предварительного обучения или адаптации под прикладные сценарии, особенно связанные с индийскими языками. Она обучается на смеси примерно из 58% индийских языков, 16% английского текста, 12% математических данных, а также материалов предметных областей, кода и южноазиатского контента. Поддерживаются английский и 21 индийский язык, включая хинди, бенгальский, тамильский, телугу, маратхи, урду, гуджарати, каннада, малаялам, пенджаби, ория, ассамский, непали, санскрит и другие языки, перечисленные в карточке модели.

AZMX One содержит 1,872,898,048 параметров и использует собственную архитектуру AZMXForCausalLM. В ней 32 слоя, размер скрытого состояния 2048, промежуточный размер 6144, 16 attention heads и 8 KV heads с GQA, head_dim 128, RMSNorm с накоплением в fp32, split-halves RoPE с theta 10 000, per-head QK-norm, SwiGLU и связанные эмбеддинги. Вокабуляр AZMX tokenizer v2 включает 128 000 токенов и оптимизирован для индийских языков. Максимальный контекст — 2048 токенов, точность хранения весов — bf16.

Сильной стороной модели является ориентация на широкий набор индийских языков и использование крупного многоязычного вокабуляра. Однако это незавершённый чекпоинт, и его качество нельзя считать окончательным; для Manipuri, Konkani, Dogri, Maithili и Kashmiri отдельно отмечена регрессия на отложенных данных. Модель распространяется по лицензии Apache-2.0.