NheengatuMT · Qwen3.5-2B, seed 2, passo 11.000
O único artefato deste projeto sem a herança não comercial do NLLB. Derivado do Qwen3.5-2B (Apache-2.0), é o único que pode ser usado para construir um serviço.
The only artefact in this project without NLLB's non-commercial inheritance. Derived from Qwen3.5-2B (Apache-2.0), it is the only one that can be used to build a service.
⚠️ Leia antes de usar
Qual ortografia o sistema deve produzir é decisão da comunidade falante, não técnica. Este modelo produz uma tradição ortográfica específica, herdada das fontes de treino. A Academia da Língua Nheengatu foi contatada e não respondeu; silêncio não é tratado como consentimento. O glossário e as escolhas ortográficas são provisórios e derivados das fontes, não autoritativos.
Nenhum falante avaliou estas saídas. O protocolo de avaliação por falantes está construído e em campo, mas nenhum dado de falante foi analisado até agora. Tudo o que se sabe sobre a qualidade vem de métricas automáticas e de inspeção feita por quem não fala a língua.
Modos de falha conhecidos, medidos e documentados no artigo:
- Terminologia jurídica falha com confiança. Num teste com um artigo retido da Constituição, os sete modelos do projeto acertaram o arcabouço legal inteiro, incluindo a referência cruzada aos incisos, e os sete erraram a mesma palavra. No conjunto de teste jurídico, 8,7% dos tokens de conteúdo nunca ocorrem no treino e nenhum deles tem entrada no glossário, então nenhum mecanismo de terminologia alcança essa faixa.
- Degeneração em texto longo. Sob decodificação livre a repetição começa por volta de 40 palavras de fonte e vira laço a partir de ~60. O artigo mede 1,7% em beam-4 livre; decodificação restrita quintuplica isso.
- Fluência acima de adequação. As saídas são mais fluentes do que fiéis. Frases plausíveis que a fonte não diz são o modo de falha mais perigoso para uso comunitário, porque não parecem erro.
Posicionamento: apoio à escrita e à leitura, nunca tradução oficial.
⚠️ Read before using
Which orthography the system should produce is a decision for the speaker community, not a technical one. This model produces one specific orthographic tradition, inherited from its training sources. The Academia da Língua Nheengatu was contacted and did not respond; silence is not treated as consent. The glossary and orthographic choices are provisional and source-derived, not authoritative.
No speaker has evaluated these outputs. The speaker evaluation protocol is built and in the field, but no speaker data has been analysed so far. Everything known about quality comes from automatic metrics and from inspection by people who do not speak the language.
Known failure modes, measured and documented in the paper:
- Legal terminology fails confidently. On a held-out constitutional article, all seven models in the project got the entire legal frame right, including the cross-reference to numbered items, and all seven got the same word wrong. In the legal test set, 8.7% of content tokens never occur in training and none of them has a glossary entry, so no terminology mechanism can reach that zone.
- Degeneration on long text. Under free decoding, repetition starts at around 40 source words and turns into a loop past about 60. The paper measures 1.7% under free beam-4 decoding; constrained decoding multiplies that by five.
- Fluency exceeds adequacy. Outputs are more fluent than faithful. Plausible sentences that the source does not say are the most dangerous failure mode for community use, because they do not look like errors.
Positioning: writing and reading support, never official translation.
Como este checkpoint foi escolhido / How this checkpoint was selected
⚠️ O critério não é a mediana, e isso precisa ser declarado. Entre os três checkpoints tardios das três seeds, escolhemos a seed 2 por liderar o near-domain, que é o registro mais próximo de texto de uso geral. As médias tardias das três seeds são 27,67 no jurídico pt→yrl e 62,37 no near-domain pt→yrl, então este checkpoint está acima da média do seu próprio conjunto. Quem comparar com outros sistemas precisa saber disso.
The criterion is not the median, and that has to be declared. Among the three late checkpoints of the three seeds, we chose seed 2 because it leads on near-domain, the register closest to general-purpose text. The three-seed late means are 27.67 on legal pt→yrl and 62.37 on near-domain pt→yrl, so this checkpoint sits above the mean of its own set. Anyone comparing against other systems needs to know this.
Resultados / Results
chrF++ no conjunto de desenvolvimento / on the development sets:
| conjunto / set | pt→yrl | yrl→pt |
|---|---|---|
| jurídico / legal | 28.01 | 31.61 |
| near-domain | 62.97 | 59.86 |
No jurídico ele perde para o seq2seq de 600M de forma conclusiva pela régua do artigo. No near-domain ele vence. É um resultado que só aparece quando os dois lados são selecionados pelo mesmo critério. / On legal text it loses conclusively to the 600M seq2seq under the paper's rule. On near-domain it wins. That result only appears once both sides are selected by the same criterion.
⚠️ Este modelo é errático: numa frase produziu o termo mais próximo da referência entre os sete modelos do projeto, e em outra inventou três órgãos públicos que não existem na fonte. É também o mais propenso a reproduzir material de treino: com a frase de treino literal ele devolve a referência palavra por palavra, e a recuperação sobrevive a duas paráfrases. / This model is erratic: on one sentence it produced the term closest to the reference among the project's seven models, and on another it invented three public bodies that do not exist in the source. It is also the most prone to reproducing training material: on the literal training sentence it returns the reference word for word, and the retrieval survives two paraphrases.
Como usar / How to use
from transformers import AutoTokenizer, AutoModelForCausalLM
mid = "voz-ancestral/nheengatu-portuguese-qwen-2b"
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(mid).eval()
# A instrucao e sempre em portugues, e o molde e fixo (foi o do treino).
fonte = "Todos são iguais perante a lei."
prompt = f"Traduza do português para o nheengatu.\nPortuguês: {fonte}\nNheengatu:"
ids = tok(prompt, return_tensors="pt")
saida = model.generate(**ids, num_beams=4, repetition_penalty=1.5,
max_new_tokens=196)
print(tok.decode(saida[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))
⚠️ O molde do prompt não é opcional. O modelo foi treinado com ele, em português, e não com o chat template. Trocar o molde muda o resultado. Os tokens de raciocínio são suprimidos na decodificação do artigo.
⚠️ The prompt template is not optional. The model was fine-tuned with this plain Portuguese instruction, not with the chat template. Changing it changes the output. The reasoning-delimiter tokens are suppressed in the paper's decoding.
Dados de treino
13.025 pares português-nheengatu de 14 fontes, mais 925 pares francês-nheengatu.
A tabela completa, com base legal, método de alinhamento e status do lado
português de cada camada, está em
docs/PROVENIENCIA.md.
A âncora é a tradução oficial da Constituição Federal para o nheengatu (STF/CNJ, 2023), alinhada por endereço jurídico: artigo, parágrafo, inciso e alínea, de modo que cada par carrega o endereço que o produziu.
Créditos obrigatórios
Marcel Twardowsky Avila. 2.745 pares vêm das frases-exemplo do dicionário da tese dele (USP, 2021), publicados com autorização escrita do autor, condicionada a crédito. Qualquer redistribuição precisa manter este crédito.
Os quinze tradutores indígenas do Alto Rio Negro e do Médio Tapajós que traduziram a Constituição ao longo de dois anos, sob revisão editorial do STF e do CNJ. O crédito a eles é obrigação ética do projeto, não formalidade legal.
Revista Leetra Indígena (UFSCar) e os autores dos quatro livros escolares bilíngues, e o corpus de fala espontânea Reich / Freie Universität Berlin (DOI 10.17169/refubium-39406).
Training data
13,025 Portuguese-Nheengatu pairs from 14 sources, plus 925 French-Nheengatu
pairs. The full table, with the legal basis, alignment method and Portuguese-side
status of every layer, is in
docs/PROVENIENCIA.md (in Portuguese).
The anchor is the official translation of the Brazilian Federal Constitution into Nheengatu (STF/CNJ, 2023), aligned by legal address: article, paragraph, inciso and alínea, so that every pair carries the address that produced it.
Mandatory credits
Marcel Twardowsky Avila. 2,745 pairs come from the example sentences of his doctoral dictionary (University of São Paulo, 2021), published with the author's written permission, conditional on credit. Any redistribution must keep this credit.
The fifteen Indigenous translators of the Upper Rio Negro and the Middle Tapajós who translated the Constitution over two years under the editorial review of the STF and the CNJ. Crediting them is an ethical obligation of this project, not a legal formality.
Revista Leetra Indígena (UFSCar) and the authors of its four bilingual school books, and the Reich / Freie Universität Berlin spontaneous speech corpus (DOI 10.17169/refubium-39406).
Licença / Licence
Apache-2.0, herdada do Qwen3.5. Sem restrição não comercial. Note que os dados de treino continuam com licenças por camada: publicar um serviço com este modelo não libera a redistribuição do corpus. / Apache-2.0, inherited from Qwen3.5. No non-commercial restriction. Note that the training data still carries per-layer licences: shipping a service with this model does not license redistribution of the corpus.
Como citar / How to cite
@inproceedings{carraro-etal-2026-constitution,
title = {The Constitution Speaks Nheengatu: An Open {MT} System and
Reproducible Corpus Pipeline for the Amazonian L{\'i}ngua Geral},
author = {Carraro, Fabr{\'i}cio and Zevallos, Rodolfo Joel and
de Souza, Rodrigo Gon{\c{c}}alves and
da Silva, Caio Henrique Faustino and Ortega, John E.},
booktitle = {Proceedings of the Conference on Machine Translation (WMT)},
year = {2026}
}
Código, corpus e evidência / code, corpus and evidence: https://github.com/fabriciocarraro/NheengatuMT