Характеристики

Лицензия: MIT
Опубликована: 17 июл 2026

Ссылки

Hugging Face

kanjiland-translation

jakequist

ПереводТекст → текст

Компактный Transformer, созданный с нуля для перевода текстов с японского на английский.

3скачиваний за 30 дней0лайковвеса обновлены17 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Kanjiland — модель машинного перевода с японского на английский, разработанная в рамках проекта Kanjiland. Это созданный с нуля энкодер-декодерный Transformer на 52,3 млн параметров: по шесть слоёв энкодера и декодера, размерность 512, восемь голов внимания, RoPE и общие эмбеддинги. Модель обучали 100 тысяч шагов на корпусе из 22,1 млн пар предложений Ja–En; в README приведены результаты оценки на тестовых наборах KFTT, m2 и WMT22.

Модель предназначена для перевода японских текстов на английский. Для запуска нужны веса, конфигурация и токенизатор из репозитория; архитектура нестандартная и не загружается через AutoModel библиотеки Transformers, поэтому следует использовать предоставленный загрузчик. Репозиторий распространяется по лицензии MIT.

Сценарии применения

перевод японских предложений на английский
машинный перевод японских текстов в приложениях
оценка качества японско-английского перевода на тестовых наборах

Ограничения

Архитектура нестандартная и не поддерживается загрузкой через AutoModel; для работы требуется использовать предоставленный загрузчик. Оценочные метрики приведены только для указанных тестовых наборов и не гарантируют качество на других данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Kanjiland — Translation model (Ja→En)

A 52.3M encoder-decoder Transformer built from scratch in raw PyTorch (no HuggingFace transformers in the modeling path). Part of Kanjiland.

Architecture: 6+6 layers, d_model 512, 8 heads, RoPE, pre-LN, three-way tied embeddings. Ablation-confirmed config (RoPE / 16k / tied).
Training: 100k steps on a 22.1M-pair Ja-En corpus, single RTX 4090.
Eval (beam 4, chrF/BLEU/COMET): KFTT-test 47.2 / 20.5 / 0.77; m2-test 55.3 / 30.4 / 0.81; WMT22 42.2 / 16.3 / 0.76 (vs 11.9 chrF baseline).

Use

This is a custom architecture — not loadable via AutoModel. Clone the repo, drop model.pt in, and use the provided loader:

git clone https://github.com/jakequist/kanjiland && cd kanjiland
uv run python scripts/evaluate.py --config config.yaml --checkpoint model.pt --test-sets kftt-test

Files: model.pt (weights + config), config.yaml, tokenizer-16k.json.

License & provenance

Weights: MIT. Trained on a corpus that is ~86% JParaCrawl (research-use, not redistributed) — publishing weights does not redistribute the corpus. Formal-domain (KFTT) scores trail mixed-domain by ~8 chrF (web-domain training skew).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 9de1556