Экспериментальный MoE-трансформер для перевода с вьетнамского и японского языков на английский.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
orangebreak/anlp-a2-part1-moe-90M — экспериментальная модель перевода, созданная в рамках задания Advanced NLP Assignment 2. Это decoder-only трансформер с вариантами feed-forward блока на основе смеси экспертов (MoE); варианты обучались на одинаковом бюджете в 90 млн токенов. Варианты 1–4 сохраняют общее число параметров, а вариант 5 — число активных параметров на уровне плотной базовой модели. Репозиторий содержит веса и конфигурации PyTorch, общую токенизаторную модель byte-level BPE на 16 тысяч токенов и результаты экспериментов.
Модель предназначена для перевода с вьетнамского на английский и с японского на английский. Карточка не сообщает результаты качества, поэтому практическую точность нельзя оценить по имеющимся данным. Лицензия MIT.
Модель описана как задание и эксперимент с пятью вариантами архитектуры; карточка не приводит метрик качества перевода. Направления перевода ограничены вьетнамский→английский и японский→английский.
README от автора на Hugging Face, как он его опубликовал
Task 1 of Advanced NLP Assignment 2: five feed-forward variants of a decoder-only translation transformer (Vietnamese→English and Japanese→English), trained on an identical 90m-token budget.
Variants 1–4 hold total parameters constant; variant 5 holds active parameters equal to the dense baseline.
Each subfolder holds final.pt (state dict + config) and results.json.
tokenizer.json is the shared 16k byte-level BPE used by all variants.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
В репозитории нет config.json: не понять архитектуру модели.