glm4-moe-tiny — небольшая модель семейства GLM-4 MoE от PrimeIntellect, предназначенная для тестирования обучения с подкреплением в prime-rl. Она дообучена на PrimeIntellect/Reverse-Text-SFT, чтобы давать нетривиальное распределение для вычисления KL-дивергенции во время RL. Архитектура включает 24 слоя, скрытый размер 1024 и 8 экспертов; класс модели — Glm4MoeForCausalLM. Метаданные указывают 369,1 млн параметров и контекст до 131 072 токенов. Модель принимает текст и генерирует текст в диалоговом формате; заявлена совместимость с vLLM и HuggingFace Transformers.

Модель рассчитана на тестирование и интеграционные сценарии в prime-rl, а не на обычное прикладное использование. Репозиторий распространяется по лицензии Apache-2.0. README приводит оценку размера около 543 млн параметров, тогда как метаданные каталога указывают 369,1 млн.