TR-HASH MoE 1B — экспериментальная авторегрессионная языковая модель Pacific-i64 на стадии предварительного обучения. В README заявлена архитектура MoE с 8 маршрутизируемыми экспертами, выбором двух экспертов на токен и общей ветвью; метаданные указывают 530,4 млн параметров, а README — целевой размер около 1,01 млрд параметров. Эти сведения расходятся, поэтому фактический размер опубликованных контрольных точек может зависеть от стадии обучения. Контекст составляет 16 384 токена, токенизатор — 32K.

Модель предназначена для генерации текста; метаданные также отмечают диалоговый режим. Это не instruction-tuned модель, поэтому её не следует считать готовым ассистентом для следования инструкциям. Обучение продолжается примерно на 70 млрд токенов; репозиторий содержит контрольные точки с состоянием распределённого обучения и оптимизатора, а веса для инференса планируется опубликовать после завершения обучения. В карточке указана лицензия other без конкретных условий.