grok-1-hf

keyfan/grok-1-hf — неофициальная конверсия весов Grok-1 в формат Transformers для PyTorch. Это авторегрессионная языковая модель с архитектурой MoE и примерно 45,1 млрд параметров, предназначенная для генерации текста. Модель поддерживает контекст до 8192 токенов; README приводит результаты оценивания на MMLU и BBH, полученные при запуске в 8-битном режиме.

Репозиторий содержит деквантизированные веса; для большей согласованности README рекомендует вариант fp32, где RMSNorm и router представлены в float32. Это неофициальная конверсия, а не новая обученная модель. Лицензия — Apache-2.0. Язык модели и специализированные области применения в предоставленных данных не определены.