mesolitica/malaysian-debertav2-base — базовая модель DeBERTaV2, предварительно обученная разработчиком Mesolitica на текстах на малайском языке. Модель содержит 137,8 млн параметров и рассчитана на контекст до 4096 токенов; в репозитории указаны веса в формате safetensors.

Это базовый чекпойнт для задач понимания малайского текста и последующего дообучения под конкретные сценарии, например классификацию или извлечение информации. README указывает на предварительное обучение с маскированием токенов и длину контекста 512 для этого режима. Конкретные показатели качества и готовые прикладные задачи не приведены. Лицензия в предоставленных данных не указана.