MultiModel Small 229M — текстовая генеративная модель проекта CodeDevX, дообученная на образовательном текстовом наборе данных проекта. Чекпойнт содержит около 229 млн параметров; его плотный трансформерный декодер имеет 12 слоёв, размер скрытого состояния 768 и 12 голов внимания. Токенизатор использует 50 257 BPE-токенов. Несмотря на название multimodal-ready, карточка описывает текстовую генерацию и не подтверждает обработку изображений, аудио или других модальностей.

Модель предназначена для генерации текста на английском языке в образовательных сценариях. В репозитории размещены веса и конфигурация PyTorch, а также файлы токенизатора. Для загрузки требуется пользовательская реализация модели из исходного проекта: напрямую через AutoModel чекпойнт не загружается. В обучении использовались 1 000 примеров, а опубликованный чекпойнт соответствует шагу 350, поэтому качество и устойчивость на широком круге задач могут быть ограничены. Лицензия — MIT.