tiny-random-GPTNeoXForCausalLM

Это небольшая causal language model для генерации текста, предназначенная прежде всего для проверки совместимости и работы библиотек и инструментов экосистемы Transformers, а не для прикладного использования или получения качественных текстовых ответов. На странице модели отсутствует полноценная карточка с описанием обучения и назначения.

Модель использует архитектуру GPTNeoXForCausalLM и работает с текстовой модальностью. Конфигурация указывает 5 скрытых слоёв, hidden size 32, 4 attention heads, intermediate size 37, словарь из 1024 токенов и максимальную длину контекста 512 позиций; веса имеют тип float32. Языки, обучающий набор данных, качество, фактический размер в параметрах и специальные оптимизации не указаны. Название tiny-random указывает на минимальный случайный тестовый вариант, поэтому модель не следует рассматривать как обученную языковую модель с полезными генеративными способностями.

Сильная сторона модели — крайне малый размер и пригодность для быстрых тестов загрузки, инференса и интеграции с Transformers, PyTorch и совместимыми средствами сервинга. Ограничения — отсутствие сведений о языковой поддержке, обучении, оценках и лицензии, а также вероятная непригодность для реальных задач генерации текста. Условия использования и лицензия в доступных первоисточниках не указаны.