phi-3.5-moe-tiny-random

Она предназначена прежде всего для проверки совместимости и работы инструментов Transformers, vLLM и SGLang, а не для прикладного использования или оценки качества ответов. Основная задача — генерация текста и диалоговые сценарии через causal language modeling с поддержкой chat template и custom code.

Архитектура относится к PhiMoE: sparse Mixture-of-Experts Transformer с Grouped Query Attention. В конфигурации архитектуры указаны 32 слоя, hidden size 4096, 32 attention heads, 8 key-value heads, 16 локальных экспертов и маршрутизация двух экспертов на токен; максимальная длина позиции по умолчанию составляет 131072 токена. Модель работает с текстом, других модальностей не заявлено. Точные языки, фактический размер рабочего чекпойнта и прикладные метрики не установлены.

Ключевое ограничение следует из названия tiny-random: это уменьшенный случайно инициализированный тестовый чекпойнт, поэтому его ответы и производительность не предназначены для практических задач и не отражают возможности полноразмерной Phi-3.5-MoE. Для загрузки требуется trust_remote_code, что подразумевает выполнение пользовательского кода репозитория. В найденных материалах подтверждена лицензия Apache-2.0 для файла конфигурации, но отдельные условия лицензирования весов этой тестовой модели явно не указаны.