tiny-random-deepseek-v3

Репозиторий относится к семейству DeepSeek V3 и использует архитектуру DeepseekV3ForCausalLM; признаков того, что модель разработана официальной командой DeepSeek, нет. Модель предназначена для генерации текста и совместимости с инструментами, поддерживающими этот формат, а также для тестирования программных стеков и инференсных сценариев.

Модель содержит около 1,66 млн параметров, использует формат Safetensors и тип данных F32. В конфигурации указаны два скрытых слоя, Mixture-of-Experts с шестью экспертами на токен, словарь размером 102 400 токенов и один слой next-token prediction; максимальная длина контекста токенизатора — 16 384 токена. Поддерживается conversational-шаблон, но сведения о языках, обучающих данных, качестве, метриках и фактической способности решать прикладные задачи отсутствуют.

Главное преимущество — компактность и пригодность для локальных тестов, проверки загрузки и интеграции. Из-за крайне малого размера и обозначения tiny-random модель нельзя считать полноценной обученной языковой моделью; её ответы и практическая полезность не подтверждены. Лицензия в доступных материалах не указана.