kaggle-vllm-models
waqasm86·Генерация текста
Механически преобразованный чекпойнт Qwen2.5-3B-Instruct в формате vLLM sharded_state для генерации текста и диалогов на конфигурации TP=2.
Подходит для: развёртывание чат-модели через vLLM на двух GPU · генерация ответов на пользовательские инструкции · создание диалогового сервера с OpenAI-совместимым API
Загрузки на Hugging Face · 223Лайки · 0Контекст · 32 768 токеновВыход на Hugging Face · 24 авг 2026