llama3.8-27b-uc-fp8-jh

Репозиторий предназначен для генерации текста и мультимодальных сценариев, включая работу с изображениями; доступны интеграции с Transformers, vLLM и SGLang.

Модель содержит около 28 млрд параметров и использует формат FP8 F8_E4M3 с отдельными компонентами BF16. По назначению исходной Qwen3.8-27B она ориентирована на понимание текста, изображений и видео, программирование, мультимодальное рассуждение, обработку длинного контекста, вызов инструментов и агентские задачи. Для конкретной производной модели длина контекста, поддерживаемые языки, результаты тестирования и точные архитектурные особенности не указаны, поэтому её сильные и слабые стороны относительно исходной модели надёжно оценить нельзя.

Для репозитория указана лицензия Apache-2.0. FP8-квантизация может снизить требования к памяти и ускорить инференс по сравнению с полноточными весами, но потенциально влияет на качество; количественные данные о таком влиянии отсутствуют. Модель не была доступна через провайдеров инференса на момент проверки.