Модель относится к задачам генерации текста и предназначена для запуска совместимых языковых моделей в различных вариантах квантования.

В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Указан размер базовой модели 70B; архитектура, поддерживаемые языки, модальности и размер контекста в README не описаны. Разные уровни квантования позволяют выбирать компромисс между размером файлов, требованиями к ресурсам и вероятным сохранением качества, однако конкретные характеристики производительности не приведены. Размеры вариантов составляют примерно от 25 до 72 ГБ.

Модель ориентирована на текстовую генерацию, но точные сценарии применения, ограничения, требования к оборудованию и условия лицензирования в предоставленных данных не указаны. Поэтому перед использованием необходимо проверить лицензию базовой модели v3ray/Llama-3-1-70B-Instruct-base и совместимость выбранного GGUF-варианта с используемым программным обеспечением.