Квантованный чекпойнт Llama 3.1 8B Instruct для диалоговой генерации текста с методом MatGPTQ.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это официальный чекпойнт MatGPTQ для Meta Llama 3.1 8B Instruct, подготовленный исследователями ISTA-DASLab методом послетренировочной матрёшечной квантизации MatGPTQ. Модель предназначена для диалоговой генерации текста и может запускаться через vLLM; проект также предоставляет интеграцию IST-DASLab/MatGPTQ.
В основе лежит плотная архитектура LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель принимает текст и выдаёт текст. В метаданных отмечены чат-возможности и поддержка английского языка; отдельный перечень языков в карточке не указан. Репозиторий содержит веса в формате safetensors с квантизацией MatGPTQ.
Квантизация предназначена для более эффективного запуска при сохранении точности, однако в предоставленной карточке нет количественных результатов качества или сведений о проверке на конкретных задачах. Для использования и распространения следует учитывать лицензионные условия базовой модели Meta Llama 3.1; отдельная лицензия чекпойнта в предоставленных данных не указана.
В предоставленной карточке нет количественных результатов оценки качества и ограничений по отдельным задачам. Следует учитывать условия лицензии базовой Llama 3.1.
README от автора на Hugging Face, как он его опубликовал
This is the official MatGPTQ checkpoint of meta-llama/Llama-3.1-8B-Instruct, produced as described in the "MatGPTQ: Accurate and Efficient Post-Training Matryoshka Quantization" paper.
This model can be run via vLLM. Checkout our integration at IST-DASLab/MatGPTQ
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Квантизация matgptq_quant не поддерживается ни рантаймом, ни vLLM.