TinyLlama-1.1B-Chat-v1.0-GPTQ-4bit — это 4-битно квантованная версия чат-модели TinyLlama/TinyLlama-1.1B-Chat-v1.0.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
В README не указано, кто выполнил квантование; исходная модель обозначена как TinyLlama. Модель предназначена для диалоговых сценариев и задач генерации текста, где важны сниженные требования к памяти и вычислительным ресурсам.
Модель имеет заявленный размер 1,1 млрд параметров и представлена в формате GPTQ, созданном с помощью AutoGPTQ. Используется 4-битное симметричное квантование с group_size 128, без активационного упорядочивания (desc_act: false), с последовательной обработкой слоёв (true_sequential: true). Ключевые характеристики архитектуры, поддерживаемые языки, модальности и размер контекстного окна в README не указаны. Квантование уменьшает требования к ресурсам, но может приводить к снижению качества по сравнению с исходной моделью. Лицензия указана как неизвестная.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is TinyLlama/TinyLlama-1.1B-Chat-v1.0 quantized with AutoGPTQ in GPTQ 4-bit format.
Quantize config:
{
"bits": 4,
"group_size": 128,
"damp_percent": 0.01,
"desc_act": false,
"static_groups": false,
"sym": true,
"true_sequential": true,
"model_name_or_path": null,
"model_file_base_name": null,
"quant_method": "gptq",
"checkpoint_format": "gptq"
}
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…