Это 4-битная GPTQ-квантизованная версия модели TinyLlama/TinyLlama-1.1B-Chat-v1.0. В README указано, что квантизация выполнена с использованием AutoGPTQ, а формат контрольной точки — Marlin.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Разработчик исходной модели отдельно не указан; идентификатор и README позволяют определить её как чат-модель семейства TinyLlama с размером около 1,1 млрд параметров.
Модель предназначена для диалоговых и других текстовых сценариев, где важны сниженные требования к памяти и вычислительным ресурсам. Конфигурация использует 4-битное симметричное квантование GPTQ с group_size 128 и параметром desc_act, установленным в false. Квантизация может упростить локальный запуск и ускорить выполнение на совместимом оборудовании, однако потенциально снижает точность по сравнению с полноразмерной версией. Мультимодальность, поддерживаемые языки, размер контекстного окна и точные архитектурные характеристики в README не указаны. Лицензия обозначена как unknown.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is TinyLlama/TinyLlama-1.1B-Chat-v1.0 quantized with AutoGPTQ in GPTQ 4-bit Marlin format.
Quantize config:
{
"bits": 4,
"group_size": 128,
"damp_percent": 0.01,
"desc_act": false,
"static_groups": false,
"sym": true,
"true_sequential": true,
"model_name_or_path": null,
"model_file_base_name": null,
"quant_method": "gptq",
"checkpoint_format": "marlin"
}
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…