Экспериментальная GGUF-квантизация LQ8 модели Qwen3.5-2B для генерации текста и диалогов в llama.cpp и Ollama.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это неофициальная экспериментальная квантизация LQ8 модели Qwen3.5-2B, опубликованная reecdev. Репозиторий содержит веса в формате GGUF; файл model-LQ8.gguf занимает 1,82 ГБ и имеет точность около 8 бит на вес. LQ8 описана как ранняя бета-техника, рассчитанная на качество уровня fp16 при таком же или меньшем расходе памяти, чем Q8_0.
Модель предназначена для генерации текста и диалогового использования. Квантизация совместима с llama.cpp и Ollama. README не приводит отдельной оценки качества или подробных результатов испытаний, поэтому заявленное качество следует считать ориентиром экспериментального метода. Условия лицензии в предоставленных данных не указаны.
LQ8 находится на раннем этапе бета-тестирования, а заявленное качество уровня fp16 не сопровождается результатами оценки в карточке. Лицензия не указана в предоставленных данных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
[!Note] This repository contains model weights for the unofficial LQ8 quantizations of Qwen3.5 2B.
LQ8 is an experimental quantization technique that is still in early beta, designed to provide fp16-level quality with the same or lower memory footprint as Q8_0.
LQ8 is currently compatible with llama.cpp and Ollama out of the box. Please create a discussion if you find a bug.
| File Name | Quant Type | Bit Depth | Size | Download Link |
|---|---|---|---|---|
model-LQ8.gguf | LQ8 | ~8 bpw | 1.82 GB | 📥 Download LQ8 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…