Квантованная GGUF-версия Tema_Q-X4-8B-Thinking для локальной генерации текста и диалогов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
TaQuants/Tema_Q-X4-8B-Thinking-TaQuants-GGUF — квантованная GGUF-версия модели Tema_Q-X4-8B-Thinking, созданная командой zenei из команды разработки Tema_Q с помощью метода TaQuants v2.9 (Tensor-aware Adaptive Quantization). Репозиторий предлагает варианты Q4_K_S, TaQ2_K и TaIQ3_S; в README приведены их размеры и результаты по показателю knowledge score.
Модель предназначена для генерации текста и диалогового использования. Она может подойти для локального запуска чат-модели и задач, где важны рассуждения, однако в доступной карточке нет описания конкретных тестов, методики оценки или параметров контекста. Репозиторий указывает базовую модель temaq-org/Tema_Q-X4-8B-Thinking; иных сведений о лицензии в предоставленных данных нет.
Карточка не приводит сведения о длине контекста, поддерживаемых языках, лицензии или методике расчёта knowledge score. Характеристики качества указаны только для трёх вариантов квантования и не сопровождаются описанием тестов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Repository
Technical Report
The Tema_Q development team, team zenei, has developed a new importance matrix method called TaQuants (Tensor-aware Adaptive Quantization).
This model is a TaQuants version of temaq-org/Tema_Q-X4-8B-Thinking created with TaQuants v2.9.
The model size and performance are as follows:
| Size (GB) | Knowledge score | |
|---|---|---|
| Q4_K_S | 5.20 | 31.79 |
| TaQ2_K | 4.50 | 36.31 |
| TaIQ3_S | 5.76 | 40.96 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…