This is an attempted conversion of https://huggingface.co/UCloud-org/GLM-5.2-FP8-DFlash to gguf format. Both models function in ik_llama, but I cannot get either to get higher than 5% acceptance. I'm not sure which tokenizer to use, I think is the problem.
GLM-5.2-FP8-DFlash-GGUF
Попытка конверсии черновой DFlash-модели GLM-5.2-FP8 в GGUF для ускорения генерации текста посредством speculative decoding.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это попытка преобразовать модель UCloud-org/GLM-5.2-FP8-DFlash в формат GGUF. Базовая модель — черновик DFlash для GLM-5.2-FP8, предназначенный для ускорения генерации текста с помощью speculative decoding, особенно при решении задач по программированию и математике.
Автор сообщает, что модель запускается в ik_llama, но доля принятых спекулятивных токенов не превышает 5%; возможная причина — несоответствие токенизатора. Это указывает на проблемы совместимости и ограниченную практическую эффективность данной конверсии. Лицензия в предоставленных данных не указана.
Сценарии применения
- эксперименты со speculative decoding в ik_llama
- проверка совместимости токенизатора с GLM-5.2-FP8-DFlash
- тестирование ускорения генерации кода
- эксперименты с ускорением математических ответов
Ограничения
Автор сообщает о доле принятия токенов не выше 5% и предполагает проблему с токенизатором, поэтому ускорение генерации может быть неэффективным. Совместимость указана только для ik_llama.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.
- Ревизия весов
- 53a7ce1