/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
llama.cpp
Опубликована
17 авг 2026

Qwen3.8-27B-AEON-ULTIMATE-ROCmFPX-GGUF

Генерация текстаТекст → текст3 профессии

Набор ROCmFPX GGUF-квантизаций Qwen3.8-27B-AEON-ULTIMATE для генерации текста на совместимой сборке llama.cpp.

168скачиваний за 30 дней3лайкавеса обновлены17 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это набор GGUF-квантизаций модели Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, подготовленный vmlinux из весов AEON-7. Модель предназначена для генерации текста и диалогов; исходная версия описана как экспериментальная мультимодальная модель на базе Qwen3.8-27B с поддержкой изображений и вызова инструментов, однако эта карточка документирует только GGUF-файлы и задачу text-generation.

В репозитории представлены варианты ROCmFP4, ROCmFP6 и ROCmFP8, квантизированные с использованием общей матрицы важности iMatrix. Для запуска требуется совместимая сборка llama.cpp с поддержкой ROCmFPX; стандартная upstream-сборка llama.cpp эти типы данных не загружает. README сообщает об успешной загрузке файлов и короткой генерации на ROCm0 с выгрузкой всех слоёв. Лицензия указана как Apache 2.0, унаследованная от исходной модели; перед распространением или развёртыванием следует свериться с карточкой исходной модели и применимыми условиями.

Сценарии применения

  • генерация текста локально на совместимом оборудовании AMD
  • диалоговое использование исходной модели AEON-7 в формате GGUF
  • запуск квантизированной модели через ROCmFPX-enabled llama.cpp

Ограничения

Требуется сборка llama.cpp с поддержкой ROCmFPX: стандартный upstream llama.cpp не загружает эти типы данных. README подтверждает только короткую тестовую генерацию на ROCm0; языки, контекстное окно и качество этой квантизации не описаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B AEON ULTIMATE — ROCmFPX iMatrix GGUF

ROCmFPX iMatrix quantizations of the full BF16 checkpoint published by Aeon / AEON-7.

Attribution

The source weights are Aeon's Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, pinned at Hub revision 8f76e82ed7ef4de7735f5d4148fce7b643b00fae. Aeon deserves attribution for the BF16 model and its model work. This repository contains derived GGUF quantizations produced by vmlinux with the ROCmFPX toolchain; it is not a new training run or a claim of ownership of the source model.

The source model declares Apache 2.0 licensing. Review the source model card and applicable terms before redistribution or deployment.

Quantizations

FilePresetSizeSHA-256
Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-ROCmFP4-iMatrix.ggufQ4_0_ROCMFP417,735,469,440 bytes34c04aaec2399fab8179a921d0ea1e9d3b93da213201ab0ec2930ee1420307b0
Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-ROCmFP6-iMatrix.ggufQ6_0_ROCMFPX22,528,383,360 bytesd096fdd0ece150cefa793a8fdae55076b63d61d9e135571de6c73b016a641ba1
Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-ROCmFP8-iMatrix.ggufQ8_0_ROCMFPX28,193,397,120 bytes10eff5653c51e23a8a816761feea69b235c9003e80821759ecef41814843a761

All three use the same model-specific importance matrix: Qwen3.8-27B-AEON-ULTIMATE-iMatrix.imatrix.gguf. The matrix was generated from 339 chunks of 512 tokens using the shared calibration corpus, and each quantizer consumed 496 entries.

Runtime

These are experimental ROCmFPX tensor types and require a compatible ROCmFPX-enabled llama.cpp build. Stock upstream llama.cpp will not load them.

Example ROCm0 invocation:

hf download vmlinux/Qwen3.8-27B-AEON-ULTIMATE-ROCmFPX-GGUF \
  Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-ROCmFP4-iMatrix.gguf \
  --local-dir ./Qwen3.8-27B-AEON-ULTIMATE-ROCmFPX

./llama-completion \
  -m ./Qwen3.8-27B-AEON-ULTIMATE-ROCmFPX/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-ROCmFP4-iMatrix.gguf \
  -dev ROCm0 -ngl all -c 8192 -n 256 -p "Hello."

The GGUFs retain the native one-layer MTP head. Thinking is enabled by the embedded Qwen template by default; pass the appropriate chat-template kwargs when an application needs thinking disabled.

Validation and provenance

All three files loaded and generated a short completion on ROCm0 with all layers offloaded. Detailed public build information is in BUILD_RESULTS.md, with exact hashes in SHA256SUMS and source/toolchain details in PROVENANCE.md.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

Не найден файл GGUF для запуска.

Ревизия весов
4a986b6

0 моделей