Квантизированные варианты Nemotron-Cascade-2-30B-A3B в GGUF для генерации текста и диалогов с MXFP4 для тензоров MoE и BF16 или F16 для остальных тензоров.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это набор квантизированных вариантов Nemotron-Cascade-2-30B-A3B от noctrex на основе модели NVIDIA Nemotron-Cascade-2-30B-A3B. Модель предназначена для генерации текста и диалогов; в каталоге для неё указана возможность чата.
Варианты используют формат GGUF: тензоры MoE представлены в MXFP4, а остальные сохранены в BF16 или F16. Автор рекомендует BF16 как вариант с наивысшим качеством, хотя на некоторых архитектурах он может работать медленнее; для запуска рекомендуется актуальная версия llama.cpp. Базовая модель NVIDIA построена на архитектуре Nemotron-H и предназначена также для сложных рассуждений и агентных задач с вызовом инструментов, но README этого репозитория отдельно не подтверждает поддержку вызова инструментов.
Лицензия и сведения о языках в предоставленных данных не приведены.
BF16 может работать медленнее на некоторых архитектурах; для запуска рекомендуется актуальная версия llama.cpp. Предоставленные данные не описывают лицензию и поддержку конкретных языков.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
These are quantizations of the model Nemotron-Cascade-2-30B-A3B
The mainline standard is to use MXFP4 for the MoE tensors, and Q8 for the rest.
So I created 2 new variants, where the other tensors are either BF16 or FP16 instead of Q8.
The order of preference is BF16, then F16.
On some architectures BF16 will be slower, but its the highest quality, essentialy its the original tensors from the model copied over unquantized.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…