NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это квантизированная версия языковой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA и автоматически преобразованной в формат GGUF проектом ggml-org.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
В качестве исходной модели указана NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16. Модель предназначена для генерации текста и может использоваться в приложениях, поддерживающих формат GGUF и совместимых с llama.cpp или аналогичными инструментами.
Из доступных данных известны размер 30B и обозначение A3B, однако подробности архитектуры, число активных параметров, длина контекста, поддерживаемые языки и дополнительные модальности не указаны. Формат GGUF удобен для локального запуска и интеграции с соответствующим программным обеспечением, но конкретные требования к памяти, производительность и качество генерации зависят от варианта квантизации и оборудования.
Лицензия обозначена как other, без дополнительных условий в представленном README. Поэтому перед использованием необходимо ознакомиться с лицензией исходной модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 и условиями распространения данной сборки.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Run with https://llama.app
llama serve -hf ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF
[!IMPORTANT] This model is automatically converted using https://github.com/ggml-org/convert
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.