NVIDIA-Nemotron-Nano-9B-v2-Japanese-gguf — это версия модели NVIDIA-Nemotron-Nano-9B-v2-Japanese, разработанной NVIDIA и преобразованной в формат GGUF.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и может использоваться в локальных сценариях инференса, включая запуск через llama.cpp. По указанным метаданным, она поддерживает английский и японский языки и относится к классу моделей объёмом около 9 миллиардов параметров.
Модель ориентирована на универсальные задачи генерации текста, в том числе ответы на вопросы, создание инструкций и японскоязычный контент. Для подготовки imatrix-данных использован датасет TFMC/imatrix-dataset-for-japanese-llm. Формат GGUF удобен для запуска совместимых версий llama.cpp и локального использования, однако README не содержит подробностей об архитектуре, максимальной длине контекста, вариантах квантования, производительности или результатах оценки качества.
Модель распространяется по NVIDIA Open Model License. Условия лицензии следует учитывать при использовании и распространении. Ограничения и предупреждения, специфичные для исходной модели, в представленном README не описаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
nvidiaさんが公開しているNVIDIA-Nemotron-Nano-9B-v2-Japaneseのggufフォーマット変換版です。
imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
build/bin/llama-cli -m 'NVIDIA-Nemotron-Nano-9B-v2-Japanese-gguf' -n 128 -c 128 -p 'あなたはプロの料理人です。レシピを教えて'
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.