/ Модель
Каталог

Характеристики

Лицензия
Gemma
Базовая модель
translategemma-4b-it-NVFP4
Библиотека
gguf
Опубликована
11 окт 2026

Ссылки

Hugging Face

translategemma_nvfp4_gguf

zed122
ПереводТекст → текст

GGUF-конверсия TranslateGemma 4B IT в NVFP4 для перевода текста с запуском через исправленную сборку llama.cpp.

163скачиваний за 30 дней0лайковвеса обновлены13 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это GGUF-конверсия модели TranslateGemma 4B IT в формате NVFP4, подготовленная автором репозитория на основе контрольной точки kaitchup/translategemma-4b-it-NVFP4 средствами llama.cpp. Модель предназначена для перевода текста; её можно запускать через llama.cpp и llama-server в диалоговом режиме.

Веса хранятся в NVFP4, тогда как token embedding и выходной слой оставлены в BF16; размер файла составляет около 4,5 ГБ. Для корректной генерации требуется сборка llama.cpp с патчем, передающим масштабные тензоры FFN: стандартная сборка может выдавать NaN или бессмысленные токены. В README описана проверка патча на CUDA для Blackwell; совместимость с более новыми коммитами llama.cpp может потребовать правок.

Модель наследует лицензию Gemma. README не уточняет перечень поддерживаемых языков и длину контекста, поэтому конкретные языки и предел контекста здесь не заявляются.

Сценарии применения

  • Перевод пользовательского текста между языками
  • Локальный запуск переводчика через llama-server
  • Интеграция текстового перевода в приложение на llama.cpp

Ограничения

Для корректной генерации требуется патч llama.cpp; стандартная сборка может выдавать NaN или бессмысленные токены. Проверена работа на указанном в README коммите, а для более новых версий патч может потребовать адаптации.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

translategemma_nvfp4_gguf

GGUF conversion of kaitchup/translategemma-4b-it-NVFP4 (compressed-tensors NVFP4 checkpoint), converted with convert_hf_to_gguf.py from llama.cpp. Weights are NVFP4; token_embd and output stay BF16. Size about 4.5 GB.

Important: needs a patched llama.cpp

Stock llama.cpp builds produce NaN / junk tokens (<unusedNN>) with this file, because src/models/gemma3.cpp does not pass the FFN scale tensors (ffn_up_s, ffn_gate_s, ffn_down_s) to build_ffn. gemma3-ffn-scale.patch fixes this. Once the fix is merged upstream, the patch will no longer be needed.

The patch was tested on llama.cpp commit f2cc7282ce0042641df55e0e563b75e824e2b647 (2026-10-11). On newer commits it may need a small manual adjustment.

Usage

./build_and_run.sh clones llama.cpp, applies the patch, builds with CUDA (Blackwell, arch 120a), and starts llama-server. Then:

curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [{"role": "user", "content": "Artificial intelligence is changing the world."}],
  "chat_template_kwargs": {"source_lang_code": "en", "target_lang_code": "ar"},
  "max_tokens": 256, "temperature": 0
}'

Tested on RTX 5060 Ti: correct en to ar output, about 95-100 tokens/s. For other GPUs, change CMAKE_CUDA_ARCHITECTURES (the native FP4 path needs Blackwell).

Credits and license

Base model: Google TranslateGemma. Quantized checkpoint: kaitchup. This repo is subject to the Gemma Terms of Use.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Можно запустить

Подбираем GPU…

Ревизия весов
0e8f74c

0 моделей

    Создать бенчмарк