/ Модель

Характеристики

Лицензия
Своя лицензия
Опубликована
19 июл 2026

hunyuan_ocr_ncnn_fp16

Изображение и текст → текст

Компактная fp16-версия HunyuanOCR в формате ncnn для извлечения английского и китайского текста из изображений.

0скачиваний за 30 дней0лайковвеса обновлены19 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HunyuanOCR-ncnn-fp16 — это преобразованная в формат ncnn версия HunyuanOCR, подготовленная из официальной модели через экспорт ONNX в fp16 и последующую конвертацию. Она предназначена для распознавания текста на изображениях с помощью визуального кодировщика CLIP и языкового декодера; в карточке заявлена поддержка английского и китайского языков. Размер модели составляет около 2,2 ГБ против 5,9 ГБ у версии fp32. При вычислениях на CPU кодировщик, эмбеддинги, проекция и выходной слой используют fp16, а декодер работает в fp32; также доступен запуск с Vulkan. Автор README сообщает о побайтном совпадении результатов с fp32 на проверенных примерах на английском и китайском.

Модель подходит для извлечения текста из изображений и локального OCR, когда важны компактность относительно fp32 и сохранение точности. В README описан запуск через исполняемый файл hunyuan_ocr.exe с указанием изображения и промпта, но приведённый пример промпта — на китайском. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверять с лицензией исходной модели и репозитория; отдельные условия в доступных данных не приведены.

Сценарии применения

  • распознавание английского текста на изображениях
  • распознавание китайского текста на изображениях
  • локальное OCR на CPU
  • извлечение текста из скриншотов и фотографий

Ограничения

На CPU декодер вычисляется в fp32, несмотря на хранение весов в fp16. Совпадение с fp32 подтверждено в README только на двух приведённых примерах; метаданные указывают лицензию other без уточнения условий.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

HunyuanOCR-ncnn —— fp16 模型

本目录是 HunyuanOCR 的 全 fp16(半精度) ncnn 推理模型,由官方模型经 export_onnx.py --fp16 导出 ONNX 后转换得到。

体积

总体积约 2.2 GB(相对 fp32 的 5.9 GB 缩减约 63%)。

精度说明

  • 全模型权重以 fp16 存储;CPU 推理时 vision_encoder / embed / lm_head / projector 实际按 fp16 计算,LLM decoder 因内部结构(静态序列长度 512、无真正 KV cache) 在 CPU 上仍走 fp32 计算路径。
  • 实测输出与 fp32 模型逐字节一致(英文 En.png、中文 qikai.png 均已验证)。
  • 适合对精度要求高、显存/磁盘敏感但又不希望引入 int8 校准风险的场景。

文件清单

配置与词表

文件说明
model.json模型元信息(结构、维度、词表大小等)
vocab.txt分词器词表(120818 词条)
merges.txtBPE 合并规则
image_begin.bin / image_end.bin / image_newline.bin图像占位符 token 的 embedding

视觉编码器(Vision Encoder)

文件大小说明
vision_encoder.ncnn.param / .bin844MCLIP 视觉编码器(fp16)
perceptron_weights.bin118M感知机/投影前权重
pos_embed_32x32.bin4.5M32×32 位置编码
projector.ncnn.param / .bin2.1M视觉特征 → 文本空间投影层(fp16)

LLM 解码器

文件大小说明
decoder.ncnn.param / .bin809M主解码网络(含 prefill + decode,CPU 走 fp32)
decoder_prefill.ncnn.param75Kprefill 阶段子图
decoder_decode.ncnn.param78Kdecode 阶段子图
embed.ncnn.param / .bin236M词嵌入层(fp16)
lm_head.ncnn.param / .bin236M输出词表投影头(fp16)

运行方式

./build-cpu/hunyuan_ocr.exe \
  --model assets/hunyuan_ocr_ncnn_fp16 \
  --image source/En.png \
  --prompt "请识别图片中的文字内容" \
  --quant fp16 \
  --threads 8 \
  --max-tokens 4096
  • --quant fp16:运行时开启 fp16 计算路径(见 src/quant_opt.h)。
  • GPU(Vulkan)推理:追加 --use-vulkan 1(此时仅 fp16 路径生效,int8 无效)。

与 int8 模型的关系

  • 本目录是 int8 混合方案的精度基准:int8 模型(hunyuan_ocr_ncnn_int8)仅把 embed / lm_head 转为 int8,其余(含 vision_encoder、decoder、projector) 直接复用本目录的文件,因此输出与本目录逐字节一致。
  • 若你的设备对体积更敏感且能接受 int8 的轻微风险,见 ../hunyuan_ocr_ncnn_int8/README.md。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
17f25ef

0 моделей