Qwen3.8-27B Uncensored — NInfer

本仓库由 xidisdg 分享，提供三个 Qwen3.8-27B 系列的 NInfer 原生 .ninfer 模型文件：NVFP4、NVFP4Full，以及附带 DFlash2 的 NVFP4Full 版本。

这些文件用于兼容的 NInfer 运行时，不是 GGUF，也不是可以直接通过 Transformers 加载的 Safetensors 检查点。请勿修改后缀来尝试在其他推理引擎中加载。

下载前注意： 三个文件是供选择的不同版本，不是需要一起下载的分片。名称中的 uncensored 是发布文件的版本标识，不代表已经完成拒答率、安全性或能力评测。

文件与版本选择

GB 按十进制计算，GiB 按二进制计算。文件大小不等于运行所需显存：KV 缓存、上下文长度、并发、视觉模块与推测解码都会影响显存占用。

nvfp4 与 nvfp4full 是不同权重配置的名称，并不表示文件中每一个张量都以同一种 4-bit 格式存储。不同版本的质量与速度需要在相同硬件、提示词和运行参数下实测，不能仅凭体积判断。

运行要求与兼容性

• 使用支持 Qwen3.8-27B 及所选权重配置的 NInfer 构建。
• 发布者本地运行环境为 Windows 11 x64，CUDA 13.1 系列 Windows 构建；该便携包的说明将目标 GPU 指定为 RTX 5090 / sm_120a。这不是对所有 RTX 显卡兼容性的承诺。
• 驱动需要支持对应 CUDA 版本。便携包必须保留其附带的 DLL；是否需要另装 CUDA Toolkit 取决于具体构建。
• DFlash2 与 NVFP4Full 可能依赖特定分支或补丁。 本地二进制在基础便携包之后有过更新，不能认为任意标为 0.2.0 的原始安装包都能加载全部三个版本。
• 本仓库没有附带或锁定对应运行时二进制；其他分支、Linux 构建及其他 GPU 的兼容性未在本仓库给出独立验证。

运行时项目参考：NInfer 上游、Windows 移植。这些链接用于查阅运行时，不保证各项目当前默认版本与本仓库所有文件兼容。

下载

安装 Hugging Face 命令行工具，然后选择一个模型文件下载。以下命令在 PowerShell 中执行：

python -m pip install -U huggingface_hub

# 选择 NVFP4Full 版本；在 NInfer 解压目录执行会放入 models 子目录。
hf download xidisdg/qwen3_8_27b-ninfer qwen3_8_27b_nvfp4full_uncensored.ninfer --local-dir .\models

其他版本：

hf download xidisdg/qwen3_8_27b-ninfer qwen3_8_27b_nvfp4_uncensored.ninfer --local-dir .\models
hf download xidisdg/qwen3_8_27b-ninfer qwen3_8_27b_nvfp4full_uncensored_dflash2.ninfer --local-dir .\models

不要为了使用一个版本而下载整个仓库。网页也可以直接使用上表链接下载；网络中断时，优先使用官方客户端重试。

文件大小核对

远端发布文件的准确大小如下，可用于排查明显的下载不完整问题：

Get-Item .\models\*.ninfer | Select-Object Name, Length

大小一致只是基本检查，不等同于内容哈希校验。模型仓库的文件详情可用于查看平台提供的文件信息。

Windows 启动示例

以下命令在包含 ninfer.exe / ninfer-serve.exe 的目录执行。它们是基于本地运行时参数整理的起步配置，不是本仓库对三种版本逐一完成的端到端测试报告。首次运行先使用较短上下文，确认加载成功后再调整。

单次文本生成

.\ninfer.exe .\models\qwen3_8_27b_nvfp4full_uncensored.ninfer --prompt "Explain how a hash table works." --max-context 16384 --max-new 256

如果使用普通 NVFP4 版本，将文件名替换为 qwen3_8_27b_nvfp4_uncensored.ninfer。

本地 HTTP 服务

.\ninfer-serve.exe .\models\qwen3_8_27b_nvfp4full_uncensored.ninfer --host 127.0.0.1 --port 8080 --max-context 16384 --kv-capacity 16384 --kv-dtype int8 --max-concurrency 1 --preserve-thinking

兼容运行时可提供 OpenAI 风格接口，客户端 API Base 通常填写 http://127.0.0.1:8080/v1。可选的 Web UI 取决于构建支持情况；支持时可添加 --webui，首次启动可能需要联网下载界面资源。

示例仅监听本机。若改为对外监听，请自行配置认证与访问控制，不要直接暴露无认证服务。

DFlash2 版本

发布者本地 DFlash2 构建使用的是 --spec dflash，而部分其他 NInfer 分支使用 --spec dflash2。请先运行 ninfer-serve.exe --help，以实际二进制支持的参数为准。

.\ninfer-serve.exe .\models\qwen3_8_27b_nvfp4full_uncensored_dflash2.ninfer --host 127.0.0.1 --port 8080 --max-context 16384 --kv-capacity 16384 --kv-dtype int8 --max-concurrency 1 --spec dflash --draft-tokens 7 --preserve-thinking

DFlash2 用于推测解码，不保证对每种任务都更快。启用它会带来额外的运行时要求与资源开销。如果参数不被识别，或加载时报未消费的 dflash2/* 对象，请先核对运行时分支与模型配置，不要直接认为文件损坏。

常见问题

• 显存不足： 先降低 --max-context 和 --kv-capacity，保持单并发，并关闭其他占用 GPU 的程序。不要直接照搬其他模型卡的超长上下文设置。
• 无法在 Ollama / llama.cpp / Transformers 中加载： 本仓库提供 NInfer 专用容器，不是这些工具的原生输入格式。
• NVFP4 能加载但 NVFP4Full 或 DFlash2 不能： 优先检查构建是否注册了对应权重配置与组件。
• 原来的 .bat 找不到模型： 启动脚本可能仍引用旧文件名；应改为本仓库表格中的完整文件名。
• 下载次数： 模型卡声明了 library_name: ninfer，用于匹配 Hugging Face 的 .ninfer 下载统计规则；页面计数不是实时逐文件下载日志。

来源、许可证与评测范围

本仓库按发布文件名及本地运行资料标识为 Qwen3.8-27B 系列的 uncensored 变体。原始 uncensored 检查点、具体去拒答/微调方法、完整转换参数、源版本及各组件许可证尚未在本仓库完整记录，因此暂不填写未经核实的 base_model 或许可证标签。

不能仅因为相关 Qwen 或 NInfer 仓库使用某种许可证，就认为本仓库全部派生权重也已获得相同授权。商业使用或再分发前，请确认原始权重、转换产物及附加组件的适用条款；本说明不额外授予模型许可证。

本仓库暂未发布独立的 tokens/s、首 token 延迟、准确率、拒答率或多模态评测。其他仓库的分数和速度不能当作这三个文件的测试结果。生成内容可能存在事实错误、偏见或不适宜内容；代码和工具调用应经审查后再执行。

参考资料与反馈

模型卡组织与使用说明参考了以下资料；参考链接不等于本仓库权重的已验证来源：

• NInfer 上游项目
• NInfer Windows 移植
• neroued/Qwen3.8-27B-nvfp4-NInfer
• gpillon/Qwen3.8-27B-nvfp4full-dflash2-NInfer

如遇到加载或运行问题，请在 Discussions 提供：文件名、运行时版本/分支、GPU 与驱动版本、启动命令和完整错误信息。不要发布访问令牌或其他凭据。