MoziAI-V3.7-35B-A3B-MOE - 可免费本地部署的小而强的多模态AI模型

English | 简体中文（当前页） | 繁体中文 | 日本语 | 한국어 | हिन्दी | Deutsch | Français | Nederlands | Italiano | Русский

模型简介

MoziAI-35B-A3B-MOE 是由中国财经大V陈雨墨团队开发的本地开源多模态AI大模型（增强金融领域、支持视觉、工具调用、消费级显卡本地部署），moziAI-35B 基于开源底座 Ornith-1.5-35B-A3B（Qwen3.5-35B-A3B / Qwen3.6-35B-A3B 架构，MIT 许可），结合陈雨墨团队自主研发的：（金融数据 + 金融领域能力 + 训练方法 + 七维思考体系 + 智能体LOOP机制 + 混合量化算法 MoziSmartBit）开发而成。通过自研的 MoziSmartBit 智能量化 技术，将350亿参数MoE模型压缩至约 15.5 GB，比常规Q4_K_M量化约22+GB的模型体积小了6.5G（约30%）；在精度与体积间取得最优平衡，实现几乎≈FP16 的 99%的精度质量。通过自研的 MoziSmartBit 智能量化 技术，将350亿参数MoE模型压缩至约 15.5 GB，比常规Q4_K_M量化约22+GB的模型体积小了6.5G（约30%）；在精度与体积间取得最优平衡，实现几乎≈FP16 的 99%的精度质量。

本模型除了保留AI大模型的通用能力外，还增强了：金融垂直领域应用，金融问答、量化编程、工具调用和通用编程，模型的七维思考能力、LOOP机制、兼容各种agent平台调用。

模型研发者陈雨墨常把本模型用于本地金融数据分析、量化策略研发、市场调研、任何的文章编写、整体项目推进、通用程序编写，openclaw/hermes执行128K上下文的任务。因本地消费级显卡可部署使用，节约大量云端token成本，实现X24小时token自由並且确保本地数据隐私与安全策

支持 llama.cpp、Ollama、LM Studio 等主流推理框架构

发布日期：2026-08-21 | 版本：V3.7

模型特色

• 金融垂直深度：深度加强金融问答、量化程序编写、工具调用能力

• MoziSmartBit 智能量化：自研的智能量化技术，精度与体积最佳平衡，模型几乎无损压缩至約 15.5 GB

• 消费级部署：20GB / 4GB显存以上的家用消费级显卡即可本地部署，支持最优128K 长上下文推理

• 多语言支持：支持201 种语言和方言，中文能力特别优化，兼顾英语、日语、韓语、德语、法语、西班牙语、葡萄牙语等主流语言

• 通用程序编写能力：支持全棧开发、代码调试、架构设计、脚本编写，覆盖 Python/JS/TS/Go/Rust 等主流语言

• 文章写作能力：支持多体裁高质量写作，包括研报、分析文章、技术文档、创意内容等

• 视觉理解：支持多模态视觉，可本地截图进入聊天窗口，模型能夠看懂图片内资讯

• 去审核自由输出：无内容审查限制，可自由讨论任何话题，不受安全策略約束

• 推理逻辑增强：配合推理逻辑（思维链）进行训练，进一步提升推理质量

• 多框架支持：兼顾llama.cpp、Ollama、LM Studio、Jan 等主流推理框架

• 多 Agent 平台支持：深度适合OpenClaw、Hermes、OpenCode、Cursor、Windsurf、Claude Code、Codex 等国内外主流 AI IDE 与 Agent 框架，原生支持工具调用与多轮任务编排，开箱即可

去审核（Uncensored）优化

本模型繼承底座Ornith-1.5-35B-A3B 的 Uncensored（去审核）特性，具有以下优势：

注意：本模型为本地部署模型，输出内容完全由使用者控制，不承担内容审核责任务

核心能力

技术规划

量化格式与模型体积对话

MoziAI V3.7 采用 MoziSmartBit 智能量化方案，在保持约99% 精度的同时，将350亿参数MoE模型压缩至约 15.5 GB，压缩比达4.5x，兼顾推理质量与部署门檻，更适合消费级显卡本地部署的

MoziSmartBit 智能量化技术

传统量化方案对所有层使用统一精度，而陈雨墨团队自研的MoziSmartBit 智能量化 针对 MoE 模型的结构特点，采用智能差异化量化策略，在体积与精度间取得最优平衡，模型质量高于 Q4_K_M 格式，同时体积仅占15.5 GB，压缩比达 4.5x。

压缩效果

传统量化方案对模型所有部分统一压缩，往往导致精度损失明显。MoziSmartBit 智能量化采用自研的智能压缩策略，在极小的精度损失下实现大幅体积缩小。- 量化精度损失极小：训练增益> 量化损失，训练后的MoziAI-35B 在金融领域文本上下PPL 优于训练前的 bf16 底座，降低了同类 AI 模型的幻觉与困惑。- 模型体积压缩至 4.5 倍：从 FP16（~70 GB 压缩至~15.5 GB，也大幅小于Q4_K_M的~21 GB，大幅降低显存与存储门檻

• 消费级显卡可部署：原本需要高端显卡的 35B MoE 大模型，现在 20GB~24GB 显存即可流暢部署

对比优势

vs Q4_K_M（~22 GB）：体积減少約 30%（~15.5 GB），精度优Q4_K_M 更高，显存门檻更低，中端消费级显卡（24GB）即可流暢部署的

vs 原始 FP16（~70 GB）：体积压缩約 4.5 倍，训练有效 + 量化精度损失极小（训练增益> 量化损失），从需要专业级显卡即4GB+）降低到消费级显卡即可本地运行128K 长上下文件

推荐推理参数

基于本地运行配置（AMD Radeon AI PRO R9700 32GB），推荐参数如下文

llama.cpp 启动命令

llama-server \

  -m V3.7/moziAI-35B-V3.7-MOE-MTP-Q4_K_M-Uncensored-Qwen3.6-35B-A3B-Ornith-1.5.gguf \

  --mmproj mmproj/35B/moziAI-35B-mmproj-BF16-V1.0.gguf \

  --chat-template-file V3.7/moziAI-V3.7-35B-chat-template.jinja \

  -c 131072 -ngl 99 -t 28 \

  --batch-size 2048 --ubatch-size 512 \

  --flash-attn auto \

  --cache-type-k q4_0 --cache-type-v q4_0 --kv-unified \

  --spec-default \

  --poll 0 --reasoning on --reasoning-budget 1000 \

  --host 0.0.0.0 --port 8080 \

  --temp 0.6 --top-p 0.95 --top-k 20

不同显存配置推荐

由于使用者显卡配置差异较大，以下为不同显存下的推荐参数（均为 MoziSmartBit 版本）：

💡 提示：只要显存满足以上要求即可使用，不限品牌型号，支持NVIDIA / AMD / Intel 各品牌独立显卡，也支持上下128GB 统一记忆体的核显 CPU。> 💡 提示：上下文越长，佔用显存越多。如果出现显存不足（OOM），请逐步降低 -c 参数值。使用--fit on 参数可让 llama.cpp 自动调整层数适配显存的

Ollama 部署

# 建立 Modelfile

FROM ./moziAI-35B-V3.7-MOE-MTP-Q4_K_M-Uncensored-Qwen3.6-35B-A3B-Ornith-1.5.gguf



PARAMETER temperature 0.6

PARAMETER top_p 0.95

PARAMETER top_k 20

PARAMETER num_ctx 131072

PARAMETER num_gpu 99



# 建置並运行

ollama create moziAI-35B -f Modelfile

ollama run moziAI-35B

LM Studio / Jan 部署

直接在LM Studio / Jan 中搜索moziAI-35B，选择MoziSmartBit 量化版本下载即可证

基准评测

MoziAI 基于 deepreinforce-ai/Ornith-1.5-35B-A3B 底座微调、蒸馏与二次开发。MoziAI 在底座基础上针对金融垂直领域优化，在金融问答、量化程序编写、工具调用等场景下表现更出色。以下为多模型对比（MoziAI-35B 通用能力与底座Ornith-1.5-35B-A3B 一致）底

MoziAI-35B 通用能力基准分数与底座Ornith-1.5-35B-A3B 一致。金融垂直领域为 MoziAI 的核心优化方向，在财报解读、量化策略、风控合规、agent管理工具调用等场景下表现显著优于通用模型。Gemma4 / Qwen3.6 数据为官方公开评测结果取

模型下载

由于模型文件较大（~15.5 GB），模型权重托管于多个社群平台：

💡 LM Studio 用户：可直接在LM Studio 中搜索moziAI 並一键下载，无需手动下载档案对

💡 下载提示：请点击上方连结进入 HuggingFace 仓库，在 "Files and versions" 标签页下文V3.7 目录下的所有文件（主模型、视觉投影、聊天模板），确保三个文件放在同一目录下

⚠️ 重要：视觉能力需要额外载入mmproj 文件

本模型支持多模态视觉，视觉投影文件（mmproj）已包含在版本目录中文

• 视觉文件：mmproj/35B/moziAI-35B-mmproj-BF16-V1.0.gguf（約 903 MB，BF16 精度优

• 放置位置：与 GGUF 模型文件放在同一版本目录下

• 载入方式：启动llama-server 时透过 --mmproj 参数载入

llama-server -m V3.7/moziAI-35B-V3.7-MOE-MTP-Q4_K_M-Uncensored-Qwen3.6-35B-A3B-Ornith-1.5.gguf \

  --mmproj mmproj/35B/moziAI-35B-mmproj-BF16-V1.0.gguf

不载入视觉文件将丧失图像理解能力，仅保留纯文本对话能力时

快速开发

1. 下载模型文件

在 HuggingFace / ModelScope 下载 V3.7 目录下的所有文件到本地部

V3.7/

├── moziAI-35B-V3.7-MOE-MTP-Q4_K_M-Uncensored-Qwen3.6-35B-A3B-Ornith-1.5.gguf      # 主模型（必选择

└── moziAI-35B-mmproj-BF16-V1.0.gguf  # 视觉投影（可选，在 mmproj/35B/ 目录下载）

└── moziAI-V3.7-35B-chat-template.jinja                  # 聊天模板（推荐）

2. 启动推理服务

完整的推荐配置启动命令请参考上下llama.cpp 启动命令 章节约

最简启动（仅核心参数）底

llama-server \

  -m V3.7/moziAI-35B-V3.7-MOE-MTP-Q4_K_M-Uncensored-Qwen3.6-35B-A3B-Ornith-1.5.gguf \

  --chat-template-file V3.7/moziAI-V3.7-35B-chat-template.jinja \

  -c 131072 -ngl 99

需要视觉能力时加上 --mmproj mmproj/35B/moziAI-35B-mmproj-BF16-V1.0.gguf

3. 开始使用

浏览器打开http://localhost:8080 即可开始对话格

目录结构

moziAI-35B/ ├── README.md # 本文件（英文说明书） ├── README.zh.md # 中文说明书 ├── LICENSE # 许可证 ├── V3.7/ # V3.7 版本（版本自包含） │ ├── RELEASE_NOTES.md # 版本更新说明 │ ├── moziAI-35B-V3.7-MOE-MTP-Q4_K_M-Uncensored-Qwen3.6-35B-A3B-Ornith-1.5.gguf # 主模型 │ ├── moziAI-35B-mmproj-BF16-V1.0.gguf # 视觉投影 │ └── moziAI-V3.7-35B-chat-template.jinja # 聊天模板

## SEO 关键能



金融AI大模型、AI大模型、本地开源模型、端侧模型、量化程序编写、MoziSmartBit、智能量化、GGUF量化、MoE模型、本地开源大模型、本地部署、金融AI、工具调用、Agent、llama.cpp、Ollama、GGUF、Uncensored（去审核）、无审查、免审核、自由输出、Q3\_K\_M、Q4\_K\_M、Q5\_K\_M、Q6\_K、Q8\_0、Ornith-1.5-35B-A3B、Qwen3.5-35B-A3B、Qwen3.6-35B-A3B、金融垂直领域、开源模型



## 许可证（重要事项



本模型采用**自定义限制性许可证**，具体条款如下：



✅**允许**



- 免费商业使用：可免费整合到您的商业产品或服务能

- 复制和分发：可原样复制、下载、分析



❌**禁止**



- 二次开发：不得修改、翻译、改编、合併、微调本模型或其任何部分

- 转售售卖：不得将本模型单獨或作为产品组成部分进行售卖

- 再许可：不得就本模型授予任何从属许可



📋 **要求**



- 使用时必須保留原始版权聲明

- 注明来源：moziAI-35B



详细许可证条款请参阅 [LICENSE](LICENSE) 文件放



## 免责聲明



本模型按「原样」提供，不提供任何形式的保证。模型输出仅供参考，不构成投资建议。使用者需自行承担使用风险评



## 聯絡方式



- **HuggingFace**：[@chenyumo](https://huggingface.co/chenyumo)

- **GitHub**：[@chenyumo166](https://github.com/chenyumo166)

- **微博**：[@rimochen](https://weibo.com/rimochen)

- **E-mail**：263515@qq.com>






Copyright (c) 2026 陈雨墨/ chenyumo166. All rights reserved.