nndeploy

English | 简体中文

nndeploy：一款简单易用和高性能的AI部署框架

文档 | Ask DeepWiki | 微信 | Discord

介绍

nndeploy 是一款简单易用和高性能的 AI 部署框架。解决的是 AI 算法在端侧部署的问题，包含桌面端（Windows、macOS）、移动端（Android、iOS）、边缘计算设备（NVIDIA Jetson、Ascend310B、RK 等）以及单机服务器（RTX 系列、T4、Ascend310P 等），基于可视化工作流和多端推理，可让 AI 算法在上述平台和硬件更高效、更高性能的落地。

针对10B以上的大模型（如大语言模型和 AIGC 生成模型），nndeploy 适合作为一款可视化工作流工具。

简单易用

• 可视化工作流：拖拽节点即可部署 AI 算法，参数实时可调，效果一目了然。

• 自定义节点：支持 Python/C++自定义节点，无论是用 Python 实现预处理，还是用 C++/CUDA 编写高性能节点，均可无缝集成到与可视化工作流。

• 一键部署：工作流支持导出为 JSON，可通过 C++/Python API 调用，适用于 Linux、Windows、macOS、Android 等平台

  桌面端搭建AI工作流	移动端部署

高性能

• 并行优化：支持串行、流水线并行、任务并行等执行模式

• 内存优化：零拷贝、内存池、内存复用等优化策略

• 高性能优化：内置 C++/CUDA/Ascend C/SIMD 等优化实现的节点

• 多端推理：一套工作流适配多端推理，深度集成 13 种主流推理框架，全面覆盖云端服务器、桌面应用、移动设备、边缘计算等全平台部署场景。框架支持灵活选择推理引擎，可按需编译减少依赖，同时支持接入自定义推理框架的独立运行模式。

  推理框架	状态
  ONNXRuntime	✅
  TensorRT	✅
  OpenVINO	✅
  MNN	✅
  TNN	✅
  ncnn	✅
  CoreML	✅
  AscendCL	✅
  RKNN	✅
  SNPE	✅
  TVM	✅