Logo
POPRT USER GUIDE
Version: 1.2.0
  • 1. 简介
    • 1.1. 背景
    • 1.2. 架构
    • 1.3. 工作流程
  • 2. 安装
    • 2.1. PopRT 和 Poplar SDK 版本的对应关系
    • 2.2. 从 Docker 镜像快速开始
    • 2.3. 在 Host 上安装 PopRT
      • 2.3.1. For Ubuntu 20.04
  • 3. 快速开始
    • 3.1. 主要参数介绍
    • 3.2. 转换并运行模型
      • 3.2.1. 下载 ONNX 模型
      • 3.2.2. 获取 ONNX 模型输入输出信息
      • 3.2.3. 指定输入 shape
      • 3.2.4. 指定模型精度
      • 3.2.5. 运行模型
      • 3.2.6. 导出 PopEF
    • 3.3. 快速部署
      • 3.3.1. 运行导出的 PopEF
      • 3.3.2. 运行转换后的 ONNX 模型
    • 3.4. Python API 示例
  • 4. 使用 PopRT
    • 4.1. 使用方法
      • 4.1.1. CLI 使用
        • Named Arguments
        • Sub-commands:
          • tf2onnx
  • 5. Passes
    • 5.1. Pass 抽象
    • 5.2. PopRT 中注册的 Pass
  • 6. Features
    • 6.1. FP8
      • 6.1.1. IPU FP8 类型介绍
      • 6.1.2. FP8 量化介绍
      • 6.1.3. FP32 模型转 FP8 模型的流程
      • 6.1.4. FP8 模型转换工具使用方法
      • 6.1.5. FP8 模型转换精度调试经验
    • 6.2. Overlap IO
      • 6.2.1. 原理
      • 6.2.2. 配置 IO Tiles
      • 6.2.3. 调试
      • 6.2.4. 并发请求
      • 6.2.5. 示例
    • 6.3. Dynamic Batch Size
      • 6.3.1. 背景
      • 6.3.2. 示例
    • 6.4. Packing
      • 6.4.1. 背景
      • 6.4.2. Packing 及 Unpacking
      • 6.4.3. Transformer-based NLP Models
      • 6.4.4. 如何使用 Packing
        • 下载模型
        • 转换模型
        • 运行模型
    • 6.5. CPU Packing
      • 6.5.1. 背景
      • 6.5.2. 功能模块介绍
        • 1. 超时处理
        • 2. 用户数据预处理
        • 3. 数据累积
        • 4. Pack 后处理
      • 6.5.3. Pack 算法
        • 1. 首尾相连的 pack 方法
        • 2. FirstFit pack 方法
        • 3. NextFit pack 方法
      • 6.5.4. 示例
    • 6.6. Model Fusion
      • 6.6.1. 实现 PopRT 模型融合
      • 6.6.2. 实现 PopRT Runtime 融合模型推理
    • 6.7. Custom Operation
      • 6.7.1. 编写自定义算子
        • 创建一个带有 LeakyRelu OP 的 ONNX 模型文件
        • 在 PopRT 中使用自定义算子
    • 6.8. Custom Passes
      • 6.8.1. 实现 Custom Passes
      • 6.8.2. 使用 Custom Passes
        • 在 PopRT CLI 中使用 Custom Passes
        • 在 Python API 中使用 Custom Passes
    • 6.9. Custom Patterns
      • 6.9.1. 实现 Custom PopART Patterns
      • 6.9.2. 在 PopRT 中使用 Custom PopART Patterns
        • 方法一: 在 PatternCreator 设置 Pattern 默认使能
        • 方法二: 通过 CLI 命令行参数启用指定的 Pattern
    • 6.10. Custom Transforms
      • 6.10.1. 实现 Custom PopART Transform
      • 6.10.2. 在 PopRT 中使用 Custom Transform
    • 6.11. Manual Sharding
      • 6.11.1. Sharding / 模型并行
      • 6.11.2. Pipelining / 流水线并行
      • 6.11.3. Manual Sharding 流程
      • 6.11.4. 配置 Manual Sharding
        • 通过 PopRT CLI 配置 Manual Sharding
        • 通过 poprt.converter.Sharder API 配置 Manual Sharding
      • 6.11.5. 示例
    • 6.12. Auto Sharding
      • 6.12.1. 模型并行
      • 6.12.2. Auto Sharding 原理介绍
        • 备选点策略
        • 切分方案遍历策略
      • 6.12.3. Auto Sharding 使用方法
        • 参数介绍
        • 举例
    • 6.13. Error Handling
      • 6.13.1. 背景
      • 6.13.2. 相关的错误处理方式
    • 6.14. PopRT Frontend
      • 6.14.1. ONNX Frontend
      • 6.14.2. TensorFlow Frontend
        • 通过 PopRT CLI 加载 TensorFlow 模型
        • 通过 poprt.frontend API 加载 TensorFlow 模型
  • 7. Python API
    • 7.1. poprt module
    • 7.2. poprt.compiler module
    • 7.3. poprt.runtime module
    • 7.4. poprt.frontend module
    • 7.5. poprt.backends module
    • 7.6. poprt.quantizer module
  • 8. C++ API
    • 8.1. PopRT Compiler
    • 8.2. PopRT Runtime
      • 8.2.1. ModelRunner
      • 8.2.2. PackRunner
      • 8.2.3. Device
  • 9. 文档修订记录
  • 10. Trademarks & copyright
POPRT USER GUIDE