Skip to content

搜索

Main Navigation 首页 AscendC算子开发指南 Ascend C API

Appearance

版本

Sidebar Navigation

1. 入门教程

1.1. Ascend C概述与学习路径

1.2. 环境准备

1.3. 快速入门

1.3.1. 异构系统与编程模型

1.3.2. 基于SIMD编程

1.3.2.1. HelloWorld

1.3.2.2. Add算子快速入门

1.3.3. 基于SIMT编程

1.3.3.1. HelloWorld

1.3.3.2. Gather算子快速入门

2. 编程指南

2.1. 本文档组织结构

2.2. 编程模型

2.2.1. 异构系统

2.2.2. 编程模型概述

2.2.3. AI Core SIMD编程

2.2.3.1. 概述

2.2.3.2. 抽象硬件架构

2.2.3.3. 核函数

2.2.3.4. 基于指针的C语言编程

2.2.3.4.1. 基于语言扩展层C API编程

2.2.3.5. 基于Tensor的C++编程

2.2.3.5.1. 静态Tensor编程

2.2.3.5.2. Reg矢量计算编程

2.2.3.6. 基于TPipe和TQue编程

2.2.3.6.1. TPipe-TQue框架编程原理

2.2.3.6.2. TPipe-TQue框架编程范式

2.2.4. AI Core SIMT编程

2.2.4.1. 概述

2.2.4.2. 抽象硬件架构

2.2.4.3. 线程架构

2.2.4.4. 内存层级

2.2.4.5. 核函数

2.2.4.6. 同步机制

2.2.4.7. 编程示例

2.2.5. AI CPU编程

2.3. 编译与运行

2.3.1. 异步执行

2.3.2. 算子编译

2.3.2.1. 毕昇编译器

2.3.2.2. AI Core算子编译基本用法

2.3.2.3. AI CPU算子编译基本用法

2.3.2.4. RTC运行时编译

2.3.2.5. 约束说明

2.4. 语言扩展层

2.4.1. SIMD BuiltIn关键字

2.4.2. SIMT BuiltIn关键字

2.4.3. SIMD与SIMT混合编程BuiltIn关键字

2.4.4. SIMD语言扩展层C API

2.4.5. SIMT语言扩展层C API

2.5. C++类库API

2.5.1. 编程接口概述

2.5.2. 基础API

2.5.2.1. 概述

2.5.2.2. 接口分类说明

2.5.2.2.1. 连续计算API

2.5.2.2.2. 高维切分API

2.5.2.3. 常用操作速查指导

2.5.2.3.1. 如何使用掩码操作API

2.5.2.3.2. 如何使用归约计算API

2.5.3. 高阶API

2.5.3.1. 概述

2.5.3.2. 常用操作速查指导

2.5.3.2.1. 如何使用Tiling依赖的头文件

2.5.3.2.2. 如何使用Kernel侧临时空间

2.5.4. Utils API

2.6. 调试调优

2.6.1. 概述

2.6.2. 功能调试

2.6.2.1. CPU域孪生调试

2.6.2.2. NPU域上板调试

2.6.3. 性能调优

2.7. 高级编程

2.7.1. 硬件实现

2.7.1.1. 基本架构

2.7.1.2. 架构规格

2.7.1.2.1. NPU架构版本2002

2.7.1.2.2. NPU架构版本2201

2.7.1.2.3. NPU架构版本3002

2.7.1.2.4. NPU架构版本3510

2.7.1.3. 硬件约束

2.7.1.3.1. NPU架构版本2002

2.7.1.3.2. NPU架构版本2201

2.7.2. 高级AI-Core编程模型

2.7.2.1. SIMD与SIMT混合编程

2.7.2.1.1. 概述

2.7.2.1.2. 抽象硬件架构

2.7.2.1.3. 核函数与VF函数

2.7.2.1.4. 内存层级

2.7.2.1.5. 编程示例

2.7.3. 高级特性

2.7.3.1. Aclnn算子工程化开发

2.7.3.1.1. 概述

2.7.3.1.2. 创建算子工程

2.7.3.1.3. 算子原型定义

2.7.3.1.4. Kernel侧算子实现

2.7.3.1.5. Host侧Tiling实现

2.7.3.1.5.1. 基本流程

2.7.3.1.5.2. 通过TilingData传递属性信息

2.7.3.1.5.3. 使用高阶API时配套的Tiling实现

2.7.3.1.5.4. 使用标准C++语法定义Tiling结构体

2.7.3.1.5.5. Tiling模板编程

2.7.3.1.6. 算子包编译

2.7.3.1.6.1. 算子工程编译

2.7.3.1.6.2. 算子包部署

2.7.3.1.7. 算子动态库和静态库编译

2.7.3.1.8. 算子工程编译拓展

2.7.3.1.9. 单算子API调用

2.7.3.2. 算子入图开发

2.7.3.2.1. 概述

2.7.3.2.2. 基本开发流程

2.7.3.2.3. 开启Tiling下沉

2.7.3.2.4. SuperKernel开发

2.7.3.2.5. 图编译和图执行

2.7.3.3. AI框架算子适配

2.7.3.3.1. 概述

2.7.3.3.2. PyTorch框架

2.7.3.3.3. ONNX框架

2.7.3.3.3.1. 适配插件开发

2.7.3.3.3.2. 调用样例

2.7.3.3.4. TensorFlow框架

2.7.3.4. SIMT协作组

2.8. 附录

2.8.1. show_kernel_debug_data工具

2.8.2. msobjdump工具

2.8.3. optype_collector工具

2.8.4. 基于样例工程完成Kernel直调

2.8.5. 简易自定义算子工程

2.8.6. 常用操作

2.8.6.1. 如何开发动态输入算子

2.8.6.2. 如何在矢量编程时启用Vector Core

2.8.6.3. 如何使用workspace

2.8.6.4. 如何进行Tiling调测

2.8.6.5. 如何使用Tensor原地操作提升算子性能

2.8.7. FAQ

2.8.7.1. 核函数运行验证时算子存在精度问题

2.8.7.2. 运行验证时AllocTensor/FreeTensor失败

2.8.7.3. kernel侧获取Tiling信息不正确

2.8.7.4. Kernel编译时报错"error: out of jump/jumpc imm range"

2.8.7.5. 含有Matmul高阶API的算子精度问题

2.8.7.6. 算子工程编译时出现文件名过长报错

2.8.7.7. 调用算子时出现无法打开config.ini的报错

2.8.7.8. 算子包部署时出现权限不足报错

3. 算子实践参考

3.1. 本文档组织结构

3.2. 异构计算

3.3. SIMD算子实现

3.3.1. 概述

3.3.2. 矢量编程

3.3.2.1. 概述

3.3.2.2. 基础矢量算子

3.3.2.3. TBuf的使用

3.3.2.4. 多核&Tiling切分

3.3.2.4.1. 概述

3.3.2.4.2. 多核Tiling

3.3.2.4.3. 尾块Tiling

3.3.2.4.4. 尾核Tiling

3.3.2.4.5. 尾核&尾块

3.3.2.5. DoubleBuffer场景

3.3.2.6. Broadcast场景

3.3.2.7. 非对齐场景

3.3.3. 矩阵编程（高阶API）

3.3.3.1. 基础知识

3.3.3.2. 算子实现

3.3.3.3. 特性场景

3.3.3.3.1. Matmul特性介绍

3.3.3.3.2. 多核对齐切分

3.3.3.3.3. 多核非对齐切分

3.3.3.3.4. 异步场景处理

3.3.3.3.5. 矩阵乘输出的量化/反量化

3.3.3.3.6. 矩阵乘输出的Channel拆分

3.3.3.3.7. 矩阵向量乘

3.3.3.3.8. 4:2稀疏矩阵乘

3.3.3.3.9. TSCM输入的矩阵乘

3.3.3.3.10. 矩阵乘输出的N方向对齐

3.3.3.3.11. 单次矩阵乘局部输出

3.3.3.3.12. AIC和AIV独立运行机制

3.3.3.3.13. MxMatmul场景

3.3.3.3.14. Batch Matmul基础功能

3.3.3.3.15. Batch Matmul复用Bias矩阵

3.3.4. 矩阵编程（基础API）

3.3.4.1. 耦合模式

3.3.4.2. 分离模式

3.3.5. 融合算子编程

3.3.5.1. CV融合

3.3.5.1.1. 基础知识

3.3.5.1.2. 算子实现

3.3.5.2. 通算融合

3.3.5.2.1. 基础知识

3.3.5.2.2. 算子实现

3.3.5.2.3. 特性场景

3.4. SIMT算子实现

3.4.1. 基础知识

3.4.2. 算子实现

3.5. SIMD与SIMT混合算子实现

3.5.1. 基础知识

3.5.2. 算子实现

3.6. 功能调试

3.6.1. 运行正常

3.6.2. 精度正常

3.6.3. 算子调试

3.7. 性能分析

3.7.1. 获取性能数据

3.7.2. 分析性能数据

3.8. SIMD算子性能优化

3.8.1. 优化建议总览表

3.8.2. Tiling策略

3.8.2.1. 核间负载均衡

3.8.3. 头尾开销优化

3.8.3.1. 设置合适的核数和算子Kernel类型

3.8.3.2. 限制TilingData结构大小

3.8.3.3. 避免TPipe在对象内创建和初始化

3.8.3.4. 核函数内删除Workspace相关冗余操作

3.8.3.5. 设置DCI编译选项来减少算子尾开销

3.8.4. 流水编排

3.8.4.1. 开启DoubleBuffer

3.8.4.2. 启用Iterate或IterateAll异步接口避免AIC/AIV同步依赖

3.8.5. 内存访问

3.8.5.1. 尽量一次搬运较大的数据块

3.8.5.2. GM地址尽量512B对齐

3.8.5.3. 高效的使用搬运API

3.8.5.4. 非对齐场景减少无效数据的搬运

3.8.5.5. 非连续搬运场景减少搬运次数

3.8.5.6. 避免同地址访问

3.8.5.7. 设置合理的L2 CacheMode

3.8.5.8. 算子与高阶API共享临时Buffer

3.8.5.9. 纯搬运类算子VECIN和VECOUT建议复用

3.8.5.10. 通过缩减Tensor ShapeInfo维度，优化栈空间

3.8.5.11. 避免UB的bank冲突

3.8.5.11.1. 概述

3.8.5.11.2. 避免bank冲突（NPU架构版本2201）

3.8.5.11.3. 避免bank冲突（NPU架构版本3510）

3.8.5.12. L2 Cache切分

3.8.6. 矢量计算

3.8.6.1. 通过Unified Buffer融合实现连续vector计算

3.8.6.2. Vector算子灵活运用Counter模式

3.8.6.3. 选择低延迟指令，优化归约操作性能

3.8.6.4. VF性能优化

3.8.6.4.1. VF循环优化

3.8.6.4.2. 指令双发优化

3.8.6.4.3. 连续非对齐场景优化

3.8.6.4.4. VF融合优化

3.8.7. 矩阵计算

3.8.7.1. 通过BT Buffer实现高效的bias计算

3.8.7.2. 通过FP Buffer存放量化参数实现高效随路量化

3.8.7.3. 通过L0C Buffer数据暂存实现高效的矩阵乘结果累加

3.8.7.4. 较小矩阵长驻L1 Buffer，仅分次搬运较大矩阵

3.8.7.5. Matmul开启AtomicAdd选项

3.9. SIMD与SIMT混合算子性能优化

3.9.1. 概述

3.9.2. 内存访问

3.9.2.1. 使用Unified Buffer提升内存访问效率

3.9.3. 指令优化

3.9.3.1. 整数除法的快速算法

3.9.4. 计算优化

3.9.4.1. 通过SIMT实现分支判断

3.9.5. 执行控制

3.9.5.1. 线程块数量配置优化

3.10. SIMT算子性能优化

3.10.1. 内存访问

3.10.1.1. 访存合并

3.10.1.2. 避免UB的Bank冲突

3.10.1.3. DCache访问优化

3.10.1.4. 通过类型对齐提升搬运效率

3.10.1.5. 使用短向量类型提升效率

3.10.2. 执行配置

3.10.2.1. 线程块数量配置优化

3.10.2.2. 合理配置线程数避免寄存器溢出

3.11. 优秀实践

3.11.1. FlashAttention算子性能调优案例

3.11.2. GroupedMatmul算子性能调优案例

3.11.3. MC²算子性能调优案例

3.11.4. Matmul性能调优案例

3.11.4.1. Matmul性能优化策略总览

3.11.4.2. Matmul算子优化Tiling策略

3.11.4.3. Matmul高阶API开启纯Cube模式

3.11.4.4. Matmul高阶API开启MDL模板

3.11.4.5. Matmul高阶API开启UnitFlag

3.11.4.6. Matmul高阶API开启Tiling全量常量化

3.11.4.7. Matmul高阶API开启L2 Cache切分

3.11.4.8. Matmul高阶API开启多核切K

3.11.4.9. Matmul高阶API开启多核K轴错峰访问内存

3.11.4.10. Matmul高阶API开启NBuffer33模板

3.11.4.11. Matmul高阶API开启IBShare模板共享B矩阵数据

3.11.4.12. Matmul高阶API开启IBShare模板共享A和B矩阵数据

3.11.4.13. AIV核上的ND2NZ格式转换

3.11.4.14. Matmul高阶API开启MTE2 Preload

3.11.5. SIMT实现InsertHashTable算子案例

4. 跨代迁移兼容性指南

4.1. 概述

4.2. Ascend-C-API兼容策略

4.3. 3510架构迁移指导

4.3.1. 2201到3510架构变更

4.3.2. 2201迁移3510指导

4.3.2.1. 基础API迁移指导

4.3.2.2. 高阶API迁移指导

4.3.2.3. 算子编译迁移指导

5. 技术附录

5.1. 概念原理和术语

5.1.1. 术语表

5.1.2. 神经网络和算子

5.1.2.1. 算子基本概念

5.1.2.2. 数据排布格式

5.1.3. 内存访问原理

5.1.3.1. Scalar读写数据

5.1.4. 性能优化技术原理

5.1.4.1. DoubleBuffer

5.2. C++标准支持

5.2.1. 概述

5.2.2. C/C++语法限制

5.2.2.1. 特性

5.2.2.2. 函数

On this page

Ascend C算子开发指南

入门教程
编程指南
算子实践参考
跨代迁移兼容性指南
技术附录
- 概念原理和术语
- C++标准支持
  - 概述
  - C/C++语法限制
    - 特性
    - 函数

在 Gitcode 上打开此页

Pager

下一页1.1. Ascend C概述与学习路径

免责声明：本站内容由 asc-devkit 仓 master 分支自动编译生成，属于持续开发版本，可能存在缺陷，仅供预览与参考。如需稳定及商用资料，请查阅官方昇腾社区。

Copyright Huawei Technologies Co., Ltd.