Skip to content

HF32

特性说明:

HF32的核心功能体现为:用户在输入矩阵A、B矩阵都为fp32数据类型的场景下,当配置开启HF32开关后,fp32数据在执行矩阵乘法运算前会被转换并舍入为HF32(half-fp32)格式。这种做法可使Mmad(f322f32)接口的计算性能得到提升,但会带来一定的精度损失。需要注意的是,尽管中间计算使用HF32格式,最终的运算结果仍以fp32格式输出,以保证后续处理的兼容性。

开启HF32对性能的影响如下:

  • 针对如下产品型号:

    Atlas A3系列产品

    Atlas A2系列产品

    开启HF32可使Mmad(f322f32)接口的计算性能提升至原来的两倍。

  • 针对Ascend 950PR&950DT系列产品,开启HF32可使Mmad(f322f32)接口的计算性能提升至原来的八倍。

舍入模式说明:fp32至HF32转换过程中的舍入模式由SetHF32TransMode接口配置。当HF32模式开启且设置TransMode为NEAREST_AWAY时,FP32将以向最接近的值舍入,平局时远离零的方式舍入为HF32;若设置TransMode为NEAREST_EVEN时,FP32将以向最接近的值舍入,平局时向偶数舍入的方式舍入为HF32。

图1 HF32数值精度示意图

HF32数值精度示意图

注意,针对Ascend 950PR&950DT系列产品,其HF32格式的尾数位为10位,示意图如图2所示:

图2 Ascend 950PR&950DT系列产品HF32数值精度示意图

Ascend 950PR&950DT系列产品HF32数值精度示意图

使用示例:

C++
// 开启HF32模式
AscendC::SetHF32Mode(AscendC::HF32Mode::ENABLE);
// 设置舍入模式为向最接近的值舍入,平局时远离零的方式舍入为HF32
AscendC::SetHF32TransMode(AscendC::HF32TransMode::NEAREST_AWAY);
AscendC::MmadParams mmadParams;
mmadParams.m = m;
mmadParams.n = n;
mmadParams.k = k;
AscendC::Mmad(c1Local, a2Local, b2Local, mmadParams);
AscendC::SetHF32Mode(AscendC::HF32Mode::DISABLE);
AscendC::SetHF32TransMode(AscendC::HF32TransMode::NEAREST_EVEN);

免责声明:本站内容由 asc-devkit 仓 master 分支自动编译生成,属于持续开发版本,可能存在缺陷,仅供预览与参考。如需稳定及商用资料,请查阅官方 昇腾社区。