Skip to content
版 本

LoadDataWithSparse

产 品 支 持 情 况

产 品

是 否 支 持

Ascend 950PR/Ascend 950DT

x

Atlas A3 训 练 系 列 产 品/Atlas A3 推 理 系 列 产 品

Atlas A2 训 练 系 列 产 品/Atlas A2 推 理 系 列 产 品

Atlas 200I/500 A2 推 理 产 品

x

Atlas 推 理 系 列 产 品AI Core

x

Atlas 推 理 系 列 产 品Vector Core

x

Atlas 训 练 系 列 产 品

x

功 能 说 明

用 于 搬 运 存 放 在B1里 的512B的 稠 密 权 重 矩 阵 到B2里,同 时 读 取128B的 索 引 矩 阵 用 于 稠 密 矩 阵 的 稀 疏 化。索 引 矩 阵 的 数 据 类 型 为int2,需 要 拼 成int8的 数 据 类 型,再 传 入 接 口。

索 引 矩 阵 在 一 个int8的 地 址 中 的 排 布 是 逆 序 排 布 的,例 如:索 引 矩 阵1 2 0 1 0 2 1 0,在 地 址 中 的 排 布 为1 0 2 1 0 1 2 0,其 中1 0 2 1(对 应 索 引 矩 阵 前 四 位1 2 0 1)为 一 个int8,0 1 2 0(对 应 索 引 矩 阵 后 四 位0 2 1 0)为 一 个int8。

索 引 矩 阵 的 功 能 说 明 参 考MmadWithSparse

函 数 原 型

Text
template <typename T = int8_t, typename U = uint8_t, typename Std::enable_if<Std::is_same<PrimT<T>, int8_t>::value, bool>::type = true, typename Std::enable_if<Std::is_same<PrimT<U>, uint8_t>::value, bool>::type = true>
__aicore__ inline void LoadDataWithSparse(const LocalTensor<T>& dst, const LocalTensor<T>& src, const LocalTensor<U>& idx, const LoadData2dParams& loadDataParam)

参 数 说 明

表 1 模 板 参 数 说 明

参 数 名

描 述

T

dst、src的 数 据 类 型。

U

idx的 数 据 类 型。

  • 当dst、src、idx为 基 础 数 据 类 型 时,T和U必 须 为uint8_t类 型,否 则 编 译 失 败。
  • 当dst、src、idx为TensorTrait类 型 时,T和U的LiteType必 须 为int8_t类 型,否 则 编 译 失 败。

最 后 两 个 模 板 参 数 仅 用 于 上 述 数 据 类 型 检 查,用 户 无 需 关 注。

表 2 参 数 说 明

参 数 名 称

输 入/输 出

含 义

dst

输 出

目 的 操 作 数,类 型 为LocalTensor,支 持 的TPosition为B2,LocalTensor的 起 始 地 址 需 要512字 节 对 齐。

支 持 的 数 据 类 型 为int8_t。

数 据 连 续 排 列 顺 序 要 求 为 小N大Z格 式。

src

输 入

源 操 作 数,类 型 为LocalTensor,支 持 的TPosition为B1,LocalTensor的 起 始 地 址 需 要32字 节 对 齐。

支 持 的 数 据 类 型 为int8_t。

idx

输 入

源 操 作 数,类 型 为LocalTensor,支 持 的TPosition为B1,LocalTensor的 起 始 地 址 需 要32字 节 对 齐。

支 持 的 数 据 类 型 为int8_t。

loadDataParam

输 入

LoadData参 数 结 构 体,LoadData2DParams类 型,详 细 说 明 参 考LoadData2DParams结 构 体 内 参 数 说 明

约 束 说 明

  • 操 作 数 地 址 对 齐 要 求 请 参 见通 用 地 址 对 齐 约 束
  • repeat=0表 示 不 执 行。
  • 每 次 迭 代 中 的startIndex不 能 小 于 零。
  • 不 支 持 转 置 功 能。

返 回 值 说 明

调 用 示 例

详 细 用 例 请 参 考MmadWithSparse

免 责 声 明:本 站 内 容 由 asc-devkit 仓 master 分 支 自 动 编 译 生 成,属 于 持 续 开 发 版 本,可 能 存 在 缺 陷,仅 供 预 览 与 参 考。如 需 稳 定 及 商 用 资 料,请 查 阅 官 方 昇 腾 社 区