TCMPS

指令示意图

TCMPS tile operation

简介

将Tile与标量另一个Tile的首元素进行比较,并写入逐元素比较结果。

提供两种重载形式:

  • 标量形式:将 src0 的每个元素与标量值进行比较。
  • Tile形式:将 src0 的每个元素与从 src1 Tile首元素的标量进行比较。

数学语义

标量形式 —对每个元素 (i, j) 在有效区域内:

\[ \mathrm{dst}_{i,j} = \left(\mathrm{src0}_{i,j}\ \mathrm{cmpMode}\ \mathrm{scalar}\right) \]

Tile形式 —对每个元素 (i, j) 在有效区域内:

\[ \mathrm{dst}_{i,j} = \left(\mathrm{src0}_{i,j}\ \mathrm{cmpMode}\ \mathrm{src1}_{0,0}\right) \]

dst 的编码/类型由实现定义(位压缩掩码Tile,每个比特代表一个比较结果)。

汇编语法

同步形式:

%dst = tcmps %src, %scalar {cmpMode = #pto<cmp xx>} : !pto.tile<...> -> !pto.tile<...>

AS Level 1(SSA)

%dst = pto.tcmps %src, %scalar {cmpMode = #pto<cmp xx>} : (!pto.tile<...>, dtype) -> !pto.tile<...>

AS Level 2(DPS)

pto.tcmps ins(%src, %scalar{cmpMode = #pto<cmp xx>}: !pto.tile_buf<...>, dtype) outs(%dst : !pto.tile_buf<...>)

C++内建接口

声明于 include/pto/common/pto_instr.hppinclude/pto/common/type.hpp

公共包含头为 <pto/pto-inst.hpp>,内部声明位于 pto/common/pto_instr.hpp

标量形式 —将Tile与标量进行比较:

template <typename TileDataDst, typename TileDataSrc, typename... WaitEvents,
          std::enable_if_t<all_events_v<WaitEvents...>, int> = 0>
PTO_INST RecordEvent TCMPS(TileDataDst& dst, TileDataSrc& src0,
                           typename TileDataSrc::DType scalar, CmpMode mode,
                           WaitEvents&... events);

Tile形式 —将Tile与另一个Tile进行比较(从 src1 广播标量):

template <typename TileDataDst, typename TileDataSrc0, typename TileDataSrc1,
          typename... WaitEvents,
          std::enable_if_t<is_tile_data_v<TileDataSrc1> && all_events_v<WaitEvents...>, int> = 0>
PTO_INST RecordEvent TCMPS(TileDataDst& dst, TileDataSrc0& src0,
                           TileDataSrc1& src1, CmpMode mode,
                           WaitEvents&... events);

约束

  • 实现检查 (Atlas A2/A3 训练系列产品/Atlas A2/A3 推理系列产品):
    • TileData::DType 必须是以下之一:int32_tfloathalfuint16_tint16_t
    • Tile布局必须是行主序(TileData::isRowMajor)。
    • 当输入类型为 int32_t 时,仅支持 CmpMode::EQ;其他比较模式会回退到 EQ
  • 实现检查 (Ascend 950PR/Ascend 950DT):
    • TileData::DType 必须是以下之一:int32_tuint32_tfloatint16_tuint16_thalfuint8_tint8_tbfloat16_t
    • Tile布局必须是行主序(TileData::isRowMajor)。
  • 通用约束:
    • srcdst 的Tile位置都必须是向量(TileData::Loc == TileType::Vec)。
    • 静态有效边界:TileData::ValidRow <= TileData::RowsTileData::ValidCol <= TileData::Cols
    • 运行时:src0dst 的有效行列数必须相同。
    • 数据类型:src0src1 的数据类型必须相同。
  • 有效区域:
    • 该操作使用 src0.GetValidRow() / src0.GetValidCol() 作为迭代域。
  • 比较模式:
    • 支持 CmpMode::EQCmpMode::NECmpMode::LTCmpMode::GTCmpMode::LECmpMode::GE(注:Atlas A2/A3 训练系列产品/Atlas A2/A3 推理系列产品上当输入类型为 int32_t 时,仅支持 CmpMode::EQ,其他模式会回退至 EQ;Ascend 950PR/Ascend 950DT支持全部模式)。

示例

自动(Auto)

#include <pto/pto-inst.hpp>

using namespace pto;

void example_auto() {
  using SrcT = Tile<TileType::Vec, float, 16, 16>;
  using DstT = Tile<TileType::Vec, uint8_t, 16, 32, BLayout::RowMajor, -1, -1>;
  SrcT src;
  DstT dst(16, 2);
  TCMPS(dst, src, 0.0f, CmpMode::GT);
}

手动(Manual)

#include <pto/pto-inst.hpp>

using namespace pto;

void example_manual() {
  using SrcT = Tile<TileType::Vec, float, 16, 16>;
  using DstT = Tile<TileType::Vec, uint8_t, 16, 32, BLayout::RowMajor, -1, -1>;
  SrcT src;
  DstT dst(16, 2);
  TASSIGN(src, 0x1000);
  TASSIGN(dst, 0x2000);
  TCMPS(dst, src, 0.0f, CmpMode::GT);
}

Tile形式(与另一个Tile比较)

#include <pto/pto-inst.hpp>

using namespace pto;

void example_tile() {
  using SrcT = Tile<TileType::Vec, float, 16, 16>;
  using DstT = Tile<TileType::Vec, uint8_t, 16, 32, BLayout::RowMajor, -1, -1>;
  SrcT src0, src1;
  DstT dst(16, 2);
  // src1[0,0] 作为比较标量
  TCMPS(dst, src0, src1, CmpMode::GE);
}

汇编示例(ASM)

自动模式

# 自动模式:由编译器/运行时负责资源放置与调度。
%dst = pto.tcmps %src, %scalar {cmpMode = #pto<cmp xx>} : (!pto.tile<...>, dtype) -> !pto.tile<...>

手动模式

# 手动模式:先显式绑定资源,再发射指令。
# 可选(当该指令包含 tile 操作数时):
# pto.tassign %arg0, @tile(0x1000)
# pto.tassign %arg1, @tile(0x2000)
%dst = pto.tcmps %src, %scalar {cmpMode = #pto<cmp xx>} : (!pto.tile<...>, dtype) -> !pto.tile<...>

PTO汇编形式

%dst = tcmps %src, %scalar {cmpMode = #pto<cmp xx>} : !pto.tile<...> -> !pto.tile<...>
# AS Level 2 (DPS)
pto.tcmps ins(%src, %scalar{cmpMode = #pto<cmp xx>}: !pto.tile_buf<...>, dtype) outs(%dst : !pto.tile_buf<...>)