README.md 561 Bytes
Newer Older
1
2
3
4
5
6
7
8
9
GEMV Benchmarks
---------------

模仿 GEMM 接口的 GEMV,即 N=1,实现 BF16 版本。这些矩阵形状来自于 Evo2 推理过程。

计算公式:y = alpha * A^T * x + beta * y
M: 输出维度,例如 11264
K: 归约维度,例如 4096
N: 始终为 1
10
beta: 为 0 或 1
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

## Build

```bash
# 使用 HIPCC:
CXX=hipcc make GPU_ARCH=gfx936

# 使用 NVCC:
CXX=nvcc make GPU_ARCH=sm_80
```

## Run

```bash
# BW系列:
26
HIP_VISIBLE_DEVICES=1 numactl -N 0 -m 0 ./gemv_bench --verify 1 -M 11264 -K 4096
27
28

# A800:
29
./gemv_bench --verify 1 -M 11264 -K 4096
30
```