Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
gaoqiong
composable_kernel
Commits
528165c0
"example/vscode:/vscode.git/clone" did not exist on "7d44e782af4e583520848bbcbedda00470b22b7c"
Commit
528165c0
authored
May 24, 2023
by
Bartlomiej Kocot
Browse files
Fix SrcVectorTensor for km_kn_mn int8
parent
c948d989
Changes
2
Hide whitespace changes
Inline
Side-by-side
Showing
2 changed files
with
45 additions
and
45 deletions
+45
-45
library/src/tensor_operation_instance/gpu/gemm/device_gemm_dl_i8_i8_i8_km_kn_mn_instance.cpp
...ce/gpu/gemm/device_gemm_dl_i8_i8_i8_km_kn_mn_instance.cpp
+23
-23
library/src/tensor_operation_instance/gpu/gemm/device_gemm_dl_i8_i8_i8_km_kn_mn_irregular_instance.cpp
...m/device_gemm_dl_i8_i8_i8_km_kn_mn_irregular_instance.cpp
+22
-22
No files found.
library/src/tensor_operation_instance/gpu/gemm/device_gemm_dl_i8_i8_i8_km_kn_mn_instance.cpp
View file @
528165c0
...
...
@@ -32,39 +32,39 @@ using device_gemm_dl_i8_i8_i8_km_kn_mn_instances = std::tuple<
// #########| | | | | | | | Operation| Operation| Operation| | | | | | | | | | | | K0_M0_M1_K1| K0_M0_M1_K1| ArrangeOrder| Order| Lengths_K0_M0_M1_K1| ContiguousDimOrder| Lengths_K0_M0_M1_K1| K0_N0_N1_K1| K0_N0_N1_K1| ArrangeOrder| Order| Lengths_K0_N0_N1_K1| ContiguousDimOrder| Lengths_K0_N0_N1_K1| Order| | |
// #########| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | |
// MPerBlock=128, NPerBlock=128
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
256
,
128
,
128
,
16
,
4
,
4
,
4
,
1
,
S
<
2
,
8
>
,
S
<
2
,
8
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
128
,
128
,
128
,
16
,
4
,
4
,
8
,
1
,
S
<
8
,
2
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
128
,
128
,
128
,
16
,
4
,
4
,
8
,
1
,
S
<
2
,
8
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
256
,
128
,
128
,
16
,
4
,
4
,
4
,
1
,
S
<
2
,
8
>
,
S
<
2
,
8
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
128
,
128
,
128
,
16
,
4
,
4
,
8
,
1
,
S
<
8
,
2
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
128
,
128
,
128
,
16
,
4
,
4
,
8
,
1
,
S
<
2
,
8
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
// MPerBlock=128, NPerBlock=64
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
256
,
128
,
64
,
16
,
4
,
4
,
2
,
1
,
S
<
2
,
8
>
,
S
<
2
,
8
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
256
,
128
,
64
,
16
,
4
,
4
,
2
,
1
,
S
<
2
,
8
>
,
S
<
2
,
8
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
// MPerBlock=64, NPerBlock=128
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
256
,
64
,
128
,
16
,
4
,
2
,
4
,
1
,
S
<
2
,
8
>
,
S
<
2
,
8
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
256
,
64
,
128
,
16
,
4
,
2
,
4
,
1
,
S
<
2
,
8
>
,
S
<
2
,
8
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
// MPerBlock=64, NPerBlock=64
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
4
,
2
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
2
,
4
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
8
,
1
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
4
,
2
>
,
S
<
8
,
1
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
4
,
2
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
2
,
4
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
8
,
1
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
4
,
2
>
,
S
<
8
,
1
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
// MPerBlock=32, NPerBlock=32
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
32
,
32
,
32
,
8
,
4
,
4
,
2
,
1
,
S
<
2
,
2
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
32
,
32
,
32
,
8
,
4
,
4
,
2
,
1
,
S
<
2
,
2
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
// MPerBlock=16, NPerBlock=64
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
16
,
64
,
16
,
4
,
1
,
4
,
1
,
S
<
4
,
2
>
,
S
<
4
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
16
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
16
,
64
,
16
,
4
,
1
,
4
,
1
,
S
<
2
,
4
>
,
S
<
2
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
16
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
16
,
64
,
16
,
4
,
1
,
4
,
1
,
S
<
4
,
2
>
,
S
<
4
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
16
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
16
,
64
,
16
,
4
,
1
,
4
,
1
,
S
<
2
,
4
>
,
S
<
2
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
16
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
4
>
,
// MPerBlock=64, NPerBlock=16
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
16
,
16
,
4
,
4
,
1
,
1
,
S
<
4
,
2
>
,
S
<
4
,
2
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
16
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
16
,
16
,
4
,
4
,
1
,
1
,
S
<
2
,
4
>
,
S
<
2
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
16
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
16
,
16
,
4
,
4
,
1
,
1
,
S
<
4
,
2
>
,
S
<
4
,
2
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
16
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
16
,
16
,
4
,
4
,
1
,
1
,
S
<
2
,
4
>
,
S
<
2
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
16
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
// MPerBlock=16, NPerBlock=16
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
16
,
16
,
16
,
16
,
4
,
2
,
2
,
1
,
S
<
4
,
1
>
,
S
<
4
,
1
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
16
,
16
,
16
,
16
,
4
,
2
,
2
,
1
,
S
<
4
,
1
>
,
S
<
4
,
1
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
// MPerBlock=8, NPerBlock=64
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
8
,
64
,
32
,
4
,
1
,
2
,
1
,
S
<
4
,
1
>
,
S
<
8
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
8
,
64
,
32
,
4
,
1
,
2
,
1
,
S
<
2
,
2
>
,
S
<
8
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
8
,
64
,
32
,
4
,
1
,
2
,
1
,
S
<
4
,
1
>
,
S
<
8
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
8
,
64
,
32
,
4
,
1
,
2
,
1
,
S
<
2
,
2
>
,
S
<
8
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
// MPerBlock=64, NPerBlock=8
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
8
,
32
,
4
,
2
,
1
,
1
,
S
<
8
,
2
>
,
S
<
4
,
1
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
8
,
32
,
4
,
2
,
1
,
1
,
S
<
8
,
2
>
,
S
<
2
,
2
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
8
,
32
,
4
,
2
,
1
,
1
,
S
<
8
,
2
>
,
S
<
4
,
1
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
64
,
64
,
8
,
32
,
4
,
2
,
1
,
1
,
S
<
8
,
2
>
,
S
<
2
,
2
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
// MPerBlock=8, NPerBlock=8
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
8
,
8
,
8
,
4
,
4
,
1
,
2
,
1
,
S
<
4
,
1
>
,
S
<
2
,
1
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
8
,
8
,
8
,
4
,
4
,
1
,
2
,
1
,
S
<
1
,
4
>
,
S
<
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
8
,
8
,
8
,
4
,
4
,
2
,
1
,
1
,
S
<
2
,
1
>
,
S
<
4
,
1
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
8
,
8
,
8
,
4
,
4
,
2
,
1
,
1
,
S
<
1
,
2
>
,
S
<
1
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
8
,
8
,
8
,
4
,
4
,
1
,
2
,
1
,
S
<
4
,
1
>
,
S
<
2
,
1
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
8
,
8
,
8
,
4
,
4
,
1
,
2
,
1
,
S
<
1
,
4
>
,
S
<
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
2
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
8
,
8
,
8
,
4
,
4
,
2
,
1
,
1
,
S
<
2
,
1
>
,
S
<
4
,
1
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmDefault
,
8
,
8
,
8
,
4
,
4
,
2
,
1
,
1
,
S
<
1
,
2
>
,
S
<
1
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
// clang-format on
>
;
...
...
library/src/tensor_operation_instance/gpu/gemm/device_gemm_dl_i8_i8_i8_km_kn_mn_irregular_instance.cpp
View file @
528165c0
...
...
@@ -32,36 +32,36 @@ using device_gemm_dl_i8_i8_i8_km_kn_mn_irregular_instances = std::tuple<
// #########| | | | | | | | Operation| Operation| Operation| | | | | | | | | | | | K0_M0_M1_K1| K0_M0_M1_K1| ArrangeOrder| Order| Lengths_K0_M0_M1_K1| ContiguousDimOrder| Lengths_K0_M0_M1_K1| K0_N0_N1_K1| K0_N0_N1_K1| ArrangeOrder| Order| Lengths_K0_N0_N1_K1| ContiguousDimOrder| Lengths_K0_N0_N1_K1| Order| | |
// #########| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | |
// MPerBlock=128, NPerBlock=128
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
128
,
128
,
128
,
16
,
4
,
4
,
8
,
1
,
S
<
8
,
2
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
128
,
128
,
128
,
16
,
4
,
4
,
8
,
1
,
S
<
4
,
4
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
128
,
128
,
128
,
16
,
4
,
4
,
8
,
1
,
S
<
2
,
8
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
128
,
128
,
128
,
16
,
4
,
4
,
8
,
1
,
S
<
8
,
2
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
128
,
128
,
128
,
16
,
4
,
4
,
8
,
1
,
S
<
4
,
4
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
128
,
128
,
128
,
16
,
4
,
4
,
8
,
1
,
S
<
2
,
8
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
8
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
// MPerBlock=128, NPerBlock=64
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
256
,
128
,
64
,
16
,
4
,
4
,
2
,
1
,
S
<
4
,
4
>
,
S
<
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
256
,
128
,
64
,
16
,
4
,
4
,
2
,
1
,
S
<
2
,
8
>
,
S
<
2
,
8
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
256
,
128
,
64
,
16
,
4
,
4
,
2
,
1
,
S
<
4
,
4
>
,
S
<
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
256
,
128
,
64
,
16
,
4
,
4
,
2
,
1
,
S
<
2
,
8
>
,
S
<
2
,
8
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
// MPerBlock=64, NPerBlock=128
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
256
,
64
,
128
,
16
,
4
,
2
,
4
,
1
,
S
<
4
,
4
>
,
S
<
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
256
,
64
,
128
,
16
,
4
,
2
,
4
,
1
,
S
<
2
,
8
>
,
S
<
2
,
8
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
256
,
64
,
128
,
16
,
4
,
2
,
4
,
1
,
S
<
4
,
4
>
,
S
<
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
256
,
64
,
128
,
16
,
4
,
2
,
4
,
1
,
S
<
2
,
8
>
,
S
<
2
,
8
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
8
,
1
,
32
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
// MPerBlock=64, NPerBlock=64
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
4
,
2
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
2
,
4
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
8
,
1
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
4
,
2
>
,
S
<
8
,
1
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
4
,
2
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
2
,
4
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
8
,
1
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
64
,
64
,
8
,
4
,
4
,
4
,
1
,
S
<
4
,
2
>
,
S
<
8
,
1
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
// MPerBlock=32, NPerBlock=32
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
32
,
32
,
32
,
8
,
4
,
2
,
4
,
1
,
S
<
4
,
2
>
,
S
<
2
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
32
,
32
,
32
,
8
,
4
,
4
,
2
,
1
,
S
<
2
,
2
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
32
,
32
,
32
,
8
,
4
,
4
,
2
,
1
,
S
<
2
,
2
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
32
,
32
,
32
,
8
,
4
,
2
,
4
,
1
,
S
<
4
,
2
>
,
S
<
2
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
32
,
32
,
32
,
8
,
4
,
4
,
2
,
1
,
S
<
2
,
2
>
,
S
<
4
,
2
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
32
,
32
,
32
,
8
,
4
,
4
,
2
,
1
,
S
<
2
,
2
>
,
S
<
2
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
2
,
1
,
4
,
4
>
,
S
<
4
,
1
,
8
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
// MPerBlock=16, NPerBlock=16
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
16
,
16
,
16
,
16
,
4
,
2
,
2
,
1
,
S
<
2
,
2
>
,
S
<
2
,
2
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
16
,
16
,
16
,
16
,
4
,
2
,
2
,
1
,
S
<
4
,
1
>
,
S
<
4
,
1
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
16
,
16
,
16
,
16
,
4
,
2
,
2
,
1
,
S
<
2
,
2
>
,
S
<
2
,
2
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
16
,
16
,
16
,
16
,
4
,
2
,
2
,
1
,
S
<
4
,
1
>
,
S
<
4
,
1
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
4
>
,
S
<
4
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
// MPerBlock=8, NPerBlock=64
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
8
,
64
,
32
,
4
,
1
,
2
,
1
,
S
<
2
,
2
>
,
S
<
8
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
8
,
64
,
32
,
4
,
1
,
2
,
1
,
S
<
2
,
2
>
,
S
<
8
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
// MPerBlock=64, NPerBlock=8
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
64
,
8
,
32
,
4
,
2
,
1
,
1
,
S
<
8
,
2
>
,
S
<
2
,
2
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
64
,
64
,
8
,
32
,
4
,
2
,
1
,
1
,
S
<
8
,
2
>
,
S
<
2
,
2
>
,
S
<
8
,
1
,
4
,
4
>
,
S
<
4
,
1
,
16
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
32
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
// MPerBlock=8, NPerBlock=8
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
8
,
8
,
8
,
4
,
4
,
1
,
2
,
1
,
S
<
4
,
1
>
,
S
<
2
,
1
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
8
,
8
,
8
,
4
,
4
,
1
,
2
,
1
,
S
<
1
,
4
>
,
S
<
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
8
,
8
,
8
,
4
,
4
,
2
,
1
,
1
,
S
<
2
,
1
>
,
S
<
4
,
1
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
8
,
8
,
8
,
4
,
4
,
2
,
1
,
1
,
S
<
1
,
2
>
,
S
<
1
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
8
,
8
,
8
,
4
,
4
,
1
,
2
,
1
,
S
<
4
,
1
>
,
S
<
2
,
1
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
8
,
8
,
8
,
4
,
4
,
1
,
2
,
1
,
S
<
1
,
4
>
,
S
<
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
8
,
8
,
8
,
4
,
4
,
2
,
1
,
1
,
S
<
2
,
1
>
,
S
<
4
,
1
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
,
DeviceGemmDl
<
int8_t
,
int8_t
,
int8_t
,
int32_t
,
Col
,
Row
,
Row
,
PassThrough
,
PassThrough
,
PassThrough
,
GemmMNPadding
,
8
,
8
,
8
,
4
,
4
,
2
,
1
,
1
,
S
<
1
,
2
>
,
S
<
1
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
4
,
1
,
2
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
1
>
,
S
<
0
,
3
,
1
,
2
>
,
S
<
1
,
1
,
4
,
4
>
,
S
<
0
,
1
,
2
,
3
,
4
,
5
>
,
5
,
1
>
// clang-format on
>
;
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment