init

migraphx/run.sh

+# --fp16：使用半精度
+# --onnx：模型路径
+# --input-dim：模型输入维度
+#	@unique_ids_raw_output___9:0 1：标志位无需修改
+#	@segment_ids:0 256 256：第一个数为batch size，默认256；第二个数为序列长度，默认256
+#       @input_mask:0 256 256：第一个数为batch size，默认256；第二个数为序列长度，默认256
+#	@input_ids:0 256 256：第一个数为batch size，默认256；第二个数为序列长度，默认256
+
+
+data=$(date +"%Y-%m-%d-%H-%M-%S")
+logdir=/datasets/logs_comomm_model_infer/bert/${data}
+
+if [ ! -f ${logdir} ]; then
+    mkdir ${logdir} -p
+fi
+
+HIP_VISIBLE_DEVICES=0 /opt/dtk-24.04.1/bin/migraphx-driver perf -n 20 --fp16 --gpu --onnx ./weights/bertsquad-10.onnx \
+	--input-dim @unique_ids_raw_output___9:0 1 @segment_ids:0 256 256 @input_mask:0 256 256 @input_ids:0 256 256 \
+	2>&1 | tee ${logdir}/pert-bert-bs-256-seqlen-256.log