增加完善lmdeploy测评步骤

README.md

@@ -75,6 +75,24 @@ python run.py configs/eval_llama2_vllm.py
 
 2、使用lmdeploy推理验证
 ```shell
+#安装gpufusion 相关工具
+#https://forum.hpccube.com/thread/483 进入网页下载gpufusion工具
+#解压至dtk-24.04
+unzip gpufusion.zip -d /opt/dtk-24.04/
+#激活相关环境变量
+source /opt/dtk-24.04/env.sh
+source /opt/dtk/cuda/env.sh
+#进入opencompass进行评测
+cd opencompass 
+#fp16精度评测方法
+python run.py configs/eval_llama2_lmdeploy.py
+#awq int4 评测方法
+#首先需要转换awqInt4模型  
+#model_name:模型名字如 llama2 qwen-7b 
+#awq_modelpath:awq 模型路径，例如：/dataset/llm-models/qwen/qwen-chat-7b-AWQ-4bit
+#awq_lmdeploymodel_path:生成的lmdeploy格式 awq模型路径
+lmdeploy convert ${model_name} ${awq_modelpath} --model-format awq --group-size 128 --dst-path ${awq_lmdeploymodel_path}
+#将eval_llama2_lmdeploy.py中的Llama-2-7b-hf 替换为转换好的awq_lmdeploymodel_path
 python run.py configs/eval_llama2_lmdeploy.py
 ```