Update README.md

README.md

@@ -34,6 +34,17 @@ pip3 install e .
 python3 setup.py bdist_wheel
 cd dist && pip3 install auto_gptq*
 ```
+#### 量化模型
+
+方式1、
+```shell
+python test_infer.py
+```
+方式2、
+```shell
+python quant_with_alpaca.py --pretrained_model_dir "/home/yang/DL_DATA/Yi/Yi-34B-Chat/" --quantized_model_dir "./Yi-34B-Chat-gptq" --quant_batch_size 4
+```
+
 ## 支持模型
 | Models   |            Sizes            |
 | :------: | :-------------------------: |