Update README.md

README.md

@@ -160,6 +160,45 @@ curl http://localhost:8000/v1/chat/completions \
     }'
 ```
 或者使用[examples/openai_chatcompletion_client.py](examples/openai_chatcompletion_client.py)
+### **gradio和vllm结合使用**
+
+1.安装gradio
+
+```
+pip install gradio
+```
+
+2.安装必要文件
+
+    2.1 启动gradio服务，根据提示操作
+
+```
+python  gradio_openai_chatbot_webserver.py --model "Qwen/Qwen1.5-7B-Chat" --model-url http://localhost:8000/v1 --temp 0.8 --stop-token-ids ""
+```
+
+    2.2 更改文件权限
+
+打开提示下载文件目录，输入以下命令给予权限
+
+```
+chmod +x frpc_linux_amd64_v0.*
+```
+
+3.启动OpenAI兼容服务
+
+```
+python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen1.5-7B-Chat --enforce-eager --dtype float16 --trust-remote-code --port 8000
+```
+
+4.启动gradio服务
+
+```
+python  gradio_openai_chatbot_webserver.py --model "Qwen/Qwen1.5-7B-Chat" --model-url http://localhost:8000/v1 --temp 0.8 --stop-token-ids ""
+```
+
+5.使用对话服务
+
+在浏览器中输入本地 URL，可以使用 Gradio 提供的对话服务。
 
 
 ## result