"benchmarking/inference_benchmark.py" did not exist on "7dca70049566b5b1c55cbd67e1cb191729a98152"
Commit ba824601 authored by laibao's avatar laibao
Browse files

Update README.md

parent ba1a27d5
...@@ -184,7 +184,7 @@ chmod +x frpc_linux_amd64_v0.* ...@@ -184,7 +184,7 @@ chmod +x frpc_linux_amd64_v0.*
python -m vllm.entrypoints.openai.api_server --model /mnt/data/llm-models/llava/llava-1.5-7b-hf --image-input-type pixel_values --image-token-id 32000 --image-input-shape 1,3,336,336 --image-feature-size 576 --chat-template template_llava.jinja python -m vllm.entrypoints.openai.api_server --model /mnt/data/llm-models/llava/llava-1.5-7b-hf --image-input-type pixel_values --image-token-id 32000 --image-input-shape 1,3,336,336 --image-feature-size 576 --chat-template template_llava.jinja
``` ```
5.使用对话服务 4.使用对话服务
在浏览器中输入本地 URL,可以使用 Gradio 提供的对话服务。 在浏览器中输入本地 URL,可以使用 Gradio 提供的对话服务。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment