Commit c2c0aa5f authored by mashun1's avatar mashun1
Browse files

Update README.md

parent d344a08c
......@@ -34,6 +34,16 @@ ### 本地模型源
- [ollama](https://developer.sourcefind.cn/codes/OpenDAS/ollama/-/tree/0.5.7)
- [vllm](https://das.sourcefind.cn:55011/portal/#/installation?id=9385225c-6b7a-11ef-bf92-005056904552&type=frame)
使用本地模型可以使用上述推理框架进行服务部署,部署完成后根据设置的地址对`config/config.toml`中相应的内容进行修改,如
```bash
# ollama
base_url="http://ip:port/v1/"
# vllm
base_url="http://ip:port/v1/chat"
```
注意:`api_key`部分不可为空,即使使用随机字符,如`api_key="aa"`
### 其他模型源
......@@ -42,6 +52,8 @@ ### 其他模型源
- [openai](https://platform.openai.com/docs/overview)
若使用其他模型,请参考上述链接,根据网页内容获取相应的地址及api-key,然后对`config/config.toml`进行修改。
## 验证
```bash
......@@ -54,4 +66,4 @@ ## 参考资料
## Release Notes
- 当前使用Bing搜索,搜索结果较google搜索较差。
\ No newline at end of file
- 当前使用Bing搜索,搜索结果较google搜索较差。
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment