Commit 44d0214b authored by xinghao's avatar xinghao
Browse files

Update README.md

parent c289ecc0
Pipeline #3005 canceled with stages
......@@ -2,11 +2,8 @@
<img src="docs/zh_cn/_static/image/logo.svg" width="500px"/>
<br />
<br />
## 🛠️ 安装指南
下面提供了快速安装和数据集准备的步骤。
### 💻 环境搭建
## 💻 环境搭建
建议使用 `docker` 搭建环境。
......@@ -15,12 +12,14 @@
```bash
docker run --shm-size 500g --network=host --name=opencompass --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v /path/to/workspace/:/path/to/workspace/ -v /opt/hyhal:/opt/hyhal:ro -it image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04.1-py3.10 bash
```
- #### 通过pip安装OpenCompass
```bash
# 支持绝大多数数据集及模型
pip install -U opencompass
```
```
- #### 基于源码安装OpenCompass
......@@ -28,13 +27,14 @@
如果希望使用 OpenCompass 的最新功能,也可以从源代码构建它:
```bash
git clone https://github.com/open-compass/opencompass opencompass
cd opencompass
pip install -e .
```
```
### 📂 数据准备
## 📂 数据准备
#### 提前离线下载
### 提前离线下载
OpenCompass支持使用本地数据集进行评测,数据集的下载和解压可以通过以下命令完成:
......@@ -44,12 +44,12 @@ wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/Ope
unzip OpenCompassData-core-20240207.zip
```
#### 从 OpenCompass 自动下载
### 从 OpenCompass 自动下载
OpenCompass已经支持从存储服务器自动下载数据集。可以通过额外的 `--dry-run` 参数来运行评估以下载这些数据集。
目前支持的数据集列表在[这里](https://github.com/open-compass/opencompass/blob/main/opencompass/utils/datasets_info.py#L259)。更多数据集将会很快上传。
#### (可选) 使用 ModelScope 自动下载
### (可选) 使用 ModelScope 自动下载
另外,还可以使用[ModelScope](www.modelscope.cn)来加载数据集:
环境准备:
......@@ -67,18 +67,20 @@ humaneval, triviaqa, commonsenseqa, tydiqa, strategyqa, cmmlu, lambada, piqa, ce
有部分第三方功能,如 Humaneval 以及 Llama,可能需要额外步骤才能正常运行,详细步骤请参考[安装指南](https://opencompass.readthedocs.io/zh_CN/latest/get_started/installation.html)
<p align="right"><a href="#top">🔝返回顶部</a></p>
## 🏗️ ️评测
确保按照上述步骤正确安装了 OpenCompass 并准备好了数据集之后,现在您可以开始使用 OpenCompass 进行首次评估!
确保按照上述步骤正确安装了 OpenCompass 并准备好了数据集之后,可以开始使用 OpenCompass 进行首次评估!
- ### 首次评测
OpenCompass 支持通过命令行界面 (CLI) 或 Python 脚本来设置配置。对于简单的评估设置,推荐使用 CLI;而对于更复杂的评估,则建议使用脚本方式。可以在examples文件夹下找到更多脚本示例。
OpenCompass 支持通过命令行界面 (CLI) 或 Python 脚本来设置配置。对于简单的评估设置,我们推荐使用 CLI;而对于更复杂的评估,则建议使用脚本方式。可以在examples文件夹下找到更多脚本示例。
```bash
# 命令行界面 (CLI)
opencompass --models hf_internlm2_5_1_8b_chat --datasets demo_gsm8k_chat_gen
# Python 脚本
opencompass examples/eval_chat_demo.py
```
......@@ -93,11 +95,11 @@ humaneval, triviaqa, commonsenseqa, tydiqa, strategyqa, cmmlu, lambada, piqa, ce
export OPENAI_API_KEY="YOUR_OPEN_API_KEY"
# 命令行界面 (CLI)
opencompass --models gpt_4o_2024_05_13 --datasets demo_gsm8k_chat_gen
# Python 脚本
opencompass examples/eval_api_demo.py
```
## 📖 参考资料
https://github.com/open-compass/opencompass
\ No newline at end of file
https://github.com/open-compass/opencompass
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment