Commit 44d0214b authored by xinghao's avatar xinghao
Browse files

Update README.md

parent c289ecc0
Pipeline #3005 canceled with stages
...@@ -2,11 +2,8 @@ ...@@ -2,11 +2,8 @@
<img src="docs/zh_cn/_static/image/logo.svg" width="500px"/> <img src="docs/zh_cn/_static/image/logo.svg" width="500px"/>
<br /> <br />
<br /> <br />
## 🛠️ 安装指南
下面提供了快速安装和数据集准备的步骤。 ## 💻 环境搭建
### 💻 环境搭建
建议使用 `docker` 搭建环境。 建议使用 `docker` 搭建环境。
...@@ -15,12 +12,14 @@ ...@@ -15,12 +12,14 @@
```bash ```bash
docker run --shm-size 500g --network=host --name=opencompass --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v /path/to/workspace/:/path/to/workspace/ -v /opt/hyhal:/opt/hyhal:ro -it image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04.1-py3.10 bash docker run --shm-size 500g --network=host --name=opencompass --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v /path/to/workspace/:/path/to/workspace/ -v /opt/hyhal:/opt/hyhal:ro -it image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04.1-py3.10 bash
``` ```
- #### 通过pip安装OpenCompass - #### 通过pip安装OpenCompass
```bash ```bash
# 支持绝大多数数据集及模型 # 支持绝大多数数据集及模型
pip install -U opencompass pip install -U opencompass
```
``` ```
- #### 基于源码安装OpenCompass - #### 基于源码安装OpenCompass
...@@ -28,13 +27,14 @@ ...@@ -28,13 +27,14 @@
如果希望使用 OpenCompass 的最新功能,也可以从源代码构建它: 如果希望使用 OpenCompass 的最新功能,也可以从源代码构建它:
```bash ```bash
git clone https://github.com/open-compass/opencompass opencompass
cd opencompass cd opencompass
pip install -e . pip install -e .
``` ```
### 📂 数据准备 ## 📂 数据准备
#### 提前离线下载 ### 提前离线下载
OpenCompass支持使用本地数据集进行评测,数据集的下载和解压可以通过以下命令完成: OpenCompass支持使用本地数据集进行评测,数据集的下载和解压可以通过以下命令完成:
...@@ -44,12 +44,12 @@ wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/Ope ...@@ -44,12 +44,12 @@ wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/Ope
unzip OpenCompassData-core-20240207.zip unzip OpenCompassData-core-20240207.zip
``` ```
#### 从 OpenCompass 自动下载 ### 从 OpenCompass 自动下载
OpenCompass已经支持从存储服务器自动下载数据集。可以通过额外的 `--dry-run` 参数来运行评估以下载这些数据集。 OpenCompass已经支持从存储服务器自动下载数据集。可以通过额外的 `--dry-run` 参数来运行评估以下载这些数据集。
目前支持的数据集列表在[这里](https://github.com/open-compass/opencompass/blob/main/opencompass/utils/datasets_info.py#L259)。更多数据集将会很快上传。 目前支持的数据集列表在[这里](https://github.com/open-compass/opencompass/blob/main/opencompass/utils/datasets_info.py#L259)。更多数据集将会很快上传。
#### (可选) 使用 ModelScope 自动下载 ### (可选) 使用 ModelScope 自动下载
另外,还可以使用[ModelScope](www.modelscope.cn)来加载数据集: 另外,还可以使用[ModelScope](www.modelscope.cn)来加载数据集:
环境准备: 环境准备:
...@@ -67,18 +67,20 @@ humaneval, triviaqa, commonsenseqa, tydiqa, strategyqa, cmmlu, lambada, piqa, ce ...@@ -67,18 +67,20 @@ humaneval, triviaqa, commonsenseqa, tydiqa, strategyqa, cmmlu, lambada, piqa, ce
有部分第三方功能,如 Humaneval 以及 Llama,可能需要额外步骤才能正常运行,详细步骤请参考[安装指南](https://opencompass.readthedocs.io/zh_CN/latest/get_started/installation.html) 有部分第三方功能,如 Humaneval 以及 Llama,可能需要额外步骤才能正常运行,详细步骤请参考[安装指南](https://opencompass.readthedocs.io/zh_CN/latest/get_started/installation.html)
<p align="right"><a href="#top">🔝返回顶部</a></p>
## 🏗️ ️评测 ## 🏗️ ️评测
确保按照上述步骤正确安装了 OpenCompass 并准备好了数据集之后,现在您可以开始使用 OpenCompass 进行首次评估! 确保按照上述步骤正确安装了 OpenCompass 并准备好了数据集之后,可以开始使用 OpenCompass 进行首次评估!
- ### 首次评测 - ### 首次评测
OpenCompass 支持通过命令行界面 (CLI) 或 Python 脚本来设置配置。对于简单的评估设置,推荐使用 CLI;而对于更复杂的评估,则建议使用脚本方式。可以在examples文件夹下找到更多脚本示例。 OpenCompass 支持通过命令行界面 (CLI) 或 Python 脚本来设置配置。对于简单的评估设置,我们推荐使用 CLI;而对于更复杂的评估,则建议使用脚本方式。可以在examples文件夹下找到更多脚本示例。
```bash ```bash
# 命令行界面 (CLI) # 命令行界面 (CLI)
opencompass --models hf_internlm2_5_1_8b_chat --datasets demo_gsm8k_chat_gen opencompass --models hf_internlm2_5_1_8b_chat --datasets demo_gsm8k_chat_gen
# Python 脚本 # Python 脚本
opencompass examples/eval_chat_demo.py opencompass examples/eval_chat_demo.py
``` ```
...@@ -93,11 +95,11 @@ humaneval, triviaqa, commonsenseqa, tydiqa, strategyqa, cmmlu, lambada, piqa, ce ...@@ -93,11 +95,11 @@ humaneval, triviaqa, commonsenseqa, tydiqa, strategyqa, cmmlu, lambada, piqa, ce
export OPENAI_API_KEY="YOUR_OPEN_API_KEY" export OPENAI_API_KEY="YOUR_OPEN_API_KEY"
# 命令行界面 (CLI) # 命令行界面 (CLI)
opencompass --models gpt_4o_2024_05_13 --datasets demo_gsm8k_chat_gen opencompass --models gpt_4o_2024_05_13 --datasets demo_gsm8k_chat_gen
# Python 脚本 # Python 脚本
opencompass examples/eval_api_demo.py opencompass examples/eval_api_demo.py
``` ```
## 📖 参考资料 ## 📖 参考资料
https://github.com/open-compass/opencompass https://github.com/open-compass/opencompass
\ No newline at end of file
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment