Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
Ecological Empowerment
opencompass
Commits
44d0214b
Commit
44d0214b
authored
Oct 21, 2025
by
xinghao
Browse files
Update README.md
parent
c289ecc0
Pipeline
#3005
canceled with stages
Changes
1
Pipelines
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
17 additions
and
15 deletions
+17
-15
README.md
README.md
+17
-15
No files found.
README.md
View file @
44d0214b
...
...
@@ -2,11 +2,8 @@
<img
src=
"docs/zh_cn/_static/image/logo.svg"
width=
"500px"
/>
<br
/>
<br
/>
## 🛠️ 安装指南
下面提供了快速安装和数据集准备的步骤。
### 💻 环境搭建
## 💻 环境搭建
建议使用
`docker`
搭建环境。
...
...
@@ -15,12 +12,14 @@
```
bash
docker run
--shm-size
500g
--network
=
host
--name
=
opencompass
--privileged
--device
=
/dev/kfd
--device
=
/dev/dri
--group-add
video
--cap-add
=
SYS_PTRACE
--security-opt
seccomp
=
unconfined
-v
/path/to/workspace/:/path/to/workspace/
-v
/opt/hyhal:/opt/hyhal:ro
-it
image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04.1-py3.10 bash
```
-
#### 通过pip安装OpenCompass
```
bash
# 支持绝大多数数据集及模型
pip
install
-U
opencompass
```
```
- #### 基于源码安装OpenCompass
...
...
@@ -28,13 +27,14 @@
如果希望使用 OpenCompass 的最新功能,也可以从源代码构建它:
```bash
git clone https://github.com/open-compass/opencompass opencompass
cd opencompass
pip install -e .
```
```
##
#
📂 数据准备
## 📂 数据准备
###
#
提前离线下载
### 提前离线下载
OpenCompass支持使用本地数据集进行评测,数据集的下载和解压可以通过以下命令完成:
...
...
@@ -44,12 +44,12 @@ wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/Ope
unzip OpenCompassData-core-20240207.zip
```
###
#
从 OpenCompass 自动下载
### 从 OpenCompass 自动下载
OpenCompass已经支持从存储服务器自动下载数据集。可以通过额外的
`--dry-run`
参数来运行评估以下载这些数据集。
目前支持的数据集列表在
[
这里
](
https://github.com/open-compass/opencompass/blob/main/opencompass/utils/datasets_info.py#L259
)
。更多数据集将会很快上传。
###
#
(可选) 使用 ModelScope 自动下载
### (可选) 使用 ModelScope 自动下载
另外,还可以使用
[
ModelScope
](
www.modelscope.cn
)
来加载数据集:
环境准备:
...
...
@@ -67,18 +67,20 @@ humaneval, triviaqa, commonsenseqa, tydiqa, strategyqa, cmmlu, lambada, piqa, ce
有部分第三方功能,如 Humaneval 以及 Llama,可能需要额外步骤才能正常运行,详细步骤请参考
[
安装指南
](
https://opencompass.readthedocs.io/zh_CN/latest/get_started/installation.html
)
。
<p
align=
"right"
><a
href=
"#top"
>
🔝返回顶部
</a></p>
## 🏗️ ️评测
在
确保按照上述步骤正确安装了 OpenCompass 并准备好了数据集之后,
现在您
可以开始使用 OpenCompass 进行首次评估!
确保按照上述步骤正确安装了 OpenCompass 并准备好了数据集之后,可以开始使用 OpenCompass 进行首次评估!
-
### 首次评测
OpenCompass 支持通过命令行界面 (CLI) 或 Python 脚本来设置配置。对于简单的评估设置,推荐使用 CLI;而对于更复杂的评估,则建议使用脚本方式。可以在examples文件夹下找到更多脚本示例。
OpenCompass 支持通过命令行界面 (CLI) 或 Python 脚本来设置配置。对于简单的评估设置,
我们
推荐使用 CLI;而对于更复杂的评估,则建议使用脚本方式。
你
可以在examples文件夹下找到更多脚本示例。
```
bash
# 命令行界面 (CLI)
opencompass
--models
hf_internlm2_5_1_8b_chat
--datasets
demo_gsm8k_chat_gen
# Python 脚本
opencompass examples/eval_chat_demo.py
```
...
...
@@ -93,11 +95,11 @@ humaneval, triviaqa, commonsenseqa, tydiqa, strategyqa, cmmlu, lambada, piqa, ce
export
OPENAI_API_KEY
=
"YOUR_OPEN_API_KEY"
# 命令行界面 (CLI)
opencompass
--models
gpt_4o_2024_05_13
--datasets
demo_gsm8k_chat_gen
# Python 脚本
opencompass examples/eval_api_demo.py
```
## 📖 参考资料
https://github.com/open-compass/opencompass
\ No newline at end of file
https://github.com/open-compass/opencompass
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment