Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
Ministral_pytorch
Commits
0179c9b5
Commit
0179c9b5
authored
Jun 11, 2025
by
chenych
Browse files
Fix bugs in README.
parent
ff2401cf
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
3 additions
and
7 deletions
+3
-7
README.md
README.md
+3
-7
No files found.
README.md
View file @
0179c9b5
...
@@ -25,7 +25,6 @@ docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04
...
@@ -25,7 +25,6 @@ docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04
docker run
-it
--shm-size
200g
--network
=
host
--name
{
docker_name
}
--privileged
--device
=
/dev/kfd
--device
=
/dev/dri
--device
=
/dev/mkfd
--group-add
video
--cap-add
=
SYS_PTRACE
--security-opt
seccomp
=
unconfined
-u
root
-v
/path/your_code_data/:/path/your_code_data/
-v
/opt/hyhal/:/opt/hyhal/:ro
{
imageID
}
bash
docker run
-it
--shm-size
200g
--network
=
host
--name
{
docker_name
}
--privileged
--device
=
/dev/kfd
--device
=
/dev/dri
--device
=
/dev/mkfd
--group-add
video
--cap-add
=
SYS_PTRACE
--security-opt
seccomp
=
unconfined
-u
root
-v
/path/your_code_data/:/path/your_code_data/
-v
/opt/hyhal/:/opt/hyhal/:ro
{
imageID
}
bash
cd
/your_code_path/ministral_pytorch
cd
/your_code_path/ministral_pytorch
```
```
### Dockerfile(方法二)
### Dockerfile(方法二)
...
@@ -35,16 +34,15 @@ docker build --no-cache -t ministral:latest .
...
@@ -35,16 +34,15 @@ docker build --no-cache -t ministral:latest .
docker run
-it
--shm-size
200g
--network
=
host
--name
{
docker_name
}
--privileged
--device
=
/dev/kfd
--device
=
/dev/dri
--device
=
/dev/mkfd
--group-add
video
--cap-add
=
SYS_PTRACE
--security-opt
seccomp
=
unconfined
-u
root
-v
/path/your_code_data/:/path/your_code_data/
-v
/opt/hyhal/:/opt/hyhal/:ro
{
imageID
}
bash
docker run
-it
--shm-size
200g
--network
=
host
--name
{
docker_name
}
--privileged
--device
=
/dev/kfd
--device
=
/dev/dri
--device
=
/dev/mkfd
--group-add
video
--cap-add
=
SYS_PTRACE
--security-opt
seccomp
=
unconfined
-u
root
-v
/path/your_code_data/:/path/your_code_data/
-v
/opt/hyhal/:/opt/hyhal/:ro
{
imageID
}
bash
cd
/your_code_path/ministral_pytorch
cd
/your_code_path/ministral_pytorch
```
```
### Anaconda(方法三)
### Anaconda(方法三)
关于本项目DCU显卡所需的特殊深度学习库可从
[
光合
](
https://developer.
hpccube.com
/tool/
)
开发者社区下载安装。
关于本项目DCU显卡所需的特殊深度学习库可从
[
光合
](
https://developer.
sourcefind.cn
/tool/
)
开发者社区下载安装。
```
bash
```
bash
DTK: 25.04
DTK: 25.04
python: 3.10
python: 3.10
torch: 2.4.1+das.opt2.dtk2504
vllm: 0.8.5
vllm: 0.8.5
torch: 2.4.1+das.opt2.dtk2504
deepspeed: 0.14.2+das.opt2.dtk2504
deepspeed: 0.14.2+das.opt2.dtk2504
```
```
`Tips:以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应`
`Tips:以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应`
...
@@ -54,7 +52,6 @@ deepspeed: 0.14.2+das.opt2.dtk2504
...
@@ -54,7 +52,6 @@ deepspeed: 0.14.2+das.opt2.dtk2504
## 训练
## 训练
### Llama Factory 微调方法(推荐)
### Llama Factory 微调方法(推荐)
1.
训练库安装(
**非ministral_pytorch目录下**
),
`Llama-Factory`
具体安装方法请参考仓库的README。
1.
训练库安装(
**非ministral_pytorch目录下**
),
`Llama-Factory`
具体安装方法请参考仓库的README。
```
```
git clone https://developer.sourcefind.cn/codes/OpenDAS/llama-factory
git clone https://developer.sourcefind.cn/codes/OpenDAS/llama-factory
...
@@ -75,7 +72,6 @@ SFT训练脚本示例,参考`llama-factory/train_full`下对应yaml文件。
...
@@ -75,7 +72,6 @@ SFT训练脚本示例,参考`llama-factory/train_full`下对应yaml文件。
其他参数如:
`--learning_rate`
、
`--save_steps`
可根据自身硬件及需求进行修改。
其他参数如:
`--learning_rate`
、
`--save_steps`
可根据自身硬件及需求进行修改。
#### lora微调
#### lora微调
SFT训练脚本示例,参考
`llama-factory/train_lora`
下对应yaml文件。
SFT训练脚本示例,参考
`llama-factory/train_lora`
下对应yaml文件。
参数解释同
[
#全参微调
](
#全参微调
)
参数解释同
[
#全参微调
](
#全参微调
)
...
@@ -119,7 +115,7 @@ curl --location 'http://<your-node-url>:8000/v1/chat/completions' \
...
@@ -119,7 +115,7 @@ curl --location 'http://<your-node-url>:8000/v1/chat/completions' \
</div>
</div>
### 精度
### 精度
暂无
DCU与GPU精度一致,推理框架:pytorch。
## 应用场景
## 应用场景
### 算法类别
### 算法类别
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment