Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
Baichuan-M3_pytorch
Commits
f41ec018
"...git@developer.sourcefind.cn:tsoc/superbenchmark.git" did not exist on "6e50f0228f31eab876f5b17f45687f8743c7af5e"
Commit
f41ec018
authored
Mar 05, 2026
by
shihm
Browse files
updata code
parent
88555f13
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
11 additions
and
6 deletions
+11
-6
README.md
README.md
+11
-6
No files found.
README.md
View file @
f41ec018
...
@@ -5,10 +5,15 @@
...
@@ -5,10 +5,15 @@
## 模型简介
## 模型简介
Baichuan-M3 是百川智能推出的全新一代医疗增强大语言模型,是继 Baichuan-M2 之后的重要里程碑。
Baichuan-M3 是百川智能推出的全新一代医疗增强大语言模型,是继 Baichuan-M2 之后的重要里程碑。
与以往主要聚焦于静态问答或表面角色扮演的方法不同,Baichuan-M3 经过专门训练,能够显式建模 临床决策过程,旨在提升模型在真实医疗场景中的可用性与可靠性。该模型并非仅生成“听起来合理”的答案,或频繁给出诸如“你应尽快就医”等模糊建议,而是被训练为能够 主动获取关键临床信息、构建连贯的医学推理路径,并 系统性地约束易产生幻觉的行为。
与以往主要聚焦于静态问答或表面角色扮演的方法不同,Baichuan-M3 经过专门训练,能够显式建模 临床决策过程,旨在提升模型在真实医疗场景中的可用性与可靠性。该模型并非仅生成“听起来合理”的答案,或频繁给出诸如“你应尽快就医”等模糊建议,而是被训练为能够 主动获取关键临床信息、构建连贯的医学推理路径,并 系统性地约束易产生幻觉的行为。
具有以下的亮点:
具有以下的亮点:
超越 GPT-5.2:在 HealthBench、HealthBench-Hard、幻觉评估和 SCAN-bench 等多项指标上全面超越 OpenAI 最新模型,树立医疗 AI 新的 SOTA。
超越 GPT-5.2:在 HealthBench、HealthBench-Hard、幻觉评估和 SCAN-bench 等多项指标上全面超越 OpenAI 最新模型,树立医疗 AI 新的 SOTA。
高保真临床问诊能力:唯一在 SCAN-bench 全部三个维度(临床问诊、实验室检查、诊断)均排名第一的模型。
高保真临床问诊能力:唯一在 SCAN-bench 全部三个维度(临床问诊、实验室检查、诊断)均排名第一的模型。
低幻觉率,高可靠性:通过 Fact-Aware RL,在无外部工具辅助的情况下,幻觉率低于 GPT-5.2。
低幻觉率,高可靠性:通过 Fact-Aware RL,在无外部工具辅助的情况下,幻觉率低于 GPT-5.2。
高效部署:W4 量化将内存占用降至原始的 26%;Gated Eagle3 推测解码实现 96% 的加速。
高效部署:W4 量化将内存占用降至原始的 26%;Gated Eagle3 推测解码实现 96% 的加速。
## 环境依赖
## 环境依赖
...
@@ -18,10 +23,6 @@ Baichuan-M3 是百川智能推出的全新一代医疗增强大语言模型,
...
@@ -18,10 +23,6 @@ Baichuan-M3 是百川智能推出的全新一代医疗增强大语言模型,
| DTK | 26.04.2 |
| DTK | 26.04.2 |
| python | 3.10.12 |
| python | 3.10.12 |
| transformers | 4.57.6 |
| transformers | 4.57.6 |
| torch | 2.5.1+das.opt1.dtk2604.20260116.g78471bfd |
| accelerate | 1.12.0 |
| torchvision | 0.20.1+das.opt1.dtk2604.20260116.g65c66897 |
| flash_attn | 2.6.1+das.opt1.dtk2604.20260128.g034ec12d |
| vllm | 0.11.0+das.opt1.rc2.dtk2604.20260128.g0bf89b0c |
| vllm | 0.11.0+das.opt1.rc2.dtk2604.20260128.g0bf89b0c |
推荐使用镜像:harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-0127-py3.10-20260129
推荐使用镜像:harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-0127-py3.10-20260129
...
@@ -46,6 +47,7 @@ docker run -it \
...
@@ -46,6 +47,7 @@ docker run -it \
harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-0127-py3.10-20260129 bash
harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-0127-py3.10-20260129 bash
```
```
更多镜像可前往
[
光源
](
https://sourcefind.cn/#/service-list
)
下载使用。
更多镜像可前往
[
光源
](
https://sourcefind.cn/#/service-list
)
下载使用。
关于本项目DCU显卡所需的特殊深度学习库可从
[
光合
](
https://developer.sourcefind.cn/tool/
)
开发者社区下载安装。
关于本项目DCU显卡所需的特殊深度学习库可从
[
光合
](
https://developer.sourcefind.cn/tool/
)
开发者社区下载安装。
...
@@ -61,7 +63,7 @@ docker run -it \
...
@@ -61,7 +63,7 @@ docker run -it \
### vllm
### vllm
#### 单机推理
#### 单机推理
需要
启动服务
```
bash
```
bash
vllm serve /path/to/baichuan-inc/Baichuan-M3-235B
--tensor-parallel-size
8
--max-model-len
8192
--gpu-memory-utilization
0.9
--served-model-name
baichuan-m3
--reasoning-parser
deepseek_r1
vllm serve /path/to/baichuan-inc/Baichuan-M3-235B
--tensor-parallel-size
8
--max-model-len
8192
--gpu-memory-utilization
0.9
--served-model-name
baichuan-m3
--reasoning-parser
deepseek_r1
```
```
...
@@ -86,7 +88,7 @@ curl http://localhost:8000/v1/chat/completions \
...
@@ -86,7 +88,7 @@ curl http://localhost:8000/v1/chat/completions \
<img
src=
"./doc/result.png"
/>
<img
src=
"./doc/result.png"
/>
</div>
</div>
### transformer
### transformer
s
```
python
```
python
from
transformers
import
AutoTokenizer
,
AutoModelForCausalLM
from
transformers
import
AutoTokenizer
,
AutoModelForCausalLM
...
@@ -130,6 +132,9 @@ print(response)
...
@@ -130,6 +132,9 @@ print(response)
|:-----:|:----------:|:----------:|:---------------------:|:----------:|
|:-----:|:----------:|:----------:|:---------------------:|:----------:|
| Baichuan-M3-235B | 235B | BW1000 | 8 |
[
ModelScope
](
https://modelscope.cn/models/baichuan-inc/Baichuan-M3-235B
)
|
| Baichuan-M3-235B | 235B | BW1000 | 8 |
[
ModelScope
](
https://modelscope.cn/models/baichuan-inc/Baichuan-M3-235B
)
|
## 源码仓库及问题反馈
-
https://developer.sourcefind.cn/codes/modelzoo/baichuan-m3-235b_vllm
## 参考资料
## 参考资料
-
https://www.baichuan-ai.com/blog/baichuan-M3
-
https://www.baichuan-ai.com/blog/baichuan-M3
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment