Skip to content

GitLab

Commit e1160db0 authored by zzg_666's avatar zzg_666
Browse files

modified

parent d0da52e7
Hide whitespace changes
Inline Side-by-side
Showing with 2 additions and 1 deletion
README.md
View file @ e1160db0
...@@ -8,7 +8,8 @@ SmallThinker-3B-preview，是一个从Qwen2.5-3b-Instruct模型微调而来的 ...@@ -8,7 +8,8 @@ SmallThinker-3B-preview，是一个从Qwen2.5-3b-Instruct模型微调而来的
| :------: | :------: | :------: | :------: | :------: | :------: | :------: | :------: | | :------: | :------: | :------: | :------: | :------: | :------: | :------: | :------: |
| Qwen2.5-3B-Instruct | 6.67 | 45 | 50 | 35.8 | 59.8 | - | - | | Qwen2.5-3B-Instruct | 6.67 | 45 | 50 | 35.8 | 59.8 | - | - |
| SmallThinker | 16.667 | 57.5 | 64.2 | 57.1 | 68.2 | 70 | 46.8 | | SmallThinker | 16.667 | 57.5 | 64.2 | 57.1 | 68.2 | 70 | 46.8 |
| GPT-4o | 9.3 | - | - | - | 64.2 | 57 | 50 | | GPT-4o | 9.3 | - | - | - | 64.2 | 57 | 50 |
SmallThinker主要用于以下场景： SmallThinker主要用于以下场景：
**边缘部署：** 通过将输出分类为安全、有争议和不安全三个严重级别，支持详细的风险评估，适应各种部署场景。 **边缘部署：** 通过将输出分类为安全、有争议和不安全三个严重级别，支持详细的风险评估，适应各种部署场景。
**QwQ-32B-Preview 基准测试原型：** SmallThinker可作为QwQ-32B-Preview大模型的高效轻量化草稿模型。测试数据显示，在llama.cpp框架中可实现约70%的推理加速（吞吐量从40token/s提升至70token/s）。。 **QwQ-32B-Preview 基准测试原型：** SmallThinker可作为QwQ-32B-Preview大模型的高效轻量化草稿模型。测试数据显示，在llama.cpp框架中可实现约70%的推理加速（吞吐量从40token/s提升至70token/s）。。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment