instruct

README.md

@@ -3,6 +3,9 @@
 `Qwen3 Technical Report`
 - https://arxiv.org/abs/2505.09388
 
+`Qwen2.5-1M Technical Report`
+- https://arxiv.org/abs/2501.15383
+
 ## 模型结构
 Qwen3-30B-A3B（Qwen/Qwen3-30B-A3B-Instruct-2507）在一般能力方面有显著提高，包括遵循指令、逻辑推理、文本理解、数学、科学、编码和工具使用。
 跨多种语言的长尾知识覆盖的实质性增长。
@@ -14,6 +17,9 @@ Qwen3-30B-A3B（Qwen/Qwen3-30B-A3B-Instruct-2507）在一般能力方面有显
 </div>
 
 
+## 算法原理
+
+
 
 ## 环境配置
 ### 硬件需求
@@ -214,6 +220,67 @@ python ./infer/online/acc.py --file1 /your_path/Qwen3-30B-A3B_logprobs_A800_fp16
 DCU(K100_AI)与GPU(A800)在线推理Qwen3-30B-A3B精度一致，推理框架：vllm
 
 
+### vllm在线推理Qwen3-30B-A3B-Instruct-2507
+```bash
+## Qwen3-30B-A3B-Instruct-2507 至少需要双卡部署
+export HIP_VISIBLE_DEVICES=6,7 
+## 启动服务
+vllm serve /your_path/Qwen3-30B-A3B-Instruct-2507 --tensor-parallel-size 2 --max-logprobs 10
+## 修改./infer/online/client.py, MODEL_NAME请改成/your_path/Qwen3-30B-A3B-Instruct-2507，并运行client.py, 代码内部共设置十个提示词
+python client.py
+```
+
+## result
+```
+欢迎使用 Qwen3-30B-A3B 聊天客户端！
+已连接到 vLLM 服务，使用模型: /home/zwq/model/Qwen3-30B-A3B-Instruct-2507
+--------------------------------------------------
+
+--- 问题 1: '介绍一下北京.' ---
+完整回答 (包含思考): '北京，简称“京”，是中国的首都，也是中华人民共和国的中央人民政府所在地，是全国的政治、文化、教育和国际交往中心。它位于中国华北平原的北部，地处燕山山脉与太行山脉交汇地带，地理坐标为北纬39°54′，东经116°23′，总面积约16,410平方公里。\n\n### 历史与文化\n北京拥有超过3000年的建城史和800多年的建都史，是中国历史上多个朝代的都城。自元朝起，北京成为全国的政治中心，明清两代更是将紫禁城（今故宫）作为皇权象征，奠定了其作为国家核心的地位。北京是世界著名的历史文化名城，拥有丰富的文化遗产，包括：\n\n- **故宫**：世界上现存规模最大、保存最完整的古代宫殿建筑群，是明清两代24位皇帝的居所。\n- **天坛**：明清皇帝祭天祈谷的场所，以其精美的建筑和深厚的文化内涵闻名。\n- **颐和园**：中国现存规模最大、保存最完整的皇家园林，融合了自然景观与人工建筑。\n- **圆明园**：曾被誉为“万园之园”，虽在第二次鸦片战争中被焚毁，但遗址仍具重要历史价值。\n- **长城**：北京段的八达岭、慕田峪等是长城最著名的部分，是世界文化遗产。\n\n### 城市风貌\n北京是一座传统与现代交融的城市。城市布局以中轴线为核心，从永定门到钟鼓楼，贯穿南北，体现了中国古代“中轴对称”的城市规划理念。如今，北京不仅保留了胡同、四合院等传统民居风貌，也拥有现代化的高楼大厦、商业中心和交通系统。\n\n- **胡同与四合院**：如南锣鼓巷、什刹海地区，是体验老北京生活的重要窗口。\n- **现代地标**：国家大剧院、中央电视台总部大楼（“大裤衩”）、北京国贸大厦、鸟巢（国家体育场）和水立方（国家游泳中心）等，展现了北京的现代都市风貌。\n\n### 经济与科技\n北京是中国最重要的经济和科技创新中心之一。中关村被誉为“中国硅谷”，聚集了众多高新技术企业、科研机构和高校，是全国科技创新的重要引擎。北京的经济以服务业为主，尤其在金融、信息技术、文化创意、教育等领域具有显著优势。\n\n### 教育与科研\n北京拥有中国最顶尖的高等教育资源，包括：\n\n- 清华大学\n- 北京大学\n- 中国人民大学\n- 北京师范大学\n- 中国科学院等\n\n这些高校和科研机构为中国培养了大量人才，推动了科技与社会的发展。\n\n### 交通\n北京是中国最重要的交通枢纽之一，拥有发达的铁路、公路和航空网络。北京首都国际机场是全球最繁忙的机场之一，连接世界各地。北京地铁系统是中国最庞大的城市轨道交通网络，覆盖范围广，运营效率高。\n\n### 旅游与美食\n北京是国内外游客向往的旅游目的地。除了上述著名景点，还有：\n\n- 南海子公园、奥林匹克森林公园等城市绿地\n- 北京动物园、中国科学技术馆等文化设施\n\n北京的美食也极具特色，代表性的有：\n\n- 北京烤鸭（全聚德、便宜坊）\n- 豆汁儿配焦圈\n- 炸酱面\n- 艾窝窝、驴打滚等传统小吃\n\n### 环境与可持续发展\n近年来，北京在环境保护和可持续发展方面投入巨大，实施了“蓝天保卫战”等措施，空气质量持续改善。城市绿化率不断提高，推动绿色出行和低碳生活。\n\n---\n\n总之，北京是一座集历史厚重感与现代活力于一体的城市，既是中华文明的象征，也是中国走向世界的重要窗口。无论你是历史爱好者、文化探索者，还是科技与商业追逐者，北京都能为你提供丰富而独特的体验。'
+【主要回答】: '北京，简称“京”，是中国的首都，也是中华人民共和国的中央人民政府所在地，是全国的政治、文化、教育和国际交往中心。它位于中国华北平原的北部，地处燕山山脉与太行山脉交汇地带，地理坐标为北纬39°54′，东经116°23′，总面积约16,410平方公里。\n\n### 历史与文化\n北京拥有超过3000年的建城史和800多年的建都史，是中国历史上多个朝代的都城。自元朝起，北京成为全国的政治中心，明清两代更是将紫禁城（今故宫）作为皇权象征，奠定了其作为国家核心的地位。北京是世界著名的历史文化名城，拥有丰富的文化遗产，包括：\n\n- **故宫**：世界上现存规模最大、保存最完整的古代宫殿建筑群，是明清两代24位皇帝的居所。\n- **天坛**：明清皇帝祭天祈谷的场所，以其精美的建筑和深厚的文化内涵闻名。\n- **颐和园**：中国现存规模最大、保存最完整的皇家园林，融合了自然景观与人工建筑。\n- **圆明园**：曾被誉为“万园之园”，虽在第二次鸦片战争中被焚毁，但遗址仍具重要历史价值。\n- **长城**：北京段的八达岭、慕田峪等是长城最著名的部分，是世界文化遗产。\n\n### 城市风貌\n北京是一座传统与现代交融的城市。城市布局以中轴线为核心，从永定门到钟鼓楼，贯穿南北，体现了中国古代“中轴对称”的城市规划理念。如今，北京不仅保留了胡同、四合院等传统民居风貌，也拥有现代化的高楼大厦、商业中心和交通系统。\n\n- **胡同与四合院**：如南锣鼓巷、什刹海地区，是体验老北京生活的重要窗口。\n- **现代地标**：国家大剧院、中央电视台总部大楼（“大裤衩”）、北京国贸大厦、鸟巢（国家体育场）和水立方（国家游泳中心）等，展现了北京的现代都市风貌。\n\n### 经济与科技\n北京是中国最重要的经济和科技创新中心之一。中关村被誉为“中国硅谷”，聚集了众多高新技术企业、科研机构和高校，是全国科技创新的重要引擎。北京的经济以服务业为主，尤其在金融、信息技术、文化创意、教育等领域具有显著优势。\n\n### 教育与科研\n北京拥有中国最顶尖的高等教育资源，包括：\n\n- 清华大学\n- 北京大学\n- 中国人民大学\n- 北京师范大学\n- 中国科学院等\n\n这些高校和科研机构为中国培养了大量人才，推动了科技与社会的发展。\n\n### 交通\n北京是中国最重要的交通枢纽之一，拥有发达的铁路、公路和航空网络。北京首都国际机场是全球最繁忙的机场之一，连接世界各地。北京地铁系统是中国最庞大的城市轨道交通网络，覆盖范围广，运营效率高。\n\n### 旅游与美食\n北京是国内外游客向往的旅游目的地。除了上述著名景点，还有：\n\n- 南海子公园、奥林匹克森林公园等城市绿地\n- 北京动物园、中国科学技术馆等文化设施\n\n北京的美食也极具特色，代表性的有：\n\n- 北京烤鸭（全聚德、便宜坊）\n- 豆汁儿配焦圈\n- 炸酱面\n- 艾窝窝、驴打滚等传统小吃\n\n### 环境与可持续发展\n近年来，北京在环境保护和可持续发展方面投入巨大，实施了“蓝天保卫战”等措施，空气质量持续改善。城市绿化率不断提高，推动绿色出行和低碳生活。\n\n---\n\n总之，北京是一座集历史厚重感与现代活力于一体的城市，既是中华文明的象征，也是中国走向世界的重要窗口。无论你是历史爱好者、文化探索者，还是科技与商业追逐者，北京都能为你提供丰富而独特的体验。'
+
+答案部分前10个Token的Rank 1 Logprobs:
+  Step 0: -0.0025
+  Step 1: -0.2529
+  Step 2: -0.1372
+  Step 3: -0.0000
+  Step 4: 0.0000
+  Step 5: -0.0000
+  Step 6: -0.0381
+  Step 7: -0.0007
+  Step 8: -0.0001
+  Step 9: -0.0000
+--------------------------------------------------
+  ......
+  ......
+
+所有测试结果已保存到文件: ./Qwen3-30B-A3B-Instruct-2507_logprobs_K100AI_fp16.json
+```
+
+### 精度
+```bash
+## 分别在DCU和GPU上启动vllm服务，并对应运行client.py，得到各自的精度数据后，运行online文件夹下的acc.py
+python ./infer/online/acc.py --file1 /your_path/Qwen3-30B-A3B-Instruct-2507_logprobs_A800_fp16.json --file2 /your_path/Qwen3-30B-A3B-Instruct-2507_logprobs_K100AI_fp16.json
+```
+结果
+```
+提示词:介绍一下北京.,平均绝对误差:0.0003844495090561395
+提示词:写一首关于春天的五言绝句.,平均绝对误差:0.003621068420738993
+提示词:请解释一下黑洞的形成原理.,平均绝对误差:0.013209401426135515
+提示词:推荐三部值得一看的科幻电影，并简述理由.,平均绝对误差:0.028403437747607542
+提示词:如何有效提高编程能力？,平均绝对误差:0.014048111713964317
+提示词:给我讲一个关于人工智能的笑话.,平均绝对误差:0.027143383317161353
+提示词:你认为未来教育会发展成什么样？,平均绝对误差:0.019544235430657864
+提示词:如何制作一道美味的麻婆豆腐？,平均绝对误差:0.007543907890431712
+提示词:量子计算的原理是什么？它有哪些潜在应用？,平均绝对误差:0.009102995577677575
+提示词:请用英语介绍一下中国长城.,平均绝对误差:8.911460490779177e-05
+
+总体平均绝对误差：1.230901e-02
+```
+DCU(K100_AI)与GPU(A800)在线推理Qwen3-30B-A3B-Instruct-2507精度一致，推理框架：vllm
+
+
 ## 应用场景
 ### 算法类别
 `对话`

infer/online/client.py

@@ -176,7 +176,7 @@ if __name__ == "__main__":
         print("--------------------------------------------------")
 
 
-    output_filename_client_all_results = './Qwen3-30B-A3B-Instruct-2507_logprobs_K100AI_fp16.json'
+    output_filename_client_all_results = './Qwen3-30B-A3B-Instruct-2507_logprobs_A800_fp16.json'
     with open(output_filename_client_all_results, 'w', encoding='utf-8') as f: 
         json.dump(results_to_save, f, indent=4, ensure_ascii=False)