添加推理性能测试工具

README.md

@@ -54,6 +54,22 @@ python cli_demo.py -p chatglm2-6b-fp16.bin
 streamlit run web_demo.py chatglm2-6b-fp16.bin 
 ```
 
+### 推理性能测试
+
+可以使用benchmark程序进行测速，根据./benchmark -h描述进行配置和测试，不同配置、不同输入，推理速度也会有一些差别
+
+```
+# 进入benchmark所在目录
+cd benchmark
+
+# 添加benchmark可执行权限
+chmod +x benchmark
+
+# 测试示例
+./benchmark -p ../chatglm2-6b-int8.bin -f ../benchmark/prompts/beijing.txt -b 1
+./benchmark -p ../chatglm2-6b-fp16.bin -f ../benchmark/prompts/hello.txt -b 512 -l 18
+```
+
 ## 源码仓库及问题反馈
 
 https://developer.hpccube.com/codes/modelzoo/chatglm2-6b_cpp

benchmark/loop_benchmark.sh

+#!/bin/bash
+
+# 定义要运行的程序命令
+program="./benchmark -p ../../../models/chatglm2-6b/chatglm2-6b-flm/chatglm2-6b-int8.flm -f ../../../models/chatglm2-6b/prompts/100tokens.txt --loop"
+
+# 定义要运行的实例数量
+num_instances=2
+
+# 启动后台进程
+for ((i=1; i<=num_instances; i++)); do
+  $program &
+done
+
+# 压测持续时间（秒）
+test_duration=120
+
+# 等待一段时间以进行压测
+sleep $test_duration
+
+# 杀死所有后台进程
+pkill -f benchmark

benchmark/prompts/1000tokens.txt

+“工信部日前正式公布了45个国家先进制造业集群名单。在入围的五个生物医药产业相关的集群中， 上海张江生物医药集群和 苏州生物医药及高端医疗器械集群，成为仅有的两个以单个城市入围的集群。其实，这也不是上海和苏州两座城市的首次“交锋”。早在2018年，苏州生物医药产业的规上工业产值首次对上海实现反超，并逐渐拉开差距。到去年，苏州该指标已首次突破2000亿元关口，达到2002亿元，上海则为1712亿元，两市差距进一步扩大至290亿元。能将一个产业从无到有直逼老大，这是一件地域难度的事情。要知道， 苏州大力发展生物医药时，隔壁的上海张江科学城已经抢跑十几年了。1999年上海市就实施“聚焦张江”战略，大量国内外顶级药企纷纷入驻。而苏州真正发展生物医药产业，也就这几年的事。而且， 因为城市能级的因素，苏州在和很多城市竞争国家资源的赛道上都处于劣势。2021年生物医药产业园区排行榜中，苏州工业园区排名全国第一，而南京生物医药最强的南京生物医药谷在10名开外。但国家生物技术药物产业计量测试中心落地南京而非苏州，很难说没有行政因素的考量。苏州的生物医药产业凭什么能逼平上海张江？站长看了很多媒体包括官媒的报道和解读，一言难尽。生物医药这个产业，是很难培育的，不是一般人和一般城市做得起的。因为医药研发是一个风险极高的事情，业内有个“双十”说法，也就是，研发一款新药， 要花10年时间、投入10亿美元。而据德勤咨询报告显示，全球新药研发经费投入以罗氏、强生和诺华为最，单个新药研发成本已经由2010年的11亿美元，增加到22亿美元。而且，研发的总体成功率则不断走低， 创新药从I期临床研究到最终获批上市的 成功率平均不到十分之一。黎明的一缕曙光来临之前，是漫漫的长夜。所以我们看到，当下全力扶持的生物医药产业的，基本都是各地财大气粗的开发区。苏州的做法，又和其他城市有着明显的不同。在苏州众多牛逼的生物医药公司和研发机构中，一个叫 冷泉港实验室的机构成功引起了站长的注意。2007年，冷泉港实验室与苏州工业园区签订合作协议，在园区建立了冷泉港实验室百年历史上在海外的第一个分支机构——冷泉港亚洲会议中心，项目于2010年正式落成启动。值得一说的是，这个冷泉港实验室十分有名。冷泉港实验室创立于1890年，被誉为世界生命科学圣地及“ 分子生物学摇篮”，名列世界十大实验室榜首，诞生过8位诺贝尔奖得主。我们上过中学生物课的都知道人类的遗传是由基因决定的，基因的结构叫DNA双螺旋，DNA双螺旋结构的发明人是做沃森和克里克。这个 沃森，就是冷泉港实验室的名誉院长名誉主任，他担任来很多年，直到前几年因为一些丑闻被辞职了，但是由于他一直坐镇在冷泉港实验室， 冷泉港实验室成为来全球生物研究的重镇。冷泉港亚洲DNA学习中心坐落于中国苏州，是目前亚太最大、国内首家专注于基因科学教育及知识分享的实验室。冷泉港亚洲会议中心启动以来，已在苏州成功举办了200多场高端学术会议，邀请的演讲嘉宾均是活跃在国际科学最前沿的知名学者和学科带头人，包括20多名诺贝尔奖得主。生物制药有个特点，就是它的科研和研发衔接比较紧密，科研出了成果立刻就会向研发转化做出产品。由于大量的学术会议在苏州召开，苏州本地的生物医药企业就近水楼台先得月，能了解到全球最先进的进展、最前沿的进展。每次冷泉港亚洲会议召开，苏州的企业都会积极参与，通过这样的交流平台可以获得业界洞见、拓展人脉网络， 站在冷泉港的“肩膀”上创新，就不用担心创业方向有偏差。同时，冷泉港亚洲会议中心对苏州来说，又是一个很好的展示窗口——如果有企业到苏州开会，政府就会展示一下开发区，有些人平时来开会，只是来看看，并不是做公司，但在跟政府接触、跟园区产业圈接触下，觉得这地方不错，就留下来了，从而整个产业搞了起来。我们看到全国支持生物医药的城市很多，但支持手段不外乎 给房子、给地、给钱，这些都没错，甚至都已经成为了生物医药的标配。” 帮我对前面这段话进行摘要提取，600字

benchmark/prompts/500tokens.txt

+“工信部日前正式公布了45个国家先进制造业集群名单。在入围的五个生物医药产业相关的集群中， 上海张江生物医药集群和 苏州生物医药及高端医疗器械集群，成为仅有的两个以单个城市入围的集群。到去年，苏州该指标已首次突破2000亿元关口，达到2002亿元，上海则为1712亿元，两市差距进一步扩大至290亿元。能将一个产业从无到有直逼老大，这是一件地域难度的事情。要知道， 苏州大力发展生物医药时，隔壁的上海张江科学城已经抢跑十几年了。1999年上海市就实施“聚焦张江”战略，大量国内外顶级药企纷纷入驻。而苏州真正发展生物医药产业，也就这几年的事。而且， 因为城市能级的因素，苏州在和很多城市竞争国家资源的赛道上都处于劣势。2021年生物医药产业园区排行榜中，苏州工业园区排名全国第一，而南京生物医药最强的南京生物医药谷在10名开外。但国家生物技术药物产业计量测试中心落地南京而非苏州，很难说没有行政因素的考量。苏州的生物医药产业凭什么能逼平上海张江？站长看了很多媒体包括官媒的报道和解读，一言难尽。生物医药这个产业，是很难培育的，不是一般人和一般城市做得起的。因为医药研发是一个风险极高的事情，业内有个“双十”说法，也就是，研发一款新药， 要花10年时间、投入10亿美元。而据德勤咨询报告显示，全球新药研发经费投入以罗氏、强生和诺华为最，单个新药研发成本已经由2010年的11亿美元，增加到22亿美元。而且，研发的总体成功率则不断走低， 创新药从I期临床研究到最终获批上市的 成功率平均不到十分之一。黎明的一缕曙光来临之前，是漫漫的长夜。所以我们看到，当下全力扶持的生物医药产业的，基本都是各地财大气粗的开发区。苏州的做法，又和其他城市有着明显的不同。在苏州众多牛逼的生物医药公司和研发机构中，一个叫 冷泉港实验室的机构成功引起了站长的注意。” 请帮我对前面这段话进行摘要的提取工作，至少生成600字以上，提现出重要性！

benchmark/prompts/beijing.txt

+北京有什么景点？
\ No newline at end of file

benchmark/prompts/hello.txt

+Hello！
\ No newline at end of file