Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
OpenDAS
opencompass
Commits
6c711cb2
Unverified
Commit
6c711cb2
authored
May 13, 2024
by
Mo Li
Committed by
GitHub
May 13, 2024
Browse files
[Fix] Fix Needlebench Summarizer (#1143)
* update few-shot example * add 128k
parent
5432dfc1
Changes
3
Hide whitespace changes
Inline
Side-by-side
Showing
3 changed files
with
3 additions
and
3 deletions
+3
-3
configs/datasets/needlebench/atc/atc_choice.py
configs/datasets/needlebench/atc/atc_choice.py
+1
-1
configs/datasets/needlebench/atc/atc_choice_20.py
configs/datasets/needlebench/atc/atc_choice_20.py
+1
-1
opencompass/summarizers/needlebench.py
opencompass/summarizers/needlebench.py
+1
-1
No files found.
configs/datasets/needlebench/atc/atc_choice.py
View file @
6c711cb2
...
...
@@ -36,7 +36,7 @@ few_shot_prompts = {
dict
(
role
=
'BOT'
,
prompt
=
'回答: 根据提供的信息,我们可以构建以下家族关系链:
\n\n
- 刘红的爸爸是毕东。
\n\n
因此,"刘红"能够向上追溯到的最年长的亲人是毕东。所以答案是:A'
),
dict
(
role
=
'HUMAN'
,
prompt
=
'问题: 梅建平作为黄玉兰的姥姥,对黄玉兰的成长有重要影响。梅建平的妈妈是朱丽丽。蓝鑫把黄玉兰视为其母亲。焦慧不仅是朱丽丽的妈妈,还是朱丽丽的榜样。
\n
在上面提供的打乱的家族关系文本中,"蓝鑫"的能够向上追溯到的最年长的亲人是谁?
\n
A. 梅建平
\n
B. 朱丽丽
\n
C. 蓝鑫
\n
D. 焦慧
\n
'
),
dict
(
role
=
'BOT'
,
prompt
=
'回答: 根据提供的信息,我们可以构建以下家族关系链:
\n\n
- 黄玉兰的姥姥是梅建平。
\n
- 梅建平的妈妈是朱丽丽。
\n
- 朱丽丽的妈妈是焦慧。
\n
- 蓝鑫把黄玉兰视为其母亲。
\n
\n
因此,"蓝鑫"能够向上追溯到的最年长的亲人是焦慧。所以答案是:D'
),
dict
(
role
=
'BOT'
,
prompt
=
'回答: 根据提供的信息,我们可以构建以下家族关系链:
\n\n
-
蓝鑫把黄玉兰视为其母亲。
\n
-
黄玉兰的姥姥是梅建平。
\n
- 梅建平的妈妈是朱丽丽。
\n
- 朱丽丽的妈妈是焦慧。
\n\n
因此,"蓝鑫"能够向上追溯到的最年长的亲人是焦慧。所以答案是:D'
),
dict
(
role
=
'HUMAN'
,
prompt
=
'问题: 毕东把柳金凤视为其姥姥。奉兵作为柳金凤的妈妈,对柳金凤的成长有重要影响。余萍把杨颖视为其爸爸。毕东在郭建华的生命中扮演着父亲的角色。常宁的外公是余萍。刘慧是郭建华所生的孩子。刘慧在杨颖的生命中扮演着外公的角色。
\n
在上面提供的打乱的家族关系文本中,"常宁"的能够向上追溯到的最年长的亲人是谁?
\n
A. 柳金凤
\n
B. 毕东
\n
C. 奉兵
\n
D. 余萍
\n
'
),
dict
(
role
=
'BOT'
,
prompt
=
'回答: 根据提供的信息,我们可以构建以下家族关系链:
\n\n
- 常宁的外公是余萍。
\n
- 余萍把杨颖视为其爸爸。
\n
- 杨颖的外公是刘慧。
\n
- 刘慧是郭建华所生的孩子。
\n
- 郭建华的父亲是毕东。
\n
- 毕东的姥姥是柳金凤。
\n
- 柳金凤的妈妈是奉兵。
\n\n
因此,"常宁"能够向上追溯到的最年长的亲人是奉兵。所以答案是:C'
),
...
...
configs/datasets/needlebench/atc/atc_choice_20.py
View file @
6c711cb2
...
...
@@ -36,7 +36,7 @@ few_shot_prompts = {
dict
(
role
=
'BOT'
,
prompt
=
'回答: 根据提供的信息,我们可以构建以下家族关系链:
\n\n
- 刘红的爸爸是毕东。
\n\n
因此,"刘红"能够向上追溯到的最年长的亲人是毕东。所以答案是:A'
),
dict
(
role
=
'HUMAN'
,
prompt
=
'问题: 梅建平作为黄玉兰的姥姥,对黄玉兰的成长有重要影响。梅建平的妈妈是朱丽丽。蓝鑫把黄玉兰视为其母亲。焦慧不仅是朱丽丽的妈妈,还是朱丽丽的榜样。
\n
在上面提供的打乱的家族关系文本中,"蓝鑫"的能够向上追溯到的最年长的亲人是谁?
\n
A. 梅建平
\n
B. 朱丽丽
\n
C. 蓝鑫
\n
D. 焦慧
\n
'
),
dict
(
role
=
'BOT'
,
prompt
=
'回答: 根据提供的信息,我们可以构建以下家族关系链:
\n\n
- 黄玉兰的姥姥是梅建平。
\n
- 梅建平的妈妈是朱丽丽。
\n
- 朱丽丽的妈妈是焦慧。
\n
- 蓝鑫把黄玉兰视为其母亲。
\n
\n
因此,"蓝鑫"能够向上追溯到的最年长的亲人是焦慧。所以答案是:D'
),
dict
(
role
=
'BOT'
,
prompt
=
'回答: 根据提供的信息,我们可以构建以下家族关系链:
\n\n
-
蓝鑫把黄玉兰视为其母亲。
\n
-
黄玉兰的姥姥是梅建平。
\n
- 梅建平的妈妈是朱丽丽。
\n
- 朱丽丽的妈妈是焦慧。
\n\n
因此,"蓝鑫"能够向上追溯到的最年长的亲人是焦慧。所以答案是:D'
),
dict
(
role
=
'HUMAN'
,
prompt
=
'问题: 毕东把柳金凤视为其姥姥。奉兵作为柳金凤的妈妈,对柳金凤的成长有重要影响。余萍把杨颖视为其爸爸。毕东在郭建华的生命中扮演着父亲的角色。常宁的外公是余萍。刘慧是郭建华所生的孩子。刘慧在杨颖的生命中扮演着外公的角色。
\n
在上面提供的打乱的家族关系文本中,"常宁"的能够向上追溯到的最年长的亲人是谁?
\n
A. 柳金凤
\n
B. 毕东
\n
C. 奉兵
\n
D. 余萍
\n
'
),
dict
(
role
=
'BOT'
,
prompt
=
'回答: 根据提供的信息,我们可以构建以下家族关系链:
\n\n
- 常宁的外公是余萍。
\n
- 余萍把杨颖视为其爸爸。
\n
- 杨颖的外公是刘慧。
\n
- 刘慧是郭建华所生的孩子。
\n
- 郭建华的父亲是毕东。
\n
- 毕东的姥姥是柳金凤。
\n
- 柳金凤的妈妈是奉兵。
\n\n
因此,"常宁"能够向上追溯到的最年长的亲人是奉兵。所以答案是:C'
),
...
...
opencompass/summarizers/needlebench.py
View file @
6c711cb2
...
...
@@ -72,7 +72,7 @@ dataset_mapping_dict = {}
needle_counts
=
[
'2'
,
'3'
,
'4'
,
'5'
]
languages
=
[
'en'
,
'zh'
]
sizes
=
[
'4k'
,
'8k'
,
'32k'
,
'200k'
,
'256k'
,
'1000k'
]
sizes
=
[
'4k'
,
'8k'
,
'32k'
,
'128k'
,
'200k'
,
'256k'
,
'1000k'
]
types
=
[
'origin'
,
'parallel'
]
for
needle_count
in
needle_counts
:
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment