Skip to content

GitLab

Commit be3dfa50 authored by jerrrrry's avatar jerrrrry
Browse files

Initial commit

parents
Pipeline #2876 failed with stages
in 0 seconds
Hide whitespace changes
Inline Side-by-side
Showing with 1412 additions and 0 deletions
opencompass/configs/datasets/FewCLUE_tnews/FewCLUE_tnews_ppl_7d1c07.py 0 → 100644
View file @ be3dfa50
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever
from opencompass.openicl.icl_inferencer import PPLInferencer
from opencompass.openicl.icl_evaluator import AccEvaluator
from opencompass.datasets import TNewsDataset
tnews_reader_cfg = dict(input_columns='sentence', output_column='label_desc2')
tnews_labels = [
'农业新闻', '旅游新闻', '游戏新闻', '科技类别公司新闻', '体育类别新闻', '初升高教育新闻', '娱乐圈新闻', '投资资讯',
'军事类别常识', '车辆新闻', '楼市新闻', '环球不含中国类别新闻', '书籍文化历史类别新闻', '故事类别新闻', '股票市场类别新闻'
]
tnews_infer_cfg = dict(
prompt_template=dict(
type=PromptTemplate,
template={lb: f'{{sentence}}这篇新闻属于：{lb}'
for lb in tnews_labels}),
retriever=dict(type=ZeroRetriever),
inferencer=dict(type=PPLInferencer))
tnews_eval_cfg = dict(evaluator=dict(type=AccEvaluator))
tnews_datasets = [
dict(
type=TNewsDataset,
path='json',
abbr='tnews-dev',
data_files='./data/FewCLUE/tnews/dev_few_all.json',
split='train',
reader_cfg=tnews_reader_cfg,
infer_cfg=tnews_infer_cfg,
eval_cfg=tnews_eval_cfg),
dict(
type=TNewsDataset,
path='json',
abbr='tnews-test',
data_files='./data/FewCLUE/tnews/test_public.json',
split='train',
reader_cfg=tnews_reader_cfg,
infer_cfg=tnews_infer_cfg,
eval_cfg=tnews_eval_cfg)
]
opencompass/configs/datasets/FewCLUE_tnews/FewCLUE_tnews_ppl_d10e8a.py 0 → 100644
View file @ be3dfa50
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever
from opencompass.openicl.icl_inferencer import PPLInferencer
from opencompass.openicl.icl_evaluator import AccEvaluator
from opencompass.datasets import TNewsDataset
tnews_reader_cfg = dict(input_columns='sentence', output_column='label_desc2')
tnews_labels = [
'农业新闻', '旅游新闻', '游戏新闻', '科技类别公司新闻', '体育类别新闻', '初升高教育新闻', '娱乐圈新闻', '投资资讯',
'军事类别常识', '车辆新闻', '楼市新闻', '环球不含中国类别新闻', '书籍文化历史类别新闻', '故事类别新闻', '股票市场类别新闻'
]
tnews_infer_cfg = dict(
prompt_template=dict(
type=PromptTemplate,
template={
lb: dict(round=[
dict(role='HUMAN', prompt='{sentence}\n上述内容属于什么新闻？'),
dict(role='BOT', prompt=lb)
])
for lb in tnews_labels
}),
retriever=dict(type=ZeroRetriever),
inferencer=dict(type=PPLInferencer))
tnews_eval_cfg = dict(evaluator=dict(type=AccEvaluator))
tnews_datasets = [
dict(
type=TNewsDataset,
path='json',
abbr='tnews-dev',
data_files='./data/FewCLUE/tnews/dev_few_all.json',
split='train',
reader_cfg=tnews_reader_cfg,
infer_cfg=tnews_infer_cfg,
eval_cfg=tnews_eval_cfg),
dict(
type=TNewsDataset,
path='json',
abbr='tnews-test',
data_files='./data/FewCLUE/tnews/test_public.json',
split='train',
reader_cfg=tnews_reader_cfg,
infer_cfg=tnews_infer_cfg,
eval_cfg=tnews_eval_cfg)
]
opencompass/configs/datasets/FewCLUE_tnews/FewCLUE_tnews_ppl_fff486.py 0 → 100644
View file @ be3dfa50
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever
from opencompass.openicl.icl_inferencer import PPLInferencer
from opencompass.openicl.icl_evaluator import AccEvaluator
from opencompass.datasets import TNewsDataset
tnews_reader_cfg = dict(input_columns='sentence', output_column='label_desc2')
tnews_labels = [
'农业新闻', '旅游新闻', '游戏新闻', '科技类别公司新闻', '体育类别新闻', '初升高教育新闻', '娱乐圈新闻', '投资资讯',
'军事类别常识', '车辆新闻', '楼市新闻', '环球不含中国类别新闻', '书籍文化历史类别新闻', '故事类别新闻', '股票市场类别新闻'
]
tnews_infer_cfg = dict(
prompt_template=dict(
type=PromptTemplate,
template={
lb: dict(round=[
dict(role='HUMAN', prompt='以下内容属于什么新闻：{sentence}。'),
dict(role='BOT', prompt=lb)
])
for lb in tnews_labels
}),
retriever=dict(type=ZeroRetriever),
inferencer=dict(type=PPLInferencer))
tnews_eval_cfg = dict(evaluator=dict(type=AccEvaluator))
tnews_datasets = [
dict(
type=TNewsDataset,
path='json',
abbr='tnews-dev',
data_files='./data/FewCLUE/tnews/dev_few_all.json',
split='train',
reader_cfg=tnews_reader_cfg,
infer_cfg=tnews_infer_cfg,
eval_cfg=tnews_eval_cfg),
dict(
type=TNewsDataset,
path='json',
abbr='tnews-test',
data_files='./data/FewCLUE/tnews/test_public.json',
split='train',
reader_cfg=tnews_reader_cfg,
infer_cfg=tnews_infer_cfg,
eval_cfg=tnews_eval_cfg)
]
opencompass/configs/datasets/FinanceIQ/FinanceIQ_gen.py 0 → 100644
View file @ be3dfa50
from mmengine.config import read_base
with read_base():
from .FinanceIQ_gen_e0e6b5 import financeIQ_datasets # noqa: F401, F403
opencompass/configs/datasets/FinanceIQ/FinanceIQ_gen_e0e6b5.py 0 → 100644
View file @ be3dfa50
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import FixKRetriever
from opencompass.openicl.icl_inferencer import GenInferencer
from opencompass.openicl.icl_evaluator import AccEvaluator
from opencompass.datasets import FinanceIQDataset
from opencompass.utils.text_postprocessors import first_capital_postprocess
financeIQ_subject_mapping_en = {
'certified_public_accountant': '注册会计师（CPA）',
'banking_qualification': '银行从业资格',
'securities_qualification': '证券从业资格',
'fund_qualification': '基金从业资格',
'insurance_qualification': '保险从业资格CICE',
'economic_analyst': '经济师',
'taxation_practitioner': '税务师',
'futures_qualification': '期货从业资格',
'certified_fin_planner': '理财规划师',
'actuary_fin_math': '精算师-金融数学',
}
financeIQ_subject_mapping = {
'注册会计师（CPA）': '注册会计师（CPA）',
'银行从业资格': '银行从业资格',
'证券从业资格': '证券从业资格',
'基金从业资格': '基金从业资格',
'保险从业资格CICE': '保险从业资格CICE',
'经济师': '经济师',
'税务师': '税务师',
'期货从业资格': '期货从业资格',
'理财规划师': '理财规划师',
'精算师-金融数学': '精算师-金融数学',
}
financeIQ_all_sets = list(financeIQ_subject_mapping.keys())
financeIQ_datasets = []
for _name in financeIQ_all_sets:
_ch_name = financeIQ_subject_mapping[_name]
financeIQ_infer_cfg = dict(
ice_template=dict(
type=PromptTemplate,
template=dict(
begin='</E>',
round=[
dict(
role='HUMAN',
prompt=
f'以下是关于{_ch_name}的单项选择题，请直接给出正确答案的选项。\n题目：{{question}}\nA. {{A}}\nB. {{B}}\nC. {{C}}\nD. {{D}}'
),
dict(role='BOT', prompt='答案是: {answer}'),
]),
ice_token='</E>',
),
retriever=dict(type=FixKRetriever, fix_id_list=[0, 1, 2, 3, 4]),
inferencer=dict(type=GenInferencer),
)
financeIQ_eval_cfg = dict(
evaluator=dict(type=AccEvaluator),
pred_postprocessor=dict(type=first_capital_postprocess))
financeIQ_datasets.append(
dict(
type=FinanceIQDataset,
path='./data/FinanceIQ/',
name=_name,
abbr=f'FinanceIQ-{_name}',
reader_cfg=dict(
input_columns=['question', 'A', 'B', 'C', 'D'],
output_column='answer',
train_split='dev',
test_split='test'),
infer_cfg=financeIQ_infer_cfg,
eval_cfg=financeIQ_eval_cfg,
))
del _name, _ch_name
opencompass/configs/datasets/FinanceIQ/FinanceIQ_ppl.py 0 → 100644
View file @ be3dfa50
from mmengine.config import read_base
with read_base():
from .FinanceIQ_ppl_42b9bd import financeIQ_datasets # noqa: F401, F403
opencompass/configs/datasets/FinanceIQ/FinanceIQ_ppl_42b9bd.py 0 → 100644
View file @ be3dfa50
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import FixKRetriever
from opencompass.openicl.icl_inferencer import PPLInferencer
from opencompass.openicl.icl_evaluator import AccEvaluator
from opencompass.datasets import FinanceIQDataset
financeIQ_subject_mapping_en = {
'certified_public_accountant': '注册会计师（CPA）',
'banking_qualification': '银行从业资格',
'securities_qualification': '证券从业资格',
'fund_qualification': '基金从业资格',
'insurance_qualification': '保险从业资格CICE',
'economic_analyst': '经济师',
'taxation_practitioner': '税务师',
'futures_qualification': '期货从业资格',
'certified_fin_planner': '理财规划师',
'actuary_fin_math': '精算师-金融数学',
}
financeIQ_subject_mapping = {
'注册会计师（CPA）': '注册会计师（CPA）',
'银行从业资格': '银行从业资格',
'证券从业资格': '证券从业资格',
'基金从业资格': '基金从业资格',
'保险从业资格CICE': '保险从业资格CICE',
'经济师': '经济师',
'税务师': '税务师',
'期货从业资格': '期货从业资格',
'理财规划师': '理财规划师',
'精算师-金融数学': '精算师-金融数学',
}
financeIQ_all_sets = list(financeIQ_subject_mapping.keys())
financeIQ_datasets = []
for _name in financeIQ_all_sets:
_ch_name = financeIQ_subject_mapping[_name]
financeIQ_infer_cfg = dict(
ice_template=dict(
type=PromptTemplate,
template={
answer: dict(
begin='</E>',
round=[
dict(
role='HUMAN',
prompt=f'以下是关于{_ch_name}的单项选择题，请直接给出正确答案的选项。\n题目：{{question}}\nA. {{A}}\nB. {{B}}\nC. {{C}}\nD. {{D}}'
),
dict(role='BOT', prompt=f'答案是: {answer}'),
])
for answer in ['A', 'B', 'C', 'D']
},
ice_token='</E>',
),
retriever=dict(type=FixKRetriever, fix_id_list=[0, 1, 2, 3, 4]),
inferencer=dict(type=PPLInferencer),
)
financeIQ_eval_cfg = dict(evaluator=dict(type=AccEvaluator))
financeIQ_datasets.append(
dict(
type=FinanceIQDataset,
path='./data/FinanceIQ/',
name=_name,
abbr=f'FinanceIQ-{_name}',
reader_cfg=dict(
input_columns=['question', 'A', 'B', 'C', 'D'],
output_column='answer',
train_split='dev',
test_split='test'),
infer_cfg=financeIQ_infer_cfg,
eval_cfg=financeIQ_eval_cfg,
))
del _name, _ch_name
opencompass/configs/datasets/GLUE_CoLA/GLUE_CoLA_ppl.py 0 → 100644
View file @ be3dfa50
from mmengine.config import read_base
with read_base():
from .GLUE_CoLA_ppl_77d0df import CoLA_datasets # noqa: F401, F403
opencompass/configs/datasets/GLUE_CoLA/GLUE_CoLA_ppl_77d0df.py 0 → 100644
View file @ be3dfa50
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import FixKRetriever
from opencompass.openicl.icl_inferencer import PPLInferencer
from opencompass.openicl.icl_evaluator import AccEvaluator
from opencompass.datasets import HFDataset
_hint = 'The following are text classification questions. \n' \
'Please determine whether the following sentence is linguistically acceptable: ' \
'0 means unacceptable, 1 means acceptable.\n'
CoLA_infer_cfg = dict(
ice_template=dict(
type=PromptTemplate,
template='Sentence: {sentence}\nResult: {label}',
),
prompt_template=dict(
type=PromptTemplate,
template={
answer:
f'{_hint}</E>Sentence: {{sentence}}\nResult: {answer}'
for answer in [0, 1]
},
ice_token='</E>',
),
retriever=dict(type=FixKRetriever, fix_id_list=[17, 18, 19, 20, 21]),
inferencer=dict(type=PPLInferencer))
CoLA_eval_cfg = dict(evaluator=dict(type=AccEvaluator), )
CoLA_datasets = []
for _split in ['validation']:
CoLA_reader_cfg = dict(
input_columns=['sentence'],
output_column='label',
test_split=_split
)
CoLA_datasets.append(
dict(
abbr=f'CoLA-{_split}',
type=HFDataset,
path='glue',
name='cola',
reader_cfg=CoLA_reader_cfg,
infer_cfg=CoLA_infer_cfg,
eval_cfg=CoLA_eval_cfg
)
)
opencompass/configs/datasets/GLUE_MRPC/GLUE_MRPC_ppl.py 0 → 100644
View file @ be3dfa50
from mmengine.config import read_base
with read_base():
from .GLUE_MRPC_ppl_96564c import MRPC_datasets # noqa: F401, F403
opencompass/configs/datasets/GLUE_MRPC/GLUE_MRPC_ppl_96564c.py 0 → 100644
View file @ be3dfa50
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import FixKRetriever
from opencompass.openicl.icl_inferencer import PPLInferencer
from opencompass.openicl.icl_evaluator import AccEvaluator
from opencompass.datasets import HFDataset
_hint = 'The following are semantic matching questions. \n' \
'Please determine whether the following two sentences are semantically equivalent: ' \
'0 means not equivalent, 1 means equivalent.\n'
MRPC_infer_cfg = dict(
ice_template=dict(
type=PromptTemplate,
template='Sentence one: {sentence1}\nSentence two: {sentence2}\nResult: {label}',
),
prompt_template=dict(
type=PromptTemplate,
template={
answer:
f'{_hint}</E>Sentence one: {{sentence1}}\nSentence two: {{sentence2}}\nResult: {answer}'
for answer in [0, 1]
},
ice_token='</E>',
),
retriever=dict(type=FixKRetriever, fix_id_list=[0, 1, 2, 3, 4]),
inferencer=dict(type=PPLInferencer))
MRPC_eval_cfg = dict(evaluator=dict(type=AccEvaluator), )
MRPC_datasets = []
for _split in ['validation', 'test']:
MRPC_reader_cfg = dict(
input_columns=['sentence1', 'sentence2'],
output_column='label',
train_split='train',
test_split=_split
)
MRPC_datasets.append(
dict(
abbr=f'MRPC-{_split}',
type=HFDataset,
path='glue',
name='mrpc',
reader_cfg=MRPC_reader_cfg,
infer_cfg=MRPC_infer_cfg,
eval_cfg=MRPC_eval_cfg
)
)
opencompass/configs/datasets/GLUE_QQP/GLUE_QQP_ppl.py 0 → 100644
View file @ be3dfa50
from mmengine.config import read_base
with read_base():
from .GLUE_QQP_ppl_250d00 import QQP_datasets # noqa: F401, F403
opencompass/configs/datasets/GLUE_QQP/GLUE_QQP_ppl_250d00.py 0 → 100644
View file @ be3dfa50
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import FixKRetriever
from opencompass.openicl.icl_inferencer import PPLInferencer
from opencompass.openicl.icl_evaluator import AccEvaluator
from opencompass.datasets import HFDataset
_hint = 'The following are semantic matching questions. \n' \
'Please determine whether the following two sentences are semantically duplicate: ' \
'0 means not duplicate, 1 means duplicate.\n'
QQP_infer_cfg = dict(
ice_template=dict(
type=PromptTemplate,
template='Sentence one: {question1}\nSentence two: {question2}\nResult: {label}',
),
prompt_template=dict(
type=PromptTemplate,
template={
answer:
f'{_hint}</E>Sentence one: {{question1}}\nSentence two: {{question2}}\nResult: {answer}'
for answer in [0, 1]
},
ice_token='</E>',
),
retriever=dict(type=FixKRetriever, fix_id_list=[0, 1, 2, 3, 4]),
inferencer=dict(type=PPLInferencer))
QQP_eval_cfg = dict(evaluator=dict(type=AccEvaluator), )
QQP_datasets = []
for _split in ['validation', 'test']:
QQP_reader_cfg = dict(
input_columns=['question1', 'question2'],
output_column='label',
train_split='train',
test_split=_split
)
QQP_datasets.append(
dict(
abbr=f'QQP-{_split}',
type=HFDataset,
path='glue',
name='qqp',
reader_cfg=QQP_reader_cfg,
infer_cfg=QQP_infer_cfg,
eval_cfg=QQP_eval_cfg
)
)
opencompass/configs/datasets/GaokaoBench/GaokaoBench_gen.py 0 → 100644
View file @ be3dfa50
from mmengine.config import read_base
with read_base():
from .GaokaoBench_gen_5cfe9e import GaokaoBench_datasets # noqa: F401, F403
opencompass/configs/datasets/GaokaoBench/GaokaoBench_gen_5cfe9e.py 0 → 100644
View file @ be3dfa50
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever
from opencompass.openicl.icl_inferencer import GenInferencer
from opencompass.datasets import GaokaoBenchDataset
_MCQ_prompts = [
{
'type': 'single_choice',
'keyword': '2010-2022_Math_II_MCQs',
'prefix_prompt':
'请你做一道数学选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
'comment': ''
},
{
'type': 'single_choice',
'keyword': '2010-2022_Math_I_MCQs',
'prefix_prompt':
'请你做一道数学选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
'comment': ''
},
{
'type':
'single_choice',
'keyword':
'2010-2022_History_MCQs',
'prefix_prompt':
'请你做一道历史选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：'
},
{
'type':
'single_choice',
'keyword':
'2010-2022_Biology_MCQs',
'prefix_prompt':
'请你做一道生物选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：'
},
{
'type':
'single_choice',
'keyword':
'2010-2022_Political_Science_MCQs',
'prefix_prompt':
'请你做一道政治选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：'
},
{
'type':
'multi_choice',
'keyword':
'2010-2022_Physics_MCQs',
'prefix_prompt':
'请你做一道物理选择题。\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出所有符合题意的答案，并写在【答案】和<eoa>之间。\n例如：【答案】 AB <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】... <eoa>\n请你严格按照上述格式作答。\n'
},
{
'type':
'single_choice',
'keyword':
'2010-2022_Chemistry_MCQs',
'prefix_prompt':
'请你做一道化学选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：'
},
{
'type':
'single_choice',
'keyword':
'2010-2013_English_MCQs',
'prefix_prompt':
'请你做一道英语选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：'
},
{
'type':
'multi_question_choice',
'keyword':
'2010-2022_Chinese_Modern_Lit',
'prefix_prompt':
'请你做一道语文阅读理解题，其中包含三个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n'
},
{
'type':
'multi_question_choice',
'keyword':
'2010-2022_English_Fill_in_Blanks',
'prefix_prompt':
'请你做一道英语完形填空题,其中包含二十个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n'
},
{
'type':
'five_out_of_seven',
'keyword':
'2012-2022_English_Cloze_Test',
'prefix_prompt':
'请回答下面的问题，将符合题意的五个选项的字母写在【答案】和<eoa>之间，例如“【答案】 A B C D E <eoa>\n请严格按照上述格式作答。\n'
},
{
'type':
'multi_question_choice',
'keyword':
'2010-2022_Geography_MCQs',
'prefix_prompt':
'请你做一道地理选择题，其中包含两到三个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n'
},
{
'type':
'multi_question_choice',
'keyword':
'2010-2022_English_Reading_Comp',
'prefix_prompt':
'请你做一道英语阅读理解题，其中包含三到五个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n'
},
{
'type':
'multi_question_choice',
'keyword':
'2010-2022_Chinese_Lang_and_Usage_MCQs',
'prefix_prompt':
'请你做一道语文选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n（1）【解析】 ... <eoe>\n【答案】 ... <eoa>\n（2）【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。如果不止一道题，请分别作答\n题目如下：'
},
]
_FBQ_prompts = [{
'type': 'cloze',
'keyword': '2010-2022_Math_I_Fill-in-the-Blank',
'prefix_prompt':
'请解答下面的数学填空题\n仔细阅读题目，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。\n题目如下:',
'comment': ''
}, {
'type': 'cloze',
'keyword': '2010-2022_Math_II_Fill-in-the-Blank',
'prefix_prompt':
'请解答下面的数学填空题\n仔细阅读题目，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。\n题目如下:',
'comment': ''
}, {
'type': 'cloze',
'keyword':
'2010-2022_Chinese_Language_Famous_Passages_and_Sentences_Dictation',
'prefix_prompt':
'请回答下面的语文填空题\n请你仔细阅读题目，先找到题目对应的中国名篇，再从名篇中找到合适的句子填写到题目的空白处。请你将思考过程写在【解析】和<eoe>之间，将最终答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n（1）【解析】 ...<eoe>\n【答案】...<eoa>\n（2）【解析】 ...<eoe>\n【答案】...<eoa>\n请严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
}, {
'type': 'cloze',
'keyword': '2014-2022_English_Language_Cloze_Passage',
'prefix_prompt':
'请回答下面的英语短文填词题\n仔细阅读题目，空白处请填入一个适当单词或者括号内单词的正确形式。请你一步步思考，将思考过程写在【解析】和<eoe>之间，将最终答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n（1）【解析】 ...<eoe>\n【答案】...<eoa>\n（2）【解析】 ...<eoe>\n【答案】...<eoa>\n请严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
}]
_OEQ_prompts = [
{
'type': 'subjective',
'keyword': '2010-2022_Geography_Open-ended_Questions',
'prefix_prompt':
'请解答下面的地理解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。你的答案请写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下：',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Chemistry_Open-ended_Questions',
'prefix_prompt':
'请解答下面的化学解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Math_I_Open-ended_Questions',
'prefix_prompt':
'请解答下面的数学解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间，答案需要有完整的解题步骤。\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_History_Open-ended_Questions',
'prefix_prompt':
'请解答下面的历史解答题\n仔细阅读材料和题目，并充分结合你已有的知识，解答其中的问题。请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Biology_Open-ended_Questions',
'prefix_prompt':
'请解答下面的生物解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间,同一小题的答案用\t分隔开。\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...\t...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...\t...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Math_II_Open-ended_Questions',
'prefix_prompt':
'请解答下面的数学解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间，答案需要有完整的解题步骤。\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Physics_Open-ended_Questions',
'prefix_prompt':
'请解答下面的物理解答题，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）【解析】 ...<eoe>\n【答案】 ...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Political_Science_Open-ended_Questions',
'prefix_prompt':
'请解答下面的政治解答题\n仔细阅读材料和题目，并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'correction',
'keyword': '2012-2022_English_Language_Error_Correction',
'prefix_prompt':
'请解答下面的英语短文改错题，仔细阅读题目并充分结合你你已有的知识，找出其中10处需要改动的地方。请你一步步思考，把修改后的短文写在【答案】和<eoa>之间。\n完整的题目回答格式如下：【答案】 ...<eoa>\n 请你严格按照上述格式作答。\n题目如下:',
# "prefix_prompt": [
# "请解答下面的英语短文改错题，仔细阅读题目并充分结合你你已有的知识，找出其中10处需要改动的地方。请你一步步思考，把修改后的短文写在【答案】和<eoa>之间。\n完整的题目回答格式如下：【答案】 ...<eoa>\n 请你严格按照上述格式作答。\n题目如下:",
# "请比较下面两篇短文，找到第二篇和第一篇的10处不同，每处不同只涉及一个单词，请将结果写在【答案】和<eoa>之间。例如：【答案】1. 将play改为plays\n 2.增加了the\n ... <eoa>\n 完整的题目回答格式如下：【答案】(1) ... \n (2) ...\n ...(10) ...\n<eoa>\n请你严格按照上述格式作答。\n短文如下:"
# ],
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Ancient_Poetry_Reading',
'prefix_prompt':
'请解答下面的语文古代诗歌阅读题，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）【答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Practical_Text_Reading',
'prefix_prompt':
'请解答下面的语文实用类文本阅读，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）[答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Literary_Text_Reading',
'prefix_prompt':
'请解答下面的语文文学类文本阅读，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）[答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答,如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Classical_Chinese_Reading',
'prefix_prompt':
'请解答下面的语文文言文阅读，仔细阅读题目，前三题是单选题，最后一题要将文言文翻译为现代汉语。请你一步步思考并把最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。翻译题把翻译后的现代汉语句子写在【答案】后面，例如”【答案】今天天气很好 <eoa>”\n完整的题目回答格式如下：（1）[答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword':
'2010-2022_Chinese_Language_Language_and_Writing_Skills_Open-ended_Questions',
'prefix_prompt':
'请解答下面的语文解答题，仔细阅读题目，注意其中可能含有选择题。请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）【解析】 ...<eoe>\n【答案】 ...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
}
]
GaokaoBench_datasets = []
for _folder, _prompts in [
('Multiple-choice_Questions', _MCQ_prompts),
('Fill-in-the-blank_Questions', _FBQ_prompts),
('Open-ended_Questions', _OEQ_prompts),
]:
for _p in _prompts:
_reader_cfg = {
'input_columns': ['question'],
'output_column': 'answer',
}
_infer_cfg = {
'ice_template': {
'type': PromptTemplate,
'template': {
'round': [{
'role': 'HUMAN',
'prompt': _p['prefix_prompt'] + '{question}'
}]
},
'ice_token': '</E>'
},
'retriever': {
'type': ZeroRetriever
},
'inferencer': {
'type': GenInferencer,
'max_out_len': 1024,
}
}
_eval_cfg = {
'evaluator': {
'type': 'GaokaoBenchEvaluator' + '_' + _p['type'],
},
'pred_role': 'BOT',
}
_base_path = 'opencompass/GAOKAO-BENCH'
_dataset = {
'type': GaokaoBenchDataset,
'abbr': 'GaokaoBench_' + _p['keyword'],
'path': _base_path,
'filename': '/' + _folder + '/' + _p['keyword'] + '.json',
'name': _p['keyword'],
'reader_cfg': _reader_cfg,
'infer_cfg': _infer_cfg,
'eval_cfg': _eval_cfg,
}
GaokaoBench_datasets.append(_dataset)
_temporary_variables = [k for k in globals() if k.startswith('_')]
for _t in _temporary_variables:
del globals()[_t]
del _temporary_variables, _t
opencompass/configs/datasets/GaokaoBench/GaokaoBench_mixed.py 0 → 100644
View file @ be3dfa50
from mmengine.config import read_base
with read_base():
from .GaokaoBench_mixed_9af5ee import GaokaoBench_datasets # noqa: F401, F403
opencompass/configs/datasets/GaokaoBench/GaokaoBench_mixed_9af5ee.py 0 → 100644
View file @ be3dfa50
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever
from opencompass.openicl.icl_inferencer import GenInferencer, PPLInferencer
from opencompass.datasets import GaokaoBenchDataset
_MCQ_prompts = [
{
'type': 'single_choice',
'keyword': '2010-2022_Math_II_MCQs',
'prefix_prompt':
'请你做一道数学选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
'comment': ''
},
{
'type': 'single_choice',
'keyword': '2010-2022_Math_I_MCQs',
'prefix_prompt':
'请你做一道数学选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
'comment': ''
},
{
'type':
'single_choice',
'keyword':
'2010-2022_History_MCQs',
'prefix_prompt':
'请你做一道历史选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：'
},
{
'type':
'single_choice',
'keyword':
'2010-2022_Biology_MCQs',
'prefix_prompt':
'请你做一道生物选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：'
},
{
'type':
'single_choice',
'keyword':
'2010-2022_Political_Science_MCQs',
'prefix_prompt':
'请你做一道政治选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：'
},
{
'type':
'multi_choice',
'keyword':
'2010-2022_Physics_MCQs',
'prefix_prompt':
'请你做一道物理选择题。\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出所有符合题意的答案，并写在【答案】和<eoa>之间。\n例如：【答案】 AB <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】... <eoa>\n请你严格按照上述格式作答。\n'
},
{
'type':
'single_choice',
'keyword':
'2010-2022_Chemistry_MCQs',
'prefix_prompt':
'请你做一道化学选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：'
},
{
'type':
'single_choice',
'keyword':
'2010-2013_English_MCQs',
'prefix_prompt':
'请你做一道英语选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：'
},
{
'type':
'multi_question_choice',
'keyword':
'2010-2022_Chinese_Modern_Lit',
'prefix_prompt':
'请你做一道语文阅读理解题，其中包含三个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n'
},
{
'type':
'multi_question_choice',
'keyword':
'2010-2022_English_Fill_in_Blanks',
'prefix_prompt':
'请你做一道英语完形填空题,其中包含二十个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n'
},
{
'type':
'five_out_of_seven',
'keyword':
'2012-2022_English_Cloze_Test',
'prefix_prompt':
'请回答下面的问题，将符合题意的五个选项的字母写在【答案】和<eoa>之间，例如“【答案】 A B C D E <eoa>\n请严格按照上述格式作答。\n'
},
{
'type':
'multi_question_choice',
'keyword':
'2010-2022_Geography_MCQs',
'prefix_prompt':
'请你做一道地理选择题，其中包含两到三个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n'
},
{
'type':
'multi_question_choice',
'keyword':
'2010-2022_English_Reading_Comp',
'prefix_prompt':
'请你做一道英语阅读理解题，其中包含三到五个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n'
},
{
'type':
'multi_question_choice',
'keyword':
'2010-2022_Chinese_Lang_and_Usage_MCQs',
'prefix_prompt':
'请你做一道语文选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n（1）【解析】 ... <eoe>\n【答案】 ... <eoa>\n（2）【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。如果不止一道题，请分别作答\n题目如下：'
},
]
_FBQ_prompts = [{
'type': 'cloze',
'keyword': '2010-2022_Math_I_Fill-in-the-Blank',
'prefix_prompt':
'请解答下面的数学填空题\n仔细阅读题目，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。\n题目如下:',
'comment': ''
}, {
'type': 'cloze',
'keyword': '2010-2022_Math_II_Fill-in-the-Blank',
'prefix_prompt':
'请解答下面的数学填空题\n仔细阅读题目，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。\n题目如下:',
'comment': ''
}, {
'type': 'cloze',
'keyword':
'2010-2022_Chinese_Language_Famous_Passages_and_Sentences_Dictation',
'prefix_prompt':
'请回答下面的语文填空题\n请你仔细阅读题目，先找到题目对应的中国名篇，再从名篇中找到合适的句子填写到题目的空白处。请你将思考过程写在【解析】和<eoe>之间，将最终答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n（1）【解析】 ...<eoe>\n【答案】...<eoa>\n（2）【解析】 ...<eoe>\n【答案】...<eoa>\n请严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
}, {
'type': 'cloze',
'keyword': '2014-2022_English_Language_Cloze_Passage',
'prefix_prompt':
'请回答下面的英语短文填词题\n仔细阅读题目，空白处请填入一个适当单词或者括号内单词的正确形式。请你一步步思考，将思考过程写在【解析】和<eoe>之间，将最终答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n（1）【解析】 ...<eoe>\n【答案】...<eoa>\n（2）【解析】 ...<eoe>\n【答案】...<eoa>\n请严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
}]
_OEQ_prompts = [
{
'type': 'subjective',
'keyword': '2010-2022_Geography_Open-ended_Questions',
'prefix_prompt':
'请解答下面的地理解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。你的答案请写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下：',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Chemistry_Open-ended_Questions',
'prefix_prompt':
'请解答下面的化学解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Math_I_Open-ended_Questions',
'prefix_prompt':
'请解答下面的数学解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间，答案需要有完整的解题步骤。\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_History_Open-ended_Questions',
'prefix_prompt':
'请解答下面的历史解答题\n仔细阅读材料和题目，并充分结合你已有的知识，解答其中的问题。请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Biology_Open-ended_Questions',
'prefix_prompt':
'请解答下面的生物解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间,同一小题的答案用\t分隔开。\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...\t...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...\t...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Math_II_Open-ended_Questions',
'prefix_prompt':
'请解答下面的数学解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间，答案需要有完整的解题步骤。\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Physics_Open-ended_Questions',
'prefix_prompt':
'请解答下面的物理解答题，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）【解析】 ...<eoe>\n【答案】 ...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Political_Science_Open-ended_Questions',
'prefix_prompt':
'请解答下面的政治解答题\n仔细阅读材料和题目，并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'correction',
'keyword': '2012-2022_English_Language_Error_Correction',
'prefix_prompt':
'请解答下面的英语短文改错题，仔细阅读题目并充分结合你你已有的知识，找出其中10处需要改动的地方。请你一步步思考，把修改后的短文写在【答案】和<eoa>之间。\n完整的题目回答格式如下：【答案】 ...<eoa>\n 请你严格按照上述格式作答。\n题目如下:',
# "prefix_prompt": [
# "请解答下面的英语短文改错题，仔细阅读题目并充分结合你你已有的知识，找出其中10处需要改动的地方。请你一步步思考，把修改后的短文写在【答案】和<eoa>之间。\n完整的题目回答格式如下：【答案】 ...<eoa>\n 请你严格按照上述格式作答。\n题目如下:",
# "请比较下面两篇短文，找到第二篇和第一篇的10处不同，每处不同只涉及一个单词，请将结果写在【答案】和<eoa>之间。例如：【答案】1. 将play改为plays\n 2.增加了the\n ... <eoa>\n 完整的题目回答格式如下：【答案】(1) ... \n (2) ...\n ...(10) ...\n<eoa>\n请你严格按照上述格式作答。\n短文如下:"
# ],
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Ancient_Poetry_Reading',
'prefix_prompt':
'请解答下面的语文古代诗歌阅读题，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）【答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Practical_Text_Reading',
'prefix_prompt':
'请解答下面的语文实用类文本阅读，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）[答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Literary_Text_Reading',
'prefix_prompt':
'请解答下面的语文文学类文本阅读，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）[答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答,如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Classical_Chinese_Reading',
'prefix_prompt':
'请解答下面的语文文言文阅读，仔细阅读题目，前三题是单选题，最后一题要将文言文翻译为现代汉语。请你一步步思考并把最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。翻译题把翻译后的现代汉语句子写在【答案】后面，例如”【答案】今天天气很好 <eoa>”\n完整的题目回答格式如下：（1）[答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
},
{
'type': 'subjective',
'keyword':
'2010-2022_Chinese_Language_Language_and_Writing_Skills_Open-ended_Questions',
'prefix_prompt':
'请解答下面的语文解答题，仔细阅读题目，注意其中可能含有选择题。请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）【解析】 ...<eoe>\n【答案】 ...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。如果不止一道题，请分别作答。\n题目如下:',
'comment': ''
}
]
GaokaoBench_datasets = []
for _folder, _prompts in [
('Multiple-choice_Questions', _MCQ_prompts),
('Fill-in-the-blank_Questions', _FBQ_prompts),
('Open-ended_Questions', _OEQ_prompts),
]:
for _p in _prompts:
if _p['type'] == 'single_choice':
continue
_reader_cfg = {
'input_columns': ['question'],
'output_column': 'answer',
}
_infer_cfg = {
'ice_template': {
'type': PromptTemplate,
'template': {
'round': [{
'role': 'HUMAN',
'prompt': _p['prefix_prompt'] + '{question}'
}]
},
'ice_token': '</E>'
},
'retriever': {
'type': ZeroRetriever
},
'inferencer': {
'type': GenInferencer,
'max_out_len': 1024,
}
}
_eval_cfg = {
'evaluator': {
'type': 'GaokaoBenchEvaluator' + '_' + _p['type'],
},
'pred_role': 'BOT',
}
_base_path = './data/GAOKAO-BENCH/data'
_dataset = {
'type': GaokaoBenchDataset,
'abbr': 'GaokaoBench_' + _p['keyword'],
'path': _base_path,
'filename': '/' + _folder + '/' + _p['keyword'] + '.json',
'name': _p['keyword'],
'reader_cfg': _reader_cfg,
'infer_cfg': _infer_cfg,
'eval_cfg': _eval_cfg,
}
GaokaoBench_datasets.append(_dataset)
_folder = 'Multiple-choice_Questions'
for _p in _MCQ_prompts:
if _p['type'] != 'single_choice':
continue
_reader_cfg = {
'input_columns': ['question'],
'output_column': 'answer',
}
_infer_cfg = {
'ice_template': {
'type': PromptTemplate,
'template': {
answer: {
'round': [{
'role': 'HUMAN',
'prompt': _p['prefix_prompt'] + '{question}'
}, {
'role': 'BOT',
'prompt': f'【答案】{answer} <eoa>'
}]
}
for answer in ['A', 'B', 'C', 'D']
},
'ice_token': '</E>'
},
'retriever': {
'type': ZeroRetriever
},
'inferencer': {
'type': PPLInferencer
}
}
_eval_cfg = {
'evaluator': {
'type': 'GaokaoBenchEvaluator' + '_' + _p['type'],
},
'pred_role': 'BOT',
}
_base_path = 'opencompass/GAOKAO-BENCH'
_dataset = {
'type': GaokaoBenchDataset,
'abbr': 'GaokaoBench_' + _p['keyword'],
'path': _base_path,
'filename': '/' + _folder + '/' + _p['keyword'] + '.json',
'name': _p['keyword'],
'reader_cfg': _reader_cfg,
'infer_cfg': _infer_cfg,
'eval_cfg': _eval_cfg,
}
GaokaoBench_datasets.append(_dataset)
_temporary_variables = [k for k in globals() if k.startswith('_')]
for _t in _temporary_variables:
del globals()[_t]
del _temporary_variables, _t
opencompass/configs/datasets/GaokaoBench/GaokaoBench_no_subjective_gen_4c31db.py 0 → 100644
View file @ be3dfa50
import os
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever
from opencompass.openicl.icl_inferencer import GenInferencer
from opencompass.datasets import GaokaoBenchDataset
from mmengine.config import read_base
with read_base():
from .GaokaoBench_prompts import MCQ_prompts, FBQ_prompts
GaokaoBench_datasets = []
for folder, prompts in [
('Multiple-choice_Questions', MCQ_prompts),
('Fill-in-the-blank_Questions', FBQ_prompts),
]:
for p in prompts:
reader_cfg = {
'input_columns': ['question'],
'output_column': 'answer',
}
infer_cfg = {
'ice_template': {
'type': PromptTemplate,
'template': {'round': [{'role': 'HUMAN', 'prompt': p['prefix_prompt'] + '{question}'}]},
'ice_token': '</E>',
},
'retriever': {'type': ZeroRetriever},
'inferencer': {'type': GenInferencer, 'max_out_len': 1024},
}
eval_cfg = {
'evaluator': {'type': 'GaokaoBenchEvaluator' + '_' + p['type']},
'pred_role': 'BOT',
}
_base_path = 'opencompass/GAOKAO-BENCH'
dataset = {
'type': GaokaoBenchDataset,
'abbr': 'GaokaoBench_' + p['keyword'],
'path': _base_path,
'filename': '/' + folder + '/' + p['keyword'] + '.json',
'name': p['keyword'],
'reader_cfg': reader_cfg,
'infer_cfg': infer_cfg,
'eval_cfg': eval_cfg,
}
GaokaoBench_datasets.append(dataset)
opencompass/configs/datasets/GaokaoBench/GaokaoBench_no_subjective_gen_d21e37.py 0 → 100644
View file @ be3dfa50
import os
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever
from opencompass.openicl.icl_inferencer import GenInferencer
from opencompass.datasets import GaokaoBenchDataset
from mmengine.config import read_base
with read_base():
from .GaokaoBench_prompts import MCQ_prompts, FBQ_prompts
GaokaoBench_datasets = []
for folder, prompts in [
('Multiple-choice_Questions', MCQ_prompts),
('Fill-in-the-blank_Questions', FBQ_prompts),
]:
for p in prompts:
reader_cfg = {
'input_columns': ['question'],
'output_column': 'answer',
}
infer_cfg = {
'prompt_template': {
'type': PromptTemplate,
'template': p['prefix_prompt'] + '{question}',
},
'retriever': {'type': ZeroRetriever},
'inferencer': {'type': GenInferencer, 'max_out_len': 1024},
}
eval_cfg = {
'evaluator': {'type': 'GaokaoBenchEvaluator' + '_' + p['type']},
'pred_role': 'BOT',
}
_base_path = 'opencompass/GAOKAO-BENCH'
dataset = {
'type': GaokaoBenchDataset,
'abbr': 'GaokaoBench_' + p['keyword'],
'path': _base_path,
'filename': '/' + folder + '/' + p['keyword'] + '.json',
'name': p['keyword'],
'reader_cfg': reader_cfg,
'infer_cfg': infer_cfg,
'eval_cfg': eval_cfg,
}
GaokaoBench_datasets.append(dataset)
opencompass/configs/datasets/GaokaoBench/GaokaoBench_prompts.py 0 → 100644
View file @ be3dfa50
MCQ_prompts = [
{
'type': 'single_choice',
'keyword': '2010-2022_Math_II_MCQs',
'prefix_prompt': '请你做一道数学选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
'comment': '',
},
{
'type': 'single_choice',
'keyword': '2010-2022_Math_I_MCQs',
'prefix_prompt': '请你做一道数学选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
'comment': '',
},
{
'type': 'single_choice',
'keyword': '2010-2022_History_MCQs',
'prefix_prompt': '请你做一道历史选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
},
{
'type': 'single_choice',
'keyword': '2010-2022_Biology_MCQs',
'prefix_prompt': '请你做一道生物选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
},
{
'type': 'single_choice',
'keyword': '2010-2022_Political_Science_MCQs',
'prefix_prompt': '请你做一道政治选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
},
{
'type': 'multi_choice',
'keyword': '2010-2022_Physics_MCQs',
'prefix_prompt': '请你做一道物理选择题。\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出所有符合题意的答案，并写在【答案】和<eoa>之间。\n例如：【答案】 AB <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】... <eoa>\n请你严格按照上述格式作答。\n',
},
{
'type': 'single_choice',
'keyword': '2010-2022_Chemistry_MCQs',
'prefix_prompt': '请你做一道化学选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
},
{
'type': 'single_choice',
'keyword': '2010-2013_English_MCQs',
'prefix_prompt': '请你做一道英语选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。\n题目如下：',
},
{
'type': 'multi_question_choice',
'keyword': '2010-2022_Chinese_Modern_Lit',
'prefix_prompt': '请你做一道语文阅读理解题，其中包含三个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n',
},
{
'type': 'multi_question_choice',
'keyword': '2010-2022_English_Fill_in_Blanks',
'prefix_prompt': '请你做一道英语完形填空题,其中包含二十个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n',
},
{
'type': 'five_out_of_seven',
'keyword': '2012-2022_English_Cloze_Test',
'prefix_prompt': '请回答下面的问题，将符合题意的五个选项的字母写在【答案】和<eoa>之间，例如“【答案】 A B C D E <eoa>\n请严格按照上述格式作答。\n',
},
{
'type': 'multi_question_choice',
'keyword': '2010-2022_Geography_MCQs',
'prefix_prompt': '请你做一道地理选择题，其中包含两到三个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n',
},
{
'type': 'multi_question_choice',
'keyword': '2010-2022_English_Reading_Comp',
'prefix_prompt': '请你做一道英语阅读理解题，其中包含三到五个小题。\n请你一步一步思考。每一题你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：（1）【答案】 A <eoa>\n（2）【答案】 B <eoa>\n请你严格按照上述格式作答。\n',
},
{
'type': 'multi_question_choice',
'keyword': '2010-2022_Chinese_Lang_and_Usage_MCQs',
'prefix_prompt': '请你做一道语文选择题\n请你一步一步思考并将思考过程写在【解析】和<eoe>之间。你将从A，B，C，D中选出正确的答案，并写在【答案】和<eoa>之间。\n例如：【答案】: A <eoa>\n完整的题目回答的格式如下：\n（1）【解析】 ... <eoe>\n【答案】 ... <eoa>\n（2）【解析】 ... <eoe>\n【答案】 ... <eoa>\n请你严格按照上述格式作答。如果不止一道题，请分别作答\n题目如下：',
},
]
FBQ_prompts = [
{
'type': 'cloze',
'keyword': '2010-2022_Math_I_Fill-in-the-Blank',
'prefix_prompt': '请解答下面的数学填空题\n仔细阅读题目，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。\n题目如下:',
'comment': '',
},
{
'type': 'cloze',
'keyword': '2010-2022_Math_II_Fill-in-the-Blank',
'prefix_prompt': '请解答下面的数学填空题\n仔细阅读题目，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。\n题目如下:',
'comment': '',
},
{
'type': 'cloze',
'keyword': '2010-2022_Chinese_Language_Famous_Passages_and_Sentences_Dictation',
'prefix_prompt': '请回答下面的语文填空题\n请你仔细阅读题目，先找到题目对应的中国名篇，再从名篇中找到合适的句子填写到题目的空白处。请你将思考过程写在【解析】和<eoe>之间，将最终答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n（1）【解析】 ...<eoe>\n【答案】...<eoa>\n（2）【解析】 ...<eoe>\n【答案】...<eoa>\n请严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'cloze',
'keyword': '2014-2022_English_Language_Cloze_Passage',
'prefix_prompt': '请回答下面的英语短文填词题\n仔细阅读题目，空白处请填入一个适当单词或者括号内单词的正确形式。请你一步步思考，将思考过程写在【解析】和<eoe>之间，将最终答案写在【答案】和<eoa>之间。\n完整的题目回答格式如下：\n（1）【解析】 ...<eoe>\n【答案】...<eoa>\n（2）【解析】 ...<eoe>\n【答案】...<eoa>\n请严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
]
OEQ_prompts = [
{
'type': 'subjective',
'keyword': '2010-2022_Geography_Open-ended_Questions',
'prefix_prompt': '请解答下面的地理解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。你的答案请写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下：',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Chemistry_Open-ended_Questions',
'prefix_prompt': '请解答下面的化学解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Math_I_Open-ended_Questions',
'prefix_prompt': '请解答下面的数学解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间，答案需要有完整的解题步骤。\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_History_Open-ended_Questions',
'prefix_prompt': '请解答下面的历史解答题\n仔细阅读材料和题目，并充分结合你已有的知识，解答其中的问题。请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Biology_Open-ended_Questions',
'prefix_prompt': '请解答下面的生物解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间,同一小题的答案用\t分隔开。\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...\t...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...\t...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Math_II_Open-ended_Questions',
'prefix_prompt': '请解答下面的数学解答题\n仔细阅读题目并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间，答案需要有完整的解题步骤。\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Physics_Open-ended_Questions',
'prefix_prompt': '请解答下面的物理解答题，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）【解析】 ...<eoe>\n【答案】 ...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Political_Science_Open-ended_Questions',
'prefix_prompt': '请解答下面的政治解答题\n仔细阅读材料和题目，并充分结合你已有的知识，解答其中的问题，请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的答案写在【答案】和<eoa>之间\n完整的题目回答格式如下：\n(1)【解析】 ...<eoe>\n【答案】...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'correction',
'keyword': '2012-2022_English_Language_Error_Correction',
'prefix_prompt': '请解答下面的英语短文改错题，仔细阅读题目并充分结合你你已有的知识，找出其中10处需要改动的地方。请你一步步思考，把修改后的短文写在【答案】和<eoa>之间。\n完整的题目回答格式如下：【答案】 ...<eoa>\n 请你严格按照上述格式作答。\n题目如下:',
# "prefix_prompt": [
# "请解答下面的英语短文改错题，仔细阅读题目并充分结合你你已有的知识，找出其中10处需要改动的地方。请你一步步思考，把修改后的短文写在【答案】和<eoa>之间。\n完整的题目回答格式如下：【答案】 ...<eoa>\n 请你严格按照上述格式作答。\n题目如下:",
# "请比较下面两篇短文，找到第二篇和第一篇的10处不同，每处不同只涉及一个单词，请将结果写在【答案】和<eoa>之间。例如：【答案】1. 将play改为plays\n 2.增加了the\n ... <eoa>\n 完整的题目回答格式如下：【答案】(1) ... \n (2) ...\n ...(10) ...\n<eoa>\n请你严格按照上述格式作答。\n短文如下:"
# ],
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Ancient_Poetry_Reading',
'prefix_prompt': '请解答下面的语文古代诗歌阅读题，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）【答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Practical_Text_Reading',
'prefix_prompt': '请解答下面的语文实用类文本阅读，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）[答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Literary_Text_Reading',
'prefix_prompt': '请解答下面的语文文学类文本阅读，仔细阅读题目，注意其中可能含有单选题和多选题。请你一步步思考并将最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）[答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答,如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Classical_Chinese_Reading',
'prefix_prompt': '请解答下面的语文文言文阅读，仔细阅读题目，前三题是单选题，最后一题要将文言文翻译为现代汉语。请你一步步思考并把最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。翻译题把翻译后的现代汉语句子写在【答案】后面，例如”【答案】今天天气很好 <eoa>”\n完整的题目回答格式如下：（1）[答案】 ...<eoa>\n (2)【答案】...<eoa>\n请你严格按照上述格式作答，如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
{
'type': 'subjective',
'keyword': '2010-2022_Chinese_Language_Language_and_Writing_Skills_Open-ended_Questions',
'prefix_prompt': '请解答下面的语文解答题，仔细阅读题目，注意其中可能含有选择题。请你一步步思考并将思考过程写在【解析】和<eoe>之间。请把你的最终答案写在【答案】和<eoa>之间。选择题你要从选项中选出符合题意的答案，例如“【答案】A <eoa>”。\n完整的题目回答格式如下：（1）【解析】 ...<eoe>\n【答案】 ...<eoa>\n (2)【解析】 ...<eoe>\n【答案】...<eoa>\n请你严格按照上述格式作答。如果不止一道题，请分别作答。\n题目如下:',
'comment': '',
},
]
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment