Unverified Commit 0b45cc71 authored by Weihao XUAN's avatar Weihao XUAN Committed by GitHub
Browse files

Update MMLU-ProX task (#3174)

* update MMLU_ProX

* update MMLU_ProX

* cleanup code by pre-commit
parent 05b37f20
dataset_path: li-lab/MMLU-ProX-Lite
dataset_name: te
test_split: test
fewshot_split: validation
fewshot_config:
sampler: first_n
doc_to_text: !function utils.fewshot_to_text
doc_to_target: ""
output_type: generate_until
doc_to_text: !function utils.doc_to_text
doc_to_target: answer
filter_list:
- name: "custom-extract"
filter:
- function: "regex"
regex_pattern: 'సమాధానం \(?([ABCDEFGHIJ])\)?'
- function: "take_first"
generation_kwargs:
until:
- "</s>"
- "Q:"
- "ప్రశ్న:"
- "<|im_end|>"
do_sample: false
temperature: 0.0
max_gen_toks: 2048
num_fewshot: 5
metric_list:
- metric: exact_match
aggregation: mean
higher_is_better: true
ignore_case: true
ignore_punctuation: true
metadata:
version: 0.0
dataset_path: li-lab/MMLU-ProX
dataset_name: te
test_split: test
fewshot_split: validation
fewshot_config:
sampler: first_n
doc_to_text: !function utils.fewshot_to_text
doc_to_target: ""
output_type: generate_until
doc_to_text: !function utils.doc_to_text
doc_to_target: answer
filter_list:
- name: "custom-extract"
filter:
- function: "regex"
regex_pattern: 'సమాధానం \(?([ABCDEFGHIJ])\)?'
- function: "take_first"
generation_kwargs:
until:
- "</s>"
- "Q:"
- "ప్రశ్న:"
- "<|im_end|>"
do_sample: false
temperature: 0.0
max_gen_toks: 2048
num_fewshot: 5
metric_list:
- metric: exact_match
aggregation: mean
higher_is_better: true
ignore_case: true
ignore_punctuation: true
metadata:
version: 0.0
description: 'క్రింది జీవశాస్త్రంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి
దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక
అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_biology
task_alias: biology
process_docs: !function utils.process_biology
description: 'క్రింది వ్యాపారంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి
దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక
అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_business
task_alias: business
process_docs: !function utils.process_business
description: 'క్రింది రసాయన శాస్త్రంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి
దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక
అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_chemistry
task_alias: chemistry
process_docs: !function utils.process_chemistry
description: 'క్రింది కంప్యూటర్ సైన్స్కి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో).
దయచేసి దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన
ఎంపిక అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_computer_science
task_alias: computer_science
process_docs: !function utils.process_computer_science
description: 'క్రింది ఆర్థిక శాస్త్రంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో).
దయచేసి దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన
ఎంపిక అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_economics
task_alias: economics
process_docs: !function utils.process_economics
description: 'క్రింది ఇంజనీరింగ్కి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి
దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక
అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_engineering
task_alias: engineering
process_docs: !function utils.process_engineering
description: 'క్రింది ఆరోగ్యంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి దశలవారీగా
ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_health
task_alias: health
process_docs: !function utils.process_health
description: 'క్రింది చరిత్రకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి దశలవారీగా
ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_history
task_alias: history
process_docs: !function utils.process_history
description: 'క్రింది న్యాయశాస్త్రంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి
దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక
అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_law
task_alias: law
process_docs: !function utils.process_law
description: 'క్రింది గణితంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి దశలవారీగా
ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_math
task_alias: math
process_docs: !function utils.process_math
description: 'క్రింది ఇతరమైనకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి దశలవారీగా
ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_other
task_alias: other
process_docs: !function utils.process_other
description: 'క్రింది తత్వవేత్తకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి
దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక
అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_philosophy
task_alias: philosophy
process_docs: !function utils.process_philosophy
description: 'క్రింది భౌతిక శాస్త్రంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి
దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక
అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_physics
task_alias: physics
process_docs: !function utils.process_physics
description: 'క్రింది మనోవిజ్ఞానశాస్త్రంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో).
దయచేసి దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన
ఎంపిక అక్షరం.
'
include: _te_lite_template_yaml
task: mmlu_prox_lite_te_psychology
task_alias: psychology
process_docs: !function utils.process_psychology
description: 'క్రింది జీవశాస్త్రంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి
దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక
అక్షరం.
'
include: _te_template_yaml
task: mmlu_prox_te_biology
task_alias: biology
process_docs: !function utils.process_biology
description: 'క్రింది వ్యాపారంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి
దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక
అక్షరం.
'
include: _te_template_yaml
task: mmlu_prox_te_business
task_alias: business
process_docs: !function utils.process_business
description: 'క్రింది రసాయన శాస్త్రంకి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో). దయచేసి
దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన ఎంపిక
అక్షరం.
'
include: _te_template_yaml
task: mmlu_prox_te_chemistry
task_alias: chemistry
process_docs: !function utils.process_chemistry
description: 'క్రింది కంప్యూటర్ సైన్స్కి సంబంధించిన బహుళఎంపిక ప్రశ్న (సమాధానాలతో).
దయచేసి దశలవారీగా ఆలోచించి, మీ సమాధానాన్ని "సమాధానం (X)"తో ముగించండి, ఇక్కడ X సరైన
ఎంపిక అక్షరం.
'
include: _te_template_yaml
task: mmlu_prox_te_computer_science
task_alias: computer_science
process_docs: !function utils.process_computer_science
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment