Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
gaoqiong
lm-evaluation-harness
Commits
0b45cc71
Unverified
Commit
0b45cc71
authored
Aug 26, 2025
by
Weihao XUAN
Committed by
GitHub
Aug 25, 2025
Browse files
Update MMLU-ProX task (#3174)
* update MMLU_ProX * update MMLU_ProX * cleanup code by pre-commit
parent
05b37f20
Changes
741
Hide whitespace changes
Inline
Side-by-side
Showing
20 changed files
with
209 additions
and
0 deletions
+209
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_computer_science.yaml
...asks/mmlu_prox/ar/mmlu_prox_lite_ar_computer_science.yaml
+8
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_economics.yaml
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_economics.yaml
+8
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_engineering.yaml
...val/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_engineering.yaml
+8
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_health.yaml
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_health.yaml
+8
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_history.yaml
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_history.yaml
+8
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_law.yaml
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_law.yaml
+8
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_math.yaml
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_math.yaml
+8
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_other.yaml
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_other.yaml
+8
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_philosophy.yaml
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_philosophy.yaml
+8
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_physics.yaml
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_physics.yaml
+8
-0
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_psychology.yaml
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_psychology.yaml
+8
-0
lm_eval/tasks/mmlu_prox/bn/_bn_lite_template_yaml
lm_eval/tasks/mmlu_prox/bn/_bn_lite_template_yaml
+35
-0
lm_eval/tasks/mmlu_prox/bn/_mmlu_prox_lite_bn.yaml
lm_eval/tasks/mmlu_prox/bn/_mmlu_prox_lite_bn.yaml
+23
-0
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_biology.yaml
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_biology.yaml
+9
-0
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_business.yaml
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_business.yaml
+9
-0
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_chemistry.yaml
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_chemistry.yaml
+9
-0
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_computer_science.yaml
...asks/mmlu_prox/bn/mmlu_prox_lite_bn_computer_science.yaml
+9
-0
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_economics.yaml
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_economics.yaml
+9
-0
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_engineering.yaml
...val/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_engineering.yaml
+9
-0
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_health.yaml
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_health.yaml
+9
-0
No files found.
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_computer_science.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
علوم
الكمبيوتر.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_computer_science
task_alias
:
computer_science
process_docs
:
!function
utils.process_computer_science
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_economics.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
الاقتصاد.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_economics
task_alias
:
economics
process_docs
:
!function
utils.process_economics
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_engineering.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
الهندسة.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_engineering
task_alias
:
engineering
process_docs
:
!function
utils.process_engineering
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_health.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
الصحة.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_health
task_alias
:
health
process_docs
:
!function
utils.process_health
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_history.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
التاريخ.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_history
task_alias
:
history
process_docs
:
!function
utils.process_history
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_law.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
القانون.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_law
task_alias
:
law
process_docs
:
!function
utils.process_law
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_math.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
الرياضيات.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_math
task_alias
:
math
process_docs
:
!function
utils.process_math
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_other.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
أخرى.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_other
task_alias
:
other
process_docs
:
!function
utils.process_other
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_philosophy.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
الفلسفة.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_philosophy
task_alias
:
philosophy
process_docs
:
!function
utils.process_philosophy
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_physics.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
الفيزياء.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_physics
task_alias
:
physics
process_docs
:
!function
utils.process_physics
lm_eval/tasks/mmlu_prox/ar/mmlu_prox_lite_ar_psychology.yaml
0 → 100644
View file @
0b45cc71
description
:
'
فيما
يلي
أسئلة
اختيار
من
متعدد
(مع
إجابات)
حول
علم
النفس.
فكر
خطوة
بخطوة
ثم
أنهِ
إجابتك
بـ
'
'
الإجابة
هي
(X)'
'
حيث
X
هو
حرف
الخيار
الصحيح.
'
include
:
_ar_lite_template_yaml
task
:
mmlu_prox_lite_ar_psychology
task_alias
:
psychology
process_docs
:
!function
utils.process_psychology
lm_eval/tasks/mmlu_prox/bn/_bn_lite_template_yaml
0 → 100644
View file @
0b45cc71
dataset_path: li-lab/MMLU-ProX-Lite
dataset_name: bn
test_split: test
fewshot_split: validation
fewshot_config:
sampler: first_n
doc_to_text: !function utils.fewshot_to_text
doc_to_target: ""
output_type: generate_until
doc_to_text: !function utils.doc_to_text
doc_to_target: answer
filter_list:
- name: "custom-extract"
filter:
- function: "regex"
regex_pattern: 'উত্তর হল \(?([ABCDEFGHIJ])\)?'
- function: "take_first"
generation_kwargs:
until:
- "</s>"
- "Q:"
- "প্রশ্ন:"
- "<|im_end|>"
do_sample: false
temperature: 0.0
max_gen_toks: 2048
num_fewshot: 5
metric_list:
- metric: exact_match
aggregation: mean
higher_is_better: true
ignore_case: true
ignore_punctuation: true
metadata:
version: 0.0
lm_eval/tasks/mmlu_prox/bn/_mmlu_prox_lite_bn.yaml
0 → 100644
View file @
0b45cc71
group
:
mmlu_prox_lite_bn
task
:
-
mmlu_prox_lite_bn_biology
-
mmlu_prox_lite_bn_business
-
mmlu_prox_lite_bn_chemistry
-
mmlu_prox_lite_bn_computer_science
-
mmlu_prox_lite_bn_economics
-
mmlu_prox_lite_bn_engineering
-
mmlu_prox_lite_bn_health
-
mmlu_prox_lite_bn_history
-
mmlu_prox_lite_bn_law
-
mmlu_prox_lite_bn_math
-
mmlu_prox_lite_bn_other
-
mmlu_prox_lite_bn_philosophy
-
mmlu_prox_lite_bn_physics
-
mmlu_prox_lite_bn_psychology
aggregate_metric_list
:
-
aggregation
:
mean
metric
:
exact_match
weight_by_size
:
true
filter_list
:
custom-extract
metadata
:
version
:
0.0
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_biology.yaml
0 → 100644
View file @
0b45cc71
description
:
'
নিম্নলিখিত
জীববিজ্ঞান
সম্পর্কে
বহুনির্বাচনী
প্রশ্ন
(উত্তরসহ)।
ধাপে
ধাপে
চিন্তা
করুন
এবং
তারপর
আপনার
উত্তর
"উত্তর
হল
(X)"
দিয়ে
শেষ
করুন
যেখানে
X
হল
সঠিক
বিকল্পের
অক্ষর।
'
include
:
_bn_lite_template_yaml
task
:
mmlu_prox_lite_bn_biology
task_alias
:
biology
process_docs
:
!function
utils.process_biology
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_business.yaml
0 → 100644
View file @
0b45cc71
description
:
'
নিম্নলিখিত
ব্যবসা
সম্পর্কে
বহুনির্বাচনী
প্রশ্ন
(উত্তরসহ)।
ধাপে
ধাপে
চিন্তা
করুন
এবং
তারপর
আপনার
উত্তর
"উত্তর
হল
(X)"
দিয়ে
শেষ
করুন
যেখানে
X
হল
সঠিক
বিকল্পের
অক্ষর।
'
include
:
_bn_lite_template_yaml
task
:
mmlu_prox_lite_bn_business
task_alias
:
business
process_docs
:
!function
utils.process_business
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_chemistry.yaml
0 → 100644
View file @
0b45cc71
description
:
'
নিম্নলিখিত
রসায়ন
সম্পর্কে
বহুনির্বাচনী
প্রশ্ন
(উত্তরসহ)।
ধাপে
ধাপে
চিন্তা
করুন
এবং
তারপর
আপনার
উত্তর
"উত্তর
হল
(X)"
দিয়ে
শেষ
করুন
যেখানে
X
হল
সঠিক
বিকল্পের
অক্ষর।
'
include
:
_bn_lite_template_yaml
task
:
mmlu_prox_lite_bn_chemistry
task_alias
:
chemistry
process_docs
:
!function
utils.process_chemistry
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_computer_science.yaml
0 → 100644
View file @
0b45cc71
description
:
'
নিম্নলিখিত
কম্পিউটার
বিজ্ঞান
সম্পর্কে
বহুনির্বাচনী
প্রশ্ন
(উত্তরসহ)।
ধাপে
ধাপে
চিন্তা
করুন
এবং
তারপর
আপনার
উত্তর
"উত্তর
হল
(X)"
দিয়ে
শেষ
করুন
যেখানে
X
হল
সঠিক
বিকল্পের
অক্ষর।
'
include
:
_bn_lite_template_yaml
task
:
mmlu_prox_lite_bn_computer_science
task_alias
:
computer_science
process_docs
:
!function
utils.process_computer_science
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_economics.yaml
0 → 100644
View file @
0b45cc71
description
:
'
নিম্নলিখিত
অর্থনীতি
সম্পর্কে
বহুনির্বাচনী
প্রশ্ন
(উত্তরসহ)।
ধাপে
ধাপে
চিন্তা
করুন
এবং
তারপর
আপনার
উত্তর
"উত্তর
হল
(X)"
দিয়ে
শেষ
করুন
যেখানে
X
হল
সঠিক
বিকল্পের
অক্ষর।
'
include
:
_bn_lite_template_yaml
task
:
mmlu_prox_lite_bn_economics
task_alias
:
economics
process_docs
:
!function
utils.process_economics
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_engineering.yaml
0 → 100644
View file @
0b45cc71
description
:
'
নিম্নলিখিত
প্রকৌশল
সম্পর্কে
বহুনির্বাচনী
প্রশ্ন
(উত্তরসহ)।
ধাপে
ধাপে
চিন্তা
করুন
এবং
তারপর
আপনার
উত্তর
"উত্তর
হল
(X)"
দিয়ে
শেষ
করুন
যেখানে
X
হল
সঠিক
বিকল্পের
অক্ষর।
'
include
:
_bn_lite_template_yaml
task
:
mmlu_prox_lite_bn_engineering
task_alias
:
engineering
process_docs
:
!function
utils.process_engineering
lm_eval/tasks/mmlu_prox/bn/mmlu_prox_lite_bn_health.yaml
0 → 100644
View file @
0b45cc71
description
:
'
নিম্নলিখিত
স্বাস্থ্য
সম্পর্কে
বহুনির্বাচনী
প্রশ্ন
(উত্তরসহ)।
ধাপে
ধাপে
চিন্তা
করুন
এবং
তারপর
আপনার
উত্তর
"উত্তর
হল
(X)"
দিয়ে
শেষ
করুন
যেখানে
X
হল
সঠিক
বিকল্পের
অক্ষর।
'
include
:
_bn_lite_template_yaml
task
:
mmlu_prox_lite_bn_health
task_alias
:
health
process_docs
:
!function
utils.process_health
Prev
1
2
3
4
5
6
7
…
38
Next
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment