Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
gaoqiong
lm-evaluation-harness
Commits
0b45cc71
Unverified
Commit
0b45cc71
authored
Aug 26, 2025
by
Weihao XUAN
Committed by
GitHub
Aug 25, 2025
Browse files
Update MMLU-ProX task (#3174)
* update MMLU_ProX * update MMLU_ProX * cleanup code by pre-commit
parent
05b37f20
Changes
741
Hide whitespace changes
Inline
Side-by-side
Showing
20 changed files
with
180 additions
and
0 deletions
+180
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_computer_science.yaml
...asks/mmlu_prox/vi/mmlu_prox_lite_vi_computer_science.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_economics.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_economics.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_engineering.yaml
...val/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_engineering.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_health.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_health.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_history.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_history.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_law.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_law.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_math.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_math.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_other.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_other.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_philosophy.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_philosophy.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_physics.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_physics.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_psychology.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_psychology.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_biology.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_biology.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_business.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_business.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_chemistry.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_chemistry.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_computer_science.yaml
...val/tasks/mmlu_prox/vi/mmlu_prox_vi_computer_science.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_economics.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_economics.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_engineering.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_engineering.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_health.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_health.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_history.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_history.yaml
+9
-0
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_law.yaml
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_law.yaml
+9
-0
No files found.
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_computer_science.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Khoa
học
máy
tính
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_computer_science
task_alias
:
computer_science
process_docs
:
!function
utils.process_computer_science
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_economics.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Kinh
tế
học
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_economics
task_alias
:
economics
process_docs
:
!function
utils.process_economics
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_engineering.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Kỹ
thuật
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_engineering
task_alias
:
engineering
process_docs
:
!function
utils.process_engineering
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_health.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Sức
khỏe
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_health
task_alias
:
health
process_docs
:
!function
utils.process_health
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_history.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Lịch
sử
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_history
task_alias
:
history
process_docs
:
!function
utils.process_history
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_law.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Luật
pháp
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_law
task_alias
:
law
process_docs
:
!function
utils.process_law
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_math.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Toán
học
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_math
task_alias
:
math
process_docs
:
!function
utils.process_math
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_other.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Khác
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_other
task_alias
:
other
process_docs
:
!function
utils.process_other
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_philosophy.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Triết
học
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_philosophy
task_alias
:
philosophy
process_docs
:
!function
utils.process_philosophy
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_physics.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Vật
lý
học
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_physics
task_alias
:
physics
process_docs
:
!function
utils.process_physics
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_lite_vi_psychology.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Tâm
lý
học
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_lite_template_yaml
task
:
mmlu_prox_lite_vi_psychology
task_alias
:
psychology
process_docs
:
!function
utils.process_psychology
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_biology.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Sinh
học
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_template_yaml
task
:
mmlu_prox_vi_biology
task_alias
:
biology
process_docs
:
!function
utils.process_biology
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_business.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Kinh
doanh
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_template_yaml
task
:
mmlu_prox_vi_business
task_alias
:
business
process_docs
:
!function
utils.process_business
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_chemistry.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Hóa
học
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_template_yaml
task
:
mmlu_prox_vi_chemistry
task_alias
:
chemistry
process_docs
:
!function
utils.process_chemistry
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_computer_science.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Khoa
học
máy
tính
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_template_yaml
task
:
mmlu_prox_vi_computer_science
task_alias
:
computer_science
process_docs
:
!function
utils.process_computer_science
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_economics.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Kinh
tế
học
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_template_yaml
task
:
mmlu_prox_vi_economics
task_alias
:
economics
process_docs
:
!function
utils.process_economics
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_engineering.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Kỹ
thuật
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_template_yaml
task
:
mmlu_prox_vi_engineering
task_alias
:
engineering
process_docs
:
!function
utils.process_engineering
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_health.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Sức
khỏe
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_template_yaml
task
:
mmlu_prox_vi_health
task_alias
:
health
process_docs
:
!function
utils.process_health
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_history.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Lịch
sử
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_template_yaml
task
:
mmlu_prox_vi_history
task_alias
:
history
process_docs
:
!function
utils.process_history
lm_eval/tasks/mmlu_prox/vi/mmlu_prox_vi_law.yaml
0 → 100644
View file @
0b45cc71
description
:
'
Dưới
đây
là
câu
hỏi
trắc
nghiệm
về
Luật
pháp
(kèm
đáp
án).
Vui
lòng
suy
nghĩ
từng
bước,
sau
đó
kết
thúc
câu
trả
lời
của
bạn
bằng
"Câu
trả
lời
là
(X)",
trong
đó
X
là
chữ
cái
của
lựa
chọn
đúng.
'
include
:
_vi_template_yaml
task
:
mmlu_prox_vi_law
task_alias
:
law
process_docs
:
!function
utils.process_law
Prev
1
…
27
28
29
30
31
32
33
34
35
…
38
Next
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment