Skip to content

GitLab

"tests/testdata/math_counting_and_prob-v1-res.json" did not exist on "17c825d1828c9c7f9108268c5888a8bdf2295930"
Unverified Commit 1b357a68 authored by Alexandre Marques's avatar Alexandre Marques Committed by GitHub
Browse files

Multilingual MMLU for Llama instruct models (#2826) 

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency
parent 1afb190c
Show whitespace changes
Inline Side-by-side
Showing with 1196 additions and 0 deletions
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_professional_psychology.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E1A\u0E2D\u0E01\u0E25\u0E39\u0E01\u0E04\u0E49\u0E32\u0E02\u0E2D\u0E07\
\u0E04\u0E38\u0E13\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E14\u0E35\u0E41\u0E25\
\u0E30\u0E02\u0E49\u0E2D\u0E40\u0E2A\u0E35\u0E22\u0E02\u0E2D\u0E07\u0E41\u0E15\
\u0E48\u0E25\u0E30\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E17\u0E35\u0E48\
\u0E04\u0E38\u0E13\u0E17\u0E23\u0E32\u0E1A \u0E22\u0E01\u0E40\u0E27\u0E49\u0E19\
\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\
\u0E25\u0E07\u0E17\u0E30\u0E40\u0E1A\u0E35\u0E22\u0E19"
B: "\u0E41\u0E19\u0E30\u0E19\u0E33\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\
\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E25\u0E07\u0E17\u0E30\u0E40\u0E1A\u0E35\
\u0E22\u0E19\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E25\u0E39\u0E01\u0E04\u0E49\
\u0E32\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E41\u0E25\u0E30\u0E2D\u0E18\u0E34\
\u0E1A\u0E32\u0E22\u0E42\u0E1A\u0E19\u0E31\u0E2A $50 \u0E17\u0E35\u0E48\u0E04\
\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A"
C: "\u0E41\u0E19\u0E30\u0E19\u0E33\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\
\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E25\u0E07\u0E17\u0E30\u0E40\u0E1A\u0E35\
\u0E22\u0E19\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E25\u0E39\u0E01\u0E04\u0E49\
\u0E32\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E41\u0E25\u0E30\u0E40\u0E2A\u0E19\
\u0E2D\u0E43\u0E2B\u0E49\u0E21\u0E35\u0E42\u0E1A\u0E19\u0E31\u0E2A $50 \u0E40\
\u0E02\u0E49\u0E32\u0E1A\u0E31\u0E0D\u0E0A\u0E35\u0E25\u0E39\u0E01\u0E04\u0E49\
\u0E32\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E43\u0E19\u0E42\u0E1B\u0E23\u0E41\
\u0E01\u0E23\u0E21"
D: "\u0E1A\u0E2D\u0E01\u0E25\u0E39\u0E01\u0E04\u0E49\u0E32\u0E02\u0E2D\u0E07\
\u0E04\u0E38\u0E13\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E14\u0E35\u0E02\u0E49\
\u0E2D\u0E40\u0E2A\u0E35\u0E22\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\
\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\
\u0E17\u0E23\u0E32\u0E1A \u0E41\u0E15\u0E48\u0E2D\u0E22\u0E48\u0E32\u0E2D\u0E49\
\u0E32\u0E07\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E4C\u0E42\u0E1A\u0E19\u0E31\u0E2A\
\ $50 \u0E2B\u0E32\u0E01\u0E25\u0E39\u0E01\u0E04\u0E49\u0E32\u0E02\u0E2D\u0E07\
\u0E04\u0E38\u0E13\u0E25\u0E07\u0E17\u0E30\u0E40\u0E1A\u0E35\u0E22\u0E19\u0E43\
\u0E19\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E38\
\u0E13"
input_correct_responses:
- D
input_question: "\u0E25\u0E39\u0E01\u0E04\u0E49\u0E32\u0E1A\u0E33\u0E1A\u0E31\u0E14\
\u0E04\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\
\u0E02\u0E2D\u0E04\u0E33\u0E41\u0E19\u0E30\u0E19\u0E33\u0E40\u0E01\u0E35\u0E48\
\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E25\
\u0E14\u0E19\u0E49\u0E33\u0E2B\u0E19\u0E31\u0E01\u0E17\u0E35\u0E48\u0E14\u0E35\
\ \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\
\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E43\u0E19\u0E0A\u0E38\u0E21\u0E0A\
\u0E19\u0E41\u0E25\u0E30\u0E25\u0E07\u0E17\u0E30\u0E40\u0E1A\u0E35\u0E22\u0E19\
\u0E43\u0E19\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E17\u0E35\u0E48\u0E04\
\u0E38\u0E13\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\u0E27\u0E48\u0E32\u0E14\
\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\
\u0E21\u0E19\u0E35\u0E49\u0E43\u0E2B\u0E49\u0E42\u0E1A\u0E19\u0E31\u0E2A $50\
\ \u0E41\u0E01\u0E48\u0E1C\u0E39\u0E49\u0E2D\u0E38\u0E1B\u0E16\u0E31\u0E21\u0E20\
\u0E4C\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30\u0E1A\
\u0E38\u0E04\u0E04\u0E25\u0E43\u0E2B\u0E21\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E27\
\u0E01\u0E40\u0E02\u0E32\u0E19\u0E33\u0E40\u0E02\u0E49\u0E32\u0E21\u0E32\u0E43\
\u0E19\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21 \u0E20\u0E32\u0E22\u0E43\u0E15\
\u0E49\u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E40\u0E2B\u0E25\
\u0E48\u0E32\u0E19\u0E35\u0E49 \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\
\u0E40\u0E2B\u0E21\u0E32\u0E30\u0E2A\u0E21\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\
\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E04\u0E37\u0E2D"
- input_choice_list:
A: "\u0E44\u0E27\u0E15\u0E48\u0E2D\u0E04\u0E30\u0E41\u0E19\u0E19\u0E21\u0E32\
\u0E01\u0E19\u0E49\u0E2D\u0E22\u0E01\u0E27\u0E48\u0E32\u0E04\u0E48\u0E32\u0E40\
\u0E09\u0E25\u0E35\u0E48\u0E22"
B: "\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\
\u0E01\u0E01\u0E27\u0E48\u0E32\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\
\u0E23\u0E41\u0E08\u0E01\u0E41\u0E08\u0E07\u0E41\u0E1A\u0E1A\u0E40\u0E1A\u0E49"
C: "\u0E44\u0E27\u0E15\u0E48\u0E2D\u0E04\u0E48\u0E32\u0E21\u0E32\u0E01\u0E41\
\u0E25\u0E30\u0E01\u0E32\u0E23\u0E41\u0E08\u0E01\u0E41\u0E08\u0E07\u0E17\u0E35\
\u0E48\u0E40\u0E1A\u0E49\u0E21\u0E32\u0E01"
D: "\u0E2B\u0E21\u0E32\u0E22\u0E40\u0E25\u0E02\u0E17\u0E35\u0E48\u0E40\u0E01\
\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\
\u0E2A\u0E38\u0E14"
input_correct_responses:
- D
input_question: "\u0E21\u0E35\u0E2A\u0E32\u0E21\u0E27\u0E34\u0E18\u0E35\u0E43\u0E19\
\u0E01\u0E32\u0E23\u0E27\u0E31\u0E14\u0E41\u0E19\u0E27\u0E42\u0E19\u0E49\u0E21\
\u0E40\u0E02\u0E49\u0E32\u0E2A\u0E39\u0E48\u0E2A\u0E48\u0E27\u0E19\u0E01\u0E25\
\u0E32\u0E07: \u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22 \u0E04\u0E48\
\u0E32\u0E21\u0E31\u0E18\u0E22\u0E10\u0E32\u0E19 \u0E41\u0E25\u0E30\u0E42\u0E2B\
\u0E21\u0E14 \u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E23\u0E39\u0E49\u0E02\
\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\
\u0E1A\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32 \u0E42\u0E2B\u0E21\u0E14\u0E04\u0E37\
\u0E2D\u0E2D\u0E30\u0E44\u0E23?"
- input_choice_list:
A: "\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E31\u0E08\u0E40\
\u0E08\u0E01"
B: "\u0E1B\u0E31\u0E08\u0E40\u0E08\u0E01\u0E19\u0E34\u0E22\u0E21\u0E41\u0E25\
\u0E30\u0E23\u0E30\u0E22\u0E30\u0E2B\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E2D\
\u0E33\u0E19\u0E32\u0E08"
C: "\u0E23\u0E30\u0E22\u0E30\u0E2D\u0E33\u0E19\u0E32\u0E08\u0E41\u0E25\u0E30\
\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E32\u0E22"
D: "\u0E01\u0E32\u0E23\u0E2B\u0E25\u0E35\u0E01\u0E40\u0E25\u0E35\u0E48\u0E22\
\u0E07\u0E04\u0E27\u0E32\u0E21\u0E44\u0E21\u0E48\u0E41\u0E19\u0E48\u0E19\u0E2D\
\u0E19."
input_correct_responses:
- A
input_question: "\u0E43\u0E19\u0E41\u0E07\u0E48\u0E02\u0E2D\u0E07\u0E21\u0E34\u0E15\
\u0E34\u0E17\u0E32\u0E07\u0E27\u0E31\u0E12\u0E19\u0E18\u0E23\u0E23\u0E21 5 \u0E1B\
\u0E23\u0E30\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07 Hofstede (1980) \u0E2A\u0E2B\
\u0E23\u0E31\u0E10\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E44\u0E14\u0E49\
\u0E04\u0E30\u0E41\u0E19\u0E19\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14\u0E43\u0E19\
\u0E14\u0E49\u0E32\u0E19:"
- input_choice_list:
A: "\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E34\u0E19\u0E15\u0E19\u0E32\u0E01\u0E32\
\u0E23\u0E17\u0E35\u0E48\u0E40\u0E1A\u0E35\u0E48\u0E22\u0E07\u0E40\u0E1A\u0E19\
\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E19\u0E43\u0E08\u0E02\u0E2D\u0E07\u0E25\u0E39\
\u0E01\u0E04\u0E49\u0E32\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\
\u0E47\u0E19\u0E08\u0E23\u0E34\u0E07"
B: "\u0E41\u0E2A\u0E14\u0E07\u0E16\u0E36\u0E07 \u201C\u0E04\u0E27\u0E32\u0E21\
\u0E23\u0E39\u0E49\u0E2A\u0E36\u0E01\u0E17\u0E35\u0E48\u0E2B\u0E25\u0E32\u0E01\
\u0E2B\u0E25\u0E32\u0E22\u201D \u0E15\u0E48\u0E2D\u0E1C\u0E39\u0E49\u0E23\u0E31\
\u0E1A\u0E01\u0E32\u0E23\u0E1A\u0E33\u0E1A\u0E31\u0E14"
C: ""\u0E40\u0E1B\u0E47\u0E19\u0E23\u0E39\u0E1B\u0E41\u0E1A\u0E1A\u0E2B\
\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07""\u0E01\u0E32\u0E23\u0E41\
\u0E2A\u0E14\u0E07\u0E2D\u0E2D\u0E01\u0E21\u0E32""""
D: "\u0E2A\u0E30\u0E17\u0E49\u0E2D\u0E19\u0E43\u0E2B\u0E49\u0E40\u0E2B\u0E47\
\u0E19\u0E16\u0E36\u0E07\u0E08\u0E34\u0E15\u0E44\u0E23\u0E49\u0E2A\u0E33\u0E19\
\u0E36\u0E01\u0E2A\u0E48\u0E27\u0E19\u0E1A\u0E38\u0E04\u0E04\u0E25\u0E41\u0E25\
\u0E30\u0E2A\u0E48\u0E27\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E25\u0E39\
\u0E01\u0E04\u0E49\u0E32"
input_correct_responses:
- D
input_question: "Carl Jung \u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E27\u0E48\u0E32\u0E01\
\u0E32\u0E23\u0E16\u0E48\u0E32\u0E22\u0E42\u0E2D\u0E19\u0E02\u0E2D\u0E07\u0E25\
\u0E39\u0E01\u0E04\u0E49\u0E32:"
- input_choice_list:
A: "\u0E44\u0E21\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E21\
\u0E1E\u0E31\u0E19\u0E18\u0E4C\u0E01\u0E31\u0E19\u0E41\u0E15\u0E48\u0E21\u0E35\
\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\u0E18\u0E4C\u0E43\
\u0E19\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E1B\u0E32\u0E19\u0E01\u0E25\u0E32\u0E07\
\u0E01\u0E31\u0E1A\u0E40\u0E01\u0E13\u0E11\u0E4C"
B: "\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\
\u0E18\u0E4C\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E31\u0E19\u0E41\u0E25\u0E30\u0E01\
\u0E31\u0E19\u0E15\u0E48\u0E33\u0E41\u0E25\u0E30\u0E21\u0E35\u0E04\u0E27\u0E32\
\u0E21\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\u0E18\u0E4C\u0E15\u0E48\u0E33\u0E01\
\u0E31\u0E1A\u0E40\u0E01\u0E13\u0E11\u0E4C"
C: "\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\
\u0E18\u0E4C\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E31\u0E19\u0E41\u0E25\u0E30\u0E01\
\u0E31\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E21\u0E32\u0E01\u0E41\u0E25\u0E30\
\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\u0E18\
\u0E4C\u0E43\u0E19\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E1B\u0E32\u0E19\u0E01\u0E25\
\u0E32\u0E07\u0E01\u0E31\u0E1A\u0E40\u0E01\u0E13\u0E11\u0E4C"
D: "\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\
\u0E18\u0E4C\u0E15\u0E48\u0E33\u0E01\u0E31\u0E1A\u0E40\u0E01\u0E13\u0E11\u0E4C\
\ bur \u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\
\u0E18\u0E4C\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E31\u0E19\u0E41\u0E25\u0E30\u0E01\
\u0E31\u0E19\u0E43\u0E19\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E1B\u0E32\u0E19\u0E01\
\u0E25\u0E32\u0E07"
input_correct_responses:
- A
input_question: "\u0E43\u0E19\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E2A\
\u0E21\u0E01\u0E32\u0E23\u0E01\u0E32\u0E23\u0E16\u0E14\u0E16\u0E2D\u0E22\u0E1E\
\u0E2B\u0E38\u0E04\u0E39\u0E13\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E08\u0E38\u0E14\
\u0E1B\u0E23\u0E30\u0E2A\u0E07\u0E04\u0E4C\u0E43\u0E19\u0E01\u0E32\u0E23\u0E17\
\u0E33\u0E19\u0E32\u0E22 \u0E0A\u0E38\u0E14\u0E04\u0E48\u0E32\u0E1C\u0E2A\u0E21\
\u0E17\u0E35\u0E48\u0E40\u0E2B\u0E21\u0E32\u0E30\u0E2A\u0E21\u0E17\u0E35\u0E48\
\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D\u0E04\u0E48\u0E32\u0E2B\u0E19\u0E36\u0E48\
\u0E07\u0E0B\u0E36\u0E48\u0E07\u0E15\u0E31\u0E27\u0E17\u0E33\u0E19\u0E32\u0E22"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_professional_psychology
tag: mmlu_th_llama_social_sciences_tasks
task: mmlu_th_llama_professional_psychology
task_alias: professional_psychology
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_public_relations.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E2D\u0E37\u0E48\
\u0E19 \u0E46 \u0E41\u0E01\u0E48\u0E19\u0E31\u0E01\u0E02\u0E48\u0E32\u0E27\
\u0E17\u0E35\u0E48\u0E40\u0E18\u0E2D\u0E41\u0E19\u0E48\u0E43\u0E08\u0E27\u0E48\
\u0E32\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07"
B: "\u0E1A\u0E2D\u0E01\u0E27\u0E48\u0E32\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E19\u0E31\u0E49\u0E19 '\u0E1B\u0E34\u0E14\u0E01\u0E32\u0E23\u0E1A\u0E31\
\u0E19\u0E17\u0E36\u0E01' \u0E41\u0E25\u0E30\u0E08\u0E30\u0E40\u0E1C\u0E22\
\u0E41\u0E1E\u0E23\u0E48\u0E43\u0E19\u0E20\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E07"
C: "\u0E1E\u0E39\u0E14\u0E27\u0E48\u0E32 '\u0E09\u0E31\u0E19\u0E44\u0E21\
\u0E48\u0E23\u0E39\u0E49' \u0E41\u0E25\u0E30\u0E2A\u0E31\u0E0D\u0E0D\u0E32\
\u0E27\u0E48\u0E32\u0E08\u0E30\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\
\u0E25\u0E43\u0E19\u0E20\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E07"
D: "\u0E1E\u0E39\u0E14\u0E27\u0E48\u0E32 '\u0E44\u0E21\u0E48\u0E21\u0E35\
\u0E04\u0E27\u0E32\u0E21\u0E04\u0E34\u0E14\u0E40\u0E2B\u0E47\u0E19' \u0E41\
\u0E17\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E14\u0E39\u0E40\u0E2B\u0E21\u0E37\
\u0E2D\u0E19\u0E44\u0E21\u0E48\u0E23\u0E39\u0E49"
input_correct_responses:
- C
input_question: "\u0E1C\u0E39\u0E49\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E07\
\u0E32\u0E19\u0E2A\u0E37\u0E48\u0E2D\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E2A\u0E31\
\u0E21\u0E1E\u0E31\u0E19\u0E18\u0E4C\u0E04\u0E27\u0E23\u0E17\u0E33\u0E2D\u0E22\
\u0E48\u0E32\u0E07\u0E44\u0E23\u0E2B\u0E32\u0E01\u0E44\u0E21\u0E48\u0E17\u0E23\
\u0E32\u0E1A\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\
\u0E04\u0E33\u0E16\u0E32\u0E21\u0E02\u0E2D\u0E07\u0E19\u0E31\u0E01\u0E02\u0E48\
\u0E32\u0E27"
- input_choice_list:
A: "\u0E0B\u0E37\u0E49\u0E2D\u0E0A\u0E37\u0E48\u0E2D\u0E42\u0E14\u0E40\u0E21\
\u0E19\u0E17\u0E35\u0E48\u0E01\u0E25\u0E38\u0E48\u0E21\u0E15\u0E48\u0E2D\u0E15\
\u0E49\u0E32\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E44\
\u0E14\u0E49"
B: "\u0E42\u0E1E\u0E2A\u0E15\u0E4C\u0E04\u0E27\u0E32\u0E21\u0E04\u0E34\u0E14\
\u0E40\u0E2B\u0E47\u0E19\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E23\u0E30\u0E1A\
\u0E38\u0E0A\u0E37\u0E48\u0E2D\u0E43\u0E19\u0E1A\u0E25\u0E47\u0E2D\u0E01\u0E40\
\u0E1E\u0E37\u0E48\u0E2D\u0E15\u0E48\u0E2D\u0E2A\u0E39\u0E49\u0E01\u0E31\u0E1A\
\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E19\u0E35\u0E49"
C: "\u0E40\u0E15\u0E23\u0E35\u0E22\u0E21\u0E02\u0E48\u0E32\u0E27\u0E17\u0E35\
\u0E48\u0E1A\u0E34\u0E14\u0E40\u0E1A\u0E37\u0E2D\u0E19\u0E02\u0E49\u0E2D\u0E21\
\u0E39\u0E25\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E16\u0E39\u0E01\u0E15\u0E49\
\u0E2D\u0E07"
D: "\u0E17\u0E33\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\
\u0E41\u0E1B\u0E25\u0E07\u0E19\u0E42\u0E22\u0E1A\u0E32\u0E22\u0E40\u0E1E\u0E37\
\u0E48\u0E2D\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E02\u0E49\
\u0E2D\u0E23\u0E49\u0E2D\u0E07\u0E40\u0E23\u0E35\u0E22\u0E19\u0E17\u0E35\u0E48\
\u0E40\u0E19\u0E49\u0E19\u0E43\u0E19\u0E40\u0E27\u0E47\u0E1A\u0E44\u0E0B\u0E15\
\u0E4C\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49"
input_correct_responses:
- D
input_question: "\u0E43\u0E19\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\
\u0E1B\u0E31\u0E0D\u0E2B\u0E32 \u0E41\u0E19\u0E27\u0E17\u0E32\u0E07\u0E40\u0E0A\
\u0E34\u0E07\u0E23\u0E38\u0E01\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\
\u0E14\u0E43\u0E19\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E02\
\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E0A\u0E34\u0E07\u0E25\u0E1A\u0E2B\u0E23\
\u0E37\u0E2D\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E17\u0E33\
\u0E43\u0E2B\u0E49\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E1C\u0E34\u0E14\u0E17\
\u0E35\u0E48\u0E42\u0E1E\u0E2A\u0E15\u0E4C\u0E17\u0E32\u0E07\u0E2D\u0E2D\u0E19\
\u0E44\u0E25\u0E19\u0E4C\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\
\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E04\
\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23"
- input_choice_list:
A: "\u0E21\u0E35\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E2A\u0E32\u0E19\u0E2A\
\u0E37\u0E48\u0E2D\u0E15\u0E2D\u0E1A\u0E23\u0E31\u0E1A"
B: "\u0E21\u0E35\u0E01\u0E32\u0E23\u0E2A\u0E37\u0E48\u0E2D\u0E2A\u0E32\u0E23\
\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E14\
\u0E04\u0E25\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E19"
C: "\u0E27\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E4C\u0E27\u0E34\u0E08\u0E32\u0E23\
\u0E13\u0E4C\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E42\
\u0E08\u0E21\u0E15\u0E35\u0E04\u0E23\u0E34\u0E2A\u0E15\u0E08\u0E31\u0E01\u0E23\
\u0E04\u0E32\u0E17\u0E2D\u0E25\u0E34\u0E01"
D: "\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E40\u0E0A\u0E37\u0E48\u0E2D\
\u0E16\u0E37\u0E2D\u0E02\u0E2D\u0E07\u0E27\u0E32\u0E15\u0E34\u0E01\u0E31\u0E19\
\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E22\u0E36\u0E14\u0E16\
\u0E37\u0E2D"
input_correct_responses:
- C
input_question: "\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E14\u0E15\u0E48\
\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E27\u0E32\
\u0E21\u0E08\u0E23\u0E34\u0E07\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\
\u0E1A\u0E2A\u0E33\u0E19\u0E31\u0E01\u0E27\u0E32\u0E15\u0E34\u0E01\u0E31\u0E19\
\u0E43\u0E19\u0E1B\u0E35 2010 \u0E43\u0E19\u0E02\u0E13\u0E30\u0E17\u0E35\u0E48\
\u0E21\u0E35\u0E01\u0E32\u0E23\u0E01\u0E25\u0E48\u0E32\u0E27\u0E2B\u0E32\u0E40\
\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E1B\u0E01\u0E1B\u0E34\u0E14\
\u0E01\u0E32\u0E23\u0E25\u0E48\u0E27\u0E07\u0E25\u0E30\u0E40\u0E21\u0E34\u0E14\
\u0E40\u0E14\u0E47\u0E01"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E42\u0E1B\u0E23\u0E41\
\u0E01\u0E23\u0E21"
B: "\u0E01\u0E32\u0E23\u0E27\u0E32\u0E07\u0E41\u0E1C\u0E19\u0E42\u0E1B\u0E23\
\u0E41\u0E01\u0E23\u0E21"
C: "\u0E01\u0E32\u0E23\u0E25\u0E07\u0E21\u0E37\u0E2D\u0E17\u0E33\u0E41\u0E25\
\u0E30\u0E19\u0E33\u0E04\u0E27\u0E32\u0E21\u0E04\u0E34\u0E14\u0E44\u0E1B\u0E1B\
\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34"
D: "\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E40\u0E21\u0E34\u0E19\u0E1C\u0E25\
\u0E02\u0E2D\u0E07\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21"
input_correct_responses:
- A
input_question: "\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E43\u0E14\u0E43\u0E19\
\u0E01\u0E23\u0E30\u0E1A\u0E27\u0E19\u0E01\u0E32\u0E23\u0E27\u0E32\u0E07\u0E41\
\u0E1C\u0E19\u0E17\u0E35\u0E48\u0E01\u0E32\u0E23\u0E27\u0E34\u0E40\u0E04\u0E23\
\u0E32\u0E30\u0E2B\u0E4C\u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\u0E13\u0E4C\
\u0E08\u0E30\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23?"
- input_choice_list:
A: "\u0E01\u0E23\u0E35\u0E19\u0E1E\u0E35\u0E0B"
B: "\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E32\u0E23\u0E2A\u0E2B\u0E1B\u0E23\u0E30\
\u0E0A\u0E32\u0E0A\u0E32\u0E15\u0E34"
C: "\u0E2D\u0E47\u0E2D\u0E01\u0E0B\u0E4C\u0E41\u0E1F\u0E21"
D: "\u0E01\u0E2D\u0E07\u0E17\u0E38\u0E19\u0E2A\u0E31\u0E15\u0E27\u0E4C\u0E1B\
\u0E48\u0E32\u0E42\u0E25\u0E01"
input_correct_responses:
- D
input_question: "Earth Hour \u0E40\u0E1B\u0E47\u0E19\u0E41\u0E04\u0E21\u0E40\u0E1B\
\u0E0D\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E34\u0E14\u0E15\u0E31\u0E27\u0E42\u0E14\
\u0E22\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23\u0E43\u0E14"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_public_relations
tag: mmlu_th_llama_social_sciences_tasks
task: mmlu_th_llama_public_relations
task_alias: public_relations
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_security_studies.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E1B\
\u0E47\u0E19\u0E2D\u0E35\u0E01\u0E04\u0E33\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E2A\
\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E17\u0E39\u0E15\u0E41\u0E1A\
\u0E1A\u0E1A\u0E35\u0E1A\u0E1A\u0E31\u0E07\u0E04\u0E31\u0E1A \u0E41\u0E15\u0E48\
\u0E04\u0E23\u0E2D\u0E1A\u0E04\u0E25\u0E38\u0E21\u0E40\u0E01\u0E13\u0E11\u0E4C\
\u0E17\u0E35\u0E48\u0E41\u0E04\u0E1A\u0E01\u0E27\u0E48\u0E32 \u0E04\u0E27\u0E32\
\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E23\u0E2D\u0E1A\u0E04\u0E25\
\u0E38\u0E21\u0E20\u0E31\u0E22\u0E04\u0E38\u0E01\u0E04\u0E32\u0E21\u0E40\u0E2B\
\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E17\u0E35\u0E48\u0E21\u0E38\u0E48\
\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E01\u0E32\u0E23\u0E01\
\u0E23\u0E30\u0E17\u0E33\u0E02\u0E2D\u0E07\u0E1D\u0E48\u0E32\u0E22\u0E15\u0E23\
\u0E07\u0E02\u0E49\u0E32\u0E21 \u0E20\u0E31\u0E22\u0E04\u0E38\u0E01\u0E04\u0E32\
\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E1A\u0E35\u0E1A\u0E1A\u0E31\u0E07\u0E04\
\u0E31\u0E1A\u0E23\u0E31\u0E10\u0E43\u0E2B\u0E49\u0E22\u0E2D\u0E21\u0E2A\u0E25\
\u0E30\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\
\u0E14\u0E34\u0E19\u0E41\u0E14\u0E19\u0E02\u0E2D\u0E07\u0E15\u0E19\u0E08\u0E30\
\u0E19\u0E31\u0E1A\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E17\u0E39\u0E15\
\u0E41\u0E1A\u0E1A\u0E1A\u0E35\u0E1A\u0E1A\u0E31\u0E07\u0E04\u0E31\u0E1A \u0E15\
\u0E23\u0E32\u0E1A\u0E43\u0E14\u0E17\u0E35\u0E48\u0E01\u0E32\u0E23\u0E04\u0E38\
\u0E01\u0E04\u0E32\u0E21\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E34\u0E48\u0E21\
\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\u0E40\u0E0A\u0E34\u0E07\
\u0E23\u0E38\u0E01\u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E21\
\u0E35\u0E01\u0E32\u0E23\u0E15\u0E2D\u0E1A\u0E42\u0E15\u0E49\u0E17\u0E32\u0E07\
\u0E01\u0E32\u0E23\u0E11\u0E39\u0E15"
B: "\u0E01\u0E32\u0E23\u0E17\u0E39\u0E15\u0E41\u0E1A\u0E1A\u0E1A\u0E35\u0E1A\
\u0E1A\u0E31\u0E07\u0E04\u0E31\u0E1A\u0E16\u0E37\u0E2D\u0E40\u0E1B\u0E47\u0E19\
\u0E01\u0E32\u0E23\u0E04\u0E38\u0E01\u0E04\u0E32\u0E21\u0E42\u0E14\u0E22\u0E43\
\u0E0A\u0E49\u0E01\u0E33\u0E25\u0E31\u0E07\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E08\
\u0E33\u0E01\u0E31\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E23\u0E30\u0E15\
\u0E38\u0E49\u0E19\u0E41\u0E23\u0E07\u0E08\u0E39\u0E07\u0E43\u0E08\u0E02\u0E2D\
\u0E07\u0E1D\u0E48\u0E32\u0E22\u0E15\u0E23\u0E07\u0E02\u0E49\u0E32\u0E21\u0E43\
\u0E2B\u0E49\u0E22\u0E2D\u0E21\u0E17\u0E33\u0E15\u0E32\u0E21\u0E02\u0E49\u0E2D\
\u0E40\u0E23\u0E35\u0E22\u0E01\u0E23\u0E49\u0E2D\u0E07\u0E02\u0E2D\u0E07\u0E1C\
\u0E39\u0E49\u0E1A\u0E35\u0E1A\u0E1A\u0E31\u0E07\u0E04\u0E31\u0E1A \u0E40\u0E1B\
\u0E47\u0E19\u0E01\u0E25\u0E22\u0E38\u0E17\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E21\
\u0E35\u0E2D\u0E34\u0E17\u0E18\u0E34\u0E1E\u0E25\u0E0B\u0E36\u0E48\u0E07\u0E21\
\u0E35\u0E27\u0E31\u0E15\u0E16\u0E38\u0E1B\u0E23\u0E30\u0E2A\u0E07\u0E04\u0E4C\
\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E23\u0E31\
\u0E1A\u0E01\u0E32\u0E23\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E15\u0E32\
\u0E21: \u0E44\u0E21\u0E48\u0E19\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E43\u0E0A\
\u0E49\u0E01\u0E33\u0E25\u0E31\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E2D\
\u0E32\u0E0A\u0E19\u0E30\u0E04\u0E39\u0E48\u0E15\u0E48\u0E2D\u0E2A\u0E39\u0E49\
\u0E01\u0E48\u0E2D\u0E19 \u0E21\u0E31\u0E19\u0E1B\u0E25\u0E48\u0E2D\u0E22\u0E43\
\u0E2B\u0E49\u0E2D\u0E07\u0E04\u0E4C\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E17\
\u0E32\u0E07\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E01\u0E31\u0E1A\u0E40\u0E1B\u0E49\
\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E17\u0E35\u0E48\u0E08\u0E30\u0E1B\u0E0F\u0E34\
\u0E1A\u0E31\u0E15\u0E34\u0E15\u0E32\u0E21\u0E2B\u0E23\u0E37\u0E2D\u0E14\u0E33\
\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\u0E15\u0E48\u0E2D"
C: "\u0E01\u0E33\u0E25\u0E31\u0E07\u0E17\u0E2B\u0E32\u0E23\u0E2B\u0E23\u0E37\
\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E38\u0E01\u0E04\u0E32\u0E21\u0E02\u0E2D\u0E07\
\u0E01\u0E33\u0E25\u0E31\u0E07\u0E17\u0E2B\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E04\
\u0E27\u0E32\u0E21\u0E01\u0E25\u0E31\u0E27\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\
\u0E2B\u0E49\u0E1A\u0E23\u0E23\u0E25\u0E38\u0E27\u0E31\u0E15\u0E16\u0E38\u0E1B\
\u0E23\u0E30\u0E2A\u0E07\u0E04\u0E4C\u0E40\u0E0A\u0E34\u0E07\u0E01\u0E25\u0E22\
\u0E38\u0E17\u0E18\u0E4C \u0E01\u0E32\u0E23\u0E17\u0E39\u0E15\u0E41\u0E1A\u0E1A\
\u0E1A\u0E35\u0E1A\u0E1A\u0E31\u0E07\u0E04\u0E31\u0E1A\u0E41\u0E15\u0E01\u0E15\
\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01\u0E41\u0E19\u0E27\u0E17\u0E32\u0E07\u0E19\
\u0E35\u0E49 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E44\u0E21\
\u0E48\u0E44\u0E14\u0E49\u0E43\u0E0A\u0E49\u0E04\u0E27\u0E32\u0E21\u0E01\u0E25\
\u0E31\u0E27\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\
\u0E21\u0E37\u0E2D\u0E43\u0E19\u0E01\u0E32\u0E23\u0E1A\u0E35\u0E1A\u0E1A\u0E31\
\u0E07\u0E04\u0E31\u0E1A\u0E28\u0E31\u0E15\u0E23\u0E39"
D: "\u0E01\u0E32\u0E23\u0E17\u0E39\u0E15\u0E41\u0E1A\u0E1A\u0E1A\u0E35\u0E1A\
\u0E1A\u0E31\u0E07\u0E04\u0E31\u0E1A\u0E16\u0E39\u0E01\u0E19\u0E33\u0E21\u0E32\
\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E0A\u0E49\u0E01\u0E33\
\u0E25\u0E31\u0E07 \u0E41\u0E15\u0E48\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E08\u0E33\
\u0E01\u0E31\u0E14\u0E1C\u0E25\u0E01\u0E23\u0E30\u0E17\u0E1A\u0E15\u0E48\u0E2D\
\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E04\u0E21\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\
\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28 \u0E01\u0E32\u0E23\u0E17\u0E39\u0E15\
\u0E40\u0E0A\u0E34\u0E07\u0E1A\u0E35\u0E1A\u0E1A\u0E31\u0E07\u0E04\u0E31\u0E1A\
\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E25\u0E22\u0E38\u0E17\u0E18\u0E4C\u0E40\u0E0A\
\u0E34\u0E07\u0E23\u0E38\u0E01\u0E17\u0E35\u0E48\u0E21\u0E35\u0E08\u0E38\u0E14\
\u0E21\u0E38\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E40\u0E1E\u0E37\u0E48\u0E2D\
\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\
\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E1C\u0E48\u0E32\u0E19\u0E04\u0E27\u0E32\
\u0E21\u0E1E\u0E48\u0E32\u0E22\u0E41\u0E1E\u0E49 \u0E44\u0E21\u0E48\u0E17\u0E34\
\u0E49\u0E07\u0E2D\u0E07\u0E04\u0E4C\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E17\
\u0E32\u0E07\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E44\u0E27\u0E49\u0E01\u0E31\u0E1A\
\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22 \u0E40\u0E1B\u0E49\u0E32\u0E2B\
\u0E21\u0E32\u0E22\u0E2D\u0E32\u0E08\u0E16\u0E39\u0E01\u0E1A\u0E31\u0E07\u0E04\
\u0E31\u0E1A\u0E43\u0E2B\u0E49\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E15\
\u0E32\u0E21\u0E2B\u0E23\u0E37\u0E2D\u0E21\u0E35\u0E2A\u0E48\u0E27\u0E19\u0E23\
\u0E48\u0E27\u0E21\u0E43\u0E19\u0E04\u0E27\u0E32\u0E21\u0E02\u0E31\u0E14\u0E41\
\u0E22\u0E49\u0E07 \u0E21\u0E31\u0E19\u0E1E\u0E22\u0E32\u0E22\u0E32\u0E21\u0E04\
\u0E27\u0E1A\u0E04\u0E38\u0E21\u0E42\u0E14\u0E22\u0E1A\u0E31\u0E07\u0E04\u0E31\
\u0E1A\u0E43\u0E2B\u0E49\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E15\u0E32\
\u0E21\u0E42\u0E14\u0E22\u0E15\u0E31\u0E14\u0E42\u0E2D\u0E01\u0E32\u0E2A\u0E43\
\u0E19\u0E01\u0E32\u0E23\u0E40\u0E08\u0E23\u0E08\u0E32\u0E2B\u0E23\u0E37\u0E2D\
\u0E22\u0E2D\u0E21\u0E08\u0E33\u0E19\u0E19"
input_correct_responses:
- B
input_question: "\u0E2D\u0E30\u0E44\u0E23\u0E04\u0E37\u0E2D\u0E04\u0E27\u0E32\u0E21\
\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\
\u0E17\u0E39\u0E15\u0E41\u0E1A\u0E1A\u0E1A\u0E35\u0E1A\u0E1A\u0E31\u0E07\u0E04\
\u0E31\u0E1A\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E1A\u0E31\u0E07\u0E04\u0E31\
\u0E1A\u0E17\u0E32\u0E07\u0E17\u0E2B\u0E32\u0E23?"
- input_choice_list:
A: "\u0E17\u0E2B\u0E32\u0E23\u0E40\u0E14\u0E47\u0E01\u0E15\u0E01\u0E40\u0E1B\
\u0E47\u0E19\u0E40\u0E2B\u0E22\u0E37\u0E48\u0E2D\u0E02\u0E2D\u0E07\u0E01\u0E32\
\u0E23\u0E15\u0E48\u0E2D\u0E2A\u0E39\u0E49\u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\
\u0E07\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E28\u0E36\u0E01\
\u0E29\u0E32\u0E43\u0E2B\u0E21\u0E48\u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E1F\
\u0E37\u0E49\u0E19\u0E1F\u0E39"
B: "\u0E40\u0E14\u0E47\u0E01\u0E41\u0E25\u0E30\u0E41\u0E21\u0E48\u0E02\u0E2D\
\u0E07\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\
\u0E2D\u0E32\u0E2A\u0E32\u0E2A\u0E21\u0E31\u0E04\u0E23\u0E43\u0E19\u0E2A\u0E07\
\u0E04\u0E23\u0E32\u0E21\u0E41\u0E25\u0E30\u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\
\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E19\u0E10\u0E32\u0E19\
\u0E30\u0E2D\u0E32\u0E2A\u0E32\u0E2A\u0E21\u0E31\u0E04\u0E23\u0E43\u0E19\u0E1E\
\u0E37\u0E49\u0E19\u0E17\u0E35\u0E48\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E31\u0E27"
C: "\u0E40\u0E14\u0E47\u0E01\u0E46 \u0E21\u0E31\u0E01\u0E40\u0E1B\u0E47\u0E19\
\u0E1C\u0E39\u0E49\u0E1A\u0E23\u0E34\u0E2A\u0E38\u0E17\u0E18\u0E34\u0E4C\u0E17\
\u0E35\u0E48\u0E44\u0E21\u0E48\u0E23\u0E39\u0E49\u0E2D\u0E34\u0E42\u0E2B\u0E19\
\u0E48\u0E2D\u0E34\u0E40\u0E2B\u0E19\u0E48\u0E43\u0E19\u0E2A\u0E07\u0E04\u0E23\
\u0E32\u0E21\u0E41\u0E25\u0E30\u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E40\u0E1B\
\u0E47\u0E19\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E41\u0E2B\
\u0E48\u0E07\u0E2A\u0E31\u0E19\u0E15\u0E34\u0E20\u0E32\u0E1E\u0E44\u0E14\u0E49\
\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14"
D: "\u0E40\u0E14\u0E47\u0E01 \u0E46 \u0E21\u0E35\u0E2B\u0E31\u0E27\u0E40\u0E23\
\u0E37\u0E48\u0E2D\u0E07\u0E17\u0E32\u0E07\u0E01\u0E32\u0E23\u0E40\u0E21\u0E37\
\u0E2D\u0E07\u0E17\u0E35\u0E48\u0E1E\u0E25\u0E32\u0E14\u0E44\u0E1B\u0E40\u0E21\
\u0E37\u0E48\u0E2D\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E16\u0E39\u0E01\u0E21\
\u0E2D\u0E07\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E2B\u0E22\u0E37\
\u0E48\u0E2D\u0E02\u0E2D\u0E07\u0E2A\u0E07\u0E04\u0E23\u0E32\u0E21"
input_correct_responses:
- D
input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E25\u0E19\u0E2A\u0E4C\u0E17\u0E35\
\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E19\u0E01\u0E32\
\u0E23\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E1A\u0E17\u0E1A\u0E32\u0E17\
\u0E02\u0E2D\u0E07\u0E17\u0E2B\u0E32\u0E23\u0E40\u0E14\u0E47\u0E01"
- input_choice_list:
A: "\u0E43\u0E19\u0E10\u0E32\u0E19\u0E30\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\
\u0E19\u0E20\u0E31\u0E22\u0E04\u0E38\u0E01\u0E04\u0E32\u0E21\u0E17\u0E35\u0E48\
\u0E21\u0E35\u0E2D\u0E22\u0E39\u0E48\u0E0B\u0E36\u0E48\u0E07\u0E08\u0E33\u0E40\
\u0E1B\u0E47\u0E19\u0E15\u0E49\u0E2D\u0E07\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\
\u0E01\u0E32\u0E23\u0E17\u0E31\u0E19\u0E17\u0E35\u0E41\u0E25\u0E30\u0E44\u0E21\
\u0E48\u0E18\u0E23\u0E23\u0E21\u0E14\u0E32 \u0E40\u0E1B\u0E47\u0E19\u0E20\u0E31\
\u0E22\u0E04\u0E38\u0E01\u0E04\u0E32\u0E21\u0E15\u0E48\u0E2D\u0E04\u0E27\u0E32\
\u0E21\u0E2D\u0E22\u0E39\u0E48\u0E23\u0E2D\u0E14\u0E02\u0E2D\u0E07\u0E23\u0E31\
\u0E10\u0E2B\u0E23\u0E37\u0E2D\u0E15\u0E48\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E21\
\u0E31\u0E48\u0E19\u0E04\u0E07\u0E17\u0E32\u0E07\u0E2A\u0E31\u0E07\u0E04\u0E21"
B: "\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E15\u0E49\u0E2D\
\u0E07\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E23\u0E31\u0E10\u0E14\u0E33\u0E40\
\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\u0E42\u0E14\u0E22\u0E14\u0E48\u0E27\u0E19\
\u0E41\u0E25\u0E30\u0E1E\u0E34\u0E40\u0E28\u0E29 \u0E40\u0E1B\u0E47\u0E19\u0E01\
\u0E32\u0E23\u0E04\u0E38\u0E01\u0E04\u0E32\u0E21\u0E01\u0E32\u0E23\u0E2D\u0E22\
\u0E39\u0E48\u0E23\u0E2D\u0E14\u0E02\u0E2D\u0E07\u0E27\u0E31\u0E15\u0E16\u0E38\
\u0E2D\u0E49\u0E32\u0E07\u0E2D\u0E34\u0E07 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\
\u0E19\u0E08\u0E36\u0E07\u0E23\u0E31\u0E1A\u0E1B\u0E23\u0E30\u0E01\u0E31\u0E19\
\u0E27\u0E48\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E21\u0E32\u0E15\u0E23\u0E01\
\u0E32\u0E23\u0E17\u0E35\u0E48\u0E1B\u0E01\u0E15\u0E34\u0E44\u0E21\u0E48\u0E44\
\u0E14\u0E49\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E41\u0E27\u0E14\u0E27\u0E07\u0E01\
\u0E32\u0E23\u0E40\u0E21\u0E37\u0E2D\u0E07"
C: "\u0E43\u0E19\u0E10\u0E32\u0E19\u0E30\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\
\u0E19\u0E20\u0E31\u0E22\u0E04\u0E38\u0E01\u0E04\u0E32\u0E21\u0E2D\u0E22\u0E48\
\u0E32\u0E07\u0E40\u0E23\u0E48\u0E07\u0E14\u0E48\u0E27\u0E19\u0E15\u0E48\u0E2D\
\u0E01\u0E32\u0E23\u0E2D\u0E22\u0E39\u0E48\u0E23\u0E2D\u0E14\u0E02\u0E2D\u0E07\
\u0E27\u0E31\u0E15\u0E16\u0E38\u0E2D\u0E49\u0E32\u0E07\u0E2D\u0E34\u0E07 \u0E23\
\u0E49\u0E32\u0E22\u0E41\u0E23\u0E07\u0E08\u0E19\u0E17\u0E33\u0E43\u0E2B\u0E49\
\u0E01\u0E32\u0E23\u0E08\u0E49\u0E32\u0E07\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07\
\u0E01\u0E32\u0E23\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\u0E1E\
\u0E34\u0E40\u0E28\u0E29\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E2D\u0E1A\u0E2A\
\u0E19\u0E2D\u0E07\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E15\u0E32\u0E21\
\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22"
D: "\u0E40\u0E1B\u0E47\u0E19\u0E20\u0E31\u0E22\u0E04\u0E38\u0E01\u0E04\u0E32\
\u0E21\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E23\u0E48\u0E07\u0E14\u0E48\u0E27\
\u0E19\u0E15\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E2D\u0E22\u0E39\u0E48\u0E23\u0E2D\
\u0E14\u0E02\u0E2D\u0E07\u0E1C\u0E39\u0E49\u0E0A\u0E21\u0E17\u0E35\u0E48\u0E15\
\u0E49\u0E2D\u0E07\u0E43\u0E0A\u0E49\u0E21\u0E32\u0E15\u0E23\u0E01\u0E32\u0E23\
\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E2B\u0E23\u0E37\u0E2D\u0E40\u0E2B\u0E15\u0E38\
\u0E09\u0E38\u0E01\u0E40\u0E09\u0E34\u0E19"
input_correct_responses:
- C
input_question: "\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E01\
\u0E25\u0E32\u0E22\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E25\u0E31\u0E01\u0E17\u0E23\
\u0E31\u0E1E\u0E22\u0E4C \u0E20\u0E31\u0E22\u0E04\u0E38\u0E01\u0E04\u0E32\u0E21\
\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E2A\u0E14\u0E07\u0E14\u0E49\u0E27\
\u0E22\u0E27\u0E34\u0E18\u0E35\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
\u0E35\u0E49"
- input_choice_list:
A: "\u0E21\u0E35\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E41\u0E22\u0E01\
\u0E21\u0E32\u0E01\u0E21\u0E32\u0E22\u0E20\u0E32\u0E22\u0E43\u0E19\u0E01\u0E23\
\u0E2D\u0E1A\u0E07\u0E32\u0E19\u0E04\u0E27\u0E32\u0E21\u0E21\u0E31\u0E48\u0E19\
\u0E04\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\u0E40\u0E01\
\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E25\u0E31\u0E01\u0E29\u0E13\u0E30\
\u0E02\u0E2D\u0E07\u0E20\u0E31\u0E22\u0E04\u0E38\u0E01\u0E04\u0E32\u0E21\u0E41\
\u0E25\u0E30\u0E27\u0E31\u0E15\u0E16\u0E38\u0E2D\u0E49\u0E32\u0E07\u0E2D\u0E34\
\u0E07 \u0E0B\u0E36\u0E48\u0E07\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\
\u0E16\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E44\
\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E27\u0E49\u0E32\u0E07\u0E02\
\u0E27\u0E32\u0E07\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E41\u0E19\u0E27\
\u0E17\u0E32\u0E07\u0E17\u0E35\u0E48\u0E23\u0E31\u0E10\u0E40\u0E1B\u0E47\u0E19\
\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E01\u0E25\u0E32\u0E07\u0E41\u0E25\u0E30\u0E04\
\u0E27\u0E32\u0E21\u0E21\u0E31\u0E48\u0E19\u0E04\u0E07\u0E02\u0E2D\u0E07\u0E21\
\u0E19\u0E38\u0E29\u0E22\u0E4C"
B: "\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E19\u0E33\u0E01\u0E23\u0E2D\u0E1A\
\u0E04\u0E27\u0E32\u0E21\u0E21\u0E31\u0E48\u0E19\u0E04\u0E07\u0E02\u0E2D\u0E07\
\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\u0E21\u0E32\u0E43\u0E0A\u0E49 \u0E02\u0E49\
\u0E2D\u0E08\u0E33\u0E01\u0E31\u0E14\u0E02\u0E2D\u0E07\u0E41\u0E19\u0E27\u0E17\
\u0E32\u0E07\u0E17\u0E35\u0E48\u0E22\u0E36\u0E14\u0E23\u0E31\u0E10\u0E40\u0E1B\
\u0E47\u0E19\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E01\u0E25\u0E32\u0E07\u0E44\u0E14\
\u0E49\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19\u0E02\u0E36\u0E49\u0E19 \u0E43\u0E19\
\u0E02\u0E13\u0E30\u0E17\u0E35\u0E48\u0E04\u0E27\u0E32\u0E21\u0E21\u0E31\u0E48\
\u0E19\u0E04\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\u0E01\
\u0E33\u0E2B\u0E19\u0E14\u0E27\u0E31\u0E15\u0E16\u0E38\u0E2D\u0E49\u0E32\u0E07\
\u0E2D\u0E34\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E1A\u0E38\u0E04\u0E04\u0E25\u0E2B\
\u0E23\u0E37\u0E2D\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E01\u0E23 \u0E41\u0E19\u0E27\
\u0E17\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\u0E40\u0E1B\u0E47\u0E19\
\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E01\u0E25\u0E32\u0E07\u0E08\u0E31\u0E14\u0E25\
\u0E33\u0E14\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E33\u0E04\u0E31\u0E0D\
\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E1B\u0E25\u0E2D\u0E14\u0E20\u0E31\
\u0E22\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10 \u0E44\u0E21\u0E48\u0E08\u0E31\u0E14\
\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E33\u0E04\u0E31\
\u0E0D\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E41\u0E2A\u0E27\u0E07\u0E2B\u0E32\
\u0E04\u0E27\u0E32\u0E21\u0E21\u0E31\u0E48\u0E19\u0E04\u0E07\u0E02\u0E2D\u0E07\
\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C"
C: "\u0E41\u0E19\u0E27\u0E17\u0E32\u0E07\u0E01\u0E32\u0E23\u0E23\u0E31\u0E01\
\u0E29\u0E32\u0E04\u0E27\u0E32\u0E21\u0E1B\u0E25\u0E2D\u0E14\u0E20\u0E31\u0E22\
\u0E17\u0E35\u0E48\u0E40\u0E19\u0E49\u0E19\u0E23\u0E31\u0E10\u0E40\u0E1B\u0E47\
\u0E19\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E01\u0E25\u0E32\u0E07\u0E40\u0E1B\u0E47\
\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\
\u0E04\u0E27\u0E32\u0E21\u0E21\u0E31\u0E48\u0E19\u0E04\u0E07\u0E02\u0E2D\u0E07\
\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E31\u0E01\
\u0E08\u0E30\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E44\u0E27\u0E49\u0E20\u0E32\u0E22\
\u0E43\u0E19\u0E42\u0E23\u0E07\u0E40\u0E23\u0E35\u0E22\u0E19\u0E04\u0E27\u0E32\
\u0E21\u0E21\u0E31\u0E48\u0E19\u0E04\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E19\u0E38\
\u0E29\u0E22\u0E4C\u0E43\u0E19\u0E27\u0E07\u0E01\u0E27\u0E49\u0E32\u0E07 \u0E41\
\u0E19\u0E27\u0E17\u0E32\u0E07\u0E19\u0E35\u0E49\u0E21\u0E35\u0E23\u0E31\u0E10\
\u0E40\u0E1B\u0E47\u0E19\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E01\u0E25\u0E32\u0E07\
\u0E08\u0E31\u0E14\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E2A\
\u0E33\u0E04\u0E31\u0E0D\u0E02\u0E2D\u0E07\u0E1A\u0E38\u0E04\u0E04\u0E25\u0E43\
\u0E19\u0E10\u0E32\u0E19\u0E30\u0E27\u0E31\u0E15\u0E16\u0E38\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E43\u0E19\u0E01\u0E32\u0E23\u0E28\u0E36\u0E01\u0E29\
\u0E32\u0E04\u0E27\u0E32\u0E21\u0E1B\u0E25\u0E2D\u0E14\u0E20\u0E31\u0E22"
D: "\u0E41\u0E19\u0E27\u0E17\u0E32\u0E07\u0E01\u0E32\u0E23\u0E23\u0E31\u0E01\
\u0E29\u0E32\u0E04\u0E27\u0E32\u0E21\u0E1B\u0E25\u0E2D\u0E14\u0E20\u0E31\u0E22\
\u0E17\u0E31\u0E49\u0E07\u0E41\u0E1A\u0E1A\u0E22\u0E36\u0E14\u0E23\u0E31\u0E10\
\u0E40\u0E1B\u0E47\u0E19\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E01\u0E25\u0E32\u0E07\
\u0E41\u0E25\u0E30\u0E22\u0E36\u0E14\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\u0E40\
\u0E1B\u0E47\u0E19\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E01\u0E25\u0E32\u0E07\u0E40\
\u0E1B\u0E47\u0E19\u0E40\u0E2D\u0E01\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E4C\u0E23\
\u0E48\u0E27\u0E21\u0E01\u0E31\u0E19 \u0E41\u0E25\u0E30\u0E19\u0E33\u0E40\u0E2A\
\u0E19\u0E2D\u0E01\u0E23\u0E2D\u0E1A\u0E01\u0E32\u0E23\u0E27\u0E34\u0E40\u0E04\
\u0E23\u0E32\u0E30\u0E2B\u0E4C\u0E17\u0E35\u0E48\u0E40\u0E1E\u0E35\u0E22\u0E07\
\u0E1E\u0E2D\u0E43\u0E19\u0E01\u0E32\u0E23\u0E17\u0E33\u0E04\u0E27\u0E32\u0E21\
\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E23\u0E30\u0E1A\u0E1A\u0E01\u0E32\u0E23\
\u0E23\u0E31\u0E01\u0E29\u0E32\u0E04\u0E27\u0E32\u0E21\u0E1B\u0E25\u0E2D\u0E14\
\u0E20\u0E31\u0E22\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E1B\u0E23\u0E30\
\u0E40\u0E17\u0E28 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E08\u0E36\u0E07\
\u0E40\u0E1B\u0E47\u0E19\u0E1A\u0E17\u0E1A\u0E32\u0E17\u0E02\u0E2D\u0E07\u0E19\
\u0E31\u0E01\u0E27\u0E34\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\u0E04\u0E27\
\u0E32\u0E21\u0E1B\u0E25\u0E2D\u0E14\u0E20\u0E31\u0E22\u0E43\u0E19\u0E01\u0E32\
\u0E23\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\u0E27\u0E48\u0E32\u0E41\u0E19\
\u0E27\u0E04\u0E34\u0E14\u0E2A\u0E33\u0E04\u0E31\u0E0D\u0E43\u0E14\u0E16\u0E39\
\u0E01\u0E15\u0E49\u0E2D\u0E07 \u0E41\u0E25\u0E30\u0E04\u0E27\u0E23\u0E25\u0E30\
\u0E17\u0E34\u0E49\u0E07\u0E41\u0E19\u0E27\u0E04\u0E34\u0E14\u0E43\u0E14"
input_correct_responses:
- B
input_question: "\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2D\u0E18\u0E34\u0E1A\u0E32\u0E22\
\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\u0E18\u0E4C\u0E23\
\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E41\u0E19\u0E27\u0E17\u0E32\u0E07\u0E23\
\u0E31\u0E10\u0E40\u0E1B\u0E47\u0E19\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E01\u0E25\
\u0E32\u0E07\u0E01\u0E31\u0E1A\u0E41\u0E19\u0E27\u0E04\u0E34\u0E14\u0E40\u0E23\
\u0E37\u0E48\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E21\u0E31\u0E48\u0E19\u0E04\
\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\u0E44\u0E14\u0E49\
\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E2D\u0E22\u0E48\u0E32\u0E07\
\u0E44\u0E23?"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E41\u0E02\u0E48\u0E07\u0E02\u0E31\u0E19\u0E23\u0E30\
\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28\u0E02\u0E19\
\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48\u0E2A\u0E48\u0E07\u0E1C\u0E25\u0E43\u0E2B\
\u0E49\u0E1A\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28\u0E2A\u0E19\u0E31\
\u0E1A\u0E2A\u0E19\u0E38\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21\u0E01\u0E48\u0E2D\
\u0E01\u0E32\u0E23\u0E23\u0E49\u0E32\u0E22\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E41\
\u0E02\u0E47\u0E07\u0E02\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1A\u0E48\
\u0E2D\u0E19\u0E17\u0E33\u0E25\u0E32\u0E22\u0E04\u0E27\u0E32\u0E21\u0E41\u0E02\
\u0E47\u0E07\u0E41\u0E01\u0E23\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\
\u0E04\u0E39\u0E48\u0E41\u0E02\u0E48\u0E07 \u0E40\u0E04\u0E23\u0E37\u0E2D\u0E02\
\u0E48\u0E32\u0E22\u0E1C\u0E39\u0E49\u0E01\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E23\
\u0E49\u0E32\u0E22\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E42\u0E21\u0E2A\u0E23\u0E2D\
\u0E38\u0E1B\u0E16\u0E31\u0E21\u0E20\u0E4C\u0E17\u0E35\u0E48\u0E02\u0E22\u0E32\
\u0E22\u0E2D\u0E2D\u0E01\u0E44\u0E1B\u0E0B\u0E36\u0E48\u0E07\u0E44\u0E14\u0E49\
\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E14\u0E39\u0E41\u0E25\u0E41\u0E25\u0E30\
\u0E08\u0E48\u0E32\u0E22\u0E40\u0E07\u0E34\u0E19\u0E42\u0E14\u0E22\u0E23\u0E31\
\u0E10\u0E1C\u0E39\u0E49\u0E1A\u0E23\u0E34\u0E08\u0E32\u0E04 \u0E41\u0E25\u0E30\
\u0E21\u0E35\u0E41\u0E19\u0E27\u0E04\u0E34\u0E14\u0E27\u0E48\u0E32\u0E40\u0E1B\
\u0E47\u0E19\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E15\u0E31\u0E27\u0E41\u0E2A\
\u0E14\u0E07\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\u0E17\u0E35\u0E48\u0E15\u0E49\
\u0E2D\u0E07\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E42\u0E14\u0E22\u0E43\u0E0A\
\u0E49\u0E01\u0E33\u0E25\u0E31\u0E07\u0E17\u0E2B\u0E32\u0E23"
B: "\u0E42\u0E25\u0E01\u0E32\u0E20\u0E34\u0E27\u0E31\u0E15\u0E19\u0E4C\u0E17\
\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E34\u0E08\u0E01\u0E23\u0E23\u0E21\u0E01\u0E32\
\u0E23\u0E01\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E23\u0E49\u0E32\u0E22\u0E40\u0E1B\
\u0E47\u0E19\u0E2A\u0E32\u0E01\u0E25\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E40\
\u0E1B\u0E34\u0E14\u0E1E\u0E37\u0E49\u0E19\u0E17\u0E35\u0E48\u0E1B\u0E0F\u0E34\
\u0E1A\u0E31\u0E15\u0E34\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E1E\u0E27\u0E01\
\u0E40\u0E02\u0E32 \u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E01\u0E32\u0E23\u0E1B\
\u0E23\u0E30\u0E2A\u0E32\u0E19\u0E07\u0E32\u0E19\u0E08\u0E30\u0E22\u0E31\u0E07\
\u0E04\u0E07\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E08\u0E31\
\u0E14\u0E01\u0E32\u0E23\u0E08\u0E32\u0E01\u0E10\u0E32\u0E19\u0E17\u0E32\u0E07\
\u0E20\u0E39\u0E21\u0E34\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C \u0E2A\u0E34\u0E48\
\u0E07\u0E19\u0E35\u0E49\u0E0A\u0E35\u0E49\u0E43\u0E2B\u0E49\u0E40\u0E2B\u0E47\
\u0E19\u0E27\u0E48\u0E32\u0E01\u0E25\u0E38\u0E48\u0E21\u0E1C\u0E39\u0E49\u0E01\
\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E23\u0E49\u0E32\u0E22\u0E21\u0E35\u0E42\u0E04\
\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E0A\
\u0E32\u0E15\u0E34 \u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E04\u0E27\
\u0E32\u0E21\u0E27\u0E48\u0E32\u0E01\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E01\u0E32\
\u0E23\u0E23\u0E49\u0E32\u0E22\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\
\u0E16\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\u0E43\u0E19\u0E41\u0E07\u0E48\
\u0E02\u0E2D\u0E07\u0E2A\u0E07\u0E04\u0E23\u0E32\u0E21\u0E17\u0E35\u0E48\u0E15\
\u0E49\u0E2D\u0E07\u0E1E\u0E48\u0E32\u0E22\u0E41\u0E1E\u0E49\u0E17\u0E32\u0E07\
\u0E17\u0E2B\u0E32\u0E23\u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E21\u0E35\u0E1C\
\u0E25\u0E01\u0E23\u0E30\u0E17\u0E1A\u0E23\u0E49\u0E32\u0E22\u0E41\u0E23\u0E07\
\u0E15\u0E48\u0E2D\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E01\u0E23\u0E1E\u0E37\u0E49\
\u0E19\u0E40\u0E21\u0E37\u0E2D\u0E07"
C: "\u0E01\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E23\u0E49\u0E32\
\u0E22\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E21\u0E2D\u0E07\u0E44\u0E14\u0E49\
\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E17\
\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E01\u0E49\u0E44\u0E02\u0E14\u0E49\
\u0E27\u0E22\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E17\u0E32\u0E07\u0E17\
\u0E2B\u0E32\u0E23 (\u0E2A\u0E07\u0E04\u0E23\u0E32\u0E21\u0E01\u0E31\u0E1A\
\u0E01\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E23\u0E49\u0E32\u0E22\
) \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E40\u0E17\u0E04\u0E19\u0E34\u0E04\
\u0E1B\u0E01\u0E15\u0E34\u0E02\u0E2D\u0E07\u0E15\u0E33\u0E23\u0E27\u0E08 (\u0E01\
\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E23\u0E49\u0E32\u0E22\u0E40\
\u0E1B\u0E47\u0E19\u0E2D\u0E32\u0E0A\u0E0D\u0E32\u0E01\u0E23\u0E23\u0E21)\
\ \u0E2B\u0E23\u0E37\u0E2D\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E31\u0E0D\u0E2B\
\u0E32\u0E17\u0E32\u0E07\u0E01\u0E32\u0E23\u0E41\u0E1E\u0E17\u0E22\u0E4C\u0E17\
\u0E35\u0E48\u0E21\u0E35\u0E2A\u0E32\u0E40\u0E2B\u0E15\u0E38\u0E41\u0E25\u0E30\
\u0E2D\u0E32\u0E01\u0E32\u0E23\u0E41\u0E1D\u0E07\u0E2D\u0E22\u0E39\u0E48 (\u0E01\
\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E23\u0E49\u0E32\u0E22\u0E40\
\u0E1B\u0E47\u0E19\u0E42\u0E23\u0E04)"
D: "\u0E01\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E23\u0E49\u0E32\
\u0E22\u0E16\u0E39\u0E01\u0E21\u0E2D\u0E07\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\
\u0E19\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E17\u0E32\u0E07\u0E2D\u0E32\u0E0D\u0E32\
\ \u0E2D\u0E32\u0E0A\u0E0D\u0E32\u0E01\u0E23\u0E23\u0E21\u0E02\u0E2D\u0E07\
\u0E01\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E23\u0E49\u0E32\u0E22\
\u0E21\u0E35\u0E19\u0E31\u0E22\u0E2A\u0E33\u0E04\u0E31\u0E0D\u0E2A\u0E2D\u0E07\
\u0E1B\u0E23\u0E30\u0E01\u0E32\u0E23 \u0E1B\u0E23\u0E30\u0E01\u0E32\u0E23\u0E41\
\u0E23\u0E01 \u0E21\u0E31\u0E19\u0E41\u0E2A\u0E14\u0E07\u0E43\u0E2B\u0E49\u0E40\
\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E01\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E01\
\u0E32\u0E23\u0E23\u0E49\u0E32\u0E22\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E01\
\u0E33\u0E08\u0E31\u0E14\u0E43\u0E2B\u0E49\u0E2B\u0E21\u0E14\u0E44\u0E1B\u0E44\
\u0E14\u0E49 - \u0E1C\u0E39\u0E49\u0E01\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E23\
\u0E49\u0E32\u0E22\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E16\u0E39\u0E01\u0E08\
\u0E31\u0E1A\u0E44\u0E14\u0E49\u0E41\u0E25\u0E30\u0E16\u0E39\u0E01\u0E19\u0E33\
\u0E15\u0E31\u0E27\u0E40\u0E02\u0E49\u0E32\u0E2A\u0E39\u0E48\u0E01\u0E32\u0E23\
\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\u0E04\u0E14\u0E35\u0E42\u0E14\u0E22\
\u0E01\u0E32\u0E23\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\u0E04\u0E14\u0E35\
\u0E15\u0E32\u0E21\u0E1B\u0E01\u0E15\u0E34 \u0E0B\u0E36\u0E48\u0E07\u0E08\u0E30\
\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E01\u0E33\u0E08\u0E31\u0E14\u0E20\
\u0E31\u0E22\u0E04\u0E38\u0E01\u0E04\u0E32\u0E21\u0E2D\u0E2D\u0E01\u0E08\u0E32\
\u0E01\u0E2A\u0E31\u0E07\u0E04\u0E21 - \u0E41\u0E25\u0E30\u0E1B\u0E23\u0E30\
\u0E01\u0E32\u0E23\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07 \u0E21\u0E31\u0E19\u0E41\
\u0E2A\u0E14\u0E07\u0E43\u0E2B\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\
\u0E40\u0E17\u0E04\u0E19\u0E34\u0E04\u0E01\u0E32\u0E23\u0E1B\u0E49\u0E2D\u0E07\
\u0E01\u0E31\u0E19\u0E2D\u0E32\u0E0A\u0E0D\u0E32\u0E01\u0E23\u0E23\u0E21\u0E2A\
\u0E32\u0E21\u0E32\u0E23\u0E16\u0E19\u0E33\u0E21\u0E32\u0E43\u0E0A\u0E49\u0E40\
\u0E1E\u0E37\u0E48\u0E2D\u0E1B\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E19\u0E01\u0E32\
\u0E23\u0E1E\u0E31\u0E12\u0E19\u0E32"
input_correct_responses:
- C
input_question: "\u0E01\u0E23\u0E2D\u0E1A\u0E01\u0E32\u0E23\u0E27\u0E34\u0E40\u0E04\
\u0E23\u0E32\u0E30\u0E2B\u0E4C\u0E43\u0E14\u0E17\u0E35\u0E48\u0E1E\u0E34\u0E08\
\u0E32\u0E23\u0E13\u0E32\u0E01\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E01\u0E32\u0E23\
\u0E23\u0E49\u0E32\u0E22 (\u0E13 \u0E1B\u0E35 2020)"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_security_studies
tag: mmlu_th_llama_social_sciences_tasks
task: mmlu_th_llama_security_studies
task_alias: security_studies
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_sociology.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E14\u0E39\u0E41\u0E25\u0E2A\u0E38\u0E02\u0E20\u0E32\
\u0E1E\u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E28\u0E36\u0E01\u0E29\u0E32\u0E1F\
\u0E23\u0E35\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E17\u0E38\u0E01\u0E04\u0E19"
B: "\u0E04\u0E48\u0E32\u0E08\u0E49\u0E32\u0E07\u0E02\u0E31\u0E49\u0E19\u0E15\
\u0E48\u0E33"
C: "\u0E01\u0E32\u0E23\u0E08\u0E49\u0E32\u0E07\u0E07\u0E32\u0E19\u0E40\u0E15\
\u0E47\u0E21\u0E17\u0E35\u0E48"
D: "\u0E2A\u0E27\u0E31\u0E2A\u0E14\u0E34\u0E01\u0E32\u0E23\u0E16\u0E49\u0E27\
\u0E19\u0E2B\u0E19\u0E49\u0E32"
input_correct_responses:
- B
input_question: "\u0E23\u0E31\u0E10\u0E2A\u0E27\u0E31\u0E2A\u0E14\u0E34\u0E01\u0E32\
\u0E23\u0E2B\u0E25\u0E31\u0E07\u0E2A\u0E07\u0E04\u0E23\u0E32\u0E21\u0E1B\u0E35\
\ 1948 \u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\
\u0E49\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E21\u0E35\u0E40\u0E1B\u0E49\u0E32\
\u0E2B\u0E21\u0E32\u0E22\u0E17\u0E35\u0E48\u0E08\u0E30\u0E08\u0E31\u0E14\u0E43\
\u0E2B\u0E49\u0E21\u0E35"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E02\u0E35\u0E48\u0E17\u0E35\u0E48\u0E22\u0E38\u0E15\
\u0E34\u0E18\u0E23\u0E23\u0E21"
B: "\u0E25\u0E30\u0E04\u0E23\u0E2A\u0E31\u0E15\u0E27\u0E4C"
C: "\u0E42\u0E23\u0E07\u0E25\u0E30\u0E04\u0E23\u0E2B\u0E38\u0E48\u0E19\u0E01\
\u0E23\u0E30\u0E1A\u0E2D\u0E01"
D: "\u0E1A\u0E31\u0E25\u0E40\u0E25\u0E48\u0E15\u0E4C"
input_correct_responses:
- C
input_question: "Berger (1963) \u0E2D\u0E18\u0E34\u0E1A\u0E32\u0E22\u0E27\u0E48\
\u0E32\u0E2D\u0E30\u0E44\u0E23\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E38\u0E1B\u0E25\
\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E27\
\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E23\u0E34\u0E07\u0E17\u0E32\u0E07\
\u0E2A\u0E31\u0E07\u0E04\u0E21?"
- input_choice_list:
A: "\u0E23\u0E30\u0E1A\u0E1A\u0E23\u0E32\u0E0A\u0E01\u0E32\u0E23\u0E17\u0E35\
\u0E48\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E36\u0E49\u0E19\u0E02\u0E2D\u0E07\
\u0E23\u0E31\u0E10\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E28\u0E32\u0E2A\u0E19\u0E32\
\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E2A\u0E48\u0E27\u0E19\
\u0E40\u0E25\u0E47\u0E01 \u0E46 \u0E02\u0E2D\u0E07\u0E0A\u0E35\u0E27\u0E34\
\u0E15\u0E40\u0E23\u0E32"
B: "\u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E2D\u0E33\u0E19\u0E32\u0E08\u0E14\
\u0E31\u0E49\u0E07\u0E40\u0E14\u0E34\u0E21\u0E08\u0E30\u0E2D\u0E48\u0E2D\u0E19\
\u0E41\u0E2D\u0E25\u0E07 \u0E41\u0E15\u0E48\u0E0A\u0E35\u0E27\u0E34\u0E15\u0E1B\
\u0E23\u0E30\u0E08\u0E33\u0E27\u0E31\u0E19\u0E41\u0E25\u0E30 '\u0E2A\u0E32\
\u0E21\u0E31\u0E0D\u0E2A\u0E33\u0E19\u0E36\u0E01' \u0E02\u0E2D\u0E07\u0E40\
\u0E23\u0E32\u0E22\u0E31\u0E07\u0E04\u0E07\u0E16\u0E39\u0E01\u0E2B\u0E25\u0E48\
\u0E2D\u0E2B\u0E25\u0E2D\u0E21\u0E14\u0E49\u0E27\u0E22\u0E04\u0E27\u0E32\u0E21\
\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E41\u0E25\u0E30\u0E04\u0E48\u0E32\u0E19\u0E34\
\u0E22\u0E21\u0E17\u0E32\u0E07\u0E28\u0E32\u0E2A\u0E19\u0E32"
C: "\u0E01\u0E32\u0E23\u0E21\u0E35\u0E2A\u0E48\u0E27\u0E19\u0E23\u0E48\u0E27\
\u0E21\u0E17\u0E32\u0E07\u0E28\u0E32\u0E2A\u0E19\u0E32\u0E43\u0E19\u0E01\u0E32\
\u0E23\u0E1A\u0E39\u0E0A\u0E32\u0E2A\u0E48\u0E27\u0E19\u0E23\u0E27\u0E21\u0E2D\
\u0E32\u0E08\u0E25\u0E14\u0E25\u0E07 \u0E41\u0E15\u0E48\u0E1C\u0E39\u0E49\u0E04\
\u0E19\u0E22\u0E31\u0E07\u0E04\u0E07\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\
\u0E28\u0E23\u0E31\u0E17\u0E18\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\
\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E31\u0E27"
D: "\u0E1C\u0E39\u0E49\u0E04\u0E19\u0E21\u0E31\u0E01\u0E08\u0E30\u0E1E\u0E39\
\u0E14\u0E04\u0E38\u0E22\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E04\u0E27\u0E32\
\u0E21\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E17\u0E32\u0E07\u0E28\u0E32\u0E2A\u0E19\
\u0E32\u0E43\u0E19\u0E17\u0E35\u0E48\u0E2A\u0E32\u0E18\u0E32\u0E23\u0E13\u0E30\
\u0E41\u0E25\u0E30\u0E44\u0E21\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E32\u0E07\
\u0E01\u0E32\u0E23"
input_correct_responses:
- B
input_question: "\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E08\
\u0E32\u0E01 '\u0E28\u0E32\u0E2A\u0E19\u0E32\u0E1E\u0E25\u0E40\u0E23\u0E37\
\u0E2D\u0E19' \u0E40\u0E1B\u0E47\u0E19 '\u0E28\u0E32\u0E2A\u0E19\u0E32\
\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B' \u0E2B\u0E21\u0E32\u0E22\u0E04\u0E27\
\u0E32\u0E21\u0E27\u0E48\u0E32:"
- input_choice_list:
A: "\u0E41\u0E19\u0E27\u0E42\u0E19\u0E49\u0E21\u0E02\u0E2D\u0E07\u0E0A\u0E19\
\u0E0A\u0E31\u0E49\u0E19\u0E41\u0E23\u0E07\u0E07\u0E32\u0E19\u0E17\u0E35\u0E48\
\u0E44\u0E21\u0E48\u0E40\u0E2B\u0E47\u0E19\u0E41\u0E01\u0E48\u0E1B\u0E23\u0E30\
\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E19"
B: "\u0E2D\u0E38\u0E14\u0E21\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48\
\u0E42\u0E14\u0E14\u0E40\u0E14\u0E48\u0E19\u0E17\u0E35\u0E48\u0E2A\u0E23\u0E49\
\u0E32\u0E07\u0E04\u0E27\u0E32\u0E21\u0E0A\u0E2D\u0E1A\u0E18\u0E23\u0E23\u0E21\
\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E2D\u0E33\u0E19\u0E32\u0E08\u0E17\u0E32\
\u0E07\u0E40\u0E28\u0E23\u0E29\u0E10\u0E01\u0E34\u0E08 \u0E01\u0E32\u0E23\u0E40\
\u0E21\u0E37\u0E2D\u0E07 \u0E41\u0E25\u0E30\u0E27\u0E31\u0E12\u0E19\u0E18\u0E23\
\u0E23\u0E21"
C: "\u0E23\u0E39\u0E1B\u0E41\u0E1A\u0E1A\u0E02\u0E2D\u0E07\u0E08\u0E34\u0E15\
\u0E2A\u0E33\u0E19\u0E36\u0E01\u0E04\u0E39\u0E48\u0E15\u0E32\u0E21\u0E2D\u0E38\
\u0E14\u0E21\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E41\u0E25\u0E30\u0E1B\u0E23\u0E30\
\u0E2A\u0E1A\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E43\u0E19\u0E0A\u0E35\u0E27\u0E34\
\u0E15\u0E1B\u0E23\u0E30\u0E08\u0E33\u0E27\u0E31\u0E19"
D: "\u0E42\u0E2B\u0E21\u0E14\u0E01\u0E32\u0E23\u0E0A\u0E33\u0E23\u0E30\u0E40\
\u0E07\u0E34\u0E19\u0E17\u0E35\u0E48\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E43\u0E2B\
\u0E49\u0E01\u0E31\u0E1A topiary \u0E17\u0E35\u0E48\u0E42\u0E14\u0E14\u0E40\
\u0E14\u0E48\u0E19"
input_correct_responses:
- B
input_question: "\u0E04\u0E33\u0E27\u0E48\u0E32 '\u0E04\u0E27\u0E32\u0E21\u0E40\
\u0E1B\u0E47\u0E19\u0E40\u0E08\u0E49\u0E32\u0E42\u0E25\u0E01' \u0E2B\u0E21\
\u0E32\u0E22\u0E16\u0E36\u0E07:"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E19\u0E31\u0E14\u0E2B\u0E22\u0E38\u0E14\u0E07\u0E32\
\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E2B\u0E0D\u0E48\u0E44\u0E21\u0E48\u0E21\
\u0E35\u0E43\u0E04\u0E23\u0E2A\u0E31\u0E07\u0E40\u0E01\u0E15\u0E40\u0E2B\u0E47\
\u0E19\u0E42\u0E14\u0E22\u0E19\u0E32\u0E22\u0E08\u0E49\u0E32\u0E07\u0E41\u0E25\
\u0E30\u0E2A\u0E37\u0E48\u0E2D\u0E21\u0E27\u0E25\u0E0A\u0E19"
B: "\u0E19\u0E32\u0E22\u0E08\u0E49\u0E32\u0E07\u0E08\u0E30\u0E44\u0E21\u0E48\
\u0E23\u0E32\u0E22\u0E07\u0E32\u0E19\u0E02\u0E49\u0E2D\u0E1E\u0E34\u0E1E\u0E32\
\u0E17\u0E17\u0E32\u0E07\u0E2D\u0E38\u0E15\u0E2A\u0E32\u0E2B\u0E01\u0E23\u0E23\
\u0E21\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14"
C: "\u0E04\u0E33\u0E08\u0E33\u0E01\u0E31\u0E14\u0E04\u0E27\u0E32\u0E21\u0E02\
\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E19\u0E31\u0E14\u0E2B\u0E22\u0E38\u0E14\u0E07\
\u0E32\u0E19\u0E44\u0E21\u0E48\u0E23\u0E27\u0E21\u0E07\u0E32\u0E19\u0E17\u0E35\
\u0E48\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\
\u0E1A\u0E04\u0E19\u0E07\u0E32\u0E19\u0E19\u0E49\u0E2D\u0E22\u0E01\u0E27\u0E48\
\u0E32\u0E2A\u0E34\u0E1A\u0E04\u0E19\u0E2B\u0E23\u0E37\u0E2D\u0E19\u0E49\u0E2D\
\u0E22\u0E01\u0E27\u0E48\u0E32\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E27\u0E31\u0E19"
D: "\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E22\u0E32\u0E01\u0E17\u0E35\
\u0E48\u0E08\u0E30\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\
\u0E1A\u0E01\u0E32\u0E23\u0E19\u0E31\u0E14\u0E2B\u0E22\u0E38\u0E14\u0E07\u0E32\
\u0E19\u0E17\u0E35\u0E48\u0E27\u0E31\u0E14\u0E14\u0E49\u0E27\u0E22\u0E27\u0E34\
\u0E18\u0E35\u0E15\u0E48\u0E32\u0E07\u0E46"
input_correct_responses:
- A
input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
\u0E35\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E1B\u0E31\u0E0D\u0E2B\u0E32\
\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E2A\u0E16\u0E34\u0E15\
\u0E34\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E32\u0E07\
\u0E01\u0E32\u0E23\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\
\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E17\u0E49\u0E27\u0E07"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_sociology
tag: mmlu_th_llama_social_sciences_tasks
task: mmlu_th_llama_sociology
task_alias: sociology
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_us_foreign_policy.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E21\u0E31\u0E19\u0E17\u0E33\u0E25\u0E32\u0E22\u0E01\u0E32\u0E23\u0E2A\
\u0E19\u0E31\u0E1A\u0E2A\u0E19\u0E38\u0E19\u0E23\u0E39\u0E1B\u0E41\u0E1A\u0E1A\
\u0E40\u0E28\u0E23\u0E29\u0E10\u0E01\u0E34\u0E08\u0E01\u0E32\u0E23\u0E40\u0E21\
\u0E37\u0E2D\u0E07\u0E41\u0E25\u0E30\u0E23\u0E30\u0E1A\u0E1A\u0E17\u0E38\u0E19\
\u0E19\u0E34\u0E22\u0E21\u0E02\u0E2D\u0E07\u0E2A\u0E2B\u0E23\u0E31\u0E10\u0E2F"
B: "\u0E21\u0E31\u0E19\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E04\u0E27\u0E32\u0E21\
\u0E42\u0E01\u0E23\u0E18\u0E41\u0E04\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E01\u0E31\
\u0E1A\u0E2A\u0E2B\u0E23\u0E31\u0E10\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\
\u0E17\u0E35\u0E48\u0E1E\u0E39\u0E14\u0E40\u0E01\u0E34\u0E19\u0E08\u0E23\u0E34\
\u0E07\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E27\u0E34\u0E01\
\u0E24\u0E15"
C: "\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E01\u0E32\u0E23\u0E2A\u0E19\u0E31\u0E1A\
\u0E2A\u0E19\u0E38\u0E19\u0E1C\u0E39\u0E49\u0E19\u0E33\u0E23\u0E30\u0E14\u0E31\
\u0E1A\u0E42\u0E25\u0E01\u0E02\u0E2D\u0E07\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\
\u0E32\u0E20\u0E32\u0E22\u0E43\u0E15\u0E49\u0E1B\u0E23\u0E30\u0E18\u0E32\u0E19\
\u0E32\u0E18\u0E34\u0E1A\u0E14\u0E35\u0E42\u0E2D\u0E1A\u0E32\u0E21\u0E32"
D: "\u0E21\u0E31\u0E19\u0E25\u0E14\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E40\
\u0E07\u0E34\u0E19\u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C\u0E2A\u0E2B\u0E23\
\u0E31\u0E10\u0E17\u0E31\u0E48\u0E27\u0E42\u0E25\u0E01"
input_correct_responses:
- A
input_question: "\u0E27\u0E34\u0E01\u0E24\u0E15\u0E01\u0E32\u0E23\u0E40\u0E07\u0E34\
\u0E19\u0E1B\u0E35 2551 \u0E2A\u0E48\u0E07\u0E1C\u0E25\u0E01\u0E23\u0E30\u0E17\
\u0E1A\u0E15\u0E48\u0E2D\u0E0A\u0E37\u0E48\u0E2D\u0E40\u0E2A\u0E35\u0E22\u0E07\
\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E19\u0E32\u0E19\u0E32\u0E0A\u0E32\u0E15\u0E34\
\u0E02\u0E2D\u0E07\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E2D\u0E22\u0E48\
\u0E32\u0E07\u0E44\u0E23?"
- input_choice_list:
A: "\u0E21\u0E31\u0E19\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E01\
\u0E31\u0E01\u0E01\u0E31\u0E19\u0E17\u0E31\u0E48\u0E27\u0E42\u0E25\u0E01"
B: "\u0E21\u0E31\u0E19\u0E17\u0E33\u0E01\u0E32\u0E23\u0E01\u0E31\u0E01\u0E01\
\u0E31\u0E19\u0E17\u0E32\u0E07\u0E17\u0E2B\u0E32\u0E23"
C: "\u0E21\u0E31\u0E19\u0E40\u0E23\u0E35\u0E22\u0E01\u0E23\u0E49\u0E2D\u0E07\
\u0E43\u0E2B\u0E49\u0E21\u0E35\u0E01\u0E32\u0E23\u0E1E\u0E31\u0E12\u0E19\u0E32\
\u0E23\u0E30\u0E40\u0E1A\u0E34\u0E14\u0E44\u0E2E\u0E42\u0E14\u0E23\u0E40\u0E08\
\u0E19"
D: "\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E02\u0E49\u0E32\u0E07\u0E15\
\u0E49\u0E19"
input_correct_responses:
- D
input_question: "NSC-68 \u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E22\u0E38\
\u0E17\u0E18\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C\u0E02\u0E2D\u0E07\u0E2A\u0E2B\
\u0E23\u0E31\u0E10\u0E2F \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23?"
- input_choice_list:
A: "\u0E19\u0E42\u0E22\u0E1A\u0E32\u0E22\u0E01\u0E32\u0E23\u0E01\u0E48\u0E2D\
\u0E01\u0E32\u0E23\u0E23\u0E49\u0E32\u0E22"
B: "\u0E19\u0E42\u0E22\u0E1A\u0E32\u0E22\u0E40\u0E28\u0E23\u0E29\u0E10\u0E01\
\u0E34\u0E08."
C: "\u0E19\u0E42\u0E22\u0E1A\u0E32\u0E22\u0E15\u0E48\u0E32\u0E07\u0E1B\u0E23\
\u0E30\u0E40\u0E17\u0E28."
D: "\u0E19\u0E42\u0E22\u0E1A\u0E32\u0E22\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\
\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28"
input_correct_responses:
- C
input_question: "\u0E02\u0E2D\u0E1A\u0E40\u0E02\u0E15\u0E02\u0E2D\u0E07\u0E01\u0E32\
\u0E23\u0E15\u0E31\u0E14\u0E2A\u0E34\u0E19\u0E43\u0E08\u0E40\u0E0A\u0E34\u0E07\
\u0E19\u0E42\u0E22\u0E1A\u0E32\u0E22\u0E17\u0E35\u0E48\u0E40\u0E01\u0E35\u0E48\
\u0E22\u0E27\u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\
\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\u0E18\u0E4C\u0E23\u0E30\u0E2B\u0E27\u0E48\
\u0E32\u0E07\u0E2A\u0E2B\u0E23\u0E31\u0E10\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\
\u0E32\u0E41\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19\u0E2D\u0E37\u0E48\u0E19\u0E46\
\ \u0E02\u0E2D\u0E07\u0E42\u0E25\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E25\u0E31\
\u0E01\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32"
- input_choice_list:
A: "\u0E19\u0E31\u0E01\u0E1B\u0E01\u0E1B\u0E49\u0E2D\u0E07\u0E04\u0E27\u0E32\
\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E23\u0E34\u0E07\u0E43\u0E2B\u0E49\u0E04\
\u0E27\u0E32\u0E21\u0E2A\u0E33\u0E04\u0E31\u0E0D\u0E01\u0E31\u0E1A\u0E1A\u0E17\
\u0E1A\u0E32\u0E17\u0E02\u0E2D\u0E07\u0E2A\u0E16\u0E32\u0E1A\u0E31\u0E19\u0E23\
\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28\u0E21\
\u0E32\u0E01\u0E02\u0E36\u0E49\u0E19"
B: "\u0E19\u0E31\u0E01\u0E2A\u0E31\u0E08\u0E19\u0E34\u0E22\u0E21\u0E40\u0E0A\
\u0E34\u0E07\u0E1B\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E19\u0E43\u0E2B\u0E49\u0E04\
\u0E27\u0E32\u0E21\u0E2A\u0E33\u0E04\u0E31\u0E0D\u0E01\u0E31\u0E1A\u0E1B\u0E31\
\u0E08\u0E08\u0E31\u0E22\u0E17\u0E32\u0E07\u0E20\u0E39\u0E21\u0E34\u0E28\u0E32\
\u0E2A\u0E15\u0E23\u0E4C\u0E19\u0E49\u0E2D\u0E22\u0E01\u0E27\u0E48\u0E32"
C: "\u0E19\u0E31\u0E01\u0E2A\u0E31\u0E08\u0E19\u0E34\u0E22\u0E21\u0E19\u0E34\
\u0E22\u0E21\u0E43\u0E2B\u0E49\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E33\u0E04\u0E31\
\u0E0D\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\
\u0E4C\u0E02\u0E2D\u0E07\u0E0A\u0E32\u0E15\u0E34\u0E21\u0E32\u0E01\u0E01\u0E27\
\u0E48\u0E32\u0E19\u0E31\u0E01\u0E2A\u0E31\u0E08\u0E19\u0E34\u0E22\u0E21\u0E19\
\u0E34\u0E22\u0E21"
D: "\u0E19\u0E31\u0E01\u0E2A\u0E31\u0E08\u0E19\u0E34\u0E22\u0E21\u0E40\u0E0A\
\u0E34\u0E07\u0E1B\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E19\u0E40\u0E0A\u0E37\u0E48\
\u0E2D\u0E27\u0E48\u0E32\u0E23\u0E31\u0E10\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E39\
\u0E49\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E2D\u0E33\u0E19\u0E32\u0E08\u0E2A\u0E39\
\u0E07\u0E2A\u0E38\u0E14\u0E43\u0E19\u0E01\u0E32\u0E23\u0E23\u0E31\u0E01\u0E29\
\u0E32\u0E04\u0E27\u0E32\u0E21\u0E1B\u0E25\u0E2D\u0E14\u0E20\u0E31\u0E22 \u0E43\
\u0E19\u0E02\u0E13\u0E30\u0E17\u0E35\u0E48\u0E1C\u0E39\u0E49\u0E19\u0E34\u0E22\
\u0E21\u0E2A\u0E31\u0E08\u0E18\u0E23\u0E23\u0E21\u0E40\u0E0A\u0E34\u0E07\u0E23\
\u0E38\u0E01\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E27\u0E48\u0E32\u0E23\u0E31\u0E10\
\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E39\u0E49\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E2D\
\u0E33\u0E19\u0E32\u0E08\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14"
input_correct_responses:
- D
input_question: "Defensive Realism \u0E41\u0E25\u0E30 Offensive Realism \u0E41\
\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19\u0E2D\u0E22\u0E48\u0E32\
\u0E07\u0E44\u0E23\u0E43\u0E19\u0E01\u0E32\u0E23\u0E2D\u0E18\u0E34\u0E1A\u0E32\
\u0E22\u0E1E\u0E24\u0E15\u0E34\u0E01\u0E23\u0E23\u0E21\u0E02\u0E2D\u0E07\u0E23\
\u0E31\u0E10"
- input_choice_list:
A: "\u0E42\u0E25\u0E01\u0E32\u0E20\u0E34\u0E27\u0E31\u0E15\u0E19\u0E4C\u0E17\
\u0E33\u0E43\u0E2B\u0E49\u0E1C\u0E39\u0E49\u0E0A\u0E32\u0E22\u0E2D\u0E22\u0E48\
\u0E32\u0E07\u0E40\u0E02\u0E32\u0E23\u0E27\u0E22\u0E40\u0E01\u0E34\u0E19\u0E44\
\u0E1B"
B: "\u0E42\u0E25\u0E01\u0E32\u0E20\u0E34\u0E27\u0E31\u0E15\u0E19\u0E4C\u0E43\
\u0E2B\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E40\u0E09\u0E1E\
\u0E32\u0E30\u0E1A\u0E32\u0E07\u0E23\u0E31\u0E10\u0E43\u0E19\u0E2D\u0E40\u0E21\
\u0E23\u0E34\u0E01\u0E32 \u0E40\u0E0A\u0E48\u0E19 \u0E19\u0E34\u0E27\u0E22\
\u0E2D\u0E23\u0E4C\u0E01"
C: "\u0E0A\u0E19\u0E0A\u0E31\u0E49\u0E19\u0E19\u0E33\u0E40\u0E2A\u0E23\u0E35\
\u0E19\u0E34\u0E22\u0E21\u0E2A\u0E19\u0E31\u0E1A\u0E2A\u0E19\u0E38\u0E19\u0E42\
\u0E25\u0E01\u0E32\u0E20\u0E34\u0E27\u0E31\u0E15\u0E19\u0E4C \u0E43\u0E19\u0E02\
\u0E13\u0E30\u0E17\u0E35\u0E48 '\u0E04\u0E19\u0E2D\u0E40\u0E21\u0E23\u0E34\
\u0E01\u0E31\u0E19\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B' \u0E15\u0E01\u0E07\
\u0E32\u0E19\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E21\u0E31\u0E19"
D: "\u0E42\u0E25\u0E01\u0E32\u0E20\u0E34\u0E27\u0E31\u0E15\u0E19\u0E4C\u0E01\
\u0E23\u0E30\u0E15\u0E38\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E40\u0E01\u0E34\u0E14\
\u0E2A\u0E07\u0E04\u0E23\u0E32\u0E21\u0E01\u0E32\u0E23\u0E04\u0E49\u0E32\u0E17\
\u0E35\u0E48\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\
\u0E35\u0E22\u0E2B\u0E32\u0E22"
input_correct_responses:
- C
input_question: "\u0E42\u0E14\u0E19\u0E31\u0E25\u0E14\u0E4C \u0E17\u0E23\u0E31\
\u0E21\u0E1B\u0E4C\u0E42\u0E08\u0E21\u0E15\u0E35\u0E42\u0E25\u0E01\u0E32\u0E20\
\u0E34\u0E27\u0E31\u0E15\u0E19\u0E4C\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\
\u0E43\u0E19\u0E01\u0E32\u0E23\u0E2B\u0E32\u0E40\u0E2A\u0E35\u0E22\u0E07\u0E1B\
\u0E35 2559"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_us_foreign_policy
tag: mmlu_th_llama_social_sciences_tasks
task: mmlu_th_llama_us_foreign_policy
task_alias: us_foreign_policy
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_virology.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E1E\u0E27\u0E01\u0E21\u0E31\u0E19\u0E44\
\u0E21\u0E48\u0E21\u0E35\u0E01\u0E23\u0E14\u0E19\u0E34\u0E27\u0E04\u0E25\u0E35\
\u0E2D\u0E34\u0E01"
B: "\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\
\u0E23\u0E44\u0E27\u0E23\u0E31\u0E2A\u0E15\u0E31\u0E27\u0E0A\u0E48\u0E27\u0E22"
C: "\u0E17\u0E33\u0E0B\u0E49\u0E33\u0E43\u0E19\u0E01\u0E32\u0E23\u0E41\u0E1A\
\u0E48\u0E07\u0E40\u0E0B\u0E25\u0E25\u0E4C\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\
\u0E49\u0E19"
D: "\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E23\u0E27\u0E21\u0E40\u0E02\u0E49\
\u0E32\u0E01\u0E31\u0E1A\u0E42\u0E2E\u0E2A\u0E15\u0E4C\u0E42\u0E04\u0E23\u0E42\
\u0E21\u0E42\u0E0B\u0E21\u0E44\u0E14\u0E49"
input_correct_responses:
- A
input_question: "\u0E40\u0E2B\u0E15\u0E38\u0E43\u0E14\u0E1E\u0E32\u0E23\u0E4C\u0E42\
\u0E27\u0E44\u0E27\u0E23\u0E31\u0E2A\u0E08\u0E36\u0E07\u0E40\u0E1B\u0E47\u0E19\
\u0E1B\u0E23\u0E2A\u0E34\u0E15\u0E17\u0E35\u0E48\u0E21\u0E35\u0E1C\u0E25\u0E01\
\u0E23\u0E30\u0E17\u0E1A\u0E2A\u0E39\u0E07"
- input_choice_list:
A: "\u0E44\u0E27\u0E23\u0E31\u0E2A\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E23\u0E32\
\u0E30\u0E1A\u0E32\u0E07\u0E21\u0E31\u0E01\u0E21\u0E2D\u0E07\u0E40\u0E2B\u0E47\
\u0E19\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22 RNA \u0E17\u0E35\u0E48\u0E1E\
\u0E48\u0E19\u0E2D\u0E2D\u0E01\u0E21\u0E32\u0E08\u0E32\u0E01\u0E20\u0E32\u0E22\
\u0E43\u0E19"
B: "\u0E22\u0E37\u0E14\u0E2D\u0E32\u0E22\u0E38\u0E44\u0E27\u0E23\u0E31\u0E2A"
C: "\u0E44\u0E27\u0E23\u0E31\u0E2A Icosahedral \u0E01\u0E31\u0E1A\u0E0B\u0E2D\
\u0E07\u0E08\u0E14\u0E2B\u0E21\u0E32\u0E22"
D: "\u0E44\u0E27\u0E23\u0E31\u0E2A\u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\
\u0E48\u0E21\u0E32\u0E01"
input_correct_responses:
- A
input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E04\u0E37\u0E2D\u0E25\u0E31\u0E01\
\u0E29\u0E13\u0E30\u0E17\u0E32\u0E07\u0E2A\u0E31\u0E13\u0E10\u0E32\u0E19\u0E27\
\u0E34\u0E17\u0E22\u0E32\u0E02\u0E2D\u0E07\u0E44\u0E27\u0E23\u0E31\u0E2A\u0E1E\
\u0E32\u0E23\u0E32\u0E21\u0E34\u0E01\u0E42\u0E0B"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E40\u0E01\u0E47\u0E1A\u0E23\u0E27\u0E1A\u0E23\u0E27\
\u0E21\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25"
B: "\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\
\u0E01\u0E47\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E32\
\u0E07\u0E0A\u0E35\u0E27\u0E27\u0E34\u0E17\u0E22\u0E32"
C: "\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E19\u0E43\u0E08\u0E02\u0E2D\u0E07\u0E1C\
\u0E39\u0E49\u0E40\u0E02\u0E49\u0E32\u0E23\u0E48\u0E27\u0E21"
D: "\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E1A\
\u0E2A\u0E2D\u0E1A\u0E16\u0E32\u0E21\u0E42\u0E14\u0E22\u0E40\u0E08\u0E49\u0E32\
\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48"
input_correct_responses:
- B
input_question: "\u0E1B\u0E31\u0E08\u0E08\u0E31\u0E22\u0E2A\u0E33\u0E04\u0E31\u0E0D\
\u0E17\u0E35\u0E48\u0E2D\u0E33\u0E19\u0E27\u0E22\u0E04\u0E27\u0E32\u0E21\u0E2A\
\u0E30\u0E14\u0E27\u0E01\u0E43\u0E19\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E22\
\u0E38\u0E01\u0E15\u0E4C\u0E43\u0E0A\u0E49\u0E01\u0E23\u0E13\u0E35\u0E28\u0E36\
\u0E01\u0E29\u0E32\u0E04\u0E27\u0E1A\u0E04\u0E38\u0E21\u0E41\u0E1A\u0E1A\u0E0B\
\u0E49\u0E2D\u0E19\u0E08\u0E32\u0E01 MACS \u0E04\u0E37\u0E2D:"
- input_choice_list:
A: "\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E1E\u0E24\u0E15\u0E34\u0E01\
\u0E23\u0E23\u0E21"
B: "\u0E04\u0E27\u0E32\u0E21\u0E04\u0E38\u0E49\u0E21\u0E04\u0E23\u0E2D\u0E07\
\u0E17\u0E35\u0E48\u0E04\u0E23\u0E2D\u0E1A\u0E04\u0E25\u0E38\u0E21"
C: "\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E17\u0E24\u0E29\u0E0E\u0E35\u0E1E\
\u0E24\u0E15\u0E34\u0E01\u0E23\u0E23\u0E21\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C\
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E2A\u0E34\u0E17\
\u0E18\u0E34\u0E1C\u0E25"
D: "\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E41\u0E1B\
\u0E25\u0E07\u0E1E\u0E24\u0E15\u0E34\u0E01\u0E23\u0E23\u0E21\u0E17\u0E35\u0E48\
\u0E22\u0E31\u0E48\u0E07\u0E22\u0E37\u0E19"
input_correct_responses:
- D
input_question: "\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E17\u0E35\u0E48\
\u0E2A\u0E33\u0E04\u0E31\u0E0D\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\
\u0E07\u0E01\u0E32\u0E23\u0E41\u0E17\u0E23\u0E01\u0E41\u0E0B\u0E07\u0E17\u0E32\
\u0E07\u0E1E\u0E24\u0E15\u0E34\u0E01\u0E23\u0E23\u0E21\u0E04\u0E37\u0E2D:"
- input_choice_list:
A: "\u0E1C\u0E39\u0E49\u0E15\u0E34\u0E14\u0E40\u0E0A\u0E37\u0E49\u0E2D HIV \u0E17\
\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E0A\u0E38\u0E01"
B: "\u0E40\u0E0B\u0E42\u0E23\u0E40\u0E19\u0E01\u0E32\u0E17\u0E35\u0E1F"
C: "\u0E40\u0E0B\u0E2D\u0E23\u0E4C\u0E42\u0E27\u0E04\u0E2D\u0E19\u0E40\u0E27\
\u0E2D\u0E23\u0E4C\u0E40\u0E15\u0E2D\u0E23\u0E4C"
D: "\u0E0B\u0E35\u0E42\u0E23\u0E40\u0E19\u0E01\u0E32\u0E17\u0E35\u0E1F\u0E17\
\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E35\u0E48\u0E22\
\u0E07\u0E2A\u0E39\u0E07"
input_correct_responses:
- C
input_question: "\u0E04\u0E48\u0E32\u0E21\u0E31\u0E18\u0E22\u0E10\u0E32\u0E19\u0E02\
\u0E2D\u0E07\u0E40\u0E27\u0E25\u0E32\u0E23\u0E2D\u0E14\u0E0A\u0E35\u0E27\u0E34\
\u0E15\u0E15\u0E48\u0E2D\u0E42\u0E23\u0E04\u0E40\u0E2D\u0E14\u0E2A\u0E4C\u0E41\
\u0E25\u0E30\u0E01\u0E32\u0E23\u0E40\u0E2A\u0E35\u0E22\u0E0A\u0E35\u0E27\u0E34\
\u0E15\u0E16\u0E39\u0E01\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E02\u0E36\u0E49\u0E19\
\u0E42\u0E14\u0E22:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_virology
tag: mmlu_th_llama_other_tasks
task: mmlu_th_llama_virology
task_alias: virology
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_world_religions.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E2A\u0E32\u0E22\u0E23\u0E38\u0E49\u0E07"
B: "\u0E01\u0E32\u0E23\u0E02\u0E25\u0E34\u0E1A"
C: "\u0E25\u0E39\u0E01\u0E0A\u0E32\u0E22"
D: "\u0E1A\u0E32\u0E23\u0E4C\u0E21\u0E34\u0E15\u0E0B\u0E4C\u0E27\u0E32\u0E2B\
\u0E4C"
input_correct_responses:
- B
input_question: "\u0E2D\u0E30\u0E44\u0E23\u0E04\u0E37\u0E2D\u0E2A\u0E31\u0E0D\u0E0D\
\u0E32\u0E13\u0E02\u0E2D\u0E07\u0E1E\u0E31\u0E19\u0E18\u0E2A\u0E31\u0E0D\u0E0D\
\u0E32\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E1C\u0E39\u0E49\u0E0A\u0E32\u0E22\
\u0E0A\u0E32\u0E27\u0E22\u0E34\u0E27?"
- input_choice_list:
A: "\u0E1E\u0E23\u0E30\u0E18\u0E23\u0E23\u0E21"
B: "\u0E04\u0E13\u0E30\u0E2A\u0E07\u0E06\u0E4C"
C: "\u0E1E\u0E23\u0E30\u0E1E\u0E38\u0E17\u0E18\u0E40\u0E08\u0E49\u0E32"
D: "\u0E1E\u0E23\u0E30\u0E42\u0E1E\u0E18\u0E34\u0E2A\u0E31\u0E15\u0E27\u0E4C"
input_correct_responses:
- A
input_question: "\u0E2D\u0E31\u0E0D\u0E21\u0E13\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E2D\
\u0E07\u0E43\u0E19\u0E1E\u0E23\u0E30\u0E1E\u0E38\u0E17\u0E18\u0E28\u0E32\u0E2A\
\u0E19\u0E32\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23?"
- input_choice_list:
A: "\u0E0B\u0E32\u0E07"
B: "\u0E42\u0E08\u0E27"
C: "\u0E2E\u0E31\u0E48\u0E19"
D: "\u0E40\u0E0B\u0E35\u0E48\u0E22"
input_correct_responses:
- B
input_question: "\u0E23\u0E32\u0E0A\u0E27\u0E07\u0E28\u0E4C\u0E43\u0E14\u0E17\u0E35\
\u0E48 "\u0E2D\u0E32\u0E13\u0E31\u0E15\u0E34\u0E41\u0E2B\u0E48\u0E07\u0E2A\
\u0E27\u0E23\u0E23\u0E04\u0E4C" \u0E1E\u0E31\u0E12\u0E19\u0E32\u0E02\u0E36\
\u0E49\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E1C\
\u0E39\u0E49\u0E1B\u0E01\u0E04\u0E23\u0E2D\u0E07\u0E43\u0E2B\u0E21\u0E48\u0E0A\
\u0E2D\u0E1A\u0E18\u0E23\u0E23\u0E21?"
- input_choice_list:
A: "\u0E42\u0E2E\u0E40\u0E19\u0E47\u0E19"
B: "\u0E17\u0E32\u0E19\u0E32\u0E01\u0E30"
C: "\u0E42\u0E17\u0E04\u0E38\u0E01\u0E32\u0E27\u0E30"
D: "\u0E40\u0E21\u0E08\u0E34"
input_correct_responses:
- D
input_question: "\u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25\u0E0D\u0E35\u0E48\u0E1B\u0E38\
\u0E48\u0E19\u0E43\u0E14\u0E17\u0E35\u0E48\u0E2A\u0E48\u0E07\u0E40\u0E2A\u0E23\
\u0E34\u0E21\u0E25\u0E31\u0E17\u0E18\u0E34\u0E1B\u0E23\u0E30\u0E08\u0E33\u0E0A\
\u0E32\u0E15\u0E34\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E2B\u0E19\u0E36\u0E48\
\u0E07\u0E15\u0E32\u0E21\u0E08\u0E31\u0E01\u0E23\u0E1E\u0E23\u0E23\u0E14\u0E34\
\u0E41\u0E25\u0E30\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\
\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E40\u0E02\u0E32\u0E01\u0E31\u0E1A\u0E04\u0E32\
\u0E21\u0E34"
- input_choice_list:
A: "\u0E15\u0E33\u0E23\u0E32\u0E1E\u0E34\u0E18\u0E35\u0E01\u0E23\u0E23\u0E21"
B: "\u0E15\u0E33\u0E23\u0E32\u0E1B\u0E23\u0E31\u0E0A\u0E0D\u0E32"
C: "\u0E40\u0E1E\u0E25\u0E07\u0E2A\u0E27\u0E14"
D: "\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E23\u0E32\u0E27\u0E15\u0E49\u0E19\
\u0E01\u0E33\u0E40\u0E19\u0E34\u0E14"
input_correct_responses:
- B
input_question: "\u0E2D\u0E38\u0E1B\u0E19\u0E34\u0E29\u0E31\u0E17\u0E21\u0E35\u0E25\
\u0E31\u0E01\u0E29\u0E13\u0E30\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_world_religions
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_world_religions
task_alias: world_religions
lm_eval/tasks/llama3/instruct/mmlu_th/utils.py 0 → 100644
View file @ 1b357a68
from functools import partial
import datasets
def process_docs(dataset: datasets.Dataset, subtask) -> datasets.Dataset:
return dataset.filter(
lambda example: example["subtask_name"] == f"mmlu_th_chat.{subtask}"
)
process_docs_electrical_engineering = partial(
process_docs, subtask="electrical_engineering"
)
process_docs_machine_learning = partial(process_docs, subtask="machine_learning")
process_docs_formal_logic = partial(process_docs, subtask="formal_logic")
process_docs_management = partial(process_docs, subtask="management")
process_docs_high_school_chemistry = partial(
process_docs, subtask="high_school_chemistry"
)
process_docs_business_ethics = partial(process_docs, subtask="business_ethics")
process_docs_security_studies = partial(process_docs, subtask="security_studies")
process_docs_econometrics = partial(process_docs, subtask="econometrics")
process_docs_international_law = partial(process_docs, subtask="international_law")
process_docs_high_school_macroeconomics = partial(
process_docs, subtask="high_school_macroeconomics"
)
process_docs_abstract_algebra = partial(process_docs, subtask="abstract_algebra")
process_docs_medical_genetics = partial(process_docs, subtask="medical_genetics")
process_docs_college_mathematics = partial(process_docs, subtask="college_mathematics")
process_docs_anatomy = partial(process_docs, subtask="anatomy")
process_docs_college_chemistry = partial(process_docs, subtask="college_chemistry")
process_docs_human_aging = partial(process_docs, subtask="human_aging")
process_docs_high_school_world_history = partial(
process_docs, subtask="high_school_world_history"
)
process_docs_high_school_physics = partial(process_docs, subtask="high_school_physics")
process_docs_college_physics = partial(process_docs, subtask="college_physics")
process_docs_conceptual_physics = partial(process_docs, subtask="conceptual_physics")
process_docs_high_school_computer_science = partial(
process_docs, subtask="high_school_computer_science"
)
process_docs_high_school_european_history = partial(
process_docs, subtask="high_school_european_history"
)
process_docs_high_school_psychology = partial(
process_docs, subtask="high_school_psychology"
)
process_docs_high_school_biology = partial(process_docs, subtask="high_school_biology")
process_docs_nutrition = partial(process_docs, subtask="nutrition")
process_docs_moral_scenarios = partial(process_docs, subtask="moral_scenarios")
process_docs_astronomy = partial(process_docs, subtask="astronomy")
process_docs_high_school_statistics = partial(
process_docs, subtask="high_school_statistics"
)
process_docs_moral_disputes = partial(process_docs, subtask="moral_disputes")
process_docs_global_facts = partial(process_docs, subtask="global_facts")
process_docs_prehistory = partial(process_docs, subtask="prehistory")
process_docs_high_school_mathematics = partial(
process_docs, subtask="high_school_mathematics"
)
process_docs_logical_fallacies = partial(process_docs, subtask="logical_fallacies")
process_docs_computer_security = partial(process_docs, subtask="computer_security")
process_docs_philosophy = partial(process_docs, subtask="philosophy")
process_docs_public_relations = partial(process_docs, subtask="public_relations")
process_docs_professional_accounting = partial(
process_docs, subtask="professional_accounting"
)
process_docs_professional_medicine = partial(
process_docs, subtask="professional_medicine"
)
process_docs_virology = partial(process_docs, subtask="virology")
process_docs_high_school_government_and_politics = partial(
process_docs, subtask="high_school_government_and_politics"
)
process_docs_world_religions = partial(process_docs, subtask="world_religions")
process_docs_sociology = partial(process_docs, subtask="sociology")
process_docs_jurisprudence = partial(process_docs, subtask="jurisprudence")
process_docs_high_school_geography = partial(
process_docs, subtask="high_school_geography"
)
process_docs_professional_law = partial(process_docs, subtask="professional_law")
process_docs_us_foreign_policy = partial(process_docs, subtask="us_foreign_policy")
process_docs_high_school_microeconomics = partial(
process_docs, subtask="high_school_microeconomics"
)
process_docs_human_sexuality = partial(process_docs, subtask="human_sexuality")
process_docs_miscellaneous = partial(process_docs, subtask="miscellaneous")
process_docs_professional_psychology = partial(
process_docs, subtask="professional_psychology"
)
process_docs_college_medicine = partial(process_docs, subtask="college_medicine")
process_docs_clinical_knowledge = partial(process_docs, subtask="clinical_knowledge")
process_docs_college_biology = partial(process_docs, subtask="college_biology")
process_docs_marketing = partial(process_docs, subtask="marketing")
process_docs_college_computer_science = partial(
process_docs, subtask="college_computer_science"
)
process_docs_high_school_us_history = partial(
process_docs, subtask="high_school_us_history"
)
process_docs_elementary_mathematics = partial(
process_docs, subtask="elementary_mathematics"
)
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment