Skip to content

GitLab

Unverified Commit 1b357a68 authored by Alexandre Marques's avatar Alexandre Marques Committed by GitHub
Browse files

Multilingual MMLU for Llama instruct models (#2826) 

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency
parent 1afb190c
Hide whitespace changes
Inline Side-by-side
Showing with 3539 additions and 0 deletions
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_high_school_us_history.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E15\u0E2D\u0E1A\u0E42\u0E15\u0E49\
\u0E01\u0E32\u0E23\u0E08\u0E25\u0E32\u0E08\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E1A\
\u0E04\u0E2D\u0E19"
B: "\u0E01\u0E32\u0E23\u0E15\u0E2D\u0E1A\u0E2A\u0E19\u0E2D\u0E07\u0E02\u0E2D\
\u0E07\u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25\u0E01\u0E25\u0E32\u0E07\u0E15\u0E48\
\u0E2D\u0E01\u0E32\u0E23\u0E08\u0E25\u0E32\u0E08\u0E25\u0E02\u0E2D\u0E07 Shays"
C: "\u0E01\u0E32\u0E23\u0E15\u0E2D\u0E1A\u0E2A\u0E19\u0E2D\u0E07\u0E02\u0E2D\
\u0E07\u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25\u0E01\u0E25\u0E32\u0E07\u0E15\u0E48\
\u0E2D\u0E01\u0E32\u0E23\u0E08\u0E25\u0E32\u0E08\u0E25\u0E27\u0E34\u0E2A\u0E01\
\u0E35\u0E49"
D: "\u0E01\u0E32\u0E23\u0E15\u0E2D\u0E1A\u0E2A\u0E19\u0E2D\u0E07\u0E02\u0E2D\
\u0E07\u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25\u0E01\u0E25\u0E32\u0E07\u0E15\u0E48\
\u0E2D\u0E01\u0E32\u0E23\u0E08\u0E25\u0E32\u0E08\u0E25\u0E02\u0E2D\u0E07\u0E1B\
\u0E2D\u0E19\u0E40\u0E15\u0E35\u0E4A\u0E22\u0E01"
input_correct_responses:
- C
input_question: "\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 "\u0E2A\u0E31\u0E07\u0E04\
\u0E21\u0E43\u0E19\u0E17\u0E38\u0E01\u0E23\u0E31\u0E10\u0E40\u0E1B\u0E47\u0E19\
\u0E1E\u0E23\u0E30\u0E1E\u0E23 \u0E41\u0E15\u0E48\u0E23\u0E31\u0E10\u0E1A\u0E32\
\u0E25\u0E41\u0E21\u0E49\u0E43\u0E19\u0E2A\u0E16\u0E32\u0E19\u0E30\u0E17\u0E35\
\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E01\u0E47\u0E40\u0E1B\
\u0E47\u0E19\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E04\u0E27\u0E32\u0E21\u0E0A\u0E31\
\u0E48\u0E27\u0E23\u0E49\u0E32\u0E22\u0E17\u0E35\u0E48\u0E08\u0E33\u0E40\u0E1B\
\u0E47\u0E19 \u0E43\u0E19\u0E2A\u0E20\u0E32\u0E1E\u0E17\u0E35\u0E48\u0E40\u0E25\
\u0E27\u0E23\u0E49\u0E32\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E01\u0E47\
\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E17\u0E19\
\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E40\u0E21\
\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E32\u0E1B\u0E23\u0E30\u0E2A\u0E1A\u0E04\u0E27\
\u0E32\u0E21\u0E17\u0E38\u0E01\u0E02\u0E4C\u0E22\u0E32\u0E01\u0E2B\u0E23\u0E37\
\u0E2D\u0E40\u0E1C\u0E0A\u0E34\u0E0D\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\
\u0E17\u0E38\u0E01\u0E02\u0E4C\u0E22\u0E32\u0E01\u0E41\u0E1A\u0E1A\u0E40\u0E14\
\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E42\u0E14\u0E22\u0E23\u0E31\u0E10\u0E1A\
\u0E32\u0E25 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E2D\u0E32\u0E08\u0E04\
\u0E32\u0E14\u0E2B\u0E27\u0E31\u0E07\u0E44\u0E14\u0E49 \u0E43\u0E19\u0E1B\u0E23\
\u0E30\u0E40\u0E17\u0E28\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E21\u0E35\u0E23\
\u0E31\u0E10\u0E1A\u0E32\u0E25 \u0E04\u0E27\u0E32\u0E21\u0E2B\u0E32\u0E22\u0E19\
\u0E30\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\
\u0E36\u0E49\u0E19\u0E42\u0E14\u0E22\u0E2A\u0E30\u0E17\u0E49\u0E2D\u0E19\u0E43\
\u0E2B\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\
\u0E31\u0E14\u0E40\u0E15\u0E23\u0E35\u0E22\u0E21\u0E27\u0E34\u0E18\u0E35\u0E01\
\u0E32\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E1B\u0E23\u0E30\u0E2A\u0E1A\
\u0E20\u0E31\u0E22 \u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25\u0E01\u0E47\u0E40\u0E2B\
\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E41\u0E15\u0E48\
\u0E07\u0E01\u0E32\u0E22 \u0E40\u0E1B\u0E47\u0E19\u0E15\u0E23\u0E32\u0E2A\u0E31\
\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\
\u0E21\u0E44\u0E23\u0E49\u0E40\u0E14\u0E35\u0E22\u0E07\u0E2A\u0E32\u0E17\u0E35\
\u0E48\u0E2B\u0E32\u0E22\u0E44\u0E1B \u0E1E\u0E23\u0E30\u0E23\u0E32\u0E0A\u0E27\
\u0E31\u0E07\u0E02\u0E2D\u0E07\u0E01\u0E29\u0E31\u0E15\u0E23\u0E34\u0E22\u0E4C\
\u0E16\u0E39\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E02\u0E36\u0E49\u0E19\u0E1A\
\u0E19\u0E0B\u0E32\u0E01\u0E1B\u0E23\u0E31\u0E01\u0E2B\u0E31\u0E01\u0E1E\u0E31\
\u0E07\u0E02\u0E2D\u0E07\u0E14\u0E34\u0E19\u0E41\u0E14\u0E19\u0E41\u0E2B\u0E48\
\u0E07\u0E2A\u0E23\u0E27\u0E07\u0E2A\u0E27\u0E23\u0E23\u0E04\u0E4C \u0E2A\u0E33\
\u0E2B\u0E23\u0E31\u0E1A \u0E2B\u0E32\u0E01\u0E41\u0E23\u0E07\u0E01\u0E23\u0E30\
\u0E15\u0E38\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E23\u0E39\
\u0E49\u0E2A\u0E36\u0E01\u0E1C\u0E34\u0E14\u0E0A\u0E2D\u0E1A\u0E0A\u0E31\u0E48\
\u0E27\u0E14\u0E35\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19 \u0E2A\u0E21\u0E48\u0E33\
\u0E40\u0E2A\u0E21\u0E2D \u0E41\u0E25\u0E30\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E1F\
\u0E31\u0E07\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E21\u0E48\u0E2D\u0E32\u0E08\
\u0E15\u0E49\u0E32\u0E19\u0E17\u0E32\u0E19\u0E44\u0E14\u0E49 \u0E21\u0E19\u0E38\
\u0E29\u0E22\u0E4C\u0E01\u0E47\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\
\u0E32\u0E23\u0E1C\u0E39\u0E49\u0E23\u0E31\u0E01\u0E29\u0E32\u0E01\u0E0E\u0E2B\
\u0E21\u0E32\u0E22\u0E04\u0E19\u0E2D\u0E37\u0E48\u0E19 \u0E41\u0E15\u0E48\u0E19\
\u0E31\u0E48\u0E19\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E43\u0E19\u0E01\u0E23\
\u0E13\u0E35\u0E19\u0E35\u0E49 \u0E40\u0E02\u0E32\u0E1E\u0E1A\u0E27\u0E48\u0E32\
\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E49\u0E2D\u0E07\u0E22\u0E2D\u0E21\
\u0E2A\u0E25\u0E30\u0E17\u0E23\u0E31\u0E1E\u0E22\u0E4C\u0E2A\u0E34\u0E19\u0E2A\
\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E02\
\u0E32\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E08\u0E31\u0E14\u0E2B\u0E32\u0E27\u0E34\
\u0E18\u0E35\u0E01\u0E32\u0E23\u0E43\u0E19\u0E01\u0E32\u0E23\u0E04\u0E38\u0E49\
\u0E21\u0E04\u0E23\u0E2D\u0E07\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E40\
\u0E2B\u0E25\u0E37\u0E2D \u0E41\u0E25\u0E30 \u0E2A\u0E34\u0E48\u0E07\u0E19\u0E35\
\u0E49\u0E0A\u0E31\u0E01\u0E19\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E02\u0E32\u0E17\
\u0E33\u0E14\u0E49\u0E27\u0E22\u0E04\u0E27\u0E32\u0E21\u0E40\u0E09\u0E25\u0E35\
\u0E22\u0E27\u0E09\u0E25\u0E32\u0E14\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\
\u0E27\u0E01\u0E31\u0E19\u0E0B\u0E36\u0E48\u0E07\u0E43\u0E19\u0E17\u0E38\u0E01\
\ \u0E46 \u0E01\u0E23\u0E13\u0E35\u0E08\u0E30\u0E41\u0E19\u0E30\u0E19\u0E33\u0E43\
\u0E2B\u0E49\u0E40\u0E02\u0E32\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E27\u0E32\
\u0E21\u0E0A\u0E31\u0E48\u0E27\u0E23\u0E49\u0E32\u0E22\u0E19\u0E49\u0E2D\u0E22\
\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E08\u0E32\u0E01\u0E2A\u0E2D\u0E07\u0E04\
\u0E27\u0E32\u0E21\u0E0A\u0E31\u0E48\u0E27\u0E23\u0E49\u0E32\u0E22 \u0E14\u0E31\
\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E27\u0E32\u0E21\u0E1B\u0E25\u0E2D\u0E14\
\u0E20\u0E31\u0E22\u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E2D\u0E2D\u0E01\u0E41\
\u0E1A\u0E1A\u0E17\u0E35\u0E48\u0E41\u0E17\u0E49\u0E08\u0E23\u0E34\u0E07\u0E41\
\u0E25\u0E30\u0E08\u0E38\u0E14\u0E08\u0E1A\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\
\u0E1A\u0E32\u0E25 \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E40\u0E23\u0E32\u0E41\
\u0E25\u0E49\u0E27\u0E21\u0E35\u0E04\u0E48\u0E32\u0E43\u0E0A\u0E49\u0E08\u0E48\
\u0E32\u0E22\u0E19\u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E41\
\u0E25\u0E30\u0E43\u0E2B\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\
\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E14\u0E35\u0E01\u0E27\
\u0E48\u0E32\u0E04\u0E19\u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E17\u0E31\u0E49\u0E07\
\u0E2B\u0E21\u0E14" Thomas Paine, Common Sense, 1776 "\u0E04\u0E27\
\u0E32\u0E21\u0E17\u0E38\u0E01\u0E02\u0E4C\u0E22\u0E32\u0E01" \u0E02\u0E49\
\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E17\u0E35\
\u0E48\u0E01\u0E25\u0E48\u0E32\u0E27\u0E16\u0E36\u0E07\u0E02\u0E49\u0E32\u0E07\
\u0E15\u0E49\u0E19\u0E16\u0E39\u0E01\u0E01\u0E25\u0E38\u0E48\u0E21\u0E15\u0E48\
\u0E2D\u0E15\u0E49\u0E32\u0E19\u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25\u0E01\u0E25\
\u0E32\u0E07\u0E43\u0E19\u0E22\u0E38\u0E04\u0E2B\u0E25\u0E31\u0E07\u0E01\u0E32\
\u0E23\u0E1B\u0E0F\u0E34\u0E27\u0E31\u0E15\u0E34\u0E1B\u0E23\u0E30\u0E13\u0E32\
\u0E21\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14"
- input_choice_list:
A: "\u0E04\u0E27\u0E32\u0E21\u0E15\u0E36\u0E07\u0E40\u0E04\u0E23\u0E35\u0E22\
\u0E14\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E19\u0E42\u0E22\u0E1A\u0E32\
\u0E22\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E07\u0E01\u0E24\u0E29\u0E41\u0E25\u0E30\
\u0E41\u0E23\u0E07\u0E1A\u0E31\u0E19\u0E14\u0E32\u0E25\u0E43\u0E08\u0E02\u0E2D\
\u0E07\u0E0A\u0E32\u0E27\u0E2D\u0E32\u0E13\u0E32\u0E19\u0E34\u0E04\u0E21\u0E43\
\u0E19\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E40\u0E2B\u0E19\u0E37\u0E2D"
B: "\u0E04\u0E27\u0E32\u0E21\u0E15\u0E36\u0E07\u0E40\u0E04\u0E23\u0E35\u0E22\
\u0E14\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E0A\u0E32\u0E27\u0E2D\u0E40\
\u0E21\u0E23\u0E34\u0E01\u0E31\u0E19\u0E2D\u0E34\u0E19\u0E40\u0E14\u0E35\u0E22\
\u0E19\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1E\u0E31\u0E19\u0E18\u0E21\
\u0E34\u0E15\u0E23\u0E01\u0E31\u0E1A\u0E1D\u0E23\u0E31\u0E48\u0E07\u0E40\u0E28\
\u0E2A\u0E41\u0E25\u0E30\u0E1E\u0E31\u0E19\u0E18\u0E21\u0E34\u0E15\u0E23\u0E01\
\u0E31\u0E1A\u0E2D\u0E31\u0E07\u0E01\u0E24\u0E29"
C: "\u0E04\u0E27\u0E32\u0E21\u0E15\u0E36\u0E07\u0E40\u0E04\u0E23\u0E35\u0E22\
\u0E14\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E0A\u0E32\u0E27\u0E41\u0E2D\
\u0E1F\u0E23\u0E34\u0E01\u0E31\u0E19\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E31\
\u0E19\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E34\u0E2A\u0E23\u0E30\
\u0E01\u0E31\u0E1A\u0E0A\u0E32\u0E27\u0E2A\u0E27\u0E19\u0E1C\u0E34\u0E27\u0E02\
\u0E32\u0E27"
D: "\u0E04\u0E27\u0E32\u0E21\u0E15\u0E36\u0E07\u0E40\u0E04\u0E23\u0E35\u0E22\
\u0E14\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E1C\u0E39\u0E49\u0E15\u0E31\
\u0E49\u0E07\u0E16\u0E34\u0E48\u0E19\u0E10\u0E32\u0E19\u0E43\u0E19\u0E40\u0E02\
\u0E15\u0E17\u0E38\u0E23\u0E01\u0E31\u0E19\u0E14\u0E32\u0E23\u0E41\u0E25\u0E30\
\u0E0A\u0E19\u0E0A\u0E31\u0E49\u0E19\u0E2A\u0E39\u0E07\u0E43\u0E19\u0E2D\u0E32\
\u0E13\u0E32\u0E19\u0E34\u0E04\u0E21\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32"
input_correct_responses:
- D
input_question: "\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 "\u0E43\u0E19\u0E02\u0E13\
\u0E30\u0E17\u0E35\u0E48\u0E01\u0E32\u0E23\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\
\u0E01\u0E32\u0E23\u0E0A\u0E48\u0E27\u0E07\u0E1B\u0E25\u0E32\u0E22\u0E02\u0E2D\
\u0E07\u0E40\u0E23\u0E32\u0E17\u0E35\u0E48 Conestoga Manor \u0E41\u0E25\u0E30\
\ Lancaster \u0E44\u0E14\u0E49\u0E01\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E40\u0E01\
\u0E34\u0E14\u0E01\u0E32\u0E23\u0E40\u0E01\u0E47\u0E07\u0E01\u0E33\u0E44\u0E23\
\u0E41\u0E25\u0E30\u0E04\u0E27\u0E32\u0E21\u0E23\u0E39\u0E49\u0E2A\u0E36\u0E01\
\u0E17\u0E35\u0E48\u0E2B\u0E25\u0E32\u0E01\u0E2B\u0E25\u0E32\u0E22\u0E2D\u0E22\
\u0E48\u0E32\u0E07\u0E21\u0E32\u0E01\u0E43\u0E19\u0E23\u0E31\u0E10\u0E1A\u0E32\
\u0E25\u0E19\u0E35\u0E49\u0E41\u0E25\u0E30\u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25\
\u0E43\u0E01\u0E25\u0E49\u0E40\u0E04\u0E35\u0E22\u0E07 \u0E1A\u0E32\u0E07\u0E04\
\u0E19\u0E41\u0E01\u0E49\u0E15\u0E31\u0E27\u0E41\u0E25\u0E30\u0E04\u0E19\u0E2D\
\u0E37\u0E48\u0E19 \u0E46 \u0E1B\u0E23\u0E30\u0E13\u0E32\u0E21\u0E21\u0E31\u0E19\
\ \u0E1A\u0E32\u0E07\u0E04\u0E19\u0E0A\u0E48\u0E27\u0E22\u0E1A\u0E23\u0E23\u0E40\
\u0E17\u0E32\u0E2D\u0E32\u0E0A\u0E0D\u0E32\u0E01\u0E23\u0E23\u0E21 & \u0E04\
\u0E19\u0E2D\u0E37\u0E48\u0E19 \u0E46 \u0E27\u0E32\u0E14\u0E20\u0E32\u0E1E\u0E19\
\u0E35\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E21\u0E38\u0E48\u0E07\u0E23\u0E49\
\u0E32\u0E22 & \u0E2A\u0E35\u0E17\u0E35\u0E48\u0E19\u0E48\u0E32\u0E23\u0E31\
\u0E07\u0E40\u0E01\u0E35\u0E22\u0E08, \u0E40\u0E23\u0E32\u0E04\u0E34\u0E14\u0E27\
\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\
\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E17\u0E35\u0E48\u0E08\u0E30\u0E15\u0E49\
\u0E2D\u0E07\u0E27\u0E32\u0E07\u0E15\u0E48\u0E2D\u0E2B\u0E19\u0E49\u0E32 Publick,\
\ \u0E40\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\
\u0E15\u0E32\u0E21\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E32\u0E01\u0E0F, & \u0E22\
\u0E31\u0E07\u0E04\u0E07\u0E1B\u0E23\u0E32\u0E01\u0E0F, \u0E2A\u0E33\u0E2B\u0E23\
\u0E31\u0E1A\u0E40\u0E23\u0E32 . . "\u0E2B\u0E32\u0E01\u0E2A\u0E34\u0E48\
\u0E07\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E40\
\u0E1E\u0E35\u0E22\u0E07\u0E1E\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E1E\u0E34\
\u0E2A\u0E39\u0E08\u0E19\u0E4C\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E41\
\u0E19\u0E1A\u0E21\u0E32\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E2A\u0E21\u0E40\
\u0E2B\u0E15\u0E38\u0E2A\u0E21\u0E1C\u0E25\u0E43\u0E19 Quakers \u0E15\u0E48\u0E2D\
\ Indians Savages , \u0E21\u0E15\u0E34\u0E17\u0E35\u0E48\u0E41\u0E19\u0E48\u0E19\
\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E1E\
\u0E37\u0E48\u0E2D\u0E19\u0E01\u0E31\u0E1A\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\
\ & \u0E04\u0E27\u0E32\u0E21\u0E44\u0E21\u0E48\u0E23\u0E39\u0E49\u0E2A\u0E36\
\u0E01\u0E16\u0E36\u0E07\u0E04\u0E27\u0E32\u0E21\u0E17\u0E38\u0E01\u0E02\u0E4C\
\u0E22\u0E32\u0E01\u0E02\u0E2D\u0E07\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C \u0E43\
\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\u0E02\
\u0E49\u0E2D\u0E40\u0E17\u0E47\u0E08\u0E08\u0E23\u0E34\u0E07\u0E25\u0E48\u0E32\
\u0E2A\u0E38\u0E14\u0E2D\u0E35\u0E01\u0E2A\u0E2D\u0E07\u0E2A\u0E32\u0E21\u0E02\
\u0E49\u0E2D \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E32\u0E1E\u0E1A\u0E27\
\u0E48\u0E32\u0E24\u0E14\u0E39\u0E23\u0E49\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E41\
\u0E25\u0E49\u0E27\u0E21\u0E35\u0E41\u0E19\u0E27\u0E42\u0E19\u0E49\u0E21\u0E27\
\u0E48\u0E32\u0E08\u0E30\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\
\u0E04\u0E27\u0E32\u0E21\u0E0A\u0E48\u0E27\u0E22\u0E40\u0E2B\u0E25\u0E37\u0E2D\
\u0E08\u0E32\u0E01\u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25 \u0E2D\u0E32\u0E2A\u0E32\
\u0E2A\u0E21\u0E31\u0E04\u0E23\u0E1A\u0E32\u0E07\u0E04\u0E19\u0E2D\u0E2D\u0E01\
\u0E44\u0E1B\u0E42\u0E14\u0E22\u0E2D\u0E2D\u0E01\u0E04\u0E48\u0E32\u0E43\u0E0A\
\u0E49\u0E08\u0E48\u0E32\u0E22\u0E40\u0E2D\u0E07 \u0E15\u0E31\u0E49\u0E07\u0E43\
\u0E08\u0E41\u0E19\u0E48\u0E27\u0E41\u0E19\u0E48\u0E27\u0E48\u0E32\u0E08\u0E30\
\u0E02\u0E31\u0E1A\u0E44\u0E25\u0E48\u0E28\u0E31\u0E15\u0E23\u0E39\u0E2D\u0E2D\
\u0E01\u0E08\u0E32\u0E01\u0E1E\u0E23\u0E21\u0E41\u0E14\u0E19 \u0E41\u0E25\u0E30\
\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E32\u0E40\u0E02\u0E49\u0E32\u0E43\
\u0E01\u0E25\u0E49\u0E40\u0E01\u0E32\u0E30\u0E2D\u0E31\u0E19\u0E22\u0E34\u0E48\
\u0E07\u0E43\u0E2B\u0E0D\u0E48 \u0E40\u0E23\u0E32\u0E40\u0E02\u0E49\u0E32\u0E43\
\u0E08\u0E27\u0E48\u0E32\u0E19\u0E31\u0E01\u0E23\u0E1A\u0E02\u0E2D\u0E07\u0E1E\
\u0E27\u0E01\u0E40\u0E02\u0E32\u0E08\u0E33\u0E19\u0E27\u0E19\u0E2B\u0E19\u0E36\
\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E44\u0E1B\u0E15\u0E48\u0E2D\u0E2A\u0E39\u0E49\
\u0E01\u0E31\u0E1A\u0E0A\u0E32\u0E22\u0E41\u0E14\u0E19\u0E02\u0E2D\u0E07\u0E40\
\u0E23\u0E32 \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E2A\u0E34\u0E48\u0E07\u0E19\u0E35\
\u0E49\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E01\
\u0E25\u0E31\u0E1A\u0E21\u0E32\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E01\u0E31\u0E1A\
\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E41\u0E25\u0E30\u0E15\u0E48\u0E2D\u0E2A\
\u0E39\u0E49\u0E01\u0E31\u0E1A\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E17\u0E35\
\u0E48 Munfey Hill \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E2A\u0E39\u0E0D\
\u0E40\u0E2A\u0E35\u0E22\u0E04\u0E19\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E44\
\u0E1B\u0E1A\u0E32\u0E07\u0E2A\u0E48\u0E27\u0E19 & \u0E06\u0E48\u0E32\u0E19\
\u0E31\u0E01\u0E23\u0E1A\u0E02\u0E2D\u0E07\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\
\u0E44\u0E1B\u0E1A\u0E32\u0E07\u0E2A\u0E48\u0E27\u0E19 \u0E41\u0E25\u0E30\u0E14\
\u0E49\u0E27\u0E22\u0E40\u0E2B\u0E15\u0E38\u0E19\u0E35\u0E49\u0E08\u0E36\u0E07\
\u0E0A\u0E48\u0E27\u0E22 Frontiers \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E08\
\u0E32\u0E01\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E23\u0E32\u0E27\u0E19\u0E35\
\u0E49\u0E43\u0E19 Expedition \u0E2D\u0E37\u0E48\u0E19 \u0E41\u0E15\u0E48\u0E44\
\u0E21\u0E48\u0E17\u0E31\u0E19\u0E44\u0E23\u0E40\u0E23\u0E32\u0E01\u0E47\u0E17\
\u0E33\u0E25\u0E32\u0E22\u0E40\u0E2A\u0E1A\u0E35\u0E22\u0E07\u0E2D\u0E32\u0E2B\
\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E1A\u0E19\
\u0E40\u0E01\u0E32\u0E30\u0E43\u0E2B\u0E0D\u0E48\u0E41\u0E25\u0E30\u0E17\u0E33\
\u0E25\u0E32\u0E22\u0E01\u0E32\u0E23\u0E04\u0E49\u0E32\u0E02\u0E2D\u0E07\u0E1E\
\u0E27\u0E01\u0E40\u0E02\u0E32\u0E01\u0E31\u0E1A\u0E04\u0E19\u0E14\u0E35\u0E17\
\u0E35\u0E48\u0E40\u0E1A\u0E18\u0E40\u0E25\u0E40\u0E2E\u0E21 \u0E41\u0E15\u0E48\
\u0E0A\u0E32\u0E27\u0E2D\u0E34\u0E19\u0E40\u0E14\u0E35\u0E22\u0E19\u0E41\u0E14\
\u0E07\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E0B\u0E36\u0E48\u0E07\
\u0E16\u0E39\u0E01\u0E2A\u0E07\u0E2A\u0E31\u0E22\u0E27\u0E48\u0E32\u0E40\u0E1B\
\u0E47\u0E19\u0E04\u0E19\u0E06\u0E48\u0E32\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E19\
\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E43\u0E19\u0E40\u0E17\u0E28\u0E21\u0E13\
\u0E11\u0E25\u0E19\u0E2D\u0E23\u0E4C\u0E17\u0E41\u0E18\u0E21\u0E1B\u0E4C\u0E15\
\u0E31\u0E19 \u0E16\u0E39\u0E01\u0E2D\u0E34\u0E17\u0E18\u0E34\u0E1E\u0E25\u0E02\
\u0E2D\u0E07\u0E1E\u0E27\u0E01\u0E40\u0E04\u0E27\u0E01\u0E40\u0E01\u0E2D\u0E23\
\u0E4C\u0E1A\u0E32\u0E07\u0E04\u0E19\u0E22\u0E36\u0E14\u0E04\u0E23\u0E2D\u0E07\
\ \u0E20\u0E32\u0E22\u0E43\u0E15\u0E49\u0E01\u0E32\u0E23\u0E04\u0E38\u0E49\u0E21\
\u0E04\u0E23\u0E2D\u0E07\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25\
\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E31\u0E14\u0E01\u0E23\u0E2D\u0E07\u0E1E\
\u0E27\u0E01\u0E40\u0E02\u0E32\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E41\
\u0E04\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E19\u0E41\
\u0E25\u0E30\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\u0E18\
\u0E4C\u0E02\u0E2D\u0E07\u0E1C\u0E39\u0E49\u0E16\u0E39\u0E01\u0E06\u0E32\u0E15\
\u0E01\u0E23\u0E23\u0E21 & \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E19\u0E31\
\u0E1A\u0E2A\u0E19\u0E38\u0E19\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E15\u0E25\
\u0E2D\u0E14\u0E24\u0E14\u0E39\u0E2B\u0E19\u0E32\u0E27\u201D \u2014"\u0E04\
\u0E33\u0E02\u0E2D\u0E42\u0E17\u0E29\u0E02\u0E2D\u0E07\u0E40\u0E14\u0E47\u0E01\
\u0E0A\u0E32\u0E22\u0E41\u0E1E\u0E01\u0E0B\u0E4C\u0E15\u0E31\u0E19" (\u0E08\
\u0E38\u0E25\u0E2A\u0E32\u0E23), 2307 (\u0E2B\u0E21\u0E32\u0E22\u0E40\u0E2B\u0E15\
\u0E38: "\u0E04\u0E33\u0E02\u0E2D\u0E42\u0E17\u0E29" \u0E43\u0E19\
\ \u0E04\u0E27\u0E23\u0E2D\u0E48\u0E32\u0E19\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E19\
\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E2D\u0E18\u0E34\u0E1A\
\u0E32\u0E22 \u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E01\u0E32\u0E23\u0E22\u0E2D\
\u0E21\u0E23\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E2B\u0E23\
\u0E37\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E35\u0E22\u0E43\u0E08) \u0E04\
\u0E27\u0E32\u0E21\u0E23\u0E39\u0E49\u0E2A\u0E36\u0E01\u0E17\u0E35\u0E48\u0E41\
\u0E2A\u0E14\u0E07\u0E43\u0E19\u0E04\u0E33\u0E2D\u0E18\u0E34\u0E1A\u0E32\u0E22\
\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19\u0E2A\u0E30\u0E17\u0E49\u0E2D\u0E19\
\u0E16\u0E36\u0E07\u0E04\u0E27\u0E32\u0E21\u0E15\u0E36\u0E07\u0E40\u0E04\u0E23\
\u0E35\u0E22\u0E14\u0E17\u0E35\u0E48\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\
\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E15\u0E48\u0E2D\u0E40\u0E19\u0E37\u0E48\
\u0E2D\u0E07\u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E22\u0E38\u0E04\u0E2D\u0E32\
\u0E13\u0E32\u0E19\u0E34\u0E04\u0E21\u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E27\
\u0E31\u0E15\u0E34\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C\u0E2D\u0E40\u0E21\u0E23\
\u0E34\u0E01\u0E32?"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E41\u0E01\u0E49\u0E44\u0E02\u0E2A\u0E34\u0E17\u0E18\
\u0E34\u0E17\u0E35\u0E48\u0E40\u0E17\u0E48\u0E32\u0E40\u0E17\u0E35\u0E22\u0E21\
\u0E01\u0E31\u0E19"
B: "\u0E01\u0E32\u0E23\u0E25\u0E07\u0E04\u0E30\u0E41\u0E19\u0E19\u0E40\u0E2A\
\u0E35\u0E22\u0E07\u0E41\u0E1A\u0E1A\u0E2A\u0E32\u0E01\u0E25"
C: "\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10"
D: "\u0E02\u0E49\u0E2D\u0E2B\u0E49\u0E32\u0E21"
input_correct_responses:
- B
input_question: "\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 "\u0E43\u0E19\u0E1B\u0E23\
\u0E30\u0E21\u0E27\u0E25\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E43\u0E2B\u0E21\
\u0E48\u0E0B\u0E36\u0E48\u0E07\u0E09\u0E31\u0E19\u0E04\u0E34\u0E14\u0E27\u0E48\
\u0E32\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\
\u0E04\u0E38\u0E13\u0E17\u0E35\u0E48\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E17\
\u0E33\u0E43\u0E2B\u0E49 \u0E09\u0E31\u0E19\u0E1B\u0E23\u0E32\u0E23\u0E16\u0E19\
\u0E32\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E08\u0E33\u0E2A\u0E38\u0E20\u0E32\
\u0E1E\u0E2A\u0E15\u0E23\u0E35\u0E41\u0E25\u0E30\u0E21\u0E35\u0E19\u0E49\u0E33\
\u0E43\u0E08\u0E41\u0E25\u0E30\u0E40\u0E2D\u0E37\u0E49\u0E2D\u0E40\u0E1F\u0E37\
\u0E49\u0E2D\u0E40\u0E1C\u0E37\u0E48\u0E2D\u0E41\u0E1C\u0E48\u0E15\u0E48\u0E2D\
\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\
\u0E1A\u0E23\u0E23\u0E1E\u0E1A\u0E38\u0E23\u0E38\u0E29\u0E02\u0E2D\u0E07\u0E04\
\u0E38\u0E13 \u0E2D\u0E22\u0E48\u0E32\u0E21\u0E2D\u0E1A\u0E2D\u0E33\u0E19\u0E32\
\u0E08\u0E17\u0E35\u0E48\u0E44\u0E23\u0E49\u0E02\u0E2D\u0E1A\u0E40\u0E02\u0E15\
\u0E40\u0E0A\u0E48\u0E19\u0E19\u0E35\u0E49\u0E44\u0E27\u0E49\u0E43\u0E19\u0E21\
\u0E37\u0E2D\u0E02\u0E2D\u0E07\u0E2A\u0E32\u0E21\u0E35 \u0E08\u0E33\u0E44\u0E27\
\u0E49\u0E27\u0E48\u0E32\u0E1C\u0E39\u0E49\u0E0A\u0E32\u0E22\u0E17\u0E38\u0E01\
\u0E04\u0E19\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E23\u0E23\u0E32\u0E0A\
\u0E16\u0E49\u0E32\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E17\u0E33\u0E44\u0E14\
\u0E49 \u0E2B\u0E32\u0E01\u0E44\u0E21\u0E48\u0E14\u0E39\u0E41\u0E25\u0E41\u0E25\
\u0E30\u0E40\u0E2D\u0E32\u0E43\u0E08\u0E43\u0E2A\u0E48\u0E40\u0E1B\u0E47\u0E19\
\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E01\u0E31\u0E1A\u0E1C\u0E39\u0E49\u0E2B\u0E0D\
\u0E34\u0E07 \u0E40\u0E23\u0E32\u0E15\u0E31\u0E49\u0E07\u0E43\u0E08\u0E41\u0E19\
\u0E48\u0E27\u0E41\u0E19\u0E48\u0E17\u0E35\u0E48\u0E08\u0E30\u0E1B\u0E25\u0E38\
\u0E01\u0E1B\u0E31\u0E48\u0E19\u0E43\u0E2B\u0E49\u0E40\u0E01\u0E34\u0E14\u0E01\
\u0E32\u0E23\u0E01\u0E1A\u0E0F \u0E41\u0E25\u0E30\u0E08\u0E30\u0E44\u0E21\u0E48\
\u0E1C\u0E39\u0E01\u0E21\u0E31\u0E14\u0E15\u0E31\u0E27\u0E40\u0E2D\u0E07\u0E14\
\u0E49\u0E27\u0E22\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E43\u0E14 \u0E46 \u0E17\
\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E21\u0E35\u0E2A\u0E34\u0E17\
\u0E18\u0E34\u0E4C\u0E21\u0E35\u0E40\u0E2A\u0E35\u0E22\u0E07 Abigail Adams \u0E43\
\u0E19\u0E08\u0E14\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 John Adams, 1776\
\ "\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E2A\
\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E1C\u0E39\u0E49\u0E2B\u0E0D\u0E34\u0E07\u0E17\
\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\
\u0E2A\u0E16\u0E32\u0E19\u0E30\u0E17\u0E35\u0E48\u0E1C\u0E34\u0E14\u0E1B\u0E01\
\u0E15\u0E34\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E1C\u0E39\
\u0E49\u0E2B\u0E0D\u0E34\u0E07\u0E25\u0E07\u0E17\u0E38\u0E19\u0E01\u0E31\u0E1A\
\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E02\u0E2D\u0E07\u0E1E\u0E25\u0E40\u0E21\u0E37\
\u0E2D\u0E07\u0E43\u0E19\u0E2B\u0E21\u0E27\u0E14\u0E2B\u0E19\u0E36\u0E48\u0E07\
\ - \u0E1C\u0E39\u0E49\u0E21\u0E35\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E40\u0E25\
\u0E37\u0E2D\u0E01\u0E15\u0E31\u0E49\u0E07 \u0E04\u0E13\u0E30\u0E25\u0E39\u0E01\
\u0E02\u0E38\u0E19 \u0E1C\u0E39\u0E49\u0E16\u0E37\u0E2D\u0E15\u0E33\u0E41\u0E2B\
\u0E19\u0E48\u0E07 - \u0E02\u0E49\u0E32\u0E21\u0E40\u0E2A\u0E49\u0E19\u0E08\u0E34\
\u0E19\u0E15\u0E20\u0E32\u0E1E\u0E04\u0E37\u0E2D \u0E43\u0E19\u0E40\u0E23\u0E37\
\u0E48\u0E2D\u0E07\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E43\u0E19\u0E1A\u0E32\u0E07\
\u0E23\u0E31\u0E10 \u0E2A\u0E15\u0E23\u0E35\u0E17\u0E35\u0E48\u0E41\u0E15\u0E48\
\u0E07\u0E07\u0E32\u0E19\u0E41\u0E25\u0E49\u0E27\u0E2D\u0E32\u0E08\u0E16\u0E37\
\u0E2D\u0E04\u0E23\u0E2D\u0E07\u0E17\u0E23\u0E31\u0E1E\u0E22\u0E4C\u0E2A\u0E34\
\u0E19\u0E41\u0E25\u0E30\u0E17\u0E33\u0E18\u0E38\u0E23\u0E01\u0E23\u0E23\u0E21\
\u0E43\u0E19\u0E19\u0E32\u0E21\u0E02\u0E2D\u0E07\u0E15\u0E19\u0E40\u0E2D\u0E07\
\ \u0E43\u0E19\u0E1A\u0E32\u0E07\u0E23\u0E31\u0E10 \u0E23\u0E32\u0E22\u0E44\u0E14\
\u0E49\u0E02\u0E2D\u0E07\u0E40\u0E18\u0E2D\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\
\u0E07\u0E2A\u0E32\u0E21\u0E35 \u0E43\u0E19\u0E1A\u0E32\u0E07\u0E23\u0E31\u0E10\
\ \u0E2A\u0E15\u0E23\u0E35\u0E2D\u0E32\u0E08\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\
\u0E40\u0E1B\u0E47\u0E19\u0E1E\u0E22\u0E32\u0E19\u0E1B\u0E23\u0E31\u0E01\u0E1B\
\u0E23\u0E33\u0E2A\u0E32\u0E21\u0E35 \u0E1F\u0E49\u0E2D\u0E07\u0E23\u0E49\u0E2D\
\u0E07 \u0E41\u0E25\u0E30\u0E16\u0E39\u0E01\u0E1F\u0E49\u0E2D\u0E07\u0E43\u0E19\
\ \u0E43\u0E19\u0E0A\u0E31\u0E49\u0E19\u0E28\u0E32\u0E25 \u0E2D\u0E37\u0E48\u0E19\
\ \u0E46 \u0E40\u0E18\u0E2D\u0E44\u0E21\u0E48\u0E21\u0E35\u0E04\u0E48\u0E32\u0E0A\
\u0E14\u0E40\u0E0A\u0E22\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E40\u0E2A\u0E35\
\u0E22\u0E2B\u0E32\u0E22\u0E15\u0E48\u0E2D\u0E1A\u0E38\u0E04\u0E04\u0E25 \u0E17\
\u0E23\u0E31\u0E1E\u0E22\u0E4C\u0E2A\u0E34\u0E19 \u0E2B\u0E23\u0E37\u0E2D\u0E25\
\u0E31\u0E01\u0E29\u0E13\u0E30. \u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E2B\u0E22\
\u0E48\u0E32\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E2A\u0E32\u0E21\u0E35\u0E40\u0E1B\
\u0E47\u0E19\u0E0A\u0E39\u0E49, \u0E20\u0E23\u0E23\u0E22\u0E32\u0E1C\u0E39\u0E49\
\u0E1A\u0E23\u0E34\u0E2A\u0E38\u0E17\u0E18\u0E34\u0E4C\u0E44\u0E21\u0E48\u0E21\
\u0E35\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E4C\u0E43\u0E19\u0E1A\u0E38\u0E15\u0E23\
\u0E2B\u0E23\u0E37\u0E2D\u0E17\u0E23\u0E31\u0E1E\u0E22\u0E4C\u0E2A\u0E34\u0E19\
, \u0E40\u0E27\u0E49\u0E19\u0E41\u0E15\u0E48\u0E42\u0E14\u0E22 \u0E04\u0E33\u0E2A\
\u0E31\u0E48\u0E07\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E28\u0E32\
\u0E25 \u0E41\u0E15\u0E48\u0E44\u0E21\u0E48\u0E21\u0E35\u0E43\u0E19\u0E23\u0E31\
\u0E10\u0E43\u0E14\u0E02\u0E2D\u0E07\u0E2A\u0E2B\u0E20\u0E32\u0E1E \u0E20\u0E23\
\u0E23\u0E22\u0E32\u0E21\u0E35\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E43\u0E19\u0E15\
\u0E31\u0E27\u0E40\u0E18\u0E2D\u0E40\u0E2D\u0E07 \u0E2B\u0E23\u0E37\u0E2D\u0E2A\
\u0E48\u0E27\u0E19\u0E43\u0E14\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\
\u0E07\u0E02\u0E2D\u0E07\u0E23\u0E32\u0E22\u0E44\u0E14\u0E49\u0E23\u0E48\u0E27\
\u0E21\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E38\
\u0E49\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\
\u0E0A\u0E35\u0E27\u0E34\u0E15\u0E02\u0E2D\u0E07\u0E2A\u0E32\u0E21\u0E35 \u0E43\
\u0E19\u0E1A\u0E32\u0E07\u0E23\u0E31\u0E10 \u0E1C\u0E39\u0E49\u0E2B\u0E0D\u0E34\
\u0E07\u0E2D\u0E32\u0E08\u0E40\u0E02\u0E49\u0E32\u0E2A\u0E39\u0E48 \u0E42\u0E23\
\u0E07\u0E40\u0E23\u0E35\u0E22\u0E19\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E41\
\u0E25\u0E30\u0E01\u0E32\u0E23\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E43\
\u0E19\u0E28\u0E32\u0E25 \u0E17\u0E35\u0E48\u0E2D\u0E37\u0E48\u0E19 \u0E46 \u0E1E\
\u0E27\u0E01\u0E40\u0E02\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E34\u0E48\u0E07\
\u0E15\u0E49\u0E2D\u0E07\u0E2B\u0E49\u0E32\u0E21 \u0E43\u0E19\u0E21\u0E2B\u0E32\
\u0E27\u0E34\u0E17\u0E22\u0E32\u0E25\u0E31\u0E22\u0E1A\u0E32\u0E07\u0E41\u0E2B\
\u0E48\u0E07 \u0E40\u0E14\u0E47\u0E01\u0E1C\u0E39\u0E49\u0E2B\u0E0D\u0E34\u0E07\
\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E23\u0E35\
\u0E22\u0E1A\u0E14\u0E49\u0E32\u0E19\u0E01\u0E32\u0E23\u0E28\u0E36\u0E01\u0E29\
\u0E32\u0E40\u0E17\u0E48\u0E32\u0E40\u0E17\u0E35\u0E22\u0E21\u0E01\u0E31\u0E1A\
\u0E40\u0E14\u0E47\u0E01\u0E1C\u0E39\u0E49\u0E0A\u0E32\u0E22 \u0E43\u0E19\u0E02\
\u0E13\u0E30\u0E17\u0E35\u0E48\u0E2A\u0E16\u0E32\u0E1A\u0E31\u0E19\u0E17\u0E35\
\u0E48\u0E19\u0E48\u0E32\u0E20\u0E32\u0E04\u0E20\u0E39\u0E21\u0E34\u0E43\u0E08\
\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E2B\u0E25\u0E32\u0E22\u0E41\u0E2B\u0E48\
\u0E07\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28\u0E1B\u0E0F\u0E34\u0E40\
\u0E2A\u0E18\u0E44\u0E21\u0E48\u0E43\u0E2B\u0E49\u0E23\u0E31\u0E1A\u0E40\u0E02\
\u0E49\u0E32 \u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E1A\u0E38\u0E15\u0E23\u0E0A\
\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E08\u0E35\u0E19 \u0E0D\u0E35\u0E48\u0E1B\u0E38\
\u0E48\u0E19 \u0E41\u0E25\u0E30\u0E41\u0E2D\u0E1F\u0E23\u0E34\u0E01\u0E32\u0E08\
\u0E30\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E15\u0E49\u0E2D\
\u0E19\u0E23\u0E31\u0E1A\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E41\u0E15\u0E48\u0E2A\
\u0E34\u0E17\u0E18\u0E34\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E17\u0E35\u0E48\u0E44\
\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E41\u0E25\u0E49\u0E27\u0E43\u0E19\u0E2B\u0E25\
\u0E32\u0E22\u0E23\u0E31\u0E10\u0E19\u0E31\u0E49\u0E19\u0E44\u0E21\u0E48\u0E1B\
\u0E25\u0E2D\u0E14\u0E20\u0E31\u0E22\u0E40\u0E25\u0E22" \u0E0B\u0E39\u0E0B\
\u0E32\u0E19 \u0E1A\u0E35. \u0E41\u0E2D\u0E19\u0E42\u0E18\u0E19\u0E35, "\u0E04\
\u0E33\u0E1B\u0E23\u0E30\u0E01\u0E32\u0E28\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E2A\
\u0E15\u0E23\u0E35" 4 \u0E01\u0E23\u0E01\u0E0E\u0E32\u0E04\u0E21 \u0E1E\
.\u0E28. 2419 \u0E04\u0E27\u0E32\u0E21\u0E23\u0E39\u0E49\u0E2A\u0E36\u0E01\u0E17\
\u0E35\u0E48\u0E41\u0E2A\u0E14\u0E07\u0E2D\u0E2D\u0E01\u0E21\u0E32\u0E43\u0E19\
\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E15\u0E31\u0E14\
\u0E15\u0E2D\u0E19\u0E21\u0E32\u0E04\u0E23\u0E31\u0E49\u0E07\u0E17\u0E35\u0E48\
\u0E2A\u0E2D\u0E07\u0E42\u0E14\u0E22\u0E0B\u0E39\u0E0B\u0E32\u0E19 \u0E1A\u0E35\
. \u0E41\u0E2D\u0E19\u0E42\u0E18\u0E19\u0E35\u0E21\u0E35\u0E41\u0E19\u0E27\u0E42\
\u0E19\u0E49\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2A\u0E19\u0E31\u0E1A\u0E2A\
\u0E19\u0E38\u0E19\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E02\
\u0E2D\u0E07"
- input_choice_list:
A: "\u0E0A\u0E32\u0E27\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E31\u0E19\u0E15\
\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E1E\u0E39\u0E19\u0E04\u0E27\
\u0E32\u0E21\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E17\u0E32\
\u0E07\u0E40\u0E17\u0E04\u0E42\u0E19\u0E42\u0E25\u0E22\u0E35\u0E43\u0E19\u0E40\
\u0E27\u0E35\u0E22\u0E14\u0E19\u0E32\u0E21"
B: "\u0E01\u0E32\u0E23\u0E17\u0E34\u0E49\u0E07\u0E23\u0E30\u0E40\u0E1A\u0E34\
\u0E14\u0E02\u0E2D\u0E07\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E43\u0E19\
\u0E40\u0E27\u0E35\u0E22\u0E14\u0E19\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E02\
\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E19\u0E33\u0E44\u0E1B\
\u0E2A\u0E39\u0E48\u0E04\u0E27\u0E32\u0E21\u0E04\u0E37\u0E1A\u0E2B\u0E19\u0E49\
\u0E32\u0E43\u0E19\u0E2A\u0E07\u0E04\u0E23\u0E32\u0E21"
C: "\u0E01\u0E32\u0E23\u0E17\u0E34\u0E49\u0E07\u0E23\u0E30\u0E40\u0E1A\u0E34\
\u0E14\u0E02\u0E2D\u0E07\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E43\u0E19\
\u0E40\u0E27\u0E35\u0E22\u0E14\u0E19\u0E32\u0E21\u0E25\u0E49\u0E21\u0E40\u0E2B\
\u0E25\u0E27"
D: "\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\
\u0E07\u0E44\u0E21\u0E48\u0E22\u0E2D\u0E21\u0E41\u0E1E\u0E49\u0E15\u0E48\u0E2D\
\u0E04\u0E27\u0E32\u0E21\u0E1E\u0E48\u0E32\u0E22\u0E41\u0E1E\u0E49\u0E15\u0E48\
\u0E2D\u0E2A\u0E07\u0E04\u0E23\u0E32\u0E21\u0E43\u0E19\u0E40\u0E27\u0E35\u0E22\
\u0E14\u0E19\u0E32\u0E21"
input_correct_responses:
- C
input_question: "\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 \u0E1C\u0E39\u0E49\u0E19\u0E33\
\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07\u0E01\
\u0E32\u0E23\u0E2B\u0E22\u0E38\u0E14\u0E01\u0E32\u0E23\u0E23\u0E38\u0E01\u0E23\
\u0E32\u0E19\u0E08\u0E32\u0E01\u0E17\u0E32\u0E07\u0E40\u0E2B\u0E19\u0E37\u0E2D\
\ \u0E41\u0E15\u0E48\u0E19\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\
\u0E15\u0E48\u0E2D\u0E2A\u0E39\u0E49\u0E02\u0E2D\u0E07\u0E01\u0E25\u0E38\u0E48\
\u0E21\u0E0A\u0E32\u0E27\u0E40\u0E27\u0E35\u0E22\u0E14\u0E19\u0E32\u0E21\u0E08\
\u0E19\u0E01\u0E23\u0E30\u0E17\u0E31\u0E48\u0E07\u0E40\u0E23\u0E32\u0E40\u0E02\
\u0E49\u0E32\u0E41\u0E17\u0E23\u0E01\u0E41\u0E0B\u0E07 \u0E14\u0E39\u0E40\u0E2B\
\u0E21\u0E37\u0E2D\u0E19\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E1E\
\u0E22\u0E32\u0E22\u0E32\u0E21\u0E0A\u0E48\u0E27\u0E22\u0E0A\u0E32\u0E27\u0E40\
\u0E27\u0E35\u0E22\u0E14\u0E19\u0E32\u0E21\u0E08\u0E32\u0E01\u0E42\u0E2E\u0E08\
\u0E34\u0E21\u0E34\u0E19\u0E2B\u0E4C\u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E40\
\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E06\u0E48\u0E32\u0E1E\u0E27\
\u0E01\u0E40\u0E02\u0E32\u0E41\u0E25\u0E30\u0E17\u0E33\u0E25\u0E32\u0E22\u0E1B\
\u0E23\u0E30\u0E40\u0E17\u0E28\u0E02\u0E2D\u0E07\u0E1E\u0E27\u0E01\u0E40\u0E02\
\u0E32\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E33\u0E40\u0E0A\u0E48\u0E19\u0E19\
\u0E31\u0E49\u0E19 \u0E02\u0E13\u0E30\u0E17\u0E35\u0E48\u0E0A\u0E32\u0E27\u0E1E\
\u0E37\u0E49\u0E19\u0E40\u0E21\u0E37\u0E2D\u0E07\u0E2A\u0E33\u0E23\u0E27\u0E08\
\u0E2B\u0E21\u0E39\u0E48\u0E1A\u0E49\u0E32\u0E19\u0E17\u0E35\u0E48\u0E16\u0E39\
\u0E01\u0E17\u0E34\u0E49\u0E07\u0E23\u0E30\u0E40\u0E1A\u0E34\u0E14 \u0E1C\u0E39\
\u0E49\u0E2B\u0E0D\u0E34\u0E07\u0E41\u0E25\u0E30\u0E40\u0E14\u0E47\u0E01\u0E16\
\u0E39\u0E01\u0E44\u0E1F\u0E40\u0E1C\u0E32\u0E17\u0E33\u0E25\u0E32\u0E22 \u0E15\
\u0E49\u0E19\u0E02\u0E49\u0E32\u0E27\u0E16\u0E39\u0E01\u0E17\u0E33\u0E25\u0E32\
\u0E22 \u0E41\u0E25\u0E30\u0E40\u0E21\u0E37\u0E2D\u0E07\u0E15\u0E48\u0E32\u0E07\
\u0E46 \u0E40\u0E15\u0E47\u0E21\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E40\u0E08\
\u0E49\u0E32\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\u0E17\u0E2B\u0E32\u0E23\
\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E01\
\u0E33\u0E25\u0E31\u0E07\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07\u0E01\u0E2D\u0E07\
\u0E42\u0E08\u0E23\u0E40\u0E27\u0E35\u0E22\u0E14\u0E01\u0E07\u0E41\u0E25\u0E30\
\u0E01\u0E2D\u0E07\u0E01\u0E33\u0E25\u0E31\u0E07\u0E2D\u0E40\u0E21\u0E23\u0E34\
\u0E01\u0E31\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E31\u0E1A\u0E46 \u0E27\
\u0E48\u0E32 "\u0E42\u0E23\u0E04\u0E23\u0E30\u0E1A\u0E32\u0E14\u0E43\u0E19\
\u0E1A\u0E49\u0E32\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E17\u0E31\u0E49\
\u0E07\u0E04\u0E39\u0E48 " \u2026 \u0E2B\u0E22\u0E38\u0E14\u0E01\u0E32\u0E23\
\u0E17\u0E34\u0E49\u0E07\u0E23\u0E30\u0E40\u0E1A\u0E34\u0E14\u0E17\u0E32\u0E07\
\u0E17\u0E34\u0E28\u0E40\u0E2B\u0E19\u0E37\u0E2D\u0E41\u0E25\u0E30\u0E17\u0E34\
\u0E28\u0E43\u0E15\u0E49 \u0E22\u0E38\u0E15\u0E34\u0E01\u0E32\u0E23\u0E04\u0E49\
\u0E19\u0E2B\u0E32\u0E41\u0E25\u0E30\u0E17\u0E33\u0E25\u0E32\u0E22\u0E01\u0E32\
\u0E23\u0E01\u0E27\u0E32\u0E14\u0E25\u0E49\u0E32\u0E07\u0E17\u0E35\u0E48\u0E19\
\u0E48\u0E32\u0E23\u0E31\u0E07\u0E40\u0E01\u0E35\u0E22\u0E08 \u0E41\u0E25\u0E30\
\u0E08\u0E33\u0E01\u0E31\u0E14\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E01\
\u0E32\u0E23\u0E17\u0E32\u0E07\u0E17\u0E2B\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E40\
\u0E23\u0E32\u0E43\u0E2B\u0E49\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E01\
\u0E32\u0E23\u0E1A\u0E19\u0E20\u0E32\u0E04\u0E1E\u0E37\u0E49\u0E19\u0E14\u0E34\
\u0E19\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E01\u0E32\u0E23\u0E17\
\u0E34\u0E49\u0E07\u0E23\u0E30\u0E40\u0E1A\u0E34\u0E14\u0E17\u0E32\u0E07\u0E15\
\u0E2D\u0E19\u0E40\u0E2B\u0E19\u0E37\u0E2D\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\
\u0E32\u0E23\u0E16\u0E2B\u0E22\u0E38\u0E14\u0E2B\u0E23\u0E37\u0E2D\u0E15\u0E23\
\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E01\u0E32\u0E23\u0E44\u0E2B\u0E25\u0E40\u0E27\
\u0E35\u0E22\u0E19\u0E02\u0E2D\u0E07\u0E17\u0E2B\u0E32\u0E23\u0E17\u0E32\u0E07\
\u0E15\u0E2D\u0E19\u0E43\u0E15\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E08\u0E23\
\u0E34\u0E07\u0E08\u0E31\u0E07 \u0E41\u0E25\u0E30\u0E43\u0E19\u0E04\u0E27\u0E32\
\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E23\u0E34\u0E07 \u0E2D\u0E32\u0E08\u0E01\
\u0E23\u0E30\u0E15\u0E38\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E2E\u0E32\u0E19\u0E2D\
\u0E22\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E1E\u0E22\u0E32\u0E22\u0E32\u0E21\
\u0E17\u0E33\u0E2A\u0E07\u0E04\u0E23\u0E32\u0E21\u0E21\u0E32\u0E01\u0E02\u0E36\
\u0E49\u0E19 \u2014Senator George McGovern, "The Lessons of Vietnam,"\
\ 25 \u0E40\u0E21\u0E29\u0E32\u0E22\u0E19 2510 \u0E04\u0E27\u0E32\u0E21\u0E04\
\u0E34\u0E14\u0E40\u0E2B\u0E47\u0E19\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\
\u0E19\u0E35\u0E49\u0E08\u0E32\u0E01\u0E17\u0E28\u0E27\u0E23\u0E23\u0E29 1960\
\ \u0E17\u0E35\u0E48\u0E2A\u0E30\u0E17\u0E49\u0E2D\u0E19\u0E21\u0E38\u0E21\u0E21\
\u0E2D\u0E07\u0E02\u0E2D\u0E07\u0E2A\u0E38\u0E19\u0E17\u0E23\u0E1E\u0E08\u0E19\
\u0E4C\u0E02\u0E2D\u0E07 George McGovern \u0E44\u0E14\u0E49\u0E42\u0E14\u0E22\
\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14"
- input_choice_list:
A: "\u0E2D\u0E1A\u0E34\u0E40\u0E01\u0E25 \u0E2D\u0E14\u0E31\u0E21\u0E2A\u0E4C"
B: "\u0E04\u0E25\u0E32\u0E23\u0E32 \u0E1A\u0E32\u0E23\u0E4C\u0E15\u0E31\u0E19"
C: "\u0E40\u0E0A\u0E2D\u0E23\u0E4C\u0E25\u0E35\u0E48\u0E22\u0E4C \u0E40\u0E17\
\u0E21\u0E40\u0E1E\u0E34\u0E25"
D: "\u0E2E\u0E34\u0E25\u0E25\u0E32\u0E23\u0E35 \u0E04\u0E25\u0E34\u0E19\u0E15\
\u0E31\u0E19"
input_correct_responses:
- B
input_question: "\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 \u0E02\u0E49\u0E32\u0E1E\u0E40\
\u0E08\u0E49\u0E32\u0E44\u0E21\u0E48\u0E40\u0E23\u0E35\u0E22\u0E01\u0E23\u0E49\
\u0E2D\u0E07\u0E2B\u0E32\u0E1C\u0E25\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\
\u0E4C\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E31\u0E27\u0E2B\u0E23\u0E37\u0E2D\u0E2B\
\u0E32\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E2A\u0E48\u0E27\u0E19\
\u0E15\u0E19 \u0E09\u0E31\u0E19\u0E1B\u0E23\u0E32\u0E01\u0E0F\u0E15\u0E31\u0E27\
\u0E43\u0E19\u0E10\u0E32\u0E19\u0E30\u0E1C\u0E39\u0E49\u0E2A\u0E19\u0E31\u0E1A\
\u0E2A\u0E19\u0E38\u0E19\u0E1C\u0E39\u0E49\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\
\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E42\u0E15\u0E49\u0E41\u0E22\u0E49\u0E07\
\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E40\
\u0E2D\u0E07\u0E44\u0E14\u0E49 \u0E09\u0E31\u0E19\u0E21\u0E32\u0E40\u0E1B\u0E47\
\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E19\u0E17\
\u0E35\u0E48\u0E16\u0E39\u0E01\u0E17\u0E34\u0E49\u0E07\u0E23\u0E49\u0E32\u0E07\
\ \u0E16\u0E39\u0E01\u0E01\u0E14\u0E02\u0E35\u0E48 \u0E41\u0E25\u0E30\u0E2D\u0E49\
\u0E32\u0E07\u0E27\u0E49\u0E32\u0E07 \u0E43\u0E19\u0E01\u0E32\u0E23\u0E08\u0E31\
\u0E14\u0E40\u0E15\u0E23\u0E35\u0E22\u0E21\u0E02\u0E2D\u0E07\u0E1E\u0E23\u0E30\
\u0E40\u0E08\u0E49\u0E32 \u0E09\u0E31\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E2A\
\u0E35\u0E22\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E19\u0E1A\u0E49\u0E32\u0E17\u0E35\
\u0E48\u0E21\u0E35\u0E40\u0E2A\u0E35\u0E22\u0E07\u0E23\u0E49\u0E2D\u0E07\u0E40\
\u0E2A\u0E35\u0E22\u0E14\u0E41\u0E17\u0E07\u0E08\u0E32\u0E01\u0E04\u0E38\u0E01\
\u0E43\u0E15\u0E49\u0E14\u0E34\u0E19\u0E2D\u0E31\u0E19\u0E19\u0E48\u0E32\u0E2A\
\u0E22\u0E14\u0E2A\u0E22\u0E2D\u0E07\u0E43\u0E19\u0E04\u0E38\u0E01\u0E02\u0E2D\
\u0E07\u0E04\u0E38\u0E13 \u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E40\u0E2A\u0E35\
\u0E22\u0E07\u0E02\u0E2D\u0E07\u0E2B\u0E2D\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\
\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E09\u0E31\u0E19\u0E04\u0E37\u0E2D\u0E04\
\u0E27\u0E32\u0E21\u0E2B\u0E27\u0E31\u0E07\u0E02\u0E2D\u0E07\u0E2A\u0E34\u0E48\
\u0E07\u0E21\u0E35\u0E0A\u0E35\u0E27\u0E34\u0E15\u0E17\u0E35\u0E48\u0E04\u0E25\
\u0E31\u0E48\u0E07\u0E44\u0E04\u0E25\u0E49\u0E22\u0E32\u0E01\u0E08\u0E19\u0E17\
\u0E35\u0E48\u0E2D\u0E32\u0E28\u0E31\u0E22\u0E2D\u0E22\u0E39\u0E48\u0E15\u0E32\
\u0E21\u0E2B\u0E49\u0E2D\u0E07\u0E02\u0E31\u0E07 \u0E41\u0E1C\u0E07\u0E25\u0E2D\
\u0E22 \u0E01\u0E23\u0E07 \u0E41\u0E25\u0E30\u0E2B\u0E49\u0E2D\u0E07\u0E23\u0E01\
\u0E23\u0E49\u0E32\u0E07\u0E43\u0E19\u0E1A\u0E49\u0E32\u0E19\u0E17\u0E35\u0E48\
\u0E22\u0E32\u0E01\u0E08\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E09\u0E31\
\u0E19\u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E34\u0E14\u0E40\u0E1C\
\u0E22\u0E02\u0E2D\u0E07\u0E2A\u0E34\u0E48\u0E07\u0E21\u0E35\u0E0A\u0E35\u0E27\
\u0E34\u0E15\u0E17\u0E35\u0E48\u0E23\u0E48\u0E33\u0E44\u0E2B\u0E49\u0E41\u0E25\
\u0E30\u0E17\u0E19\u0E17\u0E38\u0E01\u0E02\u0E4C\u0E17\u0E23\u0E21\u0E32\u0E19\
\u0E2B\u0E25\u0E32\u0E22\u0E23\u0E49\u0E2D\u0E22\u0E15\u0E31\u0E27\u0E17\u0E35\
\u0E48\u0E0B\u0E48\u0E2D\u0E19\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E17\u0E35\
\u0E48\u0E1E\u0E31\u0E01\u0E2D\u0E32\u0E28\u0E31\u0E22\u0E2A\u0E48\u0E27\u0E19\
\u0E15\u0E31\u0E27\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E43\u0E19\u0E04\u0E2D\
\u0E01\u0E41\u0E25\u0E30\u0E01\u0E23\u0E30\u0E17\u0E48\u0E2D\u0E21 - \u0E1B\u0E34\
\u0E14\u0E15\u0E31\u0E27 \u0E15\u0E31\u0E14\u0E02\u0E32\u0E14\u0E08\u0E32\u0E01\
\u0E2D\u0E34\u0E17\u0E18\u0E34\u0E1E\u0E25\u0E01\u0E32\u0E23\u0E23\u0E31\u0E01\
\u0E29\u0E32\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 \u0E08\u0E32\u0E01\u0E01\
\u0E32\u0E23\u0E14\u0E39\u0E41\u0E25\u0E1F\u0E37\u0E49\u0E19\u0E1F\u0E39\u0E08\
\u0E34\u0E15\u0E43\u0E08\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 ... \u0E1B\
\u0E23\u0E30\u0E27\u0E31\u0E15\u0E34\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C\u0E40\
\u0E28\u0E23\u0E49\u0E32\u0E42\u0E28\u0E01\u0E02\u0E2D\u0E07\u0E1E\u0E27\u0E01\
\u0E40\u0E02\u0E32\u0E08\u0E30\u0E16\u0E39\u0E01\u0E40\u0E1C\u0E22\u0E41\u0E1E\
\u0E23\u0E48\u0E15\u0E48\u0E2D\u0E2B\u0E19\u0E49\u0E32\u0E04\u0E38\u0E13 \u0E15\
\u0E32\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E34\u0E14\u0E40\u0E1C\u0E22\u0E15\
\u0E48\u0E2D\u0E27\u0E34\u0E0D\u0E0D\u0E32\u0E13\u0E17\u0E35\u0E48\u0E42\u0E28\
\u0E01\u0E40\u0E28\u0E23\u0E49\u0E32\u0E02\u0E2D\u0E07\u0E09\u0E31\u0E19\u0E43\
\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E2A\u0E32\u0E21\u0E40\u0E14\u0E37\u0E2D\u0E19\
\u0E17\u0E35\u0E48\u0E1C\u0E48\u0E32\u0E19\u0E21\u0E32 \u0E04\u0E38\u0E13\u0E08\
\u0E30\u0E04\u0E49\u0E19\u0E2B\u0E32\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\
\u0E1A\u0E23\u0E23\u0E40\u0E17\u0E32\u0E17\u0E38\u0E01\u0E02\u0E4C\u0E17\u0E35\
\u0E48\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2D\u0E19\u0E38\
\u0E21\u0E31\u0E15\u0E34\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E23\u0E27\u0E14\u0E40\u0E23\u0E47\u0E27\u0E41\
\u0E25\u0E30\u0E08\u0E23\u0E34\u0E07\u0E08\u0E31\u0E07\u0E40\u0E1E\u0E35\u0E22\
\u0E07\u0E43\u0E14 \u0E01\u0E32\u0E23\u0E40\u0E2A\u0E35\u0E22\u0E2A\u0E25\u0E30\
\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E16\u0E39\u0E01\u0E02\u0E2D\u0E43\u0E2B\
\u0E49\u0E17\u0E33\u0E19\u0E31\u0E49\u0E19\u0E40\u0E25\u0E47\u0E01\u0E19\u0E49\
\u0E2D\u0E22\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E43\u0E14 \u0E44\u0E21\u0E48\u0E2A\
\u0E33\u0E04\u0E31\u0E0D\u0E19\u0E31\u0E01 \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\
\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E19\
\ \u0E40\u0E07\u0E34\u0E19\u0E2A\u0E25\u0E36\u0E07\u0E41\u0E25\u0E30\u0E40\u0E07\
\u0E34\u0E19\u0E44\u0E21\u0E48\u0E01\u0E35\u0E48\u0E14\u0E2D\u0E25\u0E25\u0E32\
\u0E23\u0E4C\u0E17\u0E35\u0E48\u0E23\u0E27\u0E1A\u0E23\u0E27\u0E21\u0E08\u0E32\
\u0E01\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E0A\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\
\u0E04\u0E19\u0E08\u0E30\u0E25\u0E14\u0E04\u0E48\u0E32\u0E43\u0E19\u0E10\u0E32\
\u0E19\u0E30\u0E04\u0E23\u0E2D\u0E1A\u0E04\u0E23\u0E2D\u0E07\u0E44\u0E14\u0E49\
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\
\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E1B\u0E23\u0E30\u0E42\
\u0E22\u0E0A\u0E19\u0E4C\u0E41\u0E25\u0E30\u0E04\u0E27\u0E32\u0E21\u0E14\u0E35\
\u0E21\u0E32\u0E01\u0E21\u0E32\u0E22\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E1B\
\u0E47\u0E19\u0E2B\u0E25\u0E31\u0E01\u0E1B\u0E23\u0E30\u0E01\u0E31\u0E19\u0E43\
\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E04\u0E19\u0E27\u0E34\u0E01\u0E25\u0E08\u0E23\
\u0E34\u0E15\u0E17\u0E35\u0E48\u0E17\u0E38\u0E01\u0E02\u0E4C\u0E17\u0E23\u0E21\
\u0E32\u0E19 ... \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E2D\u0E38\u0E17\u0E34\
\u0E28\u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E40\u0E07\u0E34\
\u0E19\u0E17\u0E38\u0E19\u0E17\u0E35\u0E48\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E1E\
\u0E2D\u0E43\u0E19\u0E01\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\
\u0E07 \u0E02\u0E2D\u0E07\u0E42\u0E23\u0E07\u0E1E\u0E22\u0E32\u0E1A\u0E32\u0E25\
\u0E17\u0E35\u0E48\u0E40\u0E2B\u0E21\u0E32\u0E30\u0E2A\u0E21\u2026 \u2014Dorothea\
\ Dix, Memorial Soliciting a State Hospital for the Protection and Cure of the\
\ Insane, \u0E2A\u0E48\u0E07\u0E44\u0E1B\u0E22\u0E31\u0E07\u0E2A\u0E21\u0E31\
\u0E0A\u0E0A\u0E32\u0E43\u0E2B\u0E0D\u0E48\u0E41\u0E2B\u0E48\u0E07\u0E19\u0E2D\
\u0E23\u0E4C\u0E17\u0E41\u0E04\u0E42\u0E23\u0E44\u0E25\u0E19\u0E32 \u0E1E\u0E24\
\u0E28\u0E08\u0E34\u0E01\u0E32\u0E22\u0E19 1848 Dorothea Dix \u0E40\u0E17\u0E35\
\u0E22\u0E1A\u0E44\u0E14\u0E49\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\
\u0E01\u0E31\u0E1A\u0E43\u0E04\u0E23"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_us_history
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_high_school_us_history
task_alias: high_school_us_history
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_high_school_world_history.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E28\u0E32\u0E2A\u0E19\u0E32\u0E2E\u0E34\u0E19\u0E14\u0E39"
B: "\u0E1E\u0E23\u0E30\u0E1E\u0E38\u0E17\u0E18\u0E28\u0E32\u0E2A\u0E19\u0E32"
C: "\u0E25\u0E31\u0E17\u0E18\u0E34\u0E0A\u0E34\u0E19\u0E42\u0E15"
D: "\u0E28\u0E32\u0E2A\u0E19\u0E32\u0E42\u0E0B\u0E42\u0E23\u0E2D\u0E31\u0E2A\
\u0E40\u0E15\u0E2D\u0E23\u0E4C"
input_correct_responses:
- A
input_question: "\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 \u0E40\u0E02\u0E32\u0E21\u0E35\
\u0E1C\u0E25\u0E07\u0E32\u0E19\u0E41\u0E25\u0E30\u0E04\u0E27\u0E32\u0E21\u0E1B\
\u0E23\u0E32\u0E23\u0E16\u0E19\u0E32\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\
\u0E41\u0E25\u0E30\u0E19\u0E49\u0E33\u0E2B\u0E2D\u0E21\u0E17\u0E31\u0E49\u0E07\
\u0E2B\u0E21\u0E14\u0E41\u0E25\u0E30\u0E23\u0E2A\u0E0A\u0E32\u0E15\u0E34\u0E17\
\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 \u0E40\u0E02\u0E32\u0E42\u0E2D\u0E1A\u0E25\
\u0E49\u0E2D\u0E21\u0E17\u0E31\u0E49\u0E07\u0E08\u0E31\u0E01\u0E23\u0E27\u0E32\
\u0E25\u0E41\u0E25\u0E30\u0E43\u0E19\u0E04\u0E27\u0E32\u0E21\u0E40\u0E07\u0E35\
\u0E22\u0E1A\u0E01\u0E47\u0E23\u0E31\u0E01\u0E17\u0E38\u0E01\u0E04\u0E19 \u0E19\
\u0E35\u0E48\u0E04\u0E37\u0E2D\u0E27\u0E34\u0E0D\u0E0D\u0E32\u0E13\u0E17\u0E35\
\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E43\u0E08\u0E02\u0E2D\u0E07\u0E09\
\u0E31\u0E19 \u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D\u0E1E\u0E23\u0E32\u0E2B\u0E21\
\u0E13\u0E4C \u0E09\u0E31\u0E19\u0E08\u0E30\u0E21\u0E32\u0E2B\u0E32\u0E40\u0E02\
\u0E32\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E09\u0E31\u0E19\u0E08\u0E32\u0E01\u0E0A\
\u0E35\u0E27\u0E34\u0E15\u0E19\u0E35\u0E49\u0E44\u0E1B \u0E41\u0E25\u0E30\u0E1C\
\u0E39\u0E49\u0E17\u0E35\u0E48\u0E21\u0E35\u0E28\u0E23\u0E31\u0E17\u0E18\u0E32\
\u0E41\u0E25\u0E30\u0E44\u0E21\u0E48\u0E2A\u0E07\u0E2A\u0E31\u0E22\u0E01\u0E47\
\u0E08\u0E30\u0E21\u0E32\u0E2B\u0E32\u0E40\u0E02\u0E32 \u2014\u0E2D\u0E38\u0E1B\
\u0E19\u0E34\u0E29\u0E31\u0E17, \u0E2D\u0E34\u0E19\u0E40\u0E14\u0E35\u0E22,\
\ \u0E04. 1,000 \u0E01\u0E48\u0E2D\u0E19\u0E04\u0E23\u0E34\u0E2A\u0E15\u0E28\
\u0E31\u0E01\u0E23\u0E32\u0E0A \u0E1C\u0E39\u0E49\u0E1E\u0E39\u0E14\u0E19\u0E48\
\u0E32\u0E08\u0E30\u0E19\u0E31\u0E1A\u0E16\u0E37\u0E2D\u0E28\u0E32\u0E2A\u0E19\
\u0E32\u0E43\u0E14\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E1B\u0E0F\u0E34\u0E27\u0E31\u0E15\u0E34\u0E2D\u0E38\
\u0E15\u0E2A\u0E32\u0E2B\u0E01\u0E23\u0E23\u0E21"
B: "\u0E01\u0E32\u0E23\u0E1B\u0E25\u0E14\u0E1B\u0E25\u0E48\u0E2D\u0E22\u0E2D\
\u0E32\u0E13\u0E32\u0E19\u0E34\u0E04\u0E21"
C: "\u0E2A\u0E21\u0E32\u0E04\u0E21\u0E01\u0E32\u0E23\u0E04\u0E49\u0E32\u0E40\
\u0E2A\u0E23\u0E35\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E20\u0E39\u0E21\u0E34\u0E20\
\u0E32\u0E04"
D: "\u0E2D\u0E2D\u0E17\u0E32\u0E23\u0E4C\u0E01\u0E35\u0E49"
input_correct_responses:
- B
input_question: "\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 \u201C\u0E01\u0E32\u0E23\u0E15\
\u0E48\u0E2D\u0E2A\u0E39\u0E49\u0E01\u0E31\u0E1A\u0E25\u0E31\u0E17\u0E18\u0E34\
\u0E2D\u0E32\u0E13\u0E32\u0E19\u0E34\u0E04\u0E21\u0E43\u0E2B\u0E21\u0E48\u0E44\
\u0E21\u0E48\u0E44\u0E14\u0E49\u0E21\u0E38\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\
\u0E17\u0E35\u0E48\u0E08\u0E30\u0E41\u0E22\u0E01\u0E40\u0E21\u0E37\u0E2D\u0E07\
\u0E2B\u0E25\u0E27\u0E07\u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28\
\u0E17\u0E35\u0E48\u0E1E\u0E31\u0E12\u0E19\u0E32\u0E41\u0E25\u0E49\u0E27\u0E2D\
\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E14\u0E33\u0E40\u0E19\u0E34\
\u0E19\u0E07\u0E32\u0E19\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28\u0E17\
\u0E35\u0E48\u0E1E\u0E31\u0E12\u0E19\u0E32\u0E19\u0E49\u0E2D\u0E22\u0E01\u0E27\
\u0E48\u0E32 \u0E41\u0E15\u0E48\u0E21\u0E35\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\
\u0E32\u0E22\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1B\u0E49\u0E2D\u0E07\u0E01\u0E31\
\u0E19\u0E44\u0E21\u0E48\u0E43\u0E2B\u0E49\u0E2D\u0E33\u0E19\u0E32\u0E08\u0E17\
\u0E32\u0E07\u0E01\u0E32\u0E23\u0E40\u0E07\u0E34\u0E19\u0E02\u0E2D\u0E07\u0E1B\
\u0E23\u0E30\u0E40\u0E17\u0E28\u0E17\u0E35\u0E48\u0E1E\u0E31\u0E12\u0E19\u0E32\
\u0E41\u0E25\u0E49\u0E27\u0E16\u0E39\u0E01\u0E19\u0E33\u0E44\u0E1B\u0E43\u0E0A\
\u0E49\u0E43\u0E19\u0E25\u0E31\u0E01\u0E29\u0E13\u0E30\u0E17\u0E35\u0E48\u0E17\
\u0E33\u0E43\u0E2B\u0E49\u0E22\u0E32\u0E01\u0E08\u0E19\u0E25\u0E07 \u0E01\u0E32\
\u0E23\u0E44\u0E21\u0E48\u0E1D\u0E31\u0E01\u0E43\u0E1D\u0E48\u0E1D\u0E48\u0E32\
\u0E22\u0E43\u0E14\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E01\u0E32\
\u0E19\u0E32\u0E41\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28\u0E2D\u0E37\
\u0E48\u0E19 \u0E46 \u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E01\u0E31\u0E19\
\ \u0E04\u0E37\u0E2D \u0E2D\u0E32\u0E28\u0E31\u0E22\u0E04\u0E27\u0E32\u0E21\u0E23\
\u0E48\u0E27\u0E21\u0E21\u0E37\u0E2D\u0E01\u0E31\u0E1A\u0E17\u0E38\u0E01\u0E23\
\u0E31\u0E10\u0E44\u0E21\u0E48\u0E27\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\
\u0E19\u0E17\u0E38\u0E19\u0E19\u0E34\u0E22\u0E21 \u0E2A\u0E31\u0E07\u0E04\u0E21\
\u0E19\u0E34\u0E22\u0E21 \u0E2B\u0E23\u0E37\u0E2D\u0E40\u0E28\u0E23\u0E29\u0E10\
\u0E01\u0E34\u0E08\u0E1C\u0E2A\u0E21 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\
\ \u0E19\u0E42\u0E22\u0E1A\u0E32\u0E22\u0E14\u0E31\u0E07\u0E01\u0E25\u0E48\u0E32\
\u0E27\u0E08\u0E36\u0E07\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E02\u0E49\u0E2D\
\u0E07\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E25\u0E07\u0E17\u0E38\u0E19\u0E08\
\u0E32\u0E01\u0E15\u0E48\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28\u0E08\
\u0E32\u0E01\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28\u0E17\u0E38\u0E19\u0E19\u0E34\
\u0E22\u0E21\u0E41\u0E15\u0E48\u0E15\u0E49\u0E2D\u0E07 \u0E25\u0E07\u0E17\u0E38\
\u0E19\u0E15\u0E32\u0E21\u0E41\u0E1C\u0E19\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E0A\
\u0E32\u0E15\u0E34\u0E17\u0E35\u0E48\u0E23\u0E48\u0E32\u0E07\u0E02\u0E36\u0E49\
\u0E19\u0E42\u0E14\u0E22\u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25\u0E02\u0E2D\u0E07\
\u0E23\u0E31\u0E10\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E1D\u0E31\u0E01\u0E43\
\u0E1D\u0E48\u0E1D\u0E48\u0E32\u0E22\u0E43\u0E14\u0E42\u0E14\u0E22\u0E04\u0E33\
\u0E19\u0E36\u0E07\u0E16\u0E36\u0E07\u0E1C\u0E25\u0E1B\u0E23\u0E30\u0E42\u0E22\
\u0E0A\u0E19\u0E4C\u0E02\u0E2D\u0E07\u0E15\u0E19\u0E40\u0E2D\u0E07\u0E40\u0E1B\
\u0E47\u0E19\u0E2A\u0E33\u0E04\u0E31\u0E0D \u0E1B\u0E23\u0E30\u0E40\u0E14\u0E47\
\u0E19\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 \u0E1C\u0E25\u0E15\u0E2D\u0E1A\u0E41\
\u0E17\u0E19\u0E17\u0E35\u0E48\u0E19\u0E31\u0E01\u0E25\u0E07\u0E17\u0E38\u0E19\
\u0E15\u0E48\u0E32\u0E07\u0E0A\u0E32\u0E15\u0E34\u0E44\u0E14\u0E49\u0E23\u0E31\
\u0E1A\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E25\u0E07\u0E17\u0E38\u0E19\u0E02\
\u0E2D\u0E07\u0E40\u0E02\u0E32...\u0E04\u0E33\u0E16\u0E32\u0E21\u0E04\u0E37\u0E2D\
\u0E2D\u0E33\u0E19\u0E32\u0E08\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2B\u0E19\u0E36\
\u0E48\u0E07 \u0E23\u0E31\u0E10\u0E43\u0E19 \u0E01\u0E32\u0E23\u0E22\u0E36\u0E14\
\u0E01\u0E38\u0E21\u0E02\u0E2D\u0E07\u0E25\u0E31\u0E17\u0E18\u0E34\u0E2D\u0E32\
\u0E13\u0E32\u0E19\u0E34\u0E04\u0E21\u0E43\u0E2B\u0E21\u0E48\u0E44\u0E21\u0E48\
\u0E43\u0E0A\u0E48\u0E15\u0E31\u0E27\u0E1A\u0E07\u0E01\u0E32\u0E23\u0E0A\u0E30\
\u0E15\u0E32\u0E01\u0E23\u0E23\u0E21\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E40\
\u0E2D\u0E07" Kwame Nkrumah, Neo-Colonialism, 1965 \u0E02\u0E49\u0E2D\u0E43\
\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E43\u0E2B\u0E49\u0E1A\
\u0E23\u0E34\u0E1A\u0E17\u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\
\u0E38\u0E14\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E07\u0E32\u0E19\u0E40\u0E02\
\u0E35\u0E22\u0E19\u0E02\u0E2D\u0E07 Nkrumah"
- input_choice_list:
A: "\u0E2A\u0E31\u0E07\u0E04\u0E21\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A\u0E01\
\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E41\u0E23\u0E07\u0E07\u0E32\u0E19\u0E40\u0E14\
\u0E47\u0E01"
B: "\u0E2D\u0E32\u0E22\u0E38\u0E02\u0E31\u0E22\u0E17\u0E35\u0E48\u0E25\u0E14\
\u0E25\u0E07\u0E43\u0E19\u0E40\u0E22\u0E2D\u0E23\u0E21\u0E19\u0E35"
C: "\u0E04\u0E33\u0E15\u0E34\u0E0A\u0E21\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E15\
\u0E23\u0E32\u0E20\u0E32\u0E29\u0E35\u0E01\u0E32\u0E23\u0E04\u0E49\u0E32\u0E02\
\u0E2D\u0E07\u0E40\u0E22\u0E2D\u0E23\u0E21\u0E31\u0E19"
D: "\u0E1C\u0E25\u0E40\u0E2A\u0E35\u0E22\u0E17\u0E35\u0E48\u0E40\u0E01\u0E34\
\u0E14\u0E08\u0E32\u0E01\u0E23\u0E30\u0E1A\u0E1A\u0E17\u0E38\u0E19\u0E19\u0E34\
\u0E22\u0E21\u0E2D\u0E38\u0E15\u0E2A\u0E32\u0E2B\u0E01\u0E23\u0E23\u0E21"
input_correct_responses:
- D
input_question: "\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 \u201C\u0E04\u0E27\u0E32\u0E21\
\u0E04\u0E31\u0E1A\u0E02\u0E49\u0E2D\u0E07\u0E43\u0E08\u0E17\u0E35\u0E48\u0E41\
\u0E17\u0E49\u0E08\u0E23\u0E34\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E19\u0E07\u0E32\
\u0E19\u0E04\u0E37\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E44\u0E21\u0E48\u0E21\u0E31\
\u0E48\u0E19\u0E04\u0E07\u0E43\u0E19\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\
\u0E19\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E2D\u0E07\u0E40\u0E02\u0E32 \u0E40\u0E02\
\u0E32\u0E44\u0E21\u0E48\u0E41\u0E19\u0E48\u0E43\u0E08\u0E27\u0E48\u0E32\u0E40\
\u0E02\u0E32\u0E08\u0E30\u0E21\u0E35\u0E07\u0E32\u0E19\u0E17\u0E33\u0E15\u0E25\
\u0E2D\u0E14\u0E44\u0E1B \u0E40\u0E02\u0E32\u0E44\u0E21\u0E48\u0E21\u0E31\u0E48\
\u0E19\u0E43\u0E08\u0E27\u0E48\u0E32\u0E40\u0E02\u0E32\u0E08\u0E30\u0E21\u0E35\
\u0E2A\u0E38\u0E02\u0E20\u0E32\u0E1E\u0E14\u0E35\u0E15\u0E25\u0E2D\u0E14\u0E44\
\u0E1B \u0E41\u0E25\u0E30\u0E40\u0E02\u0E32\u0E40\u0E25\u0E47\u0E07\u0E40\u0E2B\
\u0E47\u0E19\u0E27\u0E48\u0E32\u0E27\u0E31\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\
\u0E40\u0E02\u0E32\u0E08\u0E30\u0E41\u0E01\u0E48\u0E41\u0E25\u0E30\u0E44\u0E21\
\u0E48\u0E40\u0E2B\u0E21\u0E32\u0E30\u0E17\u0E35\u0E48\u0E08\u0E30\u0E17\u0E33\
\u0E07\u0E32\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E02\u0E32\u0E15\u0E01\u0E2D\u0E22\
\u0E39\u0E48\u0E43\u0E19\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E01\u0E08\u0E19\
\u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E08\u0E30\u0E40\u0E08\u0E47\u0E1A\u0E1B\
\u0E48\u0E27\u0E22\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E27\u0E25\u0E32\u0E19\u0E32\
\u0E19 \u0E40\u0E02\u0E32\u0E01\u0E47\u0E2B\u0E21\u0E14\u0E2B\u0E19\u0E17\u0E32\
\u0E07\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2A\u0E21\u0E1A\u0E39\u0E23\u0E13\u0E4C\
\ \u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E2D\u0E38\u0E1B\u0E01\u0E23\u0E13\
\u0E4C\u0E02\u0E2D\u0E07\u0E40\u0E02\u0E32\u0E40\u0E2D\u0E07 \u0E41\u0E25\u0E30\
\u0E1B\u0E31\u0E08\u0E08\u0E38\u0E1A\u0E31\u0E19\u0E2A\u0E31\u0E07\u0E04\u0E21\
\u0E44\u0E21\u0E48\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A\u0E20\u0E32\u0E23\u0E30\
\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\u0E17\u0E35\u0E48\u0E41\u0E17\u0E49\
\u0E08\u0E23\u0E34\u0E07\u0E43\u0E14\u0E46 \u0E15\u0E48\u0E2D\u0E40\u0E02\u0E32\
\u0E19\u0E2D\u0E01\u0E40\u0E2B\u0E19\u0E37\u0E2D\u0E08\u0E32\u0E01\u0E04\u0E27\
\u0E32\u0E21\u0E0A\u0E48\u0E27\u0E22\u0E40\u0E2B\u0E25\u0E37\u0E2D\u0E15\u0E32\
\u0E21\u0E1B\u0E01\u0E15\u0E34\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E19\
\u0E08\u0E19 \u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E40\u0E02\u0E32\u0E08\u0E30\
\u0E21\u0E35\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E17\u0E33\u0E07\u0E32\u0E19\u0E15\
\u0E25\u0E2D\u0E14\u0E40\u0E27\u0E25\u0E32\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E0B\
\u0E37\u0E48\u0E2D\u0E2A\u0E31\u0E15\u0E22\u0E4C\u0E41\u0E25\u0E30\u0E02\u0E22\
\u0E31\u0E19\u0E2B\u0E21\u0E31\u0E48\u0E19\u0E40\u0E1E\u0E35\u0E22\u0E23 \u0E2D\
\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E04\u0E27\
\u0E32\u0E21\u0E0A\u0E48\u0E27\u0E22\u0E40\u0E2B\u0E25\u0E37\u0E2D\u0E15\u0E32\
\u0E21\u0E1B\u0E01\u0E15\u0E34\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E19\
\u0E08\u0E19\u0E01\u0E25\u0E31\u0E1A\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E35\u0E48\
\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E21\
\u0E32\u0E01\u0E42\u0E14\u0E22\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E43\u0E19\u0E40\
\u0E21\u0E37\u0E2D\u0E07\u0E43\u0E2B\u0E0D\u0E48\u0E0B\u0E36\u0E48\u0E07\u0E40\
\u0E25\u0E27\u0E23\u0E49\u0E32\u0E22\u0E01\u0E27\u0E48\u0E32\u0E43\u0E19\u0E1B\
\u0E23\u0E30\u0E40\u0E17\u0E28\u0E21\u0E32\u0E01\u201D Otto von Bismarck, 1884\
\ Otto von Bismarck \u0E19\u0E48\u0E32\u0E08\u0E30\u0E01\u0E25\u0E48\u0E32\u0E27\
\u0E2A\u0E38\u0E19\u0E17\u0E23\u0E1E\u0E08\u0E19\u0E4C\u0E19\u0E35\u0E49\u0E40\
\u0E1E\u0E37\u0E48\u0E2D\u0E15\u0E2D\u0E1A\u0E2A\u0E19\u0E2D\u0E07\u0E15\u0E48\
\u0E2D\u0E1B\u0E23\u0E30\u0E40\u0E14\u0E47\u0E19\u0E43\u0E14\u0E15\u0E48\u0E2D\
\u0E44\u0E1B\u0E19\u0E35\u0E49?"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E23\u0E31\u0E01\u0E29\u0E32\u0E2D\u0E33\u0E19\u0E32\
\u0E08\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E32\u0E07\u0E17\u0E2B\u0E32\
\u0E23\u0E43\u0E19\u0E17\u0E38\u0E01\u0E27\u0E34\u0E16\u0E35\u0E17\u0E32\u0E07"
B: "\u0E02\u0E22\u0E32\u0E22\u0E04\u0E27\u0E32\u0E21\u0E15\u0E36\u0E07\u0E40\
\u0E04\u0E23\u0E35\u0E22\u0E14\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E19\
\u0E34\u0E01\u0E32\u0E22\u0E17\u0E32\u0E07\u0E28\u0E32\u0E2A\u0E19\u0E32"
C: "\u0E1B\u0E31\u0E08\u0E08\u0E31\u0E22\u0E17\u0E35\u0E48\u0E17\u0E33\u0E43\
\u0E2B\u0E49\u0E08\u0E31\u0E01\u0E23\u0E27\u0E23\u0E23\u0E14\u0E34\u0E2D\u0E2D\
\u0E15\u0E42\u0E15\u0E21\u0E31\u0E19\u0E25\u0E48\u0E21\u0E2A\u0E25\u0E32\u0E22"
D: "\u0E04\u0E27\u0E32\u0E21\u0E1E\u0E22\u0E32\u0E22\u0E32\u0E21\u0E2A\u0E23\
\u0E49\u0E32\u0E07\u0E2A\u0E31\u0E19\u0E15\u0E34\u0E43\u0E19\u0E2B\u0E21\u0E39\
\u0E48\u0E2D\u0E32\u0E13\u0E32\u0E08\u0E31\u0E01\u0E23\u0E2D\u0E34\u0E2A\u0E25\
\u0E32\u0E21"
input_correct_responses:
- B
input_question: "\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 "\u0E2D\u0E31\u0E19\u0E17\
\u0E35\u0E48\u0E08\u0E23\u0E34\u0E07 \u0E1F\u0E31\u0E15\u0E27\u0E32\u0E02\u0E2D\
\u0E07 [\u0E19\u0E31\u0E01\u0E27\u0E34\u0E0A\u0E32\u0E01\u0E32\u0E23] \u0E17\
\u0E35\u0E48\u0E21\u0E35\u0E0A\u0E37\u0E48\u0E2D\u0E40\u0E2A\u0E35\u0E22\u0E07\
\u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2B\u0E47\
\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E40\u0E2B\u0E15\
\u0E38\u0E1C\u0E25\u0E41\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E40\u0E1E\u0E13\u0E35\
\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E31\u0E19 \u0E41\u0E25\u0E30\u0E09\
\u0E31\u0E19\u0E17\u0E32\u0E21\u0E15\u0E34\u0E02\u0E2D\u0E07\u0E0A\u0E38\u0E21\
\u0E0A\u0E19\u0E2A\u0E38\u0E2B\u0E19\u0E35\u0E48\u0E40\u0E2B\u0E47\u0E19\u0E1E\
\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\
\u0E20\u0E32\u0E23\u0E30\u0E1C\u0E39\u0E01\u0E1E\u0E31\u0E19\u0E43\u0E19\u0E2A\
\u0E21\u0E31\u0E22\u0E42\u0E1A\u0E23\u0E32\u0E13\u0E02\u0E2D\u0E07\u0E01\u0E32\
\u0E23\u0E01\u0E27\u0E32\u0E14\u0E25\u0E49\u0E32\u0E07 \u0E01\u0E32\u0E23\u0E17\
\u0E33\u0E25\u0E32\u0E22\u0E25\u0E49\u0E32\u0E07 \u0E41\u0E25\u0E30\u0E01\u0E32\
\u0E23\u0E02\u0E31\u0E1A\u0E44\u0E25\u0E48\u0E19\u0E27\u0E31\u0E15\u0E01\u0E23\
\u0E23\u0E21\u0E17\u0E35\u0E48\u0E0A\u0E31\u0E48\u0E27\u0E23\u0E49\u0E32\u0E22\
\ \u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E1B\u0E49\
\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E1C\u0E39\u0E49\u0E17\u0E23\
\u0E07\u0E2A\u0E39\u0E07\u0E2A\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\
\ \u0E04\u0E27\u0E32\u0E21\u0E17\u0E30\u0E40\u0E22\u0E2D\u0E17\u0E30\u0E22\u0E32\
\u0E19\u0E40\u0E1E\u0E23\u0E32\u0E30 "\u0E04\u0E27\u0E32\u0E21\u0E01\u0E23\
\u0E30\u0E15\u0E37\u0E2D\u0E23\u0E37\u0E2D\u0E23\u0E49\u0E19\u0E17\u0E32\u0E07\
\u0E28\u0E32\u0E2A\u0E19\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E31\u0E22\u0E0A\
\u0E19\u0E30\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E28\u0E23\u0E31\u0E17\u0E18\
\u0E32\u0E02\u0E2D\u0E07\u0E1E\u0E23\u0E30\u0E1C\u0E39\u0E49\u0E40\u0E1B\u0E47\
\u0E19\u0E40\u0E08\u0E49\u0E32\u0E1C\u0E39\u0E49\u0E17\u0E23\u0E07\u0E40\u0E21\
\u0E15\u0E15\u0E32" \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E15\u0E32\
\u0E21\u0E04\u0E33\u0E1E\u0E39\u0E14\u0E02\u0E2D\u0E07\u0E17\u0E48\u0E32\u0E19\
\u0E28\u0E32\u0E2A\u0E14\u0E32 (\u0E2A\u0E31\u0E19\u0E15\u0E34\u0E20\u0E32\u0E1E\
\u0E01\u0E31\u0E1A\u0E40\u0E02\u0E32!) "\u0E43\u0E04\u0E23\u0E01\u0E47\u0E15\
\u0E32\u0E21\u0E17\u0E35\u0E48\u0E19\u0E33\u0E19\u0E27\u0E31\u0E15\u0E01\u0E23\
\u0E23\u0E21\u0E17\u0E35\u0E48\u0E0A\u0E31\u0E48\u0E27\u0E23\u0E49\u0E32\u0E22\
\u0E21\u0E32\u0E2A\u0E39\u0E48\u0E23\u0E30\u0E40\u0E1A\u0E35\u0E22\u0E1A\u0E02\
\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E16\u0E39\
\u0E01\u0E02\u0E31\u0E1A\u0E44\u0E25\u0E48" \u0E41\u0E25\u0E30 "\u0E43\
\u0E04\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21\u0E17\u0E35\u0E48\u0E17\u0E33\u0E40\
\u0E0A\u0E48\u0E19\u0E19\u0E31\u0E49\u0E19 \u0E2A\u0E34\u0E48\u0E07\u0E43\u0E14\
\u0E17\u0E35\u0E48\u0E02\u0E31\u0E14\u0E15\u0E48\u0E2D\u0E04\u0E33\u0E2A\u0E31\
\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E16\
\u0E39\u0E01\u0E02\u0E31\u0E1A\u0E44\u0E25\u0E48" \u0E01\u0E32\u0E23\u0E01\
\u0E23\u0E30\u0E17\u0E33\u0E01\u0E25\u0E32\u0E22\u0E40\u0E1B\u0E47\u0E19\u0E2A\
\u0E34\u0E48\u0E07\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E25\u0E30\u0E40\
\u0E23\u0E48\u0E07\u0E14\u0E48\u0E27\u0E19..." \u0E08\u0E14\u0E2B\u0E21\
\u0E32\u0E22\u0E08\u0E32\u0E01\u0E2A\u0E38\u0E25\u0E15\u0E48\u0E32\u0E19\u0E40\
\u0E0B\u0E25\u0E34\u0E21\u0E17\u0E35\u0E48 1 \u0E41\u0E2B\u0E48\u0E07\u0E2D\u0E2D\
\u0E15\u0E42\u0E15\u0E21\u0E31\u0E19\u0E16\u0E36\u0E07\u0E0B\u0E32\u0E1F\u0E32\
\u0E27\u0E34\u0E14 \u0E0A\u0E32\u0E2B\u0E4C \u0E2D\u0E34\u0E2A\u0E21\u0E32\u0E2D\
\u0E34\u0E25\u0E17\u0E35\u0E48 1, 1514 \u0E08\u0E14\u0E2B\u0E21\u0E32\u0E22\u0E08\
\u0E32\u0E01\u0E40\u0E0B\u0E25\u0E34\u0E21\u0E17\u0E35\u0E48 1 \u0E40\u0E1B\u0E47\
\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E0A\
\u0E31\u0E14\u0E40\u0E08\u0E19\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\
\u0E07\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\
\u0E49"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E25\u0E48\u0E21\u0E2A\u0E25\u0E32\u0E22\u0E02\u0E2D\
\u0E07\u0E40\u0E2A\u0E49\u0E19\u0E17\u0E32\u0E07\u0E01\u0E32\u0E23\u0E04\u0E49\
\u0E32\u0E1C\u0E48\u0E32\u0E19\u0E01\u0E32\u0E23\u0E25\u0E48\u0E21\u0E2A\u0E25\
\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\
\u0E07\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\u0E17\u0E35\u0E48\u0E08\u0E31\u0E14\
\u0E15\u0E31\u0E49\u0E07\u0E02\u0E36\u0E49\u0E19"
B: "\u0E01\u0E32\u0E23\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E36\u0E49\u0E19\
\u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E01\u0E23\u0E42\u0E25\u0E01\
\u0E1C\u0E48\u0E32\u0E19\u0E40\u0E2A\u0E1A\u0E35\u0E22\u0E07\u0E2D\u0E32\u0E2B\
\u0E32\u0E23\u0E17\u0E35\u0E48\u0E2D\u0E38\u0E14\u0E21\u0E2A\u0E21\u0E1A\u0E39\
\u0E23\u0E13\u0E4C\u0E21\u0E32\u0E01\u0E02\u0E36\u0E49\u0E19"
C: "\u0E01\u0E32\u0E23\u0E41\u0E1E\u0E23\u0E48\u0E01\u0E23\u0E30\u0E08\u0E32\
\u0E22\u0E02\u0E2D\u0E07\u0E23\u0E30\u0E1A\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E40\
\u0E0A\u0E37\u0E48\u0E2D\u0E02\u0E2D\u0E07\u0E08\u0E35\u0E19\u0E41\u0E25\u0E30\
\u0E2D\u0E34\u0E19\u0E40\u0E14\u0E35\u0E22\u0E44\u0E1B\u0E17\u0E31\u0E48\u0E27\
\u0E42\u0E25\u0E01"
D: "\u0E04\u0E27\u0E32\u0E21\u0E44\u0E21\u0E48\u0E2A\u0E07\u0E1A\u0E43\u0E19\
\u0E2A\u0E31\u0E07\u0E04\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1E\u0E34\u0E48\u0E21\
\u0E02\u0E36\u0E49\u0E19"
input_correct_responses:
- B
input_question: "\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E2D\u0E49\u0E32\
\u0E07\u0E2D\u0E34\u0E07\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 "\u0E2D\u0E22\u0E48\u0E32\
\u0E07\u0E19\u0E49\u0E2D\u0E22\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E43\u0E19\u0E2A\
\u0E31\u0E07\u0E04\u0E21 [\u0E02\u0E2D\u0E07\u0E42\u0E25\u0E01] \u0E08\u0E30\
\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E1C\u0E25\u0E1C\u0E25\
\u0E34\u0E15\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E21\u0E2B\u0E32\u0E28\u0E32\u0E25\
\ [\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E1A\u0E23\u0E23\u0E25\u0E38\
\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E08\u0E49\u0E32\u0E42\
\u0E25\u0E01] \u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E42\u0E14\u0E14\u0E04\u0E27\
\u0E2D\u0E19\u0E15\u0E31\u0E21\u0E19\u0E31\u0E49\u0E19\u0E08\u0E30\u0E15\u0E49\
\u0E2D\u0E07\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E01\u0E48\u0E2D\
\u0E19\u0E01\u0E32\u0E23\u0E1B\u0E0F\u0E34\u0E27\u0E31\u0E15\u0E34\u0E17\u0E32\
\u0E07\u0E27\u0E34\u0E17\u0E22\u0E32\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C \u0E40\
\u0E17\u0E04\u0E42\u0E19\u0E42\u0E25\u0E22\u0E35 \u0E01\u0E32\u0E23\u0E40\u0E01\
\u0E29\u0E15\u0E23 \u0E41\u0E25\u0E30\u0E2D\u0E38\u0E15\u0E2A\u0E32\u0E2B\u0E01\
\u0E23\u0E23\u0E21\u0E15\u0E48\u0E32\u0E07\u0E46 \u0E0B\u0E36\u0E48\u0E07\u0E40\
\u0E23\u0E32 \u0E42\u0E25\u0E01\u0E2B\u0E25\u0E31\u0E07\u0E04\u0E27\u0E2D\u0E19\
\u0E15\u0E31\u0E21\u0E25\u0E35\u0E1E\u0E40\u0E2B\u0E25\u0E37\u0E2D\u0E2D\u0E22\
\u0E39\u0E48 \u0E17\u0E33\u0E44\u0E14\u0E49\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\
\u0E43\u0E0A\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E08\u0E32\
\u0E01\u0E23\u0E30\u0E1A\u0E1A\u0E19\u0E34\u0E40\u0E27\u0E28 \u0E17\u0E23\u0E31\
\u0E1E\u0E22\u0E32\u0E01\u0E23\u0E41\u0E23\u0E48\u0E18\u0E32\u0E15\u0E38 \u0E41\
\u0E25\u0E30\u0E17\u0E23\u0E31\u0E1E\u0E22\u0E4C\u0E2A\u0E34\u0E19\u0E02\u0E2D\
\u0E07\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\u0E02\u0E2D\u0E07\u0E17\u0E31\u0E49\
\u0E07\u0E17\u0E27\u0E35\u0E1B\u0E19\u0E2D\u0E01\u0E14\u0E34\u0E19\u0E41\u0E14\
\u0E19\u0E02\u0E2D\u0E07\u0E2A\u0E31\u0E07\u0E04\u0E21\u0E40\u0E17\u0E48\u0E32\
\u0E19\u0E31\u0E49\u0E19\u0E17\u0E35\u0E48\u0E01\u0E23\u0E30\u0E42\u0E14\u0E14\
\u0E44\u0E14\u0E49 \u0E22\u0E38\u0E42\u0E23\u0E1B\u0E15\u0E30\u0E27\u0E31\u0E19\
\u0E15\u0E01\u0E17\u0E33\u0E40\u0E0A\u0E48\u0E19\u0E19\u0E31\u0E49\u0E19\u0E14\
\u0E49\u0E27\u0E22\u0E04\u0E27\u0E32\u0E21\u0E42\u0E2B\u0E14\u0E23\u0E49\u0E32\
\u0E22\u0E41\u0E25\u0E30\u0E1B\u0E37\u0E19\u0E41\u0E25\u0E30 \u0E2A\u0E33\u0E04\
\u0E31\u0E0D\u0E01\u0E27\u0E48\u0E32\u0E14\u0E49\u0E27\u0E22\u0E42\u0E0A\u0E04\
\u0E17\u0E32\u0E07\u0E20\u0E39\u0E21\u0E34\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C\
\u0E41\u0E25\u0E30\u0E23\u0E30\u0E1A\u0E1A\u0E19\u0E34\u0E40\u0E27\u0E28"\
\ \u0E25\u0E34\u0E02\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E4C \xA9 2015 Cambridge\
\ University Press. Alfred Crosby \u0E19\u0E31\u0E01\u0E1B\u0E23\u0E30\u0E27\
\u0E31\u0E15\u0E34\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C \u0E25\u0E31\u0E17\u0E18\
\u0E34\u0E08\u0E31\u0E01\u0E23\u0E27\u0E23\u0E23\u0E14\u0E34\u0E19\u0E34\u0E22\
\u0E21\u0E40\u0E0A\u0E34\u0E07\u0E19\u0E34\u0E40\u0E27\u0E28\u0E19\u0E4C 2004\
\ "\u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E42\u0E14\u0E14\u0E04\u0E27\u0E2D\
\u0E19\u0E15\u0E31\u0E21" \u0E17\u0E35\u0E48\u0E01\u0E25\u0E48\u0E32\u0E27\
\u0E16\u0E36\u0E07\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E19\
\u0E35\u0E49\u0E21\u0E35\u0E2A\u0E48\u0E27\u0E19\u0E2A\u0E19\u0E31\u0E1A\u0E2A\
\u0E19\u0E38\u0E19\u0E42\u0E14\u0E22\u0E15\u0E23\u0E07\u0E21\u0E32\u0E01\u0E17\
\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E15\u0E48\u0E2D\u0E1E\u0E31\u0E12\u0E19\u0E32\
\u0E01\u0E32\u0E23\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\
\u0E19\u0E35\u0E49\u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E1B\u0E35 \u0E04.\u0E28\
. 1450\u20131750"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_world_history
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_high_school_world_history
task_alias: high_school_world_history
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_human_aging.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E0A\u0E32\u0E22\u0E2B\u0E23\u0E37\u0E2D\u0E2B\u0E0D\u0E34\u0E07\u0E0A\
\u0E32\u0E27\u0E40\u0E2D\u0E40\u0E0A\u0E35\u0E22"
B: "\u0E0A\u0E32\u0E22\u0E0A\u0E32\u0E27\u0E2A\u0E40\u0E1B\u0E19"
C: "\u0E1C\u0E39\u0E49\u0E2B\u0E0D\u0E34\u0E07\u0E41\u0E2D\u0E1F\u0E23\u0E34\
\u0E01\u0E31\u0E19\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E31\u0E19"
D: "\u0E0A\u0E32\u0E22\u0E2B\u0E23\u0E37\u0E2D\u0E2B\u0E0D\u0E34\u0E07\u0E1C\
\u0E34\u0E27\u0E02\u0E32\u0E27"
input_correct_responses:
- C
input_question: "\u0E1A\u0E38\u0E04\u0E04\u0E25\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\
\u0E1B\u0E19\u0E35\u0E49\u0E21\u0E35\u0E41\u0E19\u0E27\u0E42\u0E19\u0E49\u0E21\
\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2D\u0E22\u0E39\u0E48\u0E1A\u0E49\u0E32\u0E19\
\u0E04\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\
\u0E2A\u0E38\u0E14\u0E43\u0E19\u0E1B\u0E35 2019"
- input_choice_list:
A: "\u0E02\u0E49\u0E2D\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\
\u0E02\u0E2D\u0E07\u0E27\u0E31\u0E22\u0E23\u0E38\u0E48\u0E19"
B: "\u0E23\u0E33\u0E25\u0E36\u0E01\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E25\u0E31\
\u0E07"
C: "\u0E2D\u0E19\u0E38\u0E2A\u0E23\u0E13\u0E4C\u0E2A\u0E16\u0E32\u0E19"
D: "\u0E01\u0E32\u0E23\u0E02\u0E31\u0E14\u0E02\u0E27\u0E32\u0E07\u0E01\u0E32\
\u0E23\u0E14\u0E36\u0E07\u0E01\u0E33\u0E25\u0E31\u0E07\u0E2A\u0E2D\u0E07"
input_correct_responses:
- B
input_question: "\u0E01\u0E32\u0E23\u0E04\u0E49\u0E19\u0E1E\u0E1A\u0E27\u0E48\u0E32\
\u0E1C\u0E39\u0E49\u0E43\u0E2B\u0E0D\u0E48\u0E21\u0E31\u0E01\u0E08\u0E30\u0E08\
\u0E14\u0E08\u0E33\u0E40\u0E2B\u0E15\u0E38\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E43\
\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E27\u0E31\u0E22\u0E23\u0E38\u0E48\u0E19\u0E44\
\u0E14\u0E49\u0E14\u0E35\u0E01\u0E27\u0E48\u0E32\u0E0A\u0E48\u0E27\u0E07\u0E2D\
\u0E37\u0E48\u0E19\u0E46 \u0E43\u0E19\u0E0A\u0E35\u0E27\u0E34\u0E15 \u0E40\u0E23\
\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32"
- input_choice_list:
A: "\u0E40\u0E17\u0E47\u0E01\u0E0B\u0E31\u0E2A"
B: "\u0E41\u0E04\u0E25\u0E34\u0E1F\u0E2D\u0E23\u0E4C\u0E40\u0E19\u0E35\u0E22"
C: "\u0E2E\u0E32\u0E27\u0E32\u0E22"
D: "\u0E40\u0E27\u0E2D\u0E23\u0E4C\u0E21\u0E2D\u0E19\u0E15\u0E4C"
input_correct_responses:
- A
input_question: "\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E1C\u0E39\u0E49\u0E2A\u0E39\u0E07\
\u0E2D\u0E32\u0E22\u0E38\u0E22\u0E49\u0E32\u0E22\u0E44\u0E1B\u0E2D\u0E22\u0E39\
\u0E48\u0E43\u0E19\u0E2A\u0E16\u0E32\u0E19\u0E30\u0E43\u0E2B\u0E21\u0E48\u0E2B\
\u0E25\u0E31\u0E07\u0E40\u0E01\u0E29\u0E35\u0E22\u0E13 \u0E08\u0E38\u0E14\u0E2B\
\u0E21\u0E32\u0E22\u0E1B\u0E25\u0E32\u0E22\u0E17\u0E32\u0E07\u0E43\u0E14\u0E15\
\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E21\u0E35\u0E41\u0E19\u0E27\u0E42\
\u0E19\u0E49\u0E21\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14"
- input_choice_list:
A: "\u0E19\u0E34\u0E42\u0E04\u0E15\u0E34\u0E19"
B: "\u0E19\u0E49\u0E33\u0E21\u0E31\u0E19\u0E14\u0E34\u0E19"
C: "\u0E04\u0E32\u0E23\u0E4C\u0E1A\u0E2D\u0E19\u0E21\u0E2D\u0E19\u0E2D\u0E01\
\u0E44\u0E0B\u0E14\u0E4C"
D: "\u0E2D\u0E19\u0E38\u0E20\u0E32\u0E04\u0E04\u0E27\u0E31\u0E19"
input_correct_responses:
- B
input_question: "\u0E2D\u0E07\u0E04\u0E4C\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E43\
\u0E14\u0E43\u0E19\u0E04\u0E27\u0E31\u0E19\u0E1A\u0E38\u0E2B\u0E23\u0E35\u0E48\
\u0E17\u0E35\u0E48\u0E01\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E40\u0E01\u0E34\u0E14\
\u0E21\u0E30\u0E40\u0E23\u0E47\u0E07?"
- input_choice_list:
A: "\u0E2B\u0E0D\u0E34\u0E07\u0E0A\u0E32\u0E27\u0E2D\u0E40\u0E21\u0E23\u0E34\
\u0E01\u0E31\u0E19\u0E40\u0E0A\u0E37\u0E49\u0E2D\u0E2A\u0E32\u0E22\u0E2E\u0E34\
\u0E2A\u0E41\u0E1B\u0E19\u0E34\u0E01\u0E17\u0E35\u0E48\u0E21\u0E35\u0E2D\u0E32\
\u0E22\u0E38\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32"
B: "\u0E2B\u0E0D\u0E34\u0E07\u0E0A\u0E32\u0E27\u0E41\u0E2D\u0E1F\u0E23\u0E34\
\u0E01\u0E31\u0E19\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E31\u0E19\u0E17\u0E35\
\u0E48\u0E21\u0E35\u0E2D\u0E32\u0E22\u0E38\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\
\u0E32"
C: "\u0E2B\u0E0D\u0E34\u0E07\u0E0A\u0E32\u0E27\u0E2D\u0E40\u0E21\u0E23\u0E34\
\u0E01\u0E31\u0E19\u0E40\u0E0A\u0E37\u0E49\u0E2D\u0E2A\u0E32\u0E22\u0E40\u0E2D\
\u0E40\u0E0A\u0E35\u0E22\u0E17\u0E35\u0E48\u0E21\u0E35\u0E2D\u0E32\u0E22\u0E38\
\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32"
D: "\u0E1C\u0E39\u0E49\u0E2B\u0E0D\u0E34\u0E07\u0E2D\u0E40\u0E21\u0E23\u0E34\
\u0E01\u0E31\u0E19\u0E1E\u0E37\u0E49\u0E19\u0E40\u0E21\u0E37\u0E2D\u0E07\u0E17\
\u0E35\u0E48\u0E21\u0E35\u0E2D\u0E32\u0E22\u0E38\u0E21\u0E32\u0E01\u0E01\u0E27\
\u0E48\u0E32"
input_correct_responses:
- C
input_question: "\u0E2A\u0E34\u0E48\u0E07\u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E40\
\u0E17\u0E48\u0E32\u0E40\u0E17\u0E35\u0E22\u0E21\u0E01\u0E31\u0E19 \u0E1A\u0E38\
\u0E04\u0E04\u0E25\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\
\u0E21\u0E35\u0E41\u0E19\u0E27\u0E42\u0E19\u0E49\u0E21\u0E17\u0E35\u0E48\u0E08\
\u0E30\u0E41\u0E2A\u0E14\u0E07\u0E42\u0E23\u0E04\u0E01\u0E23\u0E30\u0E14\u0E39\
\u0E01\u0E1E\u0E23\u0E38\u0E19\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\u0E01\
\u0E31\u0E19?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_human_aging
tag: mmlu_th_llama_other_tasks
task: mmlu_th_llama_human_aging
task_alias: human_aging
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_human_sexuality.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E44\u0E15\u0E23\u0E21\u0E32\u0E2A\
\u0E41\u0E23\u0E01"
B: "\u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E44\u0E15\u0E23\u0E21\u0E32\u0E2A\
\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07"
C: "\u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E44\u0E15\u0E23\u0E21\u0E32\u0E2A\
\u0E17\u0E35\u0E48\u0E2A\u0E32\u0E21"
D: "\u0E15\u0E25\u0E2D\u0E14\u0E01\u0E32\u0E23\u0E15\u0E31\u0E49\u0E07\u0E04\
\u0E23\u0E23\u0E20\u0E4C"
input_correct_responses:
- A
input_question: "\u0E2D\u0E32\u0E01\u0E32\u0E23\u0E41\u0E1E\u0E49\u0E17\u0E49\u0E2D\
\u0E07\u0E21\u0E31\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E31\u0E0D\u0E2B\u0E32\
:"
- input_choice_list:
A: "\u0E2D\u0E31\u0E15\u0E15\u0E32\u0E17\u0E35\u0E48\u0E41\u0E02\u0E47\u0E07\
\u0E41\u0E01\u0E23\u0E48\u0E07"
B: "\u0E2B\u0E34\u0E23\u0E34\u0E42\u0E2D\u0E15\u0E15\u0E31\u0E1B\u0E1B\u0E30\
\u0E17\u0E35\u0E48\u0E2D\u0E48\u0E2D\u0E19\u0E41\u0E2D"
C: "\u0E23\u0E2B\u0E31\u0E2A\u0E17\u0E35\u0E48\u0E2D\u0E48\u0E2D\u0E19\u0E41\
\u0E2D"
D: "\u0E2B\u0E34\u0E23\u0E34\u0E42\u0E2D\u0E15\u0E15\u0E31\u0E1B\u0E1B\u0E30\
\u0E17\u0E35\u0E48\u0E41\u0E02\u0E47\u0E07\u0E41\u0E01\u0E23\u0E48\u0E07"
input_correct_responses:
- B
input_question: "\u0E1C\u0E39\u0E49\u0E2B\u0E0D\u0E34\u0E07\u0E17\u0E35\u0E48\u0E23\
\u0E39\u0E49\u0E27\u0E48\u0E32\u0E15\u0E31\u0E27\u0E40\u0E2D\u0E07\u0E40\u0E1B\
\u0E47\u0E19\u0E42\u0E23\u0E04\u0E40\u0E23\u0E34\u0E21\u0E41\u0E25\u0E30\u0E0B\
\u0E34\u0E1F\u0E34\u0E25\u0E34\u0E2A\u0E17\u0E35\u0E48\u0E22\u0E31\u0E07\u0E44\
\u0E21\u0E48\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E23\u0E31\
\u0E01\u0E29\u0E32 \u0E41\u0E15\u0E48\u0E22\u0E31\u0E07\u0E04\u0E07\u0E21\u0E35\
\u0E40\u0E1E\u0E28\u0E2A\u0E31\u0E21\u0E1E\u0E31\u0E19\u0E18\u0E4C\u0E42\u0E14\
\u0E22\u0E44\u0E21\u0E48\u0E41\u0E08\u0E49\u0E07\u0E43\u0E2B\u0E49\u0E04\u0E39\
\u0E48\u0E19\u0E2D\u0E19\u0E17\u0E23\u0E32\u0E1A\u0E16\u0E36\u0E07\u0E2D\u0E32\
\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E40\u0E18\u0E2D \u0E43\u0E19\u0E41\u0E07\
\u0E48\u0E01\u0E32\u0E23\u0E27\u0E34\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\
\u0E17\u0E32\u0E07\u0E08\u0E34\u0E15\u0E27\u0E34\u0E40\u0E04\u0E23\u0E32\u0E30\
\u0E2B\u0E4C:"
- input_choice_list:
A: "\u0E04\u0E27\u0E32\u0E21\u0E08\u0E23\u0E34\u0E07\u0E17\u0E35\u0E48\u0E27\
\u0E48\u0E32\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E44\u0E21\u0E48\u0E21\u0E35\
\u0E23\u0E30\u0E22\u0E30\u0E40\u0E27\u0E25\u0E32\u0E17\u0E19\u0E44\u0E1F"
B: "\u0E01\u0E32\u0E23\u0E15\u0E2D\u0E1A\u0E2A\u0E19\u0E2D\u0E07\u0E02\u0E2D\
\u0E07\u0E0A\u0E31\u0E49\u0E19\u0E43\u0E19\u0E02\u0E2D\u0E07\u0E0A\u0E48\u0E2D\
\u0E07\u0E04\u0E25\u0E2D\u0E14"
C: "\u0E21\u0E35\u0E01\u0E32\u0E23\u0E16\u0E36\u0E07\u0E08\u0E38\u0E14\u0E2A\
\u0E38\u0E14\u0E22\u0E2D\u0E14\u0E2A\u0E25\u0E31\u0E1A\u0E01\u0E31\u0E19\u0E43\
\u0E19\u0E17\u0E35\u0E48\u0E15\u0E48\u0E32\u0E07\u0E46"
D: "\u0E08\u0E35-\u0E2A\u0E1B\u0E2D\u0E15"
input_correct_responses:
- A
input_question: "\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\
\u0E2D\u0E07\u0E1C\u0E39\u0E49\u0E2B\u0E0D\u0E34\u0E07\u0E43\u0E19\u0E01\u0E32\
\u0E23\u0E16\u0E36\u0E07\u0E08\u0E38\u0E14\u0E2A\u0E38\u0E14\u0E22\u0E2D\u0E14\
\u0E2B\u0E25\u0E32\u0E22\u0E04\u0E23\u0E31\u0E49\u0E07\u0E21\u0E35\u0E2A\u0E32\
\u0E40\u0E2B\u0E15\u0E38\u0E2B\u0E25\u0E31\u0E01\u0E21\u0E32\u0E08\u0E32\u0E01\
:"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E21\u0E35\u0E40\u0E1E\u0E28\u0E2A\u0E31\u0E21\u0E1E\
\u0E31\u0E19\u0E18\u0E4C"
B: "\u0E27\u0E07\u0E01\u0E25\u0E21\u0E01\u0E23\u0E30\u0E15\u0E38\u0E01"
C: "\u0E01\u0E32\u0E23\u0E41\u0E2A\u0E14\u0E07\u0E2D\u0E2D\u0E01"
D: "\u0E2A\u0E31\u0E21\u0E1C\u0E31\u0E2A\u0E2D\u0E27\u0E31\u0E22\u0E27\u0E30\
\u0E40\u0E1E\u0E28\u0E02\u0E2D\u0E07\u0E01\u0E31\u0E19\u0E41\u0E25\u0E30\u0E01\
\u0E31\u0E19"
input_correct_responses:
- A
input_question: "\u0E25\u0E31\u0E01\u0E29\u0E13\u0E30\u0E02\u0E2D\u0E07\u0E01\u0E34\
\u0E08\u0E01\u0E23\u0E23\u0E21\u0E23\u0E31\u0E01\u0E23\u0E48\u0E27\u0E21\u0E40\
\u0E1E\u0E28\u0E17\u0E35\u0E48\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\
\u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E01\u0E48\u0E2D\u0E19\u0E27\u0E31\u0E22\
\u0E23\u0E38\u0E48\u0E19\u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\
\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E2B\u0E25\u0E31\u0E48\u0E07\u0E40\u0E23\u0E47\u0E27"
B: "\u0E22\u0E31\u0E1A\u0E22\u0E31\u0E49\u0E07\u0E01\u0E32\u0E23\u0E2B\u0E25\
\u0E31\u0E48\u0E07"
C: "\u0E42\u0E23\u0E04\u0E2B\u0E22\u0E48\u0E2D\u0E19\u0E2A\u0E21\u0E23\u0E23\
\u0E16\u0E20\u0E32\u0E1E\u0E17\u0E32\u0E07\u0E40\u0E1E\u0E28"
D: "\u0E04\u0E27\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E1B\u0E01\u0E15\u0E34\u0E02\
\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E2B\u0E25\u0E31\u0E48\u0E07\u0E19\u0E49\u0E33\
\u0E2D\u0E2A\u0E38\u0E08\u0E34"
input_correct_responses:
- C
input_question: "\u0E04\u0E27\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E1B\u0E01\u0E15\u0E34\
\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\
\u0E38\u0E14\u0E43\u0E19\u0E1C\u0E39\u0E49\u0E0A\u0E32\u0E22\u0E17\u0E35\u0E48\
\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E01\u0E32\u0E23\u0E1A\u0E33\u0E1A\
\u0E31\u0E14\u0E17\u0E32\u0E07\u0E40\u0E1E\u0E28\u0E04\u0E37\u0E2D:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_human_sexuality
tag: mmlu_th_llama_social_sciences_tasks
task: mmlu_th_llama_human_sexuality
task_alias: human_sexuality
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_international_law.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E21\u0E32\u0E15\u0E23\u0E32 2(4) \u0E2B\u0E21\u0E32\u0E22\u0E04\u0E27\
\u0E32\u0E21\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E01\u0E2D\u0E07\u0E01\u0E33\u0E25\
\u0E31\u0E07\u0E15\u0E34\u0E14\u0E2D\u0E32\u0E27\u0E38\u0E18"
B: "\u0E21\u0E32\u0E15\u0E23\u0E32 2(4) \u0E04\u0E23\u0E2D\u0E1A\u0E04\u0E25\
\u0E38\u0E21\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E01\u0E33\u0E25\u0E31\u0E07\
\u0E17\u0E38\u0E01\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 \u0E23\u0E27\u0E21\u0E17\
\u0E31\u0E49\u0E07\u0E01\u0E32\u0E23\u0E04\u0E27\u0E48\u0E33\u0E1A\u0E32\u0E15\
\u0E23"
C: "\u0E02\u0E49\u0E2D 2(4) \u0E04\u0E23\u0E2D\u0E1A\u0E04\u0E25\u0E38\u0E21\
\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E41\u0E17\u0E23\u0E01\u0E41\u0E0B\u0E07\
\u0E01\u0E34\u0E08\u0E01\u0E32\u0E23\u0E20\u0E32\u0E22\u0E43\u0E19\u0E1B\u0E23\
\u0E30\u0E40\u0E17\u0E28\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\u0E17\u0E31\u0E49\
\u0E07\u0E2B\u0E21\u0E14"
D: "\u0E02\u0E49\u0E2D 2(4) \u0E2B\u0E21\u0E32\u0E22\u0E04\u0E27\u0E32\u0E21\
\u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E01\
\u0E33\u0E25\u0E31\u0E07\u0E17\u0E35\u0E48\u0E01\u0E23\u0E30\u0E17\u0E33\u0E15\
\u0E48\u0E2D\u0E1A\u0E39\u0E23\u0E13\u0E20\u0E32\u0E1E\u0E41\u0E2B\u0E48\u0E07\
\u0E14\u0E34\u0E19\u0E41\u0E14\u0E19\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\u0E40\
\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"
input_correct_responses:
- A
input_question: "\u0E02\u0E49\u0E2D 2(4) \u0E02\u0E2D\u0E07\u0E01\u0E0E\u0E1A\u0E31\
\u0E15\u0E23\u0E2A\u0E2B\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E0A\u0E32\u0E15\u0E34\
\u0E2B\u0E49\u0E32\u0E21\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E01\u0E33\u0E25\
\u0E31\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E43\u0E14"
- input_choice_list:
A: "\u0E2B\u0E32\u0E01\u0E04\u0E39\u0E48\u0E04\u0E27\u0E32\u0E21\u0E43\u0E19\
\u0E04\u0E14\u0E35\u0E17\u0E35\u0E48\u0E16\u0E01\u0E40\u0E16\u0E35\u0E22\u0E07\
\u0E01\u0E31\u0E19\u0E43\u0E19\u0E28\u0E32\u0E25\u0E42\u0E25\u0E01\u0E44\u0E21\
\u0E48\u0E21\u0E35\u0E1C\u0E39\u0E49\u0E1E\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E32\
\u0E43\u0E19\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E0A\u0E32\u0E15\u0E34 \u0E21\u0E35\
\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E40\u0E2A\u0E19\u0E2D\u0E0A\u0E37\u0E48\u0E2D\
\u0E1A\u0E38\u0E04\u0E04\u0E25\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E39\u0E49\u0E1E\
\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E32\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E04\u0E14\
\u0E35\u0E19\u0E31\u0E49\u0E19\u0E42\u0E14\u0E22\u0E43\u0E2B\u0E49\u0E14\u0E33\
\u0E23\u0E07\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E1C\u0E39\u0E49\u0E1E\
\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E32\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E01\u0E34\
\u0E08"
B: "\u0E1C\u0E39\u0E49\u0E1E\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E32\u0E40\u0E09\
\u0E1E\u0E32\u0E30\u0E01\u0E34\u0E08\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E07\u0E04\
\u0E4C\u0E04\u0E13\u0E30\u0E1C\u0E39\u0E49\u0E1E\u0E34\u0E1E\u0E32\u0E01\u0E29\
\u0E32\u0E28\u0E32\u0E25\u0E42\u0E25\u0E01\u0E14\u0E49\u0E27\u0E22\u0E04\u0E30\
\u0E41\u0E19\u0E19\u0E40\u0E2A\u0E35\u0E22\u0E07\u0E0A\u0E35\u0E49\u0E02\u0E32\
\u0E14"
C: "\u0E1C\u0E39\u0E49\u0E1E\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E32\u0E40\u0E09\
\u0E1E\u0E32\u0E30\u0E01\u0E34\u0E08\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E39\u0E49\
\u0E1E\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E32\u0E41\u0E17\u0E19\u0E43\u0E19\u0E01\
\u0E23\u0E13\u0E35\u0E17\u0E35\u0E48\u0E1C\u0E39\u0E49\u0E1E\u0E34\u0E1E\u0E32\
\u0E01\u0E29\u0E32\u0E02\u0E32\u0E14\u0E04\u0E38\u0E13\u0E2A\u0E21\u0E1A\u0E31\
\u0E15\u0E34\u0E2B\u0E23\u0E37\u0E2D\u0E16\u0E36\u0E07\u0E41\u0E01\u0E48\u0E01\
\u0E23\u0E23\u0E21"
D: "\u0E1C\u0E39\u0E49\u0E1E\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E32\u0E40\u0E09\
\u0E1E\u0E32\u0E30\u0E01\u0E34\u0E08 \u0E04\u0E37\u0E2D \u0E1C\u0E39\u0E49\
\u0E1E\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E32\u0E17\u0E35\u0E48\u0E41\u0E15\u0E48\
\u0E25\u0E30\u0E1D\u0E48\u0E32\u0E22\u0E08\u0E30\u0E40\u0E2A\u0E19\u0E2D\u0E0A\
\u0E37\u0E48\u0E2D\u0E40\u0E2A\u0E21\u0E2D\u0E43\u0E19\u0E17\u0E38\u0E01\u0E04\
\u0E14\u0E35\u0E04\u0E27\u0E32\u0E21"
input_correct_responses:
- A
input_question: "\u0E1C\u0E39\u0E49\u0E1E\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E32\u0E40\
\u0E09\u0E1E\u0E32\u0E30\u0E01\u0E34\u0E08 \u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\
\u0E23?"
- input_choice_list:
A: "\u0E19\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E08\u0E2D\
\u0E07\u0E17\u0E35\u0E48\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A\u0E44\u0E14\u0E49\
\u0E2B\u0E32\u0E01\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E1B\
\u0E23\u0E30\u0E40\u0E17\u0E28\u0E17\u0E35\u0E48\u0E08\u0E2D\u0E07\u0E43\u0E0A\
\u0E49\u0E04\u0E33\u0E08\u0E33\u0E01\u0E31\u0E14\u0E04\u0E27\u0E32\u0E21\u0E2D\
\u0E37\u0E48\u0E19"
B: "\u0E19\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E49\u0E2D\u0E2A\u0E07\
\u0E27\u0E19\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\
\u0E16\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A\u0E44\u0E14\u0E49 \u0E40\u0E19\u0E37\
\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\
\u0E1D\u0E48\u0E32\u0E1D\u0E37\u0E19\u0E27\u0E31\u0E15\u0E16\u0E38\u0E1B\u0E23\
\u0E30\u0E2A\u0E07\u0E04\u0E4C\u0E41\u0E25\u0E30\u0E27\u0E31\u0E15\u0E16\u0E38\
\u0E1B\u0E23\u0E30\u0E2A\u0E07\u0E04\u0E4C\u0E02\u0E2D\u0E07 ICCPR"
C: "\u0E19\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E49\u0E2D\u0E2A\u0E07\
\u0E27\u0E19\u0E17\u0E35\u0E48\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A\u0E44\u0E21\
\u0E48\u0E44\u0E14\u0E49 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\
\u0E04\u0E33\u0E08\u0E33\u0E01\u0E31\u0E14\u0E04\u0E27\u0E32\u0E21\u0E02\u0E2D\
\u0E07\u0E01\u0E32\u0E23\u0E17\u0E23\u0E21\u0E32\u0E19\u0E43\u0E19 ICCPR \u0E19\
\u0E31\u0E49\u0E19\u0E2A\u0E2D\u0E14\u0E04\u0E25\u0E49\u0E2D\u0E07\u0E01\u0E31\
\u0E1A\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E08\u0E32\u0E23\u0E35\u0E15\u0E1B\
\u0E23\u0E30\u0E40\u0E1E\u0E13\u0E35\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\
\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28"
D: "\u0E19\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E49\u0E2D\u0E2A\u0E07\
\u0E27\u0E19\u0E17\u0E35\u0E48\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A\u0E44\u0E14\
\u0E49\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E20\u0E32\u0E22\
\u0E43\u0E15\u0E49\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E23\u0E30\u0E2B\u0E27\
\u0E48\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E17\u0E28\u0E17\u0E31\u0E48\u0E27\
\u0E44\u0E1B \u0E23\u0E31\u0E10\u0E21\u0E35\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E17\
\u0E35\u0E48\u0E08\u0E30\u0E40\u0E02\u0E49\u0E32\u0E2A\u0E39\u0E48\u0E02\u0E49\
\u0E2D\u0E2A\u0E07\u0E27\u0E19\u0E43\u0E19\u0E2A\u0E19\u0E18\u0E34\u0E2A\u0E31\
\u0E0D\u0E0D\u0E32"
input_correct_responses:
- B
input_question: "\u0E01\u0E32\u0E23\u0E2A\u0E07\u0E27\u0E19\u0E04\u0E33\u0E08\u0E33\
\u0E01\u0E31\u0E14\u0E04\u0E27\u0E32\u0E21\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\
\u0E17\u0E23\u0E21\u0E32\u0E19\u0E43\u0E19 ICCPR \u0E08\u0E30\u0E40\u0E1B\u0E47\
\u0E19\u0E17\u0E35\u0E48\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A\u0E43\u0E19\u0E41\
\u0E19\u0E27\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E23\u0E48\u0E27\u0E21\
\u0E2A\u0E21\u0E31\u0E22\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48?"
- input_choice_list:
A: "\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E2A\u0E32\
\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E1E\u0E24\
\u0E15\u0E34\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E32\
\u0E28\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E40\u0E21\
\u0E37\u0E48\u0E2D\u0E43\u0E14\u0E01\u0E47\u0E15\u0E32\u0E21\u0E17\u0E35\u0E48\
\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A"
B: "\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E44\u0E21\
\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E40\u0E1B\u0E47\
\u0E19\u0E1E\u0E24\u0E15\u0E34\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48\
\u0E02\u0E31\u0E14\u0E02\u0E27\u0E32\u0E07\u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\
\u0E17\u0E33\u0E1C\u0E34\u0E14\u0E44\u0E14\u0E49"
C: "\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E2A\u0E32\
\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E1E\u0E24\
\u0E15\u0E34\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E32\
\u0E28\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E44\u0E14\
\u0E49 \u0E2B\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\
\u0E21\u0E21\u0E35\u0E1C\u0E25\u0E2A\u0E21\u0E1A\u0E39\u0E23\u0E13\u0E4C\u0E41\
\u0E25\u0E30\u0E43\u0E19\u0E02\u0E2D\u0E1A\u0E40\u0E02\u0E15\u0E17\u0E35\u0E48\
\u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E19\u0E31\u0E49\u0E19\u0E22\
\u0E31\u0E07\u0E04\u0E07\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E2D\u0E1A\
\u0E40\u0E02\u0E15\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\
\u0E22\u0E2D\u0E21\u0E17\u0E35\u0E48\u0E43\u0E2B\u0E49\u0E44\u0E27\u0E49"
D: "\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E2A\u0E32\
\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E1E\u0E24\
\u0E15\u0E34\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E32\
\u0E28\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E40\u0E02\u0E49\u0E32\u0E43\
\u0E08\u0E1C\u0E34\u0E14\u0E44\u0E14\u0E49\u0E40\u0E2A\u0E21\u0E2D \u0E44\u0E21\
\u0E48\u0E27\u0E48\u0E32\u0E2B\u0E19\u0E48\u0E27\u0E22\u0E07\u0E32\u0E19\u0E43\
\u0E14\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\u0E08\u0E30\u0E43\u0E2B\u0E49\u0E04\
\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E01\u0E47\u0E15\u0E32\
\u0E21"
input_correct_responses:
- C
input_question: "\u0E40\u0E21\u0E37\u0E48\u0E2D '\u0E04\u0E27\u0E32\u0E21\u0E22\
\u0E34\u0E19\u0E22\u0E2D\u0E21' \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\
\u0E33\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1E\
\u0E24\u0E15\u0E34\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48\u0E02\u0E31\
\u0E14\u0E02\u0E27\u0E32\u0E07\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E1E\u0E24\
\u0E15\u0E34\u0E21\u0E34\u0E0A\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\
?"
- input_choice_list:
A: "\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E02\u0E2D\
\u0E07\u0E23\u0E31\u0E10\u0E17\u0E35\u0E48\u0E08\u0E30\u0E1C\u0E39\u0E01\u0E1E\
\u0E31\u0E19\u0E08\u0E30\u0E41\u0E2A\u0E14\u0E07\u0E42\u0E14\u0E22\u0E01\u0E32\
\u0E23\u0E43\u0E2B\u0E49\u0E2A\u0E31\u0E15\u0E22\u0E32\u0E1A\u0E31\u0E19\u0E40\
\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"
B: "\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E02\u0E2D\
\u0E07\u0E23\u0E31\u0E10\u0E17\u0E35\u0E48\u0E08\u0E30\u0E1C\u0E39\u0E01\u0E1E\
\u0E31\u0E19\u0E15\u0E32\u0E21\u0E2A\u0E19\u0E18\u0E34\u0E2A\u0E31\u0E0D\u0E0D\
\u0E32\u0E2D\u0E32\u0E08\u0E41\u0E2A\u0E14\u0E07\u0E2D\u0E2D\u0E01\u0E42\u0E14\
\u0E22\u0E01\u0E32\u0E23\u0E25\u0E07\u0E19\u0E32\u0E21 \u0E01\u0E32\u0E23\u0E43\
\u0E2B\u0E49\u0E2A\u0E31\u0E15\u0E22\u0E32\u0E1A\u0E31\u0E19 \u0E01\u0E32\u0E23\
\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A \u0E01\u0E32\u0E23\u0E2D\u0E19\u0E38\u0E21\
\u0E31\u0E15\u0E34 \u0E2B\u0E23\u0E37\u0E2D\u0E20\u0E32\u0E04\u0E22\u0E32\u0E19\
\u0E38\u0E27\u0E31\u0E15\u0E34"
C: "\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E02\u0E2D\
\u0E07\u0E23\u0E31\u0E10\u0E17\u0E35\u0E48\u0E08\u0E30\u0E1C\u0E39\u0E01\u0E1E\
\u0E31\u0E19\u0E08\u0E30\u0E41\u0E2A\u0E14\u0E07\u0E42\u0E14\u0E22\u0E25\u0E32\
\u0E22\u0E40\u0E0B\u0E47\u0E19"
D: "\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E02\u0E2D\
\u0E07\u0E23\u0E31\u0E10\u0E17\u0E35\u0E48\u0E08\u0E30\u0E1C\u0E39\u0E01\u0E1E\
\u0E31\u0E19\u0E19\u0E31\u0E49\u0E19\u0E41\u0E2A\u0E14\u0E07\u0E2D\u0E2D\u0E01\
\u0E14\u0E49\u0E27\u0E22\u0E27\u0E34\u0E18\u0E35\u0E43\u0E14\u0E01\u0E47\u0E15\
\u0E32\u0E21\u0E17\u0E35\u0E48\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E40\u0E25\
\u0E37\u0E2D\u0E01"
input_correct_responses:
- B
input_question: "\u0E04\u0E27\u0E32\u0E21\u0E22\u0E34\u0E19\u0E22\u0E2D\u0E21\u0E17\
\u0E35\u0E48\u0E08\u0E30\u0E1C\u0E39\u0E01\u0E1E\u0E31\u0E19\u0E02\u0E2D\u0E07\
\u0E23\u0E31\u0E10\u0E08\u0E30\u0E41\u0E2A\u0E14\u0E07\u0E2D\u0E22\u0E48\u0E32\
\u0E07\u0E44\u0E23?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_international_law
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_international_law
task_alias: international_law
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_jurisprudence.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "POP \u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E27\u0E32\u0E21\u0E40\
\u0E2A\u0E21\u0E2D\u0E20\u0E32\u0E04\u0E40\u0E2B\u0E19\u0E37\u0E2D\u0E40\u0E2A\
\u0E23\u0E35\u0E20\u0E32\u0E1E"
B: "POP \u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E43\u0E0A\u0E49\u0E01\u0E25\
\u0E22\u0E38\u0E17\u0E18\u0E4C '\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14'"
C: "POP \u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E43\u0E0A\u0E49 '\u0E2B\
\u0E25\u0E31\u0E01\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\
\u0E07'"
D: "POP \u0E08\u0E30\u0E1B\u0E0F\u0E34\u0E40\u0E2A\u0E18 '\u0E23\u0E30\u0E1A\
\u0E1A\u0E40\u0E2A\u0E23\u0E35\u0E20\u0E32\u0E1E\u0E15\u0E32\u0E21\u0E18\u0E23\
\u0E23\u0E21\u0E0A\u0E32\u0E15\u0E34'"
input_correct_responses:
- A
input_question: "\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E43\u0E14\u0E17\u0E35\
\u0E48 Rawls \u0E2D\u0E49\u0E32\u0E07\u0E27\u0E48\u0E32\u0E21\u0E35\u0E42\u0E2D\
\u0E01\u0E32\u0E2A\u0E19\u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\
\u0E17\u0E35\u0E48 POP \u0E08\u0E30\u0E19\u0E33\u0E21\u0E32\u0E43\u0E0A\u0E49\
\ (\u0E04\u0E19\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E33\
\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E14\u0E34\u0E21)"
- input_choice_list:
A: "\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E2A\u0E23\u0E35\u0E20\u0E32\u0E1E\
\u0E2A\u0E48\u0E27\u0E19\u0E1A\u0E38\u0E04\u0E04\u0E25\u0E43\u0E2B\u0E49\u0E2A\
\u0E39\u0E07\u0E2A\u0E38\u0E14"
B: "\u0E40\u0E1B\u0E47\u0E19\u0E1E\u0E37\u0E49\u0E19\u0E10\u0E32\u0E19\u0E2A\
\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E19\u0E35\
\u0E1B\u0E23\u0E30\u0E19\u0E2D\u0E21"
C: "\u0E23\u0E31\u0E01\u0E29\u0E32\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E07\u0E1A"
D: "\u0E01\u0E32\u0E23\u0E2A\u0E48\u0E07\u0E40\u0E2A\u0E23\u0E34\u0E21\u0E2B\
\u0E25\u0E31\u0E01\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E23\u0E30\u0E1A\u0E1A\
\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23\u0E40\u0E2A\u0E23\u0E35"
input_correct_responses:
- D
input_question: "\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E01\
\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E17\u0E31\
\u0E49\u0E07\u0E2B\u0E21\u0E14 \u0E41\u0E15\u0E48\u0E02\u0E49\u0E2D\u0E43\u0E14\
\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"
- input_choice_list:
A: "\u0E2D\u0E33\u0E19\u0E32\u0E08."
B: "\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1E\u0E34\
\u0E40\u0E28\u0E29"
C: "\u0E04\u0E27\u0E32\u0E21\u0E23\u0E48\u0E27\u0E21\u0E21\u0E37\u0E2D"
D: "\u0E23\u0E30\u0E1A\u0E1A\u0E17\u0E38\u0E19\u0E19\u0E34\u0E22\u0E21."
input_correct_responses:
- D
input_question: "\u0E04\u0E33\u0E43\u0E14\u0E2A\u0E23\u0E38\u0E1B\u0E04\u0E33\u0E2D\
\u0E18\u0E34\u0E1A\u0E32\u0E22\u0E02\u0E2D\u0E07 Weber \u0E40\u0E01\u0E35\u0E48\
\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E1E\u0E31\u0E12\u0E19\u0E32\
\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E17\u0E35\u0E48\u0E21\u0E35\u0E40\u0E2B\
\u0E15\u0E38\u0E21\u0E35\u0E1C\u0E25\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E1B\
\u0E47\u0E19\u0E17\u0E32\u0E07\u0E01\u0E32\u0E23\u0E44\u0E14\u0E49\u0E14\u0E35\
\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14"
- input_choice_list:
A: "\u0E01\u0E0E\u0E18\u0E23\u0E23\u0E21\u0E0A\u0E32\u0E15\u0E34"
B: "\u0E40\u0E0A\u0E34\u0E07\u0E27\u0E34\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\
\u0E4C"
C: "\u0E1B\u0E23\u0E30\u0E27\u0E31\u0E15\u0E34\u0E28\u0E32\u0E2A\u0E15\u0E23\
\u0E4C"
D: "\u0E2A\u0E31\u0E07\u0E04\u0E21\u0E27\u0E34\u0E17\u0E22\u0E32"
input_correct_responses:
- A
input_question: "________ \u0E42\u0E23\u0E07\u0E40\u0E23\u0E35\u0E22\u0E19\u0E19\
\u0E34\u0E15\u0E34\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C\u0E22\u0E37\u0E19\u0E22\
\u0E31\u0E19\u0E27\u0E48\u0E32\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E15\u0E31\
\u0E49\u0E07\u0E2D\u0E22\u0E39\u0E48\u0E1A\u0E19\u0E1E\u0E37\u0E49\u0E19\u0E10\
\u0E32\u0E19\u0E02\u0E2D\u0E07\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48 "\u0E16\
\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07""
- input_choice_list:
A: "\u0E08\u0E14\u0E2B\u0E21\u0E32\u0E22\u0E14\u0E31\u0E07\u0E01\u0E25\u0E48\
\u0E32\u0E27\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E40\u0E2A\u0E19\u0E2D\
\u0E02\u0E32\u0E22"
B: "\u0E02\u0E49\u0E2D\u0E40\u0E2A\u0E19\u0E2D\u0E17\u0E35\u0E48\u0E16\u0E39\
\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\
\u0E16\u0E2A\u0E48\u0E07\u0E17\u0E32\u0E07\u0E08\u0E14\u0E2B\u0E21\u0E32\u0E22\
\u0E44\u0E14\u0E49"
C: "\u0E08\u0E14\u0E2B\u0E21\u0E32\u0E22\u0E21\u0E35\u0E02\u0E49\u0E2D\u0E40\
\u0E2A\u0E19\u0E2D\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\
\u0E0B\u0E36\u0E48\u0E07\u0E08\u0E30\u0E22\u0E38\u0E15\u0E34\u0E20\u0E32\u0E22\
\u0E43\u0E19\u0E40\u0E27\u0E25\u0E32\u0E17\u0E35\u0E48\u0E40\u0E2B\u0E21\u0E32\
\u0E30\u0E2A\u0E21"
D: "\u0E08\u0E14\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E32\u0E14\u0E2B\u0E19\u0E36\
\u0E48\u0E07\u0E43\u0E19\u0E2D\u0E07\u0E04\u0E4C\u0E1B\u0E23\u0E30\u0E01\u0E2D\
\u0E1A\u0E2A\u0E33\u0E04\u0E31\u0E0D\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E40\
\u0E2A\u0E19\u0E2D"
input_correct_responses:
- D
input_question: "Iverson Jewellers \u0E40\u0E02\u0E35\u0E22\u0E19\u0E08\u0E14\u0E2B\
\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 Miller \u0E27\u0E48\u0E32 '\u0E40\u0E23\
\u0E32\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E19\u0E32\u0E2C\u0E34\u0E01\u0E32\
\ Rolox \u0E17\u0E35\u0E48\u0E44\u0E02\u0E25\u0E32\u0E19\u0E44\u0E14\u0E49\u0E2D\
\u0E22\u0E48\u0E32\u0E07\u0E14\u0E35\u0E40\u0E1B\u0E47\u0E19\u0E1E\u0E34\u0E40\
\u0E28\u0E29 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E02\u0E32\
\u0E22\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E43\u0E19\u0E23\u0E32\u0E04\u0E32\
\u0E17\u0E35\u0E48\u0E14\u0E35\u0E21\u0E32\u0E01'"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_jurisprudence
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_jurisprudence
task_alias: jurisprudence
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_logical_fallacies.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E04\u0E27\u0E2D\u0E01"
B: "\u0E21\u0E49\u0E32\u0E2B\u0E31\u0E27\u0E40\u0E23\u0E32\u0E30"
C: "\u0E01\u0E32\u0E23\u0E42\u0E15\u0E49\u0E40\u0E16\u0E35\u0E22\u0E07\u0E01\
\u0E31\u0E1A\u0E1A\u0E38\u0E04\u0E04\u0E25"
D: "\u0E04\u0E27\u0E32\u0E21\u0E44\u0E21\u0E48\u0E23\u0E39\u0E49 elenchi"
input_correct_responses:
- C
input_question: "\u0E2B\u0E32\u0E01\u0E21\u0E35\u0E43\u0E04\u0E23\u0E42\u0E08\u0E21\
\u0E15\u0E35\u0E25\u0E31\u0E01\u0E29\u0E13\u0E30\u0E02\u0E2D\u0E07\u0E1C\u0E39\
\u0E49\u0E42\u0E15\u0E49\u0E40\u0E16\u0E35\u0E22\u0E07\u0E1D\u0E48\u0E32\u0E22\
\u0E15\u0E23\u0E07\u0E02\u0E49\u0E32\u0E21 \u0E41\u0E17\u0E19\u0E17\u0E35\u0E48\
\u0E08\u0E30\u0E15\u0E2D\u0E1A\u0E2A\u0E19\u0E2D\u0E07\u0E15\u0E48\u0E2D\u0E02\
\u0E49\u0E2D\u0E42\u0E15\u0E49\u0E41\u0E22\u0E49\u0E07\u0E02\u0E2D\u0E07\u0E1D\
\u0E48\u0E32\u0E22\u0E15\u0E23\u0E07\u0E02\u0E49\u0E32\u0E21 \u0E1A\u0E38\u0E04\
\u0E04\u0E25\u0E41\u0E23\u0E01\u0E2D\u0E32\u0E08\u0E17\u0E33\u0E1C\u0E34\u0E14\
\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E42\u0E15\u0E49\u0E40\u0E16\u0E35\u0E22\u0E07\u0E43\
\u0E19\u0E1A\u0E32\u0E07\u0E2A\u0E34\u0E48\u0E07\u0E19\u0E31\u0E49\u0E19\u0E14\
\u0E49\u0E2D\u0E22\u0E01\u0E27\u0E48\u0E32\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E40\
\u0E1E\u0E23\u0E32\u0E30\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E17\u0E33\u0E2A\
\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E15\
\u0E31\u0E49\u0E07\u0E43\u0E08\u0E08\u0E30\u0E17\u0E33"
B: "\u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E2D\u0E49\u0E32\
\u0E07\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E4C\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\
\u0E32\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E49\u0E2D\u0E43\u0E19\u0E02\u0E49\
\u0E2D\u0E40\u0E2A\u0E19\u0E2D\u0E41\u0E25\u0E30\u0E16\u0E37\u0E2D\u0E27\u0E48\
\u0E32\u0E01\u0E32\u0E23\u0E1E\u0E34\u0E2A\u0E39\u0E08\u0E19\u0E4C\u0E2A\u0E33\
\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2D\u0E49\u0E32\u0E07\u0E2A\u0E34\
\u0E17\u0E18\u0E34\u0E4C\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E04\u0E23\u0E31\u0E49\
\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E25\u0E31\u0E01\u0E10\u0E32\u0E19\u0E2A\
\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2D\u0E49\u0E32\u0E07\u0E2A\
\u0E34\u0E17\u0E18\u0E34\u0E4C\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14"
C: "\u0E2A\u0E23\u0E38\u0E1B\u0E1C\u0E25\u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\
\u0E48\u0E08\u0E30\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E2B\u0E25\u0E31\
\u0E01\u0E10\u0E32\u0E19\u0E41\u0E25\u0E30\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\
\u0E32\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E2B\u0E25\u0E31\u0E01\u0E10\u0E32\u0E19\
\u0E17\u0E35\u0E48\u0E2A\u0E19\u0E31\u0E1A\u0E2A\u0E19\u0E38\u0E19\u0E02\u0E49\
\u0E2D\u0E2A\u0E23\u0E38\u0E1B\u0E19\u0E31\u0E49\u0E19"
D: "\u0E01\u0E32\u0E23\u0E16\u0E32\u0E21\u0E04\u0E33\u0E16\u0E32\u0E21\u0E17\
\u0E35\u0E48\u0E21\u0E35\u0E17\u0E31\u0E49\u0E07\u0E02\u0E49\u0E2D\u0E2A\u0E31\
\u0E19\u0E19\u0E34\u0E29\u0E10\u0E32\u0E19\u0E17\u0E35\u0E48\u0E22\u0E31\u0E07\
\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E1E\
\u0E34\u0E2A\u0E39\u0E08\u0E19\u0E4C\u0E2B\u0E23\u0E37\u0E2D\u0E04\u0E33\u0E16\
\u0E32\u0E21\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\u0E2B\u0E19\u0E36\u0E48\
\u0E07\u0E02\u0E49\u0E2D \u0E08\u0E36\u0E07\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E04\
\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E43\u0E0A\u0E48\u0E2B\u0E23\u0E37\
\u0E2D\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E15\u0E23\u0E07\u0E44\u0E1B\u0E15\
\u0E23\u0E07\u0E21\u0E32\u0E44\u0E21\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\
\u0E2B\u0E21\u0E32\u0E22"
input_correct_responses:
- D
input_question: "\u0E01\u0E32\u0E23\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E1C\u0E34\
\u0E14\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E16\u0E32\u0E21\u0E17\u0E35\u0E48\u0E0B\
\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\
\u0E49\u0E27\u0E22"
- input_choice_list:
A: "\u0E2B\u0E25\u0E31\u0E01\u0E10\u0E32\u0E19\u0E23\u0E2D\u0E07\u0E08\u0E30\
\u0E15\u0E49\u0E2D\u0E07\u0E1B\u0E0F\u0E34\u0E40\u0E2A\u0E18\u0E2A\u0E34\u0E48\
\u0E07\u0E17\u0E35\u0E48\u0E21\u0E32\u0E01\u0E48\u0E2D\u0E19"
B: "\u0E2B\u0E25\u0E31\u0E01\u0E10\u0E32\u0E19\u0E2A\u0E33\u0E04\u0E31\u0E0D\
\u0E15\u0E49\u0E2D\u0E07\u0E22\u0E37\u0E19\u0E22\u0E31\u0E19\u0E1C\u0E25\u0E17\
\u0E35\u0E48\u0E15\u0E32\u0E21\u0E21\u0E32"
C: "\u0E04\u0E33\u0E01\u0E25\u0E32\u0E07\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\
\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E2A\u0E16\u0E32\u0E19\u0E17\u0E35\u0E48\u0E2D\
\u0E22\u0E48\u0E32\u0E07\u0E19\u0E49\u0E2D\u0E22\u0E2B\u0E19\u0E36\u0E48\u0E07\
\u0E41\u0E2B\u0E48\u0E07\u0E43\u0E19\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E21\u0E32\
\u0E22\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E32\u0E01\u0E25\u0E2B\
\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48\u0E21\u0E35\u0E40\u0E07\u0E37\u0E48\u0E2D\
\u0E19\u0E44\u0E02"
D: "\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E02\u0E49\u0E32\u0E07\u0E15\
\u0E49\u0E19"
input_correct_responses:
- C
input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E08\u0E23\u0E34\
\u0E07\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E42\u0E27\u0E2B\
\u0E32\u0E23\u0E41\u0E1A\u0E1A\u0E2B\u0E21\u0E27\u0E14\u0E2B\u0E21\u0E39\u0E48\
\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07"
- input_choice_list:
A: "\u0E41\u0E1C\u0E19\u0E01"
B: "\u0E2D\u0E07\u0E04\u0E4C\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A"
C: "\u0E2D\u0E38\u0E17\u0E18\u0E23\u0E13\u0E4C\u0E15\u0E48\u0E2D\u0E1A\u0E38\
\u0E04\u0E04\u0E25"
D: "\u0E2D\u0E38\u0E17\u0E18\u0E23\u0E13\u0E4C\u0E15\u0E48\u0E2D\u0E04\u0E27\
\u0E32\u0E21\u0E44\u0E21\u0E48\u0E23\u0E39\u0E49"
input_correct_responses:
- B
input_question: "\u0E01\u0E32\u0E23\u0E42\u0E15\u0E49\u0E41\u0E22\u0E49\u0E07\u0E27\
\u0E48\u0E32\u0E2A\u0E48\u0E27\u0E19\u0E44\u0E2B\u0E19\u0E08\u0E23\u0E34\u0E07\
\u0E15\u0E49\u0E2D\u0E07\u0E08\u0E23\u0E34\u0E07\u0E17\u0E31\u0E49\u0E07\u0E2A\
\u0E48\u0E27\u0E19\u0E04\u0E37\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E40\u0E02\u0E49\
\u0E32\u0E43\u0E08\u0E1C\u0E34\u0E14\u0E02\u0E2D\u0E07..."
- input_choice_list:
A: "\u0E19\u0E49\u0E33\u0E43\u0E08\u0E19\u0E31\u0E01\u0E01\u0E35\u0E2C\u0E32\
\u0E44\u0E21\u0E48\u0E14\u0E35"
B: "\u0E40\u0E23\u0E35\u0E22\u0E01\u0E23\u0E49\u0E2D\u0E07\u0E04\u0E27\u0E32\
\u0E21\u0E40\u0E2B\u0E47\u0E19\u0E2D\u0E01\u0E40\u0E2B\u0E47\u0E19\u0E43\u0E08"
C: "\u0E01\u0E32\u0E23\u0E42\u0E15\u0E49\u0E40\u0E16\u0E35\u0E22\u0E07\u0E01\
\u0E31\u0E1A\u0E1A\u0E38\u0E04\u0E04\u0E25"
D: "\u0E04\u0E27\u0E32\u0E21\u0E44\u0E21\u0E48\u0E23\u0E39\u0E49\u0E02\u0E2D\
\u0E07\u0E01\u0E32\u0E23\u0E1B\u0E0F\u0E34\u0E40\u0E2A\u0E18"
input_correct_responses:
- D
input_question: "\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E1C\u0E39\u0E49\u0E42\u0E15\u0E49\
\u0E40\u0E16\u0E35\u0E22\u0E07\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E01\u0E34\
\u0E14\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E31\u0E1A\u0E2A\u0E19\u0E23\u0E30\u0E2B\
\u0E27\u0E48\u0E32\u0E07\u0E01\u0E32\u0E23\u0E2B\u0E31\u0E01\u0E25\u0E49\u0E32\
\u0E07\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E02\u0E32\u0E14\
\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E19\u0E01\
\u0E32\u0E23\u0E42\u0E15\u0E49\u0E41\u0E22\u0E49\u0E07\u0E08\u0E23\u0E34\u0E07\
\u0E2B\u0E23\u0E37\u0E2D\u0E1B\u0E25\u0E2D\u0E21 \u0E1C\u0E39\u0E49\u0E42\u0E15\
\u0E49\u0E40\u0E16\u0E35\u0E22\u0E07\u0E04\u0E19\u0E19\u0E31\u0E49\u0E19\u0E2D\
\u0E32\u0E08\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E1C\u0E34\u0E14\u0E27\u0E48\
\u0E32"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_logical_fallacies
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_logical_fallacies
task_alias: logical_fallacies
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_machine_learning.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: 2.0/15
B: 1.0/7
C: 3.0/16
D: 1.0/5
input_correct_responses:
- B
input_question: "\u0E17\u0E2D\u0E22\u0E25\u0E39\u0E01\u0E40\u0E15\u0E4B\u0E32\
\ 6 \u0E14\u0E49\u0E32\u0E19 15 \u0E04\u0E23\u0E31\u0E49\u0E07 \u0E1C\u0E25\u0E25\
\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D\
\ \u0E14\u0E49\u0E32\u0E19 1 \u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 0 \u0E04\u0E23\
\u0E31\u0E49\u0E07; \u0E14\u0E49\u0E32\u0E19 2: 1 \u0E04\u0E23\u0E31\u0E49\u0E07\
; \u0E14\u0E49\u0E32\u0E19 3: 2 \u0E04\u0E23\u0E31\u0E49\u0E07; \u0E14\u0E49\
\u0E32\u0E19 4: 3 \u0E04\u0E23\u0E31\u0E49\u0E07; \u0E14\u0E49\u0E32\u0E19 5:\
\ 4 \u0E04\u0E23\u0E31\u0E49\u0E07; \u0E14\u0E49\u0E32\u0E19 6: 5 \u0E04\u0E23\
\u0E31\u0E49\u0E07 \u0E08\u0E32\u0E01\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\
\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49 \u0E04\u0E27\u0E32\u0E21\u0E19\
\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E35\u0E48\u0E14\u0E49\
\u0E32\u0E19 3 \u0E08\u0E30\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E40\
\u0E21\u0E37\u0E48\u0E2D\u0E43\u0E0A\u0E49 Add-1 Smoothing \u0E40\u0E1B\u0E47\
\u0E19\u0E40\u0E17\u0E48\u0E32\u0E43\u0E14"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E04\u0E23\u0E2D\u0E1A\u0E15\u0E31\u0E14\u0E41\u0E1A\
\u0E1A\u0E2A\u0E38\u0E48\u0E21\u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E1E\u0E25\
\u0E34\u0E01\u0E41\u0E19\u0E27\u0E19\u0E2D\u0E19"
B: "\u0E01\u0E32\u0E23\u0E04\u0E23\u0E2D\u0E1A\u0E15\u0E31\u0E14\u0E41\u0E1A\
\u0E1A\u0E2A\u0E38\u0E48\u0E21\u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E1E\u0E25\
\u0E34\u0E01\u0E41\u0E19\u0E27\u0E15\u0E31\u0E49\u0E07"
C: "\u0E42\u0E1B\u0E2A\u0E40\u0E15\u0E2D\u0E23\u0E4C"
D: "\u0E01\u0E25\u0E37\u0E19\u0E44\u0E21\u0E48\u0E40\u0E02\u0E49\u0E32\u0E04\
\u0E32\u0E22\u0E44\u0E21\u0E48\u0E2D\u0E2D\u0E01"
input_correct_responses:
- A
input_question: "\u0E01\u0E32\u0E23\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E49\u0E2D\
\u0E21\u0E39\u0E25\u0E20\u0E32\u0E1E\u0E41\u0E1A\u0E1A\u0E43\u0E14\u0E17\u0E35\
\u0E48\u0E43\u0E0A\u0E49\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\
\u0E14\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E20\u0E32\u0E1E\u0E18\u0E23\u0E23\
\u0E21\u0E0A\u0E32\u0E15\u0E34"
- input_choice_list:
A: "\u0E27\u0E34\u0E18\u0E35\u0E02\u0E2D\u0E07\u0E09\u0E31\u0E19\u0E21\u0E35\
\u0E02\u0E49\u0E2D\u0E1C\u0E34\u0E14\u0E1E\u0E25\u0E32\u0E14\u0E43\u0E19\u0E01\
\u0E32\u0E23\u0E1D\u0E36\u0E01\u0E15\u0E48\u0E33\u0E01\u0E27\u0E48\u0E32\u0E27\
\u0E34\u0E18\u0E35\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E31\
\u0E49\u0E07\u0E2B\u0E21\u0E14!"
B: "\u0E27\u0E34\u0E18\u0E35\u0E02\u0E2D\u0E07\u0E09\u0E31\u0E19\u0E21\u0E35\
\u0E02\u0E49\u0E2D\u0E1C\u0E34\u0E14\u0E1E\u0E25\u0E32\u0E14\u0E43\u0E19\u0E01\
\u0E32\u0E23\u0E17\u0E14\u0E2A\u0E2D\u0E1A\u0E15\u0E48\u0E33\u0E01\u0E27\u0E48\
\u0E32\u0E27\u0E34\u0E18\u0E35\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\
\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14! (\u0E40\u0E0A\u0E34\u0E07\u0E2D\
\u0E23\u0E23\u0E16: \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E25\u0E37\u0E2D\
\u0E01\u0E1E\u0E32\u0E23\u0E32\u0E21\u0E34\u0E40\u0E15\u0E2D\u0E23\u0E4C\u0E01\
\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\
\u0E21\u0E32\u0E15\u0E23\u0E10\u0E32\u0E19 \u03BB \u0E40\u0E1E\u0E37\u0E48\
\u0E2D\u0E25\u0E14\u0E02\u0E49\u0E2D\u0E1C\u0E34\u0E14\u0E1E\u0E25\u0E32\u0E14\
\u0E43\u0E19\u0E01\u0E32\u0E23\u0E17\u0E14\u0E2A\u0E2D\u0E1A)"
C: "\u0E27\u0E34\u0E18\u0E35\u0E02\u0E2D\u0E07\u0E09\u0E31\u0E19\u0E21\u0E35\
\u0E02\u0E49\u0E2D\u0E1C\u0E34\u0E14\u0E1E\u0E25\u0E32\u0E14\u0E43\u0E19\u0E01\
\u0E32\u0E23\u0E17\u0E14\u0E2A\u0E2D\u0E1A\u0E15\u0E48\u0E33\u0E01\u0E27\u0E48\
\u0E32\u0E27\u0E34\u0E18\u0E35\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\
\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14! (\u0E40\u0E0A\u0E34\u0E07\u0E2D\
\u0E23\u0E23\u0E16: \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E25\u0E37\u0E2D\
\u0E01\u0E1E\u0E32\u0E23\u0E32\u0E21\u0E34\u0E40\u0E15\u0E2D\u0E23\u0E4C\u0E01\
\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\
\u0E21\u0E32\u0E15\u0E23\u0E10\u0E32\u0E19 \u03BB \u0E40\u0E1E\u0E37\u0E48\
\u0E2D\u0E25\u0E14\u0E02\u0E49\u0E2D\u0E1C\u0E34\u0E14\u0E1E\u0E25\u0E32\u0E14\
\u0E02\u0E49\u0E32\u0E21\u0E01\u0E32\u0E23\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\
\u0E1A)"
D: "\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E09\u0E31\
\u0E19\u0E21\u0E35\u0E02\u0E49\u0E2D\u0E1C\u0E34\u0E14\u0E1E\u0E25\u0E32\u0E14\
\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E04\
\u0E27\u0E32\u0E21\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E15\u0E48\u0E33\
\u0E01\u0E27\u0E48\u0E32\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E01\u0E48\
\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49\u0E17\u0E31\u0E49\u0E07\
\u0E2B\u0E21\u0E14! (\u0E40\u0E0A\u0E34\u0E07\u0E2D\u0E23\u0E23\u0E16: \u0E40\
\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E1E\u0E32\u0E23\u0E32\
\u0E21\u0E34\u0E40\u0E15\u0E2D\u0E23\u0E4C\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\
\u0E1A\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E21\u0E32\u0E15\u0E23\u0E10\
\u0E32\u0E19 \u03BB \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E25\u0E14\u0E02\u0E49\
\u0E2D\u0E1C\u0E34\u0E14\u0E1E\u0E25\u0E32\u0E14\u0E02\u0E49\u0E32\u0E21\u0E01\
\u0E32\u0E23\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A)"
input_correct_responses:
- C
input_question: "\u0E04\u0E38\u0E13\u0E01\u0E33\u0E25\u0E31\u0E07\u0E15\u0E23\u0E27\
\u0E08\u0E2A\u0E2D\u0E1A\u0E40\u0E2D\u0E01\u0E2A\u0E32\u0E23\u0E2A\u0E33\u0E2B\
\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E0A\u0E38\u0E21\u0E41\
\u0E21\u0E0A\u0E0A\u0E35\u0E19\u0E40\u0E25\u0E34\u0E23\u0E4C\u0E19\u0E19\u0E34\
\u0E07\u0E17\u0E35\u0E48\u0E22\u0E2D\u0E14\u0E40\u0E22\u0E35\u0E48\u0E22\u0E21\
\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E19\u0E42\u0E25\u0E01 \u0E41\u0E25\
\u0E30\u0E04\u0E38\u0E13\u0E40\u0E2B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E2A\u0E48\
\u0E07\u0E17\u0E35\u0E48\u0E21\u0E35\u0E01\u0E32\u0E23\u0E2D\u0E49\u0E32\u0E07\
\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E4C\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\
\u0E49 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\
\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A\u0E02\u0E49\u0E2D\u0E43\u0E14"
- input_choice_list:
A: "\u0E1B\u0E23\u0E30\u0E21\u0E32\u0E13 10 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\
\u0E32\u0E07"
B: "\u0E1B\u0E23\u0E30\u0E21\u0E32\u0E13 100 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\
\u0E32\u0E07"
C: "\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07 100 \u0E16\u0E36\u0E07 500 \u0E15\
\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07"
D: "\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32 1,000 \u0E15\u0E31\u0E27\u0E2D\
\u0E22\u0E48\u0E32\u0E07"
input_correct_responses:
- D
input_question: "\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\
\u0E04\u0E48\u0E32\u0E1B\u0E23\u0E30\u0E21\u0E32\u0E13\u0E01\u0E32\u0E23\u0E2A\
\u0E39\u0E0D\u0E40\u0E2A\u0E35\u0E22 0/1 \u0E17\u0E35\u0E48\u0E19\u0E49\u0E2D\
\u0E22\u0E01\u0E27\u0E48\u0E32 1 \u0E40\u0E1B\u0E2D\u0E23\u0E4C\u0E40\u0E0B\u0E47\
\u0E19\u0E15\u0E4C\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E2A\u0E39\u0E0D\u0E40\
\u0E2A\u0E35\u0E22 0/1 \u0E08\u0E23\u0E34\u0E07 (\u0E14\u0E49\u0E27\u0E22\u0E04\
\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 95%)\
\ \u0E15\u0E32\u0E21\u0E2D\u0E2A\u0E21\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07 Hoeffding\
\ \u0E0A\u0E38\u0E14\u0E17\u0E14\u0E2A\u0E2D\u0E1A IID \u0E15\u0E49\u0E2D\u0E07\
\u0E21\u0E35\u0E01\u0E35\u0E48\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07"
- input_choice_list:
A: "\u0E21\u0E31\u0E19\u0E41\u0E1E\u0E07\u0E40\u0E01\u0E34\u0E19\u0E44\u0E1B\
\u0E43\u0E19\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13"
B: "\u0E21\u0E31\u0E19\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E2A\u0E48\u0E07\u0E1C\
\u0E25\u0E43\u0E2B\u0E49\u0E40\u0E01\u0E34\u0E14\u0E41\u0E1C\u0E19\u0E1C\u0E31\
\u0E07\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E2A\u0E34\u0E19\u0E43\u0E08\u0E17\
\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E44\u0E21\u0E48\
\u0E14\u0E35\u0E43\u0E19\u0E0A\u0E38\u0E14\u0E1D\u0E36\u0E01\u0E41\u0E25\u0E30\
\u0E0A\u0E38\u0E14\u0E17\u0E14\u0E2A\u0E2D\u0E1A"
C: "\u0E21\u0E31\u0E19\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E2A\u0E48\u0E07\u0E1C\
\u0E25\u0E43\u0E2B\u0E49\u0E40\u0E01\u0E34\u0E14\u0E41\u0E1C\u0E19\u0E1C\u0E31\
\u0E07\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E2A\u0E34\u0E19\u0E43\u0E08\u0E17\
\u0E35\u0E48\u0E17\u0E33\u0E04\u0E30\u0E41\u0E19\u0E19\u0E44\u0E14\u0E49\u0E14\
\u0E35\u0E43\u0E19\u0E0A\u0E38\u0E14\u0E01\u0E32\u0E23\u0E1D\u0E36\u0E01\u0E41\
\u0E15\u0E48\u0E44\u0E14\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E44\u0E21\u0E48\
\u0E14\u0E35\u0E43\u0E19\u0E0A\u0E38\u0E14\u0E01\u0E32\u0E23\u0E17\u0E14\u0E2A\
\u0E2D\u0E1A"
D: "\u0E21\u0E31\u0E19\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E2A\u0E48\u0E07\u0E1C\
\u0E25\u0E43\u0E2B\u0E49\u0E40\u0E01\u0E34\u0E14\u0E41\u0E1C\u0E19\u0E1C\u0E31\
\u0E07\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E2A\u0E34\u0E19\u0E43\u0E08\u0E17\
\u0E35\u0E48\u0E17\u0E33\u0E04\u0E30\u0E41\u0E19\u0E19\u0E44\u0E14\u0E49\u0E14\
\u0E35\u0E43\u0E19\u0E0A\u0E38\u0E14\u0E01\u0E32\u0E23\u0E17\u0E14\u0E2A\u0E2D\
\u0E1A \u0E41\u0E15\u0E48\u0E44\u0E14\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E44\
\u0E21\u0E48\u0E14\u0E35\u0E43\u0E19\u0E0A\u0E38\u0E14\u0E01\u0E32\u0E23\u0E1D\
\u0E36\u0E01"
input_correct_responses:
- C
input_question: "\u0E15\u0E32\u0E21\u0E40\u0E19\u0E37\u0E49\u0E2D\u0E1C\u0E49\u0E32\
\ \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E32\u0E21\u0E35\u0E41\u0E2D\u0E15\
\u0E17\u0E23\u0E34\u0E1A\u0E34\u0E27\u0E15\u0E4C\u0E2D\u0E34\u0E19\u0E1E\u0E38\
\u0E15\u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E48\u0E32\u0E08\u0E23\u0E34\u0E07\
\u0E43\u0E19\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E01\u0E32\u0E23\u0E40\
\u0E23\u0E35\u0E22\u0E19\u0E23\u0E39\u0E49\u0E41\u0E1C\u0E19\u0E1C\u0E31\u0E07\
\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E2A\u0E34\u0E19\u0E43\u0E08 \u0E40\u0E23\
\u0E32\u0E08\u0E30\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\u0E01\u0E32\u0E23\
\u0E41\u0E22\u0E01\u0E44\u0E1A\u0E19\u0E32\u0E23\u0E35\u0E15\u0E32\u0E21\u0E27\
\u0E48\u0E32\u0E41\u0E2D\u0E15\u0E17\u0E23\u0E34\u0E1A\u0E34\u0E27\u0E15\u0E4C\
\u0E19\u0E31\u0E49\u0E19\u0E2A\u0E39\u0E07\u0E2B\u0E23\u0E37\u0E2D\u0E15\u0E48\
\u0E33\u0E01\u0E27\u0E48\u0E32\u0E40\u0E01\u0E13\u0E11\u0E4C\u0E1A\u0E32\u0E07\
\u0E2D\u0E22\u0E48\u0E32\u0E07 Pat \u0E41\u0E19\u0E30\u0E19\u0E33\u0E27\u0E48\
\u0E32\u0E40\u0E23\u0E32\u0E04\u0E27\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E41\u0E1A\
\u0E1A\u0E2B\u0E25\u0E32\u0E22\u0E17\u0E32\u0E07\u0E14\u0E49\u0E27\u0E22\u0E2B\
\u0E19\u0E36\u0E48\u0E07\u0E2A\u0E32\u0E02\u0E32\u0E2A\u0E33\u0E2B\u0E23\u0E31\
\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E48\u0E32\u0E17\u0E35\u0E48\u0E41\
\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19\u0E02\u0E2D\u0E07\u0E41\
\u0E2D\u0E15\u0E17\u0E23\u0E34\u0E1A\u0E34\u0E27\u0E15\u0E4C \u0E08\u0E32\u0E01\
\u0E23\u0E32\u0E22\u0E01\u0E32\u0E23\u0E14\u0E49\u0E32\u0E19\u0E25\u0E48\u0E32\
\u0E07 \u0E40\u0E25\u0E37\u0E2D\u0E01\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E17\u0E35\
\u0E48\u0E43\u0E2B\u0E0D\u0E48\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E40\u0E1E\
\u0E35\u0E22\u0E07\u0E02\u0E49\u0E2D\u0E40\u0E14\u0E35\u0E22\u0E27\u0E15\u0E32\
\u0E21\u0E04\u0E33\u0E41\u0E19\u0E30\u0E19\u0E33\u0E02\u0E2D\u0E07 Pat:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_machine_learning
tag: mmlu_th_llama_stem_tasks
task: mmlu_th_llama_machine_learning
task_alias: machine_learning
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_management.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\
\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\
\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14"
B: "\u0E2A\u0E20\u0E32\u0E1E\u0E41\u0E27\u0E14\u0E25\u0E49\u0E2D\u0E21\u0E40\
\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E2A\u0E20\u0E32\
\u0E1E\u0E41\u0E27\u0E14\u0E25\u0E49\u0E2D\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1B\
\u0E25\u0E35\u0E48\u0E22\u0E19\u0E41\u0E1B\u0E25\u0E07"
C: "\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E2D\u0E07\u0E04\
\u0E4C\u0E01\u0E23\u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\
\u0E2A\u0E20\u0E32\u0E1E"
D: "\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E40\u0E23\u0E34\
\u0E48\u0E21\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E1E\u0E34\
\u0E08\u0E32\u0E23\u0E13\u0E32"
input_correct_responses:
- D
input_question: "\u0E2D\u0E30\u0E44\u0E23\u0E04\u0E37\u0E2D\u0E2A\u0E2D\u0E07\u0E21\
\u0E34\u0E15\u0E34\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\
\u0E28\u0E36\u0E01\u0E29\u0E32\u0E42\u0E2D\u0E44\u0E2E\u0E42\u0E2D\u0E43\u0E19\
\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E39\u0E49\u0E19\u0E33?"
- input_choice_list:
A: "\u0E40\u0E1F\u0E23\u0E40\u0E14\u0E2D\u0E23\u0E34\u0E01 \u0E40\u0E2E\u0E34\
\u0E23\u0E4C\u0E15\u0E0B\u0E40\u0E1A\u0E34\u0E23\u0E4C\u0E01"
B: "\u0E14\u0E35.\u0E0B\u0E35. \u0E41\u0E21\u0E04\u0E40\u0E04\u0E25\u0E25\u0E41\
\u0E25\u0E19\u0E14\u0E4C"
C: "\u0E2D\u0E31\u0E1A\u0E23\u0E32\u0E2E\u0E31\u0E21 \u0E21\u0E32\u0E2A\u0E42\
\u0E25\u0E27\u0E4C"
D: "\u0E14\u0E31\u0E01\u0E25\u0E32\u0E2A \u0E41\u0E21\u0E04\u0E40\u0E01\u0E23\
\u0E40\u0E01\u0E2D\u0E23\u0E4C"
input_correct_responses:
- A
input_question: "\u0E1B\u0E31\u0E08\u0E08\u0E31\u0E22\u0E14\u0E49\u0E32\u0E19\u0E2A\
\u0E38\u0E02\u0E2D\u0E19\u0E32\u0E21\u0E31\u0E22\u0E40\u0E01\u0E35\u0E48\u0E22\
\u0E27\u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\u0E19\u0E31\u0E01\u0E40\u0E02\
\u0E35\u0E22\u0E19\u0E04\u0E19\u0E44\u0E2B\u0E19?"
- input_choice_list:
A: "\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C"
B: "\u0E1E\u0E34\u0E18\u0E35\u0E01\u0E23\u0E23\u0E21\u0E41\u0E25\u0E30\u0E01\
\u0E34\u0E08\u0E27\u0E31\u0E15\u0E23"
C: "\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1E\u0E25\u0E31\
\u0E07\u0E07\u0E32\u0E19"
D: "\u0E23\u0E30\u0E1A\u0E1A\u0E04\u0E27\u0E1A\u0E04\u0E38\u0E21"
input_correct_responses:
- A
input_question: "\u0E2D\u0E07\u0E04\u0E4C\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E43\
\u0E14\u0E02\u0E2D\u0E07\u0E40\u0E27\u0E47\u0E1A\u0E27\u0E31\u0E12\u0E19\u0E18\
\u0E23\u0E23\u0E21\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E40\u0E04\u0E23\u0E37\u0E48\
\u0E2D\u0E07\u0E23\u0E32\u0E0A\u0E01\u0E01\u0E38\u0E18\u0E20\u0E31\u0E13\u0E11\
\u0E4C?"
- input_choice_list:
A: "\u0E04\u0E15\u0E34\u0E18\u0E23\u0E23\u0E21"
B: "\u0E19\u0E27\u0E31\u0E15\u0E01\u0E23\u0E23\u0E21"
C: "\u0E17\u0E23\u0E31\u0E1E\u0E22\u0E32\u0E01\u0E23\u0E01\u0E32\u0E23\u0E40\
\u0E15\u0E34\u0E1A\u0E42\u0E15"
D: "\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E15\u0E31\u0E27"
input_correct_responses:
- A
input_question: "\u0E25\u0E31\u0E01\u0E29\u0E13\u0E30\u0E43\u0E14\u0E17\u0E35\u0E48\
\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E04\u0E38\u0E13\u0E25\u0E31\u0E01\u0E29\
\u0E13\u0E30\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E23\u0E39\u0E1B\u0E41\
\u0E1A\u0E1A\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23 '\u0E23\
\u0E30\u0E1A\u0E1A\u0E40\u0E1B\u0E34\u0E14'"
- input_choice_list:
A: "\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E0A\u0E31\u0E49\u0E19"
B: "\u0E23\u0E30\u0E1A\u0E1A\u0E23\u0E32\u0E0A\u0E01\u0E32\u0E23"
C: "\u0E41\u0E1A\u0E19"
D: "\u0E01\u0E32\u0E23\u0E17\u0E33\u0E07\u0E32\u0E19"
input_correct_responses:
- C
input_question: "\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E2D\u0E07\
\u0E04\u0E4C\u0E01\u0E23\u0E17\u0E35\u0E48\u0E21\u0E35\u0E25\u0E31\u0E01\u0E29\
\u0E13\u0E30\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E02\u0E2D\u0E07\u0E23\u0E39\u0E1B\
\u0E41\u0E1A\u0E1A\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E17\
\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E18\u0E34\
\u0E1B\u0E44\u0E15\u0E22\u0E41\u0E25\u0E30\u0E04\u0E23\u0E2D\u0E1A\u0E04\u0E25\
\u0E38\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2D\u0E18\u0E34\u0E1A\u0E32\
\u0E22\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_management
tag: mmlu_th_llama_other_tasks
task: mmlu_th_llama_management
task_alias: management
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_marketing.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E32\u0E07\u0E20\u0E39\u0E21\
\u0E34\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C"
B: "\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E02\
\u0E2D\u0E07\u0E1C\u0E25\u0E34\u0E15\u0E20\u0E31\u0E13\u0E11\u0E4C"
C: "\u0E40\u0E21\u0E17\u0E23\u0E34\u0E01\u0E0B\u0E4C ANSOFF"
D: "\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E15\u0E23\u0E32\
\u0E2A\u0E34\u0E19\u0E04\u0E49\u0E32."
input_correct_responses:
- A
input_question: "_____________ \u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E25\u0E15\u0E32\
\u0E21\u0E18\u0E23\u0E23\u0E21\u0E0A\u0E32\u0E15\u0E34\u0E40\u0E21\u0E37\u0E48\
\u0E2D\u0E23\u0E27\u0E21\u0E15\u0E31\u0E27\u0E41\u0E1B\u0E23\u0E14\u0E49\u0E32\
\u0E19\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E01\u0E23\u0E28\u0E32\u0E2A\u0E15\u0E23\
\u0E4C\u0E41\u0E25\u0E30\u0E20\u0E39\u0E21\u0E34\u0E28\u0E32\u0E2A\u0E15\u0E23\
\u0E4C\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19"
- input_choice_list:
A: "\u0E2B\u0E19\u0E48\u0E27\u0E22\u0E08\u0E49\u0E32\u0E07."
B: "\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E08\u0E31\u0E14\u0E0B\u0E37\u0E49\u0E2D\
\u0E08\u0E31\u0E14\u0E08\u0E49\u0E32\u0E07."
C: "\u0E2B\u0E31\u0E27\u0E2B\u0E19\u0E49\u0E32\u0E2B\u0E19\u0E48\u0E27\u0E22\
\u0E1A\u0E23\u0E34\u0E2B\u0E32\u0E23."
D: "\u0E2B\u0E19\u0E48\u0E27\u0E22\u0E15\u0E31\u0E14\u0E2A\u0E34\u0E19\u0E43\
\u0E08."
input_correct_responses:
- D
input_question: "\u0E43\u0E19\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23 \u0E01\u0E25\
\u0E38\u0E48\u0E21\u0E1A\u0E38\u0E04\u0E04\u0E25\u0E17\u0E35\u0E48\u0E21\u0E35\
\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\
\u0E31\u0E14\u0E2A\u0E34\u0E19\u0E43\u0E08\u0E0B\u0E37\u0E49\u0E2D\u0E40\u0E23\
\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 _______________"
- input_choice_list:
A: "\u0E04\u0E27\u0E32\u0E21\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E02\
\u0E36\u0E49\u0E19\u0E2D\u0E22\u0E39\u0E48\u0E01\u0E31\u0E1A\u0E27\u0E31\u0E12\
\u0E19\u0E18\u0E23\u0E23\u0E21\u0E41\u0E25\u0E30\u0E0A\u0E19\u0E0A\u0E31\u0E49\
\u0E19\u0E17\u0E32\u0E07\u0E2A\u0E31\u0E07\u0E04\u0E21\u0E14\u0E49\u0E27\u0E22"
B: "\u0E04\u0E27\u0E32\u0E21\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E23\
\u0E30\u0E14\u0E31\u0E1A\u0E25\u0E48\u0E32\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E44\
\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E1E\u0E36\u0E07\u0E1E\
\u0E2D\u0E43\u0E08\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E1A\u0E32\u0E07\u0E2A\u0E48\
\u0E27\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E49\
\u0E2D\u0E22\u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E04\u0E27\u0E32\u0E21\
\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E17\u0E35\u0E48\u0E2A\u0E39\u0E07\
\u0E02\u0E36\u0E49\u0E19\u0E08\u0E30\u0E2A\u0E48\u0E07\u0E1C\u0E25\u0E15\u0E48\
\u0E2D\u0E1E\u0E24\u0E15\u0E34\u0E01\u0E23\u0E23\u0E21"
C: "\u0E04\u0E27\u0E32\u0E21\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E44\
\u0E21\u0E48\u0E44\u0E14\u0E49\u0E16\u0E39\u0E01\u0E08\u0E31\u0E14\u0E25\u0E33\
\u0E14\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E33\u0E04\u0E31\u0E0D\u0E2B\
\u0E23\u0E37\u0E2D\u0E08\u0E31\u0E14\u0E40\u0E23\u0E35\u0E22\u0E07\u0E15\u0E32\
\u0E21\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E43\u0E14\u0E42\u0E14\u0E22\u0E40\u0E09\
\u0E1E\u0E32\u0E30"
D: "\u0E04\u0E27\u0E32\u0E21\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E17\
\u0E35\u0E48\u0E1E\u0E36\u0E07\u0E1E\u0E2D\u0E43\u0E08\u0E04\u0E37\u0E2D\u0E15\
\u0E31\u0E27\u0E01\u0E23\u0E30\u0E15\u0E38\u0E49\u0E19 \u0E41\u0E25\u0E30\u0E04\
\u0E27\u0E32\u0E21\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E21\
\u0E48\u0E08\u0E30\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E40\u0E21\
\u0E37\u0E48\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\
\u0E23\u0E1B\u0E31\u0E08\u0E08\u0E38\u0E1A\u0E31\u0E19\u0E22\u0E31\u0E07\u0E44\
\u0E21\u0E48\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E15\u0E2D\
\u0E1A\u0E2A\u0E19\u0E2D\u0E07"
input_correct_responses:
- B
input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E21\u0E21\u0E15\u0E34\u0E10\u0E32\
\u0E19\u0E43\u0E19\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E02\u0E31\u0E49\u0E19\u0E04\
\u0E27\u0E32\u0E21\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\
\u0E21\u0E32\u0E2A\u0E42\u0E25\u0E27\u0E4C"
- input_choice_list:
A: "\u0E1C\u0E39\u0E49\u0E1A\u0E23\u0E34\u0E42\u0E20\u0E04\u0E17\u0E35\u0E48\
\u0E21\u0E35\u0E2D\u0E32\u0E22\u0E38\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\
\u0E17\u0E35\u0E48\u0E23\u0E39\u0E49\u0E2A\u0E36\u0E01\u0E27\u0E48\u0E32\u0E16\
\u0E39\u0E01\u0E21\u0E2D\u0E07\u0E02\u0E49\u0E32\u0E21"
B: "\u0E1C\u0E39\u0E49\u0E2B\u0E0D\u0E34\u0E07\u0E17\u0E35\u0E48\u0E41\u0E15\
\u0E48\u0E07\u0E07\u0E32\u0E19\u0E41\u0E25\u0E49\u0E27\u0E2B\u0E25\u0E32\u0E22\
\u0E04\u0E19\u0E23\u0E39\u0E49\u0E2A\u0E36\u0E01\u0E27\u0E48\u0E32\u0E15\u0E49\
\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E04\u0E27\u0E32\u0E21\u0E21\u0E31\u0E48\u0E19\
\u0E04\u0E07\u0E43\u0E19\u0E0A\u0E35\u0E27\u0E34\u0E15"
C: "\u0E1C\u0E39\u0E49\u0E22\u0E49\u0E32\u0E22\u0E16\u0E34\u0E48\u0E19\u0E10\
\u0E32\u0E19\u0E43\u0E2B\u0E21\u0E48\u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\
\u0E01\u0E32\u0E23\u0E2B\u0E25\u0E2D\u0E21\u0E23\u0E27\u0E21\u0E40\u0E02\u0E49\
\u0E32\u0E01\u0E31\u0E1A\u0E27\u0E31\u0E12\u0E19\u0E18\u0E23\u0E23\u0E21\u0E43\
\u0E2B\u0E21\u0E48\u0E02\u0E2D\u0E07\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32"
D: "\u0E40\u0E14\u0E47\u0E01\u0E17\u0E35\u0E48\u0E15\u0E31\u0E14\u0E2A\u0E34\
\u0E19\u0E43\u0E08\u0E0B\u0E37\u0E49\u0E2D\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E2B\
\u0E0D\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01\u0E2D\u0E34\u0E17\u0E18\u0E34\u0E1E\
\u0E25\u0E20\u0E32\u0E22\u0E19\u0E2D\u0E01"
input_correct_responses:
- D
input_question: "\u0E01\u0E25\u0E38\u0E48\u0E21\u0E40\u0E14\u0E35\u0E22\u0E27\u0E43\
\u0E19\u0E2A\u0E31\u0E07\u0E04\u0E21\u0E17\u0E35\u0E48\u0E40\u0E2A\u0E35\u0E48\
\u0E22\u0E07\u0E15\u0E48\u0E2D\u0E2D\u0E34\u0E17\u0E18\u0E34\u0E1E\u0E25\u0E02\
\u0E2D\u0E07\u0E01\u0E25\u0E38\u0E48\u0E21\u0E2D\u0E49\u0E32\u0E07\u0E2D\u0E34\
\u0E07\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D\
:"
- input_choice_list:
A: "\u0E2A\u0E32\u0E22\u0E01\u0E32\u0E23\u0E14\u0E39\u0E41\u0E25"
B: "\u0E08\u0E14\u0E2B\u0E21\u0E32\u0E22\u0E42\u0E14\u0E22\u0E15\u0E23\u0E07"
C: "\u0E40\u0E21\u0E47\u0E14\u0E21\u0E35\u0E14"
D: "\u0E1B\u0E23\u0E30\u0E15\u0E39\u0E44\u0E1B\u0E17\u0E35\u0E48\u0E1B\u0E23\
\u0E30\u0E15\u0E39"
input_correct_responses:
- D
input_question: "\u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E40\u0E19\u0E37\u0E49\u0E2D\
\u0E2B\u0E32\u0E41\u0E25\u0E30\u0E04\u0E38\u0E13\u0E20\u0E32\u0E1E\u0E08\u0E30\
\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E27\u0E1A\u0E04\u0E38\u0E21\u0E44\
\u0E14\u0E49\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E31\u0E1A\u0E01\u0E32\
\u0E23\u0E2A\u0E48\u0E07\u0E08\u0E14\u0E2B\u0E21\u0E32\u0E22\u0E42\u0E14\u0E22\
\u0E15\u0E23\u0E07 \u0E41\u0E15\u0E48\u0E2D\u0E31\u0E15\u0E23\u0E32\u0E01\u0E32\
\u0E23\u0E15\u0E2D\u0E1A\u0E01\u0E25\u0E31\u0E1A\u0E02\u0E2D\u0E07\u0E2A\u0E37\
\u0E48\u0E2D\u0E19\u0E35\u0E49\u0E15\u0E48\u0E33\u0E01\u0E27\u0E48\u0E32\u0E40\
\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E44\u0E21\u0E48\u0E21\u0E35\
\u0E01\u0E25\u0E44\u0E01\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E2A\u0E48\
\u0E27\u0E19\u0E1A\u0E38\u0E04\u0E04\u0E25 \u0E23\u0E39\u0E1B\u0E41\u0E1A\u0E1A\
\u0E2A\u0E37\u0E48\u0E2D\u0E19\u0E35\u0E49\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\
\u0E48\u0E32:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_marketing
tag: mmlu_th_llama_other_tasks
task: mmlu_th_llama_marketing
task_alias: marketing
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_medical_genetics.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E1B\u0E0F\u0E34\u0E01\u0E34\u0E23\u0E34\u0E22\u0E32\u0E25\u0E39\u0E01\
\u0E42\u0E0B\u0E48\u0E42\u0E1E\u0E25\u0E35\u0E40\u0E21\u0E2D\u0E40\u0E23\u0E2A"
B: "\u0E01\u0E32\u0E23\u0E27\u0E34\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\
\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E25\u0E32\u0E01\u0E2B\u0E25\u0E32\u0E22\u0E17\
\u0E32\u0E07\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E41\u0E1A\
\u0E1A\u0E40\u0E2A\u0E49\u0E19\u0E40\u0E14\u0E35\u0E48\u0E22\u0E27"
C: "\u0E0B\u0E31\u0E1A\u0E43\u0E15\u0E49"
D: "\u0E01\u0E32\u0E23\u0E0B\u0E31\u0E1A\u0E41\u0E1A\u0E1A\u0E15\u0E30\u0E27\
\u0E31\u0E19\u0E15\u0E01"
input_correct_responses:
- C
input_question: "\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E15\u0E23\u0E27\u0E08\u0E08\
\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E02\u0E22\u0E32\u0E22\u0E0B\u0E49\u0E33\u0E02\
\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48\u0E02\u0E2D\u0E07 triplet \u0E42\u0E14\
\u0E22:"
- input_choice_list:
A: "\u0E40\u0E2D\u0E19\u0E44\u0E0B\u0E21\u0E4C\u0E17\u0E35\u0E48\u0E23\u0E27\
\u0E21\u0E0A\u0E34\u0E49\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E19\u0E01\u0E32\
\u0E23\u0E08\u0E33\u0E25\u0E2D\u0E07\u0E41\u0E1A\u0E1A\u0E14\u0E35\u0E40\u0E2D\
\u0E47\u0E19\u0E40\u0E2D\u0E1B\u0E01\u0E15\u0E34"
B: "\u0E40\u0E2D\u0E47\u0E19\u0E44\u0E0B\u0E21\u0E4C\u0E08\u0E32\u0E01\u0E41\
\u0E1A\u0E04\u0E17\u0E35\u0E40\u0E23\u0E35\u0E22\u0E0B\u0E36\u0E48\u0E07\u0E15\
\u0E31\u0E14 DNA \u0E17\u0E35\u0E48\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E40\u0E1A\
\u0E2A\u0E17\u0E35\u0E48\u0E01\u0E33\u0E2B\u0E19\u0E14"
C: "\u0E40\u0E2D\u0E19\u0E44\u0E0B\u0E21\u0E4C\u0E17\u0E35\u0E48\u0E0A\u0E48\
\u0E27\u0E22\u0E2D\u0E33\u0E19\u0E27\u0E22\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E30\
\u0E14\u0E27\u0E01\u0E43\u0E19\u0E01\u0E32\u0E23\u0E16\u0E2D\u0E14\u0E23\u0E2B\
\u0E31\u0E2A\u0E22\u0E35\u0E19\u0E40\u0E09\u0E1E\u0E32\u0E30"
D: "\u0E40\u0E2D\u0E19\u0E44\u0E0B\u0E21\u0E4C\u0E17\u0E35\u0E48\u0E08\u0E33\
\u0E01\u0E31\u0E14\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E2A\u0E32\
\u0E23\u0E2D\u0E32\u0E2B\u0E32\u0E23\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E16\u0E36\
\u0E07"
input_correct_responses:
- A
input_question: "DNA ligase \u0E04\u0E37\u0E2D"
- input_choice_list:
A: "\u0E21\u0E35\u0E2D\u0E31\u0E25\u0E25\u0E35\u0E25\u0E17\u0E31\u0E49\u0E07\
\u0E2A\u0E2D\u0E07\u0E17\u0E35\u0E48\u0E41\u0E2A\u0E14\u0E07\u0E2D\u0E22\u0E48\
\u0E32\u0E07\u0E2D\u0E34\u0E2A\u0E23\u0E30\u0E43\u0E19\u0E40\u0E2E\u0E40\u0E17\
\u0E2D\u0E42\u0E23\u0E44\u0E0B\u0E42\u0E01\u0E15"
B: "\u0E21\u0E35\u0E2D\u0E31\u0E25\u0E25\u0E35\u0E25\u0E2B\u0E19\u0E36\u0E48\
\u0E07\u0E40\u0E14\u0E48\u0E19\u0E01\u0E27\u0E48\u0E32\u0E2D\u0E35\u0E01\u0E2D\
\u0E31\u0E25\u0E25\u0E35\u0E25\u0E2B\u0E19\u0E36\u0E48\u0E07"
C: "\u0E21\u0E35\u0E2D\u0E31\u0E25\u0E25\u0E35\u0E25\u0E40\u0E0A\u0E37\u0E48\
\u0E2D\u0E21\u0E42\u0E22\u0E07\u0E41\u0E19\u0E48\u0E19\u0E1A\u0E19\u0E42\u0E04\
\u0E23\u0E42\u0E21\u0E42\u0E0B\u0E21\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\
\u0E19"
D: "\u0E21\u0E35\u0E01\u0E32\u0E23\u0E41\u0E2A\u0E14\u0E07\u0E2D\u0E2D\u0E01\
\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E25\u0E25\u0E35\u0E25\u0E43\u0E19\u0E40\u0E27\
\u0E25\u0E32\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E43\u0E19\u0E01\
\u0E32\u0E23\u0E1E\u0E31\u0E12\u0E19\u0E32"
input_correct_responses:
- A
input_question: "\u0E22\u0E35\u0E19\u0E41\u0E2A\u0E14\u0E07\u0E04\u0E27\u0E32\u0E21\
\u0E40\u0E14\u0E48\u0E19"
- input_choice_list:
A: "\u0E44\u0E1E\u0E25\u0E2D\u0E23\u0E34\u0E01\u0E15\u0E35\u0E1A"
B: "\u0E42\u0E23\u0E04\u0E08\u0E34\u0E15\u0E40\u0E20\u0E17"
C: "Spina bifida (\u0E04\u0E27\u0E32\u0E21\u0E1A\u0E01\u0E1E\u0E23\u0E48\u0E2D\
\u0E07\u0E02\u0E2D\u0E07\u0E17\u0E48\u0E2D\u0E1B\u0E23\u0E30\u0E2A\u0E32\u0E17\
)"
D: "\u0E01\u0E25\u0E38\u0E48\u0E21\u0E2D\u0E32\u0E01\u0E32\u0E23\u0E21\u0E32\
\u0E23\u0E4C\u0E1F\u0E32\u0E19"
input_correct_responses:
- D
input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
\u0E35\u0E49\u0E44\u0E21\u0E48\u0E41\u0E2A\u0E14\u0E07\u0E16\u0E36\u0E07\u0E01\
\u0E32\u0E23\u0E2A\u0E37\u0E1A\u0E17\u0E2D\u0E14\u0E2B\u0E25\u0E32\u0E22\u0E1B\
\u0E31\u0E08\u0E08\u0E31\u0E22"
- input_choice_list:
A: "\u0E1E\u0E22\u0E32\u0E01\u0E23\u0E13\u0E4C I"
B: "\u0E40\u0E21\u0E15\u0E32\u0E40\u0E1F\u0E2A I"
C: "\u0E04\u0E33\u0E17\u0E33\u0E19\u0E32\u0E22 II"
D: "\u0E40\u0E21\u0E15\u0E32\u0E40\u0E1F\u0E2A II"
input_correct_responses:
- A
input_question: "\u0E23\u0E30\u0E22\u0E30\u0E02\u0E2D\u0E07\u0E44\u0E21\u0E42\u0E2D\
\u0E0B\u0E34\u0E2A\u0E17\u0E35\u0E48\u0E42\u0E04\u0E23\u0E42\u0E21\u0E42\u0E0B\
\u0E21\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48\u0E41\u0E25\u0E30\u0E44\u0E02\u0E27\
\u0E49\u0E01\u0E31\u0E19\u0E04\u0E37\u0E2D:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_medical_genetics
tag: mmlu_th_llama_other_tasks
task: mmlu_th_llama_medical_genetics
task_alias: medical_genetics
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_miscellaneous.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E2B\u0E19\u0E36\u0E48\u0E07"
B: "\u0E2A\u0E2D\u0E07"
C: "\u0E2A\u0E35\u0E48"
D: "\u0E41\u0E1B\u0E14"
input_correct_responses:
- B
input_question: "\u0E23\u0E16\u0E22\u0E19\u0E15\u0E4C\u0E21\u0E32\u0E15\u0E23\u0E10\
\u0E32\u0E19\u0E21\u0E35\u0E01\u0E35\u0E48\u0E40\u0E1E\u0E25\u0E32?"
- input_choice_list:
A: "\u0E1A\u0E39\u0E14\u0E32\u0E40\u0E1B\u0E2A\u0E15\u0E4C"
B: "\u0E1A\u0E39\u0E42\u0E14\u0E01\u0E31\u0E19"
C: "\u0E20\u0E39\u0E0F\u0E32\u0E19"
D: "\u0E2A\u0E2B\u0E23\u0E32\u0E0A\u0E2D\u0E32\u0E13\u0E32\u0E08\u0E31\u0E01\
\u0E23"
input_correct_responses:
- B
input_question: "\u0E2A\u0E16\u0E32\u0E19\u0E17\u0E35\u0E48\u0E43\u0E14\u0E21\u0E35\
\u0E0A\u0E37\u0E48\u0E2D\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E0A\u0E37\u0E48\
\u0E2D\u0E2D\u0E31\u0E25\u0E1A\u0E31\u0E49\u0E21\u0E41\u0E2A\u0E14\u0E07\u0E2A\
\u0E14\u0E1B\u0E35 1979 \u0E02\u0E2D\u0E07\u0E15\u0E33\u0E19\u0E32\u0E19\u0E23\
\u0E47\u0E2D\u0E04 Cheap Trick"
- input_choice_list:
A: "\u0E41\u0E2D\u0E19\u0E42\u0E18\u0E19\u0E35 '\u0E2A\u0E1B\u0E31\u0E4A\
\u0E14' \u0E40\u0E27\u0E47\u0E1A\u0E1A\u0E4C"
B: "\u0E44\u0E21\u0E40\u0E04\u0E34\u0E25 '\u0E41\u0E2D\u0E23\u0E4C'\
\ \u0E08\u0E2D\u0E23\u0E4C\u0E41\u0E14\u0E19"
C: Tyrone 'Muggsy' Bogues
D: "\u0E08\u0E39\u0E40\u0E25\u0E35\u0E22\u0E2A '\u0E14\u0E23. \u0E40\u0E08\
' \u0E40\u0E2D\u0E2D\u0E23\u0E4C\u0E27\u0E34\u0E07"
input_correct_responses:
- A
input_question: "\u0E43\u0E04\u0E23\u0E04\u0E37\u0E2D\u0E0A\u0E32\u0E22\u0E17\u0E35\
\u0E48\u0E40\u0E15\u0E35\u0E49\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\
\u0E35\u0E48\u0E40\u0E04\u0E22\u0E0A\u0E19\u0E30\u0E01\u0E32\u0E23\u0E41\u0E02\
\u0E48\u0E07\u0E02\u0E31\u0E19 NBA Slam Dunk"
- input_choice_list:
A: "\u0E44\u0E2E\u0E42\u0E14\u0E23\u0E40\u0E08\u0E19"
B: "\u0E44\u0E19\u0E25\u0E2D\u0E19"
C: "\u0E2D\u0E2D\u0E01\u0E0B\u0E34\u0E40\u0E08\u0E19"
D: "\u0E41\u0E2A\u0E07\u0E2A\u0E27\u0E48\u0E32\u0E07"
input_correct_responses:
- C
input_question: "\u0E2D\u0E30\u0E44\u0E23\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\
\u0E19\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E01\u0E32\u0E23\u0E2A\u0E31\
\u0E07\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\u0E14\u0E49\u0E27\u0E22\u0E41\
\u0E2A\u0E07?"
- input_choice_list:
A: "'\u0E27\u0E34\u0E17\u0E22\u0E38 Ga-Ga'"
B: "'\u0E42\u0E2D\u0E1A\u0E25\u0E32\u0E14\u0E35 \u0E42\u0E2D\u0E1A\u0E25\
\u0E32\u0E14\u0E32'"
C: "'\u0E40\u0E14 \u0E42\u0E14 \u0E42\u0E14 \u0E14\u0E34 \u0E14\u0E32 \u0E14\
\u0E32 \u0E14\u0E32'"
D: "'\u0E2D\u0E34\u0E19-\u0E2D\u0E30-\u0E01\u0E31\u0E14\u0E14\u0E32-\u0E14\
\u0E32-\u0E27\u0E34\u0E14\u0E32'"
input_correct_responses:
- C
input_question: "\u0E40\u0E1E\u0E25\u0E07\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\
\u0E19\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E1E\u0E25\u0E07\u0E22\u0E2D\
\u0E14\u0E19\u0E34\u0E22\u0E21 10 \u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\
\u0E23\u0E01\u0E02\u0E2D\u0E07\u0E27\u0E07\u0E23\u0E47\u0E2D\u0E04 The Police"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_miscellaneous
tag: mmlu_th_llama_other_tasks
task: mmlu_th_llama_miscellaneous
task_alias: miscellaneous
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_moral_disputes.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E22\u0E31\u0E07\u0E44\u0E21\u0E48\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19\
\u0E27\u0E48\u0E32\u0E01\u0E32\u0E23\u0E25\u0E07\u0E42\u0E17\u0E29\u0E1B\u0E23\
\u0E30\u0E2B\u0E32\u0E23\u0E08\u0E30\u0E02\u0E31\u0E14\u0E02\u0E27\u0E32\u0E07\
\u0E2D\u0E31\u0E19\u0E15\u0E23\u0E32\u0E22\u0E15\u0E48\u0E2D\u0E0A\u0E38\u0E21\
\u0E0A\u0E19\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48"
B: "\u0E22\u0E31\u0E07\u0E44\u0E21\u0E48\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19\
\u0E27\u0E48\u0E32\u0E01\u0E32\u0E23\u0E25\u0E07\u0E42\u0E17\u0E29\u0E1B\u0E23\
\u0E30\u0E2B\u0E32\u0E23\u0E0A\u0E35\u0E27\u0E34\u0E15\u0E08\u0E30\u0E02\u0E31\
\u0E14\u0E02\u0E27\u0E32\u0E07\u0E2D\u0E31\u0E19\u0E15\u0E23\u0E32\u0E22\u0E15\
\u0E48\u0E2D\u0E1A\u0E38\u0E04\u0E04\u0E25\u0E43\u0E14\u0E2B\u0E23\u0E37\u0E2D\
\u0E44\u0E21\u0E48"
C: "\u0E04\u0E48\u0E32\u0E19\u0E34\u0E22\u0E21\u0E41\u0E2D\u0E1F\u0E23\u0E34\
\u0E01\u0E31\u0E19\u0E44\u0E21\u0E48\u0E2A\u0E19\u0E31\u0E1A\u0E2A\u0E19\u0E38\
\u0E19\u0E25\u0E31\u0E17\u0E18\u0E34\u0E2A\u0E37\u0E1A\u0E40\u0E19\u0E37\u0E48\
\u0E2D\u0E07"
D: "\u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E1C\u0E25\u0E2A\u0E37\u0E1A\u0E40\
\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E30\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\
\u0E01\u0E32\u0E23\u0E2A\u0E19\u0E31\u0E1A\u0E2A\u0E19\u0E38\u0E19\u0E08\u0E32\
\u0E01\u0E04\u0E48\u0E32\u0E19\u0E34\u0E22\u0E21\u0E02\u0E2D\u0E07\u0E41\u0E2D\
\u0E1F\u0E23\u0E34\u0E01\u0E32 \u0E41\u0E15\u0E48\u0E01\u0E47\u0E44\u0E21\u0E48\
\u0E21\u0E35\u0E01\u0E32\u0E23\u0E40\u0E2A\u0E19\u0E2D\u0E02\u0E49\u0E2D\u0E42\
\u0E15\u0E49\u0E41\u0E22\u0E49\u0E07\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\
\u0E1C\u0E25\u0E2A\u0E37\u0E1A\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E43\u0E19\
\u0E41\u0E07\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E48\u0E32\u0E19\u0E34\u0E22\u0E21\
\u0E02\u0E2D\u0E07\u0E41\u0E2D\u0E1F\u0E23\u0E34\u0E01\u0E32"
input_correct_responses:
- A
input_question: "\u0E08\u0E32\u0E01\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E02\u0E2D\
\u0E07\u0E40\u0E21\u0E15\u0E0B\u0E4C \u0E21\u0E35\u0E2D\u0E30\u0E44\u0E23\u0E1C\
\u0E34\u0E14\u0E1B\u0E01\u0E15\u0E34\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E42\
\u0E15\u0E49\u0E40\u0E16\u0E35\u0E22\u0E07\u0E01\u0E31\u0E19\u0E02\u0E2D\u0E07\
\u0E1C\u0E25\u0E2A\u0E37\u0E1A\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E15\u0E48\
\u0E2D\u0E01\u0E32\u0E23\u0E25\u0E07\u0E42\u0E17\u0E29\u0E1B\u0E23\u0E30\u0E2B\
\u0E32\u0E23\u0E0A\u0E35\u0E27\u0E34\u0E15\u0E15\u0E32\u0E21\u0E04\u0E48\u0E32\
\u0E19\u0E34\u0E22\u0E21\u0E02\u0E2D\u0E07\u0E0A\u0E32\u0E27\u0E41\u0E2D\u0E1F\
\u0E23\u0E34\u0E01\u0E31\u0E19"
- input_choice_list:
A: "\u0E44\u0E0B\u0E42\u0E01\u0E15"
B: "\u0E15\u0E31\u0E27\u0E2D\u0E48\u0E2D\u0E19"
C: "\u0E04\u0E27\u0E32\u0E21\u0E21\u0E35\u0E0A\u0E35\u0E27\u0E34\u0E15"
D: "\u0E1A\u0E25\u0E32\u0E2A\u0E42\u0E15\u0E0B\u0E34\u0E2A\u0E15\u0E4C"
input_correct_responses:
- A
input_question: "\u0E44\u0E02\u0E48\u0E17\u0E35\u0E48\u0E1B\u0E0F\u0E34\u0E2A\u0E19\
\u0E18\u0E34\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E35\u0E48\u0E23\u0E39\u0E49\u0E08\
\u0E31\u0E01\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32"
- input_choice_list:
A: "\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E0A\u0E19\u0E0A\u0E31\u0E49\u0E19\
\u0E2A\u0E39\u0E07"
B: "\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E19\
\u0E01\u0E32\u0E23\u0E40\u0E23\u0E35\u0E22\u0E19\u0E23\u0E39\u0E49\u0E41\u0E25\
\u0E30\u0E41\u0E01\u0E49\u0E1B\u0E31\u0E0D\u0E2B\u0E32"
C: "\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E27\u0E22\u0E07\u0E32\u0E21\
\u0E01\u0E27\u0E48\u0E32\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E01\u0E23\u0E2A\u0E48\
\u0E27\u0E19\u0E43\u0E2B\u0E0D\u0E48"
D: "\u0E2A\u0E31\u0E49\u0E19\u0E01\u0E27\u0E48\u0E32\u0E04\u0E48\u0E32\u0E40\
\u0E09\u0E25\u0E35\u0E48\u0E22"
input_correct_responses:
- B
input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\
\u0E14\u0E35\u0E17\u0E35\u0E48\u0E41\u0E17\u0E49\u0E08\u0E23\u0E34\u0E07\u0E15\
\u0E32\u0E21\u0E17\u0E35\u0E48 Singer \u0E01\u0E25\u0E48\u0E32\u0E27"
- input_choice_list:
A: "SCNT \u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E01\u0E32\u0E23\u0E2A\u0E37\u0E1A\
\u0E1E\u0E31\u0E19\u0E18\u0E38\u0E4C\u0E41\u0E1A\u0E1A\u0E2D\u0E37\u0E48\u0E19\
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E44\u0E21\u0E48\u0E21\
\u0E35\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E17\
\u0E32\u0E07\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\u0E21\u0E23\u0E30\u0E2B\u0E27\
\u0E48\u0E32\u0E07\u0E01\u0E32\u0E23\u0E2A\u0E37\u0E1A\u0E1E\u0E31\u0E19\u0E18\
\u0E38\u0E4C\u0E14\u0E49\u0E27\u0E22\u0E27\u0E34\u0E18\u0E35\u0E2D\u0E37\u0E48\
\u0E19\u0E17\u0E35\u0E48\u0E2D\u0E19\u0E38\u0E0D\u0E32\u0E15"
B: "\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E21\u0E35\u0E04\
\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E35\u0E48\u0E22\u0E07\u0E15\u0E48\u0E33\u0E17\
\u0E35\u0E48\u0E08\u0E30\u0E40\u0E01\u0E34\u0E14\u0E2D\u0E31\u0E19\u0E15\u0E23\
\u0E32\u0E22\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E08\u0E31\u0E1A\u0E04\u0E39\
\u0E48\u0E15\u0E32\u0E21\u0E18\u0E23\u0E23\u0E21\u0E0A\u0E32\u0E15\u0E34 \u0E08\
\u0E36\u0E07\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E35\u0E48\u0E22\
\u0E07\u0E15\u0E48\u0E33\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E01\u0E34\u0E14\
\u0E2D\u0E31\u0E19\u0E15\u0E23\u0E32\u0E22\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\
\ SCNT"
C: "\u0E17\u0E31\u0E49\u0E07\u0E40\u0E2D\u0E41\u0E25\u0E30\u0E1A\u0E35"
D: "\u0E17\u0E31\u0E49\u0E07 A \u0E41\u0E25\u0E30 B"
input_correct_responses:
- A
input_question: "\u0E40\u0E1E\u0E19\u0E0B\u0E4C\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\
\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E32\u0E23\u0E2A\u0E37\u0E1A\u0E1E\u0E31\
\u0E19\u0E18\u0E38\u0E4C\u0E2B\u0E01\u0E01\u0E23\u0E13\u0E35 \u0E15\u0E31\u0E49\
\u0E07\u0E41\u0E15\u0E48\u0E01\u0E32\u0E23\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48\
\u0E15\u0E32\u0E21\u0E18\u0E23\u0E23\u0E21\u0E0A\u0E32\u0E15\u0E34\u0E44\u0E1B\
\u0E08\u0E19\u0E16\u0E36\u0E07 SCNT \u0E40\u0E02\u0E32\u0E2A\u0E23\u0E38\u0E1B\
\u0E2D\u0E30\u0E44\u0E23\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E23\
\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E19\u0E35\u0E49"
- input_choice_list:
A: "\u0E04\u0E27\u0E32\u0E21\u0E42\u0E07\u0E48\u0E40\u0E02\u0E25\u0E32\u0E02\
\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E32\u0E07\
\u0E1B\u0E23\u0E31\u0E0A\u0E0D\u0E32\u0E14\u0E31\u0E49\u0E07\u0E40\u0E14\u0E34\
\u0E21\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E2B\u0E0D\u0E48"
B: "\u0E01\u0E32\u0E23\u0E02\u0E32\u0E14\u0E2A\u0E15\u0E34\u0E1B\u0E31\u0E0D\
\u0E0D\u0E32\u0E42\u0E14\u0E22\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E43\u0E19\
\u0E2B\u0E21\u0E39\u0E48\u0E1C\u0E39\u0E49\u0E17\u0E35\u0E48\u0E21\u0E35\u0E27\
\u0E38\u0E12\u0E34\u0E01\u0E32\u0E23\u0E28\u0E36\u0E01\u0E29\u0E32\u0E02\u0E31\
\u0E49\u0E19\u0E2A\u0E39\u0E07"
C: "\u0E04\u0E27\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E02\u0E2D\u0E07\u0E01\u0E32\
\u0E23\u0E17\u0E23\u0E21\u0E32\u0E19"
D: "\u0E04\u0E27\u0E32\u0E21\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E02\u0E2D\u0E07\
\u0E1C\u0E39\u0E49\u0E21\u0E35\u0E1B\u0E31\u0E0D\u0E0D\u0E32\u0E08\u0E33\u0E19\
\u0E27\u0E19\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E40\u0E2B\u0E47\u0E19\u0E27\
\u0E48\u0E32\u0E01\u0E32\u0E23\u0E17\u0E23\u0E21\u0E32\u0E19\u0E40\u0E1B\u0E47\
\u0E19\u0E17\u0E32\u0E07\u0E2D\u0E2D\u0E01\u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\
\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E19\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\
\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E01\u0E48\u0E2D\u0E01\
\u0E32\u0E23\u0E23\u0E49\u0E32\u0E22"
input_correct_responses:
- D
input_question: "\u0E1A\u0E32\u0E23\u0E2D\u0E19\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A\
\u0E27\u0E48\u0E32\u0E23\u0E39\u0E1B\u0E41\u0E1A\u0E1A\u0E2A\u0E21\u0E21\u0E38\
\u0E15\u0E34\u0E10\u0E32\u0E19\u0E02\u0E2D\u0E07\u0E23\u0E30\u0E40\u0E1A\u0E34\
\u0E14\u0E1F\u0E49\u0E2D\u0E07\u0E17\u0E35\u0E48\u0E40\u0E18\u0E2D\u0E01\u0E25\
\u0E48\u0E32\u0E27\u0E16\u0E36\u0E07\u0E19\u0E31\u0E49\u0E19 "\u0E42\u0E07\
\u0E48\u0E40\u0E02\u0E25\u0E32\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E48\u0E32\
\u0E40\u0E2B\u0E25\u0E37\u0E2D\u0E40\u0E0A\u0E37\u0E48\u0E2D" \u0E41\u0E15\
\u0E48\u0E40\u0E18\u0E2D\u0E2D\u0E49\u0E32\u0E07\u0E27\u0E48\u0E32\u0E19\u0E35\
\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E25\u0E31\u0E01\u0E10\u0E32\u0E19\u0E17\
\u0E35\u0E48\u0E1A\u0E48\u0E07\u0E0A\u0E35\u0E49\u0E27\u0E48\u0E32"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_moral_disputes
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_moral_disputes
task_alias: moral_disputes
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_moral_scenarios.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E1C\u0E34\u0E14 \u0E1C\u0E34\u0E14"
B: "\u0E1C\u0E34\u0E14 \u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14"
C: "\u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14\u0E2B\u0E23\u0E2D\u0E01 \u0E1C\u0E34\
\u0E14"
D: "\u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14 \u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14"
input_correct_responses:
- C
input_question: "\u0E15\u0E31\u0E27\u0E25\u0E30\u0E04\u0E23\u0E2B\u0E25\u0E31\u0E01\
\ (\u0E0B\u0E36\u0E48\u0E07\u0E43\u0E0A\u0E49 I/me/my) \u0E17\u0E33\u0E2D\u0E30\
\u0E44\u0E23\u0E1C\u0E34\u0E14\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\u0E21\u0E2D\
\u0E22\u0E48\u0E32\u0E07\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19\u0E15\u0E32\u0E21\
\u0E21\u0E32\u0E15\u0E23\u0E10\u0E32\u0E19\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\
\u0E21\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E43\u0E19\u0E2A\u0E2B\u0E23\u0E31\
\u0E10\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E43\u0E19\u0E1B\u0E35 2020\
\ \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\
\u0E13\u0E4C\u0E43\u0E14 \u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\u0E13\u0E4C\
\u0E17\u0E35\u0E48 1 | \u0E09\u0E31\u0E19\u0E23\u0E31\u0E01\u0E40\u0E14\u0E47\
\u0E01\u0E1C\u0E39\u0E49\u0E0A\u0E32\u0E22\u0E41\u0E23\u0E01\u0E40\u0E01\u0E34\
\u0E14\u0E02\u0E2D\u0E07\u0E09\u0E31\u0E19\u0E08\u0E23\u0E34\u0E07\u0E46 \u0E2A\
\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48 2 | \u0E40\
\u0E14\u0E47\u0E01\u0E43\u0E2B\u0E21\u0E48\u0E2D\u0E32\u0E22\u0E17\u0E35\u0E48\
\u0E08\u0E30\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E17\u0E35\u0E48\u0E08\u0E2D\
\u0E14\u0E23\u0E16\u0E1E\u0E48\u0E27\u0E07 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\
\u0E19\u0E09\u0E31\u0E19\u0E08\u0E36\u0E07\u0E40\u0E0A\u0E34\u0E0D\u0E0A\u0E31\
\u0E49\u0E19\u0E40\u0E23\u0E35\u0E22\u0E19\u0E44\u0E1B\u0E17\u0E35\u0E48\u0E1A\
\u0E49\u0E32\u0E19\u0E02\u0E2D\u0E07\u0E40\u0E18\u0E2D"
- input_choice_list:
A: "\u0E1C\u0E34\u0E14 \u0E1C\u0E34\u0E14"
B: "\u0E1C\u0E34\u0E14 \u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14"
C: "\u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14\u0E2B\u0E23\u0E2D\u0E01 \u0E1C\u0E34\
\u0E14"
D: "\u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14 \u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14"
input_correct_responses:
- C
input_question: "\u0E15\u0E31\u0E27\u0E25\u0E30\u0E04\u0E23\u0E2B\u0E25\u0E31\u0E01\
\ (\u0E0B\u0E36\u0E48\u0E07\u0E43\u0E0A\u0E49 I/me/my) \u0E17\u0E33\u0E2D\u0E30\
\u0E44\u0E23\u0E1C\u0E34\u0E14\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\u0E21\u0E2D\
\u0E22\u0E48\u0E32\u0E07\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19\u0E15\u0E32\u0E21\
\u0E21\u0E32\u0E15\u0E23\u0E10\u0E32\u0E19\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\
\u0E21\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E43\u0E19\u0E2A\u0E2B\u0E23\u0E31\
\u0E10\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E43\u0E19\u0E1B\u0E35 2020\
\ \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\
\u0E13\u0E4C\u0E43\u0E14 \u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\u0E13\u0E4C\
\u0E17\u0E35\u0E48 1 | \u0E09\u0E31\u0E19\u0E02\u0E2D\u0E1A\u0E38\u0E2B\u0E23\
\u0E35\u0E48\u0E08\u0E32\u0E01\u0E1C\u0E39\u0E49\u0E0A\u0E32\u0E22\u0E19\u0E2D\
\u0E01\u0E23\u0E49\u0E32\u0E19 \u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\u0E13\
\u0E4C\u0E17\u0E35\u0E48 2 | \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E08\u0E49\
\u0E32\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\u0E23\u0E31\u0E01\u0E29\u0E32\
\u0E04\u0E27\u0E32\u0E21\u0E1B\u0E25\u0E2D\u0E14\u0E20\u0E31\u0E22\u0E2D\u0E2D\
\u0E01\u0E08\u0E32\u0E01\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07 \u0E09\u0E31\
\u0E19\u0E44\u0E14\u0E49\u0E40\u0E01\u0E47\u0E1A\u0E40\u0E2B\u0E23\u0E35\u0E22\
\u0E0D\u0E2B\u0E32\u0E22\u0E32\u0E01\u0E44\u0E27\u0E49\u0E43\u0E19\u0E01\u0E23\
\u0E30\u0E40\u0E1B\u0E4B\u0E32"
- input_choice_list:
A: "\u0E1C\u0E34\u0E14 \u0E1C\u0E34\u0E14"
B: "\u0E1C\u0E34\u0E14 \u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14"
C: "\u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14\u0E2B\u0E23\u0E2D\u0E01 \u0E1C\u0E34\
\u0E14"
D: "\u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14 \u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14"
input_correct_responses:
- D
input_question: "\u0E15\u0E31\u0E27\u0E25\u0E30\u0E04\u0E23\u0E2B\u0E25\u0E31\u0E01\
\ (\u0E0B\u0E36\u0E48\u0E07\u0E43\u0E0A\u0E49 I/me/my) \u0E17\u0E33\u0E2D\u0E30\
\u0E44\u0E23\u0E1C\u0E34\u0E14\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\u0E21\u0E2D\
\u0E22\u0E48\u0E32\u0E07\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19\u0E15\u0E32\u0E21\
\u0E21\u0E32\u0E15\u0E23\u0E10\u0E32\u0E19\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\
\u0E21\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E43\u0E19\u0E2A\u0E2B\u0E23\u0E31\
\u0E10\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E43\u0E19\u0E1B\u0E35 2020\
\ \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\
\u0E13\u0E4C\u0E43\u0E14 \u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\u0E13\u0E4C\
\u0E17\u0E35\u0E48 1 | \u0E09\u0E31\u0E19\u0E0B\u0E37\u0E49\u0E2D\u0E23\u0E16\
\u0E01\u0E23\u0E30\u0E1A\u0E30\u0E40\u0E01\u0E48\u0E32\u0E2A\u0E33\u0E2B\u0E23\
\u0E31\u0E1A\u0E17\u0E33\u0E07\u0E32\u0E19 \u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\
\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48 2 | \u0E09\u0E31\u0E19\u0E21\u0E2D\u0E07\
\u0E02\u0E36\u0E49\u0E19\u0E44\u0E1B\u0E17\u0E35\u0E48\u0E19\u0E49\u0E33\u0E15\
\u0E01\u0E17\u0E35\u0E48\u0E07\u0E14\u0E07\u0E32\u0E21\u0E41\u0E25\u0E30\u0E02\
\u0E27\u0E49\u0E32\u0E07\u0E01\u0E49\u0E2D\u0E19\u0E2B\u0E34\u0E19\u0E43\u0E2A\
\u0E48\u0E21\u0E31\u0E19"
- input_choice_list:
A: "\u0E1C\u0E34\u0E14 \u0E1C\u0E34\u0E14"
B: "\u0E1C\u0E34\u0E14 \u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14"
C: "\u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14\u0E2B\u0E23\u0E2D\u0E01 \u0E1C\u0E34\
\u0E14"
D: "\u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14 \u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14"
input_correct_responses:
- B
input_question: "\u0E15\u0E31\u0E27\u0E25\u0E30\u0E04\u0E23\u0E2B\u0E25\u0E31\u0E01\
\ (\u0E0B\u0E36\u0E48\u0E07\u0E43\u0E0A\u0E49 I/me/my) \u0E17\u0E33\u0E2D\u0E30\
\u0E44\u0E23\u0E1C\u0E34\u0E14\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\u0E21\u0E2D\
\u0E22\u0E48\u0E32\u0E07\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19\u0E15\u0E32\u0E21\
\u0E21\u0E32\u0E15\u0E23\u0E10\u0E32\u0E19\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\
\u0E21\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E43\u0E19\u0E2A\u0E2B\u0E23\u0E31\
\u0E10\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E43\u0E19\u0E1B\u0E35 2020\
\ \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\
\u0E13\u0E4C\u0E43\u0E14 \u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\u0E13\u0E4C\
\u0E17\u0E35\u0E48 1 | \u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E17\u0E35\
\u0E48\u0E23\u0E37\u0E49\u0E2D\u0E1A\u0E49\u0E32\u0E19 \u0E09\u0E31\u0E19\u0E1C\
\u0E25\u0E31\u0E01\u0E40\u0E02\u0E32\u0E0A\u0E19\u0E01\u0E33\u0E41\u0E1E\u0E07\
\ \u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48 2\
\ | \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E09\u0E31\u0E19\u0E40\u0E25\u0E37\u0E2D\
\u0E01\u0E1E\u0E35\u0E48\u0E40\u0E25\u0E35\u0E49\u0E22\u0E07\u0E40\u0E14\u0E47\
\u0E01\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E2B\u0E25\u0E32\u0E19\u0E2A\u0E32\
\u0E27\u0E1D\u0E32\u0E41\u0E1D\u0E14\u0E02\u0E2D\u0E07\u0E09\u0E31\u0E19 \u0E09\
\u0E31\u0E19\u0E44\u0E21\u0E48\u0E2A\u0E19\u0E43\u0E08\u0E20\u0E39\u0E21\u0E34\
\u0E2B\u0E25\u0E31\u0E07\u0E17\u0E32\u0E07\u0E40\u0E0A\u0E37\u0E49\u0E2D\u0E0A\
\u0E32\u0E15\u0E34\u0E02\u0E2D\u0E07\u0E40\u0E18\u0E2D"
- input_choice_list:
A: "\u0E1C\u0E34\u0E14 \u0E1C\u0E34\u0E14"
B: "\u0E1C\u0E34\u0E14 \u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14"
C: "\u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14\u0E2B\u0E23\u0E2D\u0E01 \u0E1C\u0E34\
\u0E14"
D: "\u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14 \u0E44\u0E21\u0E48\u0E1C\u0E34\u0E14"
input_correct_responses:
- A
input_question: "\u0E15\u0E31\u0E27\u0E25\u0E30\u0E04\u0E23\u0E2B\u0E25\u0E31\u0E01\
\ (\u0E0B\u0E36\u0E48\u0E07\u0E43\u0E0A\u0E49 I/me/my) \u0E17\u0E33\u0E2D\u0E30\
\u0E44\u0E23\u0E1C\u0E34\u0E14\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\u0E21\u0E2D\
\u0E22\u0E48\u0E32\u0E07\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19\u0E15\u0E32\u0E21\
\u0E21\u0E32\u0E15\u0E23\u0E10\u0E32\u0E19\u0E28\u0E35\u0E25\u0E18\u0E23\u0E23\
\u0E21\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E43\u0E19\u0E2A\u0E2B\u0E23\u0E31\
\u0E10\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E43\u0E19\u0E1B\u0E35 2020\
\ \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\
\u0E13\u0E4C\u0E43\u0E14 \u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\u0E23\u0E13\u0E4C\
\u0E17\u0E35\u0E48 1 | \u0E09\u0E31\u0E19\u0E2B\u0E22\u0E34\u0E1A\u0E01\u0E23\
\u0E30\u0E40\u0E1B\u0E4B\u0E32\u0E2A\u0E15\u0E32\u0E07\u0E04\u0E4C\u0E02\u0E2D\
\u0E07\u0E40\u0E02\u0E32\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\
\u0E48\u0E40\u0E02\u0E32\u0E25\u0E27\u0E19\u0E25\u0E32\u0E21\u0E09\u0E31\u0E19\
\u0E17\u0E35\u0E48\u0E1A\u0E32\u0E23\u0E4C \u0E2A\u0E16\u0E32\u0E19\u0E01\u0E32\
\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48 2 | \u0E09\u0E31\u0E19\u0E43\u0E2B\u0E49\
\u0E04\u0E27\u0E32\u0E21\u0E23\u0E31\u0E01\u0E01\u0E31\u0E1A\u0E17\u0E32\u0E23\
\u0E01\u0E41\u0E23\u0E01\u0E40\u0E01\u0E34\u0E14\u0E02\u0E2D\u0E07\u0E09\u0E31\
\u0E19"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_moral_scenarios
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_moral_scenarios
task_alias: moral_scenarios
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_nutrition.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E1C\u0E39\u0E49\u0E17\u0E35\u0E48\u0E14\u0E37\u0E48\u0E21\u0E0A\u0E32\
\u0E08\u0E30\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E35\u0E48\u0E22\
\u0E07\u0E15\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E40\u0E01\u0E34\u0E14\u0E42\u0E23\
\u0E04\u0E40\u0E1A\u0E32\u0E2B\u0E27\u0E32\u0E19\u0E19\u0E49\u0E2D\u0E22\u0E25\
\u0E07"
B: "\u0E1C\u0E39\u0E49\u0E17\u0E35\u0E48\u0E14\u0E37\u0E48\u0E21\u0E0A\u0E32\
\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E35\u0E48\u0E22\u0E07\u0E2A\
\u0E39\u0E07\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E42\u0E23\
\u0E04\u0E40\u0E1A\u0E32\u0E2B\u0E27\u0E32\u0E19"
C: "\u0E08\u0E32\u0E01\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\
\u0E43\u0E2B\u0E49\u0E21\u0E32 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E2A\u0E32\
\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E2D\u0E01\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32\
\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E17\u0E35\
\u0E48\u0E2A\u0E31\u0E07\u0E40\u0E01\u0E15\u0E44\u0E14\u0E49\u0E02\u0E2D\u0E07\
\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E35\u0E48\u0E22\u0E07\u0E15\u0E48\u0E2D\
\u0E42\u0E23\u0E04\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E25\u0E21\u0E32\u0E08\u0E32\
\u0E01\u0E04\u0E27\u0E32\u0E21\u0E1A\u0E31\u0E07\u0E40\u0E2D\u0E34\u0E0D\u0E2B\
\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48"
D: "\u0E2D\u0E31\u0E15\u0E23\u0E32\u0E2A\u0E48\u0E27\u0E19\u0E04\u0E27\u0E32\
\u0E21\u0E40\u0E2A\u0E35\u0E48\u0E22\u0E07\u0E43\u0E01\u0E25\u0E49\u0E40\u0E04\
\u0E35\u0E22\u0E07\u0E01\u0E31\u0E1A\u0E04\u0E48\u0E32\u0E2B\u0E19\u0E36\u0E48\
\u0E07 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E08\u0E36\u0E07\u0E44\u0E21\
\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\
\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E35\u0E48\u0E22\
\u0E07\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E01\u0E34\u0E14\u0E42\u0E23\u0E04\
\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E2A\u0E2D\u0E07\u0E01\u0E25\u0E38\
\u0E48\u0E21"
input_correct_responses:
- C
input_question: "\u0E43\u0E19\u0E01\u0E32\u0E23\u0E28\u0E36\u0E01\u0E29\u0E32\u0E15\
\u0E32\u0E21\u0E23\u0E38\u0E48\u0E19 \u0E2D\u0E31\u0E15\u0E23\u0E32\u0E2A\u0E48\
\u0E27\u0E19\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E35\u0E48\u0E22\u0E07\u0E43\
\u0E19\u0E01\u0E32\u0E23\u0E40\u0E01\u0E34\u0E14\u0E42\u0E23\u0E04\u0E40\u0E1A\
\u0E32\u0E2B\u0E27\u0E32\u0E19\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A 0.86\
\ \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\
\u0E35\u0E22\u0E1A\u0E1C\u0E39\u0E49\u0E1A\u0E23\u0E34\u0E42\u0E20\u0E04\u0E0A\
\u0E32 (\u0E1C\u0E39\u0E49\u0E2A\u0E31\u0E21\u0E1C\u0E31\u0E2A) \u0E01\u0E31\
\u0E1A\u0E1C\u0E39\u0E49\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E14\u0E37\u0E48\
\u0E21\u0E0A\u0E32 (\u0E1C\u0E39\u0E49\u0E2A\u0E31\u0E21\u0E1C\u0E31\u0E2A)\
\ \u0E02\u0E49\u0E2D\u0E43\u0E14\u0E01\u0E25\u0E48\u0E32\u0E27\u0E16\u0E39\u0E01\
\u0E15\u0E49\u0E2D\u0E07 (\u0E15\u0E32\u0E21\u0E04\u0E27\u0E32\u0E21\u0E23\u0E39\
\u0E49 \u0E1E.\u0E28. 2563)"
- input_choice_list:
A: "\u0E1C\u0E39\u0E49\u0E1A\u0E23\u0E34\u0E42\u0E20\u0E04\u0E17\u0E35\u0E48\
\u0E21\u0E35\u0E20\u0E32\u0E27\u0E30\u0E1F\u0E35\u0E19\u0E34\u0E25\u0E04\u0E35\
\u0E42\u0E15\u0E19\u0E39\u0E40\u0E23\u0E35\u0E22\u0E15\u0E49\u0E2D\u0E07\u0E2B\
\u0E25\u0E35\u0E01\u0E40\u0E25\u0E35\u0E48\u0E22\u0E07\u0E01\u0E32\u0E23\u0E1A\
\u0E23\u0E34\u0E42\u0E20\u0E04\u0E41\u0E2D\u0E2A\u0E1B\u0E32\u0E23\u0E4C\u0E41\
\u0E15\u0E21\u0E17\u0E35\u0E48\u0E43\u0E2B\u0E49\u0E04\u0E27\u0E32\u0E21\u0E2B\
\u0E27\u0E32\u0E19"
B: "\u0E1C\u0E39\u0E49\u0E1A\u0E23\u0E34\u0E42\u0E20\u0E04\u0E17\u0E35\u0E48\
\u0E21\u0E35\u0E20\u0E32\u0E27\u0E30\u0E1F\u0E35\u0E19\u0E34\u0E25\u0E04\u0E35\
\u0E42\u0E15\u0E19\u0E39\u0E40\u0E23\u0E35\u0E22\u0E15\u0E49\u0E2D\u0E07\u0E2B\
\u0E25\u0E35\u0E01\u0E40\u0E25\u0E35\u0E48\u0E22\u0E07\u0E01\u0E32\u0E23\u0E1A\
\u0E23\u0E34\u0E42\u0E20\u0E04\u0E02\u0E31\u0E13\u0E11\u0E2A\u0E01\u0E23\u0E17\
\u0E35\u0E48\u0E43\u0E2B\u0E49\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E27\u0E32\u0E19"
C: "\u0E1C\u0E39\u0E49\u0E1A\u0E23\u0E34\u0E42\u0E20\u0E04\u0E17\u0E35\u0E48\
\u0E21\u0E35\u0E20\u0E32\u0E27\u0E30\u0E1F\u0E35\u0E19\u0E34\u0E25\u0E04\u0E35\
\u0E42\u0E15\u0E19\u0E39\u0E40\u0E23\u0E35\u0E22\u0E15\u0E49\u0E2D\u0E07\u0E2B\
\u0E25\u0E35\u0E01\u0E40\u0E25\u0E35\u0E48\u0E22\u0E07\u0E01\u0E32\u0E23\u0E1A\
\u0E23\u0E34\u0E42\u0E20\u0E04\u0E2A\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E04\u0E27\
\u0E32\u0E21\u0E2B\u0E27\u0E32\u0E19\u0E0B\u0E39\u0E04\u0E23\u0E32\u0E42\u0E25\
\u0E2A"
D: "\u0E1C\u0E39\u0E49\u0E1A\u0E23\u0E34\u0E42\u0E20\u0E04\u0E17\u0E35\u0E48\
\u0E21\u0E35\u0E20\u0E32\u0E27\u0E30\u0E1F\u0E35\u0E19\u0E34\u0E25\u0E04\u0E35\
\u0E42\u0E15\u0E19\u0E39\u0E40\u0E23\u0E35\u0E22\u0E15\u0E49\u0E2D\u0E07\u0E2B\
\u0E25\u0E35\u0E01\u0E40\u0E25\u0E35\u0E48\u0E22\u0E07\u0E01\u0E32\u0E23\u0E1A\
\u0E23\u0E34\u0E42\u0E20\u0E04\u0E2A\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E04\u0E27\
\u0E32\u0E21\u0E2B\u0E27\u0E32\u0E19 acesulfame K"
input_correct_responses:
- A
input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
\u0E35\u0E49\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07 (\u0E15\u0E32\u0E21\u0E04\
\u0E27\u0E32\u0E21\u0E23\u0E39\u0E49\u0E1B\u0E35 2563)"
- input_choice_list:
A: "\u0E01\u0E23\u0E14\u0E42\u0E1E\u0E23\u0E1E\u0E34\u0E42\u0E2D\u0E19\u0E34\
\u0E01\u0E17\u0E35\u0E48\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E23\
\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E01\u0E32\u0E23\u0E2B\u0E21\u0E31\u0E01\
\u0E40\u0E2A\u0E49\u0E19\u0E43\u0E22\u0E42\u0E04\u0E42\u0E25\u0E19\u0E34\u0E01\
\u0E08\u0E30\u0E22\u0E31\u0E1A\u0E22\u0E31\u0E49\u0E07\u0E01\u0E32\u0E23\u0E2A\
\u0E31\u0E07\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\u0E01\u0E23\u0E14\u0E44\
\u0E02\u0E21\u0E31\u0E19\u0E43\u0E19\u0E15\u0E31\u0E1A"
B: "\u0E01\u0E23\u0E14\u0E1A\u0E34\u0E27\u0E17\u0E35\u0E23\u0E34\u0E01\u0E17\
\u0E35\u0E48\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E23\u0E30\u0E2B\
\u0E27\u0E48\u0E32\u0E07\u0E01\u0E32\u0E23\u0E2B\u0E21\u0E31\u0E01\u0E40\u0E2A\
\u0E49\u0E19\u0E43\u0E22\u0E42\u0E04\u0E42\u0E25\u0E19\u0E34\u0E01\u0E08\u0E30\
\u0E01\u0E23\u0E30\u0E15\u0E38\u0E49\u0E19 "\u0E01\u0E32\u0E23\u0E17\u0E33\
\u0E43\u0E2B\u0E49\u0E40\u0E07\u0E35\u0E22\u0E1A" \u0E02\u0E2D\u0E07\u0E22\
\u0E35\u0E19\u0E15\u0E49\u0E32\u0E19\u0E40\u0E19\u0E37\u0E49\u0E2D\u0E07\u0E2D\
\u0E01 SLC5A8"
C: "\u0E15\u0E31\u0E27\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E40\u0E2B\u0E25\u0E48\
\u0E32\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\
\u0E07"
D: "\u0E01\u0E23\u0E14\u0E1A\u0E34\u0E27\u0E17\u0E35\u0E23\u0E34\u0E01\u0E0B\
\u0E36\u0E48\u0E07\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E23\u0E30\
\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E01\u0E32\u0E23\u0E2B\u0E21\u0E31\u0E01\u0E40\
\u0E2A\u0E49\u0E19\u0E43\u0E22\u0E42\u0E04\u0E42\u0E25\u0E19\u0E34\u0E01\u0E08\
\u0E30\u0E01\u0E23\u0E30\u0E15\u0E38\u0E49\u0E19\u0E01\u0E32\u0E23\u0E1B\u0E49\
\u0E2D\u0E07\u0E01\u0E31\u0E19\u0E15\u0E48\u0E2D\u0E15\u0E49\u0E32\u0E19\u0E2D\
\u0E19\u0E38\u0E21\u0E39\u0E25\u0E2D\u0E34\u0E2A\u0E23\u0E30\u0E43\u0E19\u0E25\
\u0E33\u0E44\u0E2A\u0E49\u0E43\u0E2B\u0E0D\u0E48"
input_correct_responses:
- D
input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E2D\u0E18\u0E34\u0E1A\u0E32\
\u0E22\u0E17\u0E35\u0E48\u0E19\u0E48\u0E32\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E16\
\u0E37\u0E2D\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E2A\u0E33\u0E2B\u0E23\u0E31\
\u0E1A\u0E1C\u0E25\u0E01\u0E32\u0E23\u0E1B\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E19\
\u0E02\u0E2D\u0E07\u0E43\u0E22\u0E2D\u0E32\u0E2B\u0E32\u0E23\u0E15\u0E48\u0E2D\
\u0E21\u0E30\u0E40\u0E23\u0E47\u0E07\u0E25\u0E33\u0E44\u0E2A\u0E49 \u0E13 \u0E1B\
\u0E35 2020"
- input_choice_list:
A: "50% \u0E02\u0E2D\u0E07\u0E1C\u0E39\u0E49\u0E43\u0E2B\u0E0D\u0E48\u0E1A\u0E23\
\u0E34\u0E42\u0E20\u0E04\u0E44\u0E2D\u0E42\u0E2D\u0E14\u0E35\u0E19\u0E43\u0E19\
\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E15\u0E48\u0E33\u0E01\u0E27\
\u0E48\u0E32 RNI"
B: "\u0E1C\u0E25\u0E34\u0E15\u0E20\u0E31\u0E13\u0E11\u0E4C\u0E08\u0E32\u0E01\
\u0E19\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E2B\u0E25\u0E48\u0E07\u0E44\u0E2D\
\u0E42\u0E2D\u0E14\u0E35\u0E19\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E14\u0E35"
C: "\u0E42\u0E14\u0E22\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E41\u0E25\u0E49\
\u0E27\u0E1B\u0E23\u0E34\u0E21\u0E32\u0E13\u0E44\u0E2D\u0E42\u0E2D\u0E14\u0E35\
\u0E19\u0E43\u0E19\u0E19\u0E21\u0E2D\u0E2D\u0E23\u0E4C\u0E41\u0E01\u0E19\u0E34\
\u0E01\u0E08\u0E30\u0E15\u0E48\u0E33\u0E01\u0E27\u0E48\u0E32\u0E23\u0E30\u0E14\
\u0E31\u0E1A\u0E43\u0E19\u0E19\u0E21\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\
\u0E0A\u0E48\u0E2D\u0E2D\u0E23\u0E4C\u0E41\u0E01\u0E19\u0E34\u0E01"
D: "\u0E04\u0E48\u0E32\u0E2D\u0E49\u0E32\u0E07\u0E2D\u0E34\u0E07\u0E2D\u0E32\
\u0E2B\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E2A\u0E2B\u0E23\u0E32\u0E0A\u0E2D\u0E32\
\u0E13\u0E32\u0E08\u0E31\u0E01\u0E23\u0E41\u0E19\u0E30\u0E19\u0E33\u0E43\u0E2B\
\u0E49\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E1B\u0E23\u0E34\u0E21\u0E32\u0E13\u0E44\
\u0E2D\u0E42\u0E2D\u0E14\u0E35\u0E19\u0E43\u0E19\u0E23\u0E30\u0E2B\u0E27\u0E48\
\u0E32\u0E07\u0E15\u0E31\u0E49\u0E07\u0E04\u0E23\u0E23\u0E20\u0E4C"
input_correct_responses:
- C
input_question: "\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E40\u0E01\u0E35\u0E48\
\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E44\u0E2D\u0E42\u0E2D\u0E14\u0E35\u0E19\u0E02\
\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E16\
\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07 \u0E13 \u0E1B\u0E35 2020"
- input_choice_list:
A: "\u0E2D\u0E30\u0E04\u0E32\u0E23\u0E4C\u0E42\u0E1A\u0E2A"
B: "\u0E40\u0E21\u0E15\u0E1F\u0E2D\u0E23\u0E4C\u0E21\u0E34\u0E19"
C: "\u0E0B\u0E31\u0E25\u0E42\u0E1F\u0E19\u0E34\u0E25\u0E22\u0E39\u0E40\u0E23\
\u0E35\u0E22"
D: "\u0E2D\u0E34\u0E19\u0E0B\u0E39\u0E25\u0E34\u0E19"
input_correct_responses:
- B
input_question: "\u0E22\u0E32\u0E1A\u0E23\u0E23\u0E17\u0E31\u0E14\u0E41\u0E23\u0E01\
\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E1C\u0E39\u0E49\u0E1B\u0E48\u0E27\u0E22\
\u0E40\u0E1A\u0E32\u0E2B\u0E27\u0E32\u0E19\u0E0A\u0E19\u0E34\u0E14\u0E17\u0E35\
\u0E48 2 \u0E41\u0E25\u0E30\u0E42\u0E23\u0E04\u0E2D\u0E49\u0E27\u0E19\u0E43\u0E19\
\u0E1B\u0E35 2563 \u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_nutrition
tag: mmlu_th_llama_other_tasks
task: mmlu_th_llama_nutrition
task_alias: nutrition
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_philosophy.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E17\u0E24\u0E29\u0E0E\u0E35\u0E17\u0E32\u0E07\u0E08\u0E23\u0E34\u0E22\
\u0E18\u0E23\u0E23\u0E21\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\
\u0E27\u0E34\u0E18\u0E35\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E04\u0E27\u0E23\
\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E15\u0E19"
B: "\u0E25\u0E31\u0E01\u0E29\u0E13\u0E30\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\
\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E1E\u0E24\u0E15\u0E34\
\u0E01\u0E23\u0E23\u0E21\u0E02\u0E2D\u0E07\u0E1C\u0E39\u0E49\u0E04\u0E19"
C: "\u0E01\u0E32\u0E23\u0E40\u0E23\u0E35\u0E22\u0E01\u0E23\u0E49\u0E2D\u0E07\
\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E18\u0E23\u0E23\u0E21\
\u0E0A\u0E32\u0E15\u0E34\u0E02\u0E2D\u0E07\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\
\u0E41\u0E25\u0E30\u0E27\u0E34\u0E18\u0E35\u0E17\u0E35\u0E48\u0E1C\u0E39\u0E49\
\u0E04\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1B\u0E23\u0E30\u0E1E\u0E24\
\u0E15\u0E34\u0E15\u0E19\u0E44\u0E14\u0E49"
D: "\u0E44\u0E21\u0E48\u0E21\u0E35\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E02\u0E49\
\u0E2D\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19"
input_correct_responses:
- C
input_question: "\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2B\u0E47\u0E19\u0E41\u0E01\u0E48\
\u0E15\u0E31\u0E27\u0E17\u0E32\u0E07\u0E08\u0E34\u0E15\u0E27\u0E34\u0E17\u0E22\
\u0E32\u0E04\u0E37\u0E2D:"
- input_choice_list:
A: "\u0E04\u0E27\u0E32\u0E21\u0E1E\u0E36\u0E07\u0E1E\u0E2D\u0E43\u0E08."
B: "\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E38\u0E02."
C: "\u0E14\u0E35."
D: "\u0E04\u0E38\u0E13\u0E18\u0E23\u0E23\u0E21."
input_correct_responses:
- C
input_question: "\u0E15\u0E32\u0E21\u0E41\u0E19\u0E27\u0E04\u0E34\u0E14\u0E02\u0E2D\
\u0E07 "\u0E25\u0E31\u0E17\u0E18\u0E34\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\
\u0E19\u0E4C\u0E19\u0E34\u0E22\u0E21\u0E43\u0E19\u0E2D\u0E38\u0E14\u0E21\u0E04\
\u0E15\u0E34" \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E27\u0E23\u0E4C \u0E01\u0E32\
\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\
\u0E49\u0E2D\u0E07\u0E04\u0E37\u0E2D\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\
\u0E19\u0E33\u0E21\u0E32\u0E0B\u0E36\u0E48\u0E07\u0E08\u0E33\u0E19\u0E27\u0E19\
\u0E17\u0E35\u0E48\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\
\u0E2D\u0E07:"
- input_choice_list:
A: "\u0E17\u0E32\u0E07\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E1F\u0E23\u0E35"
B: "\u0E1A\u0E07\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E08\u0E34\u0E15\u0E27\
\u0E34\u0E0D\u0E0D\u0E32\u0E13"
C: "\u0E01\u0E0E\u0E18\u0E23\u0E23\u0E21\u0E0A\u0E32\u0E15\u0E34\u0E17\u0E35\
\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19"
D: "\u0E08\u0E30\u0E1A\u0E36\u0E01\u0E1A\u0E36\u0E19"
input_correct_responses:
- C
input_question: "\u0E15\u0E32\u0E21 d'Holbach \u0E1C\u0E39\u0E49\u0E04\u0E19\
\u0E21\u0E31\u0E01\u0E08\u0E30\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E15\
\u0E32\u0E21 _____"
- input_choice_list:
A: "\u0E04\u0E19\u0E21\u0E2D\u0E07\u0E42\u0E25\u0E01\u0E43\u0E19\u0E41\u0E07\
\u0E48\u0E14\u0E35"
B: "\u0E1E\u0E2D\u0E43\u0E08"
C: "\u0E43\u0E19\u0E19\u0E32\u0E21\u0E17\u0E32\u0E07\u0E28\u0E32\u0E2A\u0E19\
\u0E32"
D: "\u0E04\u0E19\u0E21\u0E2D\u0E07\u0E42\u0E25\u0E01\u0E43\u0E19\u0E41\u0E07\
\u0E48\u0E23\u0E49\u0E32\u0E22"
input_correct_responses:
- D
input_question: "\u0E01\u0E48\u0E2D\u0E19\u0E01\u0E32\u0E23\u0E01\u0E25\u0E31\u0E1A\
\u0E43\u0E08\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E23\u0E34\u0E2A\u0E40\u0E15\u0E35\
\u0E22\u0E19\u0E02\u0E2D\u0E07\u0E15\u0E2D\u0E25\u0E2A\u0E15\u0E2D\u0E22 \u0E21\
\u0E38\u0E21\u0E21\u0E2D\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E02\u0E32\u0E40\u0E01\
\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E21\
\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E0A\u0E35\u0E27\u0E34\u0E15\u0E04\u0E37\u0E2D\
\u0E2D\u0E30\u0E44\u0E23?"
- input_choice_list:
A: "\u0E2D\u0E20\u0E34\u0E1B\u0E23\u0E31\u0E0A\u0E0D\u0E32"
B: "\u0E0D\u0E32\u0E13\u0E27\u0E34\u0E17\u0E22\u0E32"
C: "\u0E1F\u0E34\u0E2A\u0E34\u0E01\u0E2A\u0E4C\u0E04\u0E27\u0E2D\u0E19\u0E15\
\u0E31\u0E21"
D: "\u0E01\u0E32\u0E22\u0E27\u0E34\u0E20\u0E32\u0E04"
input_correct_responses:
- A
input_question: "\u0E01\u0E32\u0E23\u0E28\u0E36\u0E01\u0E29\u0E32\u0E04\u0E27\u0E32\
\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E23\u0E34\u0E07\u0E43\u0E19\u0E04\u0E27\
\u0E32\u0E21\u0E2B\u0E21\u0E32\u0E22\u0E17\u0E35\u0E48\u0E01\u0E27\u0E49\u0E32\
\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E01\u0E32\u0E23\u0E2A\u0E2D\u0E1A\
\u0E16\u0E32\u0E21\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E18\
\u0E23\u0E23\u0E21\u0E0A\u0E32\u0E15\u0E34\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\
\u0E19\u0E2D\u0E07\u0E04\u0E4C\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E02\u0E2D\
\u0E07\u0E40\u0E2D\u0E01\u0E20\u0E1E\u0E41\u0E25\u0E30\u0E2A\u0E34\u0E48\u0E07\
\u0E15\u0E48\u0E32\u0E07\u0E46 \u0E43\u0E19\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\
\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 _____"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_philosophy
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_philosophy
task_alias: philosophy
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_prehistory.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E2A\u0E19\u0E2D\u0E07\u0E19\u0E31\u0E01\u0E1A\u0E27\u0E0A\u0E19\u0E31\
\u0E01\u0E14\u0E32\u0E23\u0E32\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C\u0E0A\u0E32\
\u0E27\u0E21\u0E32\u0E22\u0E31\u0E19\u0E17\u0E35\u0E48\u0E17\u0E23\u0E07\u0E1E\
\u0E25\u0E31\u0E07"
B: "\u0E41\u0E2A\u0E14\u0E07\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2D\u0E37\u0E49\
\u0E2D\u0E40\u0E1F\u0E37\u0E49\u0E2D\u0E40\u0E1C\u0E37\u0E48\u0E2D\u0E41\u0E1C\
\u0E48\u0E15\u0E48\u0E2D\u0E04\u0E19\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E40\
\u0E1E\u0E23\u0E32\u0E30\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E2D\u0E19\u0E38\
\u0E0D\u0E32\u0E15\u0E43\u0E2B\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E08\u0E33\u0E1E\
\u0E23\u0E23\u0E29\u0E32\u0E44\u0E14\u0E49"
C: "\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E28\u0E31\u0E15\u0E23\u0E39\u0E2B\u0E27\
\u0E32\u0E14\u0E01\u0E25\u0E31\u0E27\u0E42\u0E14\u0E22\u0E40\u0E09\u0E1E\u0E32\
\u0E30\u0E0A\u0E32\u0E27\u0E2A\u0E40\u0E1B\u0E19"
D: "\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E29\u0E31\
\u0E15\u0E23\u0E34\u0E22\u0E4C\u0E42\u0E14\u0E22\u0E0A\u0E2D\u0E1A\u0E14\u0E49\
\u0E27\u0E22\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22 \u0E40\u0E19\u0E37\u0E48\u0E2D\
\u0E07\u0E08\u0E32\u0E01\u0E1A\u0E34\u0E14\u0E32\u0E44\u0E21\u0E48\u0E43\u0E0A\
\u0E48\u0E01\u0E29\u0E31\u0E15\u0E23\u0E34\u0E22\u0E4C"
input_correct_responses:
- D
input_question: "Pacal \u0E01\u0E29\u0E31\u0E15\u0E23\u0E34\u0E22\u0E4C\u0E21\u0E32\
\u0E22\u0E31\u0E19\u0E1C\u0E39\u0E49\u0E22\u0E34\u0E48\u0E07\u0E43\u0E2B\u0E0D\
\u0E48\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E27\u0E31\u0E14\u0E43\u0E19\u0E40\u0E21\
\u0E37\u0E2D\u0E07 Palenque \u0E40\u0E1E\u0E37\u0E48\u0E2D:"
- input_choice_list:
A: "\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E01\u0E25\u0E32\u0E07\u0E02\u0E2D\u0E07\
\u0E2D\u0E32\u0E23\u0E22\u0E18\u0E23\u0E23\u0E21\u0E21\u0E34\u0E2A\u0E0B\u0E34\
\u0E2A\u0E0B\u0E34\u0E1B\u0E1B\u0E35\u0E17\u0E35\u0E48\u0E21\u0E35\u0E2A\u0E20\
\u0E32\u0E1E\u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\
\u0E02\u0E36\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\u0E43\u0E19\u0E22\
\u0E38\u0E04\u0E41\u0E23\u0E01"
B: "\u0E02\u0E49\u0E2D \u0E08\u0E33\u0E01\u0E31\u0E14 \u0E02\u0E2D\u0E07\u0E2D\
\u0E33\u0E19\u0E32\u0E08\u0E43\u0E19\u0E2A\u0E31\u0E07\u0E04\u0E21\u0E2D\u0E40\
\u0E21\u0E23\u0E34\u0E01\u0E31\u0E19\u0E1E\u0E37\u0E49\u0E19\u0E40\u0E21\u0E37\
\u0E2D\u0E07\u0E02\u0E2D\u0E07\u0E1C\u0E39\u0E49\u0E2B\u0E32\u0E2D\u0E32\u0E2B\
\u0E32\u0E23\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E2A\u0E21\u0E2D\u0E20\u0E32\
\u0E04"
C: "\u0E01\u0E32\u0E23\u0E1B\u0E01\u0E04\u0E23\u0E2D\u0E07\u0E41\u0E1A\u0E1A\
\u0E07\u0E48\u0E32\u0E22\u0E46 \u0E2B\u0E23\u0E37\u0E2D\u0E1A\u0E32\u0E07\u0E17\
\u0E35\u0E2D\u0E32\u0E08\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E1B\u0E01\
\u0E04\u0E23\u0E2D\u0E07\u0E41\u0E1A\u0E1A\u0E0B\u0E31\u0E1A\u0E0B\u0E49\u0E2D\
\u0E19\u0E44\u0E14\u0E49\u0E1E\u0E31\u0E12\u0E19\u0E32\u0E02\u0E36\u0E49\u0E19\
\u0E43\u0E19\u0E1B\u0E35 \u0E04.\u0E28. 1500"
D: "\u0E28\u0E39\u0E19\u0E22\u0E4C\u0E01\u0E25\u0E32\u0E07\u0E2D\u0E32\u0E23\
\u0E22\u0E18\u0E23\u0E23\u0E21\u0E21\u0E34\u0E2A\u0E0B\u0E34\u0E2A\u0E0B\u0E34\
\u0E1B\u0E1B\u0E35\u0E49\u0E17\u0E35\u0E48\u0E21\u0E35\u0E2A\u0E20\u0E32\u0E1E\
\u0E04\u0E25\u0E49\u0E32\u0E22\u0E2A\u0E31\u0E07\u0E04\u0E21\u0E17\u0E32\u0E07\
\u0E0A\u0E32\u0E22\u0E1D\u0E31\u0E48\u0E07\u0E15\u0E30\u0E27\u0E31\u0E19\u0E15\
\u0E01\u0E40\u0E09\u0E35\u0E22\u0E07\u0E40\u0E2B\u0E19\u0E37\u0E2D\u0E02\u0E2D\
\u0E07\u0E17\u0E27\u0E35\u0E1B\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32\u0E40\
\u0E2B\u0E19\u0E37\u0E2D"
input_correct_responses:
- A
input_question: "\u0E15\u0E32\u0E21\u0E17\u0E35\u0E48 Timothy Pauketat \u0E2B\u0E25\
\u0E31\u0E01\u0E10\u0E32\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\
\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E0A\u0E31\u0E49\u0E19\u0E17\u0E32\u0E07\u0E2A\
\u0E31\u0E07\u0E04\u0E21\u0E41\u0E25\u0E30\u0E2D\u0E33\u0E19\u0E32\u0E08\u0E17\
\u0E32\u0E07\u0E01\u0E32\u0E23\u0E40\u0E21\u0E37\u0E2D\u0E07\u0E17\u0E35\u0E48\
\ Cahokia \u0E41\u0E2A\u0E14\u0E07\u0E43\u0E2B\u0E49\u0E40\u0E2B\u0E47\u0E19\
:"
- input_choice_list:
A: "\u0E20\u0E31\u0E22\u0E1E\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E1A\u0E32\u0E07\
\u0E0A\u0E19\u0E34\u0E14 \u0E40\u0E0A\u0E48\u0E19 \u0E41\u0E1C\u0E48\u0E19\
\u0E14\u0E34\u0E19\u0E44\u0E2B\u0E27 \u0E20\u0E39\u0E40\u0E02\u0E32\u0E44\u0E1F\
\ \u0E2B\u0E23\u0E37\u0E2D\u0E2A\u0E36\u0E19\u0E32\u0E21\u0E34"
B: "\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E37\u0E48\u0E2D\u0E21\u0E42\u0E17\
\u0E23\u0E21\u0E02\u0E2D\u0E07\u0E23\u0E30\u0E1A\u0E1A\u0E19\u0E34\u0E40\u0E27\
\u0E28\u0E2D\u0E31\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E25\u0E08\u0E32\u0E01\
\u0E40\u0E17\u0E04\u0E19\u0E34\u0E04\u0E01\u0E32\u0E23\u0E17\u0E33\u0E44\u0E23\
\u0E48\u0E44\u0E16\u0E19\u0E32"
C: "\u0E2A\u0E07\u0E04\u0E23\u0E32\u0E21\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\
\u0E21\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14\u0E23\
\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E19\u0E04\u0E23\u0E23\u0E31\u0E10\u0E02\
\u0E2D\u0E07\u0E0A\u0E32\u0E27\u0E21\u0E32\u0E22\u0E31\u0E19\u0E17\u0E35\u0E48\
\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E01\u0E25\u0E49\u0E40\u0E04\u0E35\u0E22\u0E07"
D: "\u0E01\u0E32\u0E23\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E02\u0E2D\
\u0E07\u0E01\u0E32\u0E23\u0E1C\u0E2A\u0E21\u0E02\u0E49\u0E32\u0E21\u0E1E\u0E31\
\u0E19\u0E18\u0E38\u0E4C\u0E17\u0E35\u0E48\u0E19\u0E33\u0E44\u0E1B\u0E2A\u0E39\
\u0E48\u0E04\u0E27\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E1B\u0E01\u0E15\u0E34 \u0E41\
\u0E15\u0E48\u0E01\u0E33\u0E40\u0E19\u0E34\u0E14\u0E17\u0E35\u0E48\u0E40\u0E1E\
\u0E34\u0E48\u0E21\u0E02\u0E36\u0E49\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E21\
\u0E32\u0E01"
input_correct_responses:
- B
input_question: "\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E19\u0E31\u0E01\u0E27\u0E34\
\u0E08\u0E31\u0E22\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E27\u0E48\u0E32\u0E01\u0E32\
\u0E23\u0E25\u0E14\u0E25\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E32\u0E22\u0E32\u0E21\
\u0E35\u0E2A\u0E32\u0E40\u0E2B\u0E15\u0E38\u0E2B\u0E25\u0E31\u0E01\u0E21\u0E32\
\u0E08\u0E32\u0E01:"
- input_choice_list:
A: "\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E25\u0E32\u0E01\u0E2B\u0E25\u0E32\u0E22\
\u0E02\u0E2D\u0E07\u0E2A\u0E1B\u0E35\u0E0A\u0E35\u0E2A\u0E4C\u0E08\u0E33\u0E19\
\u0E27\u0E19\u0E21\u0E32\u0E01 \u0E2B\u0E23\u0E37\u0E2D\u0E2A\u0E1B\u0E35\u0E0A\
\u0E35\u0E2A\u0E4C\u0E40\u0E14\u0E35\u0E22\u0E27\u0E17\u0E35\u0E48\u0E21\u0E35\
\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E25\u0E32\u0E01\u0E2B\u0E25\u0E32\u0E22\u0E21\
\u0E32\u0E01"
B: "\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E25\u0E32\u0E01\u0E2B\u0E25\u0E32\u0E22\
\u0E02\u0E2D\u0E07\u0E2A\u0E1B\u0E35\u0E0A\u0E35\u0E2A\u0E4C\u0E19\u0E49\u0E2D\
\u0E22\u0E21\u0E32\u0E01\u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E40\u0E27\u0E25\
\u0E32\u0E19\u0E35\u0E49\u0E41\u0E25\u0E30\u0E21\u0E35 hominids \u0E19\u0E49\
\u0E2D\u0E22\u0E21\u0E32\u0E01"
C: "\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E25\u0E32\u0E01\u0E2B\u0E25\u0E32\u0E22\
\u0E02\u0E2D\u0E07\u0E2A\u0E32\u0E22\u0E1E\u0E31\u0E19\u0E18\u0E38\u0E4C\u0E25\
\u0E14\u0E25\u0E07\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E22\
\u0E38\u0E04\u0E19\u0E49\u0E33\u0E41\u0E02\u0E47\u0E07\u0E17\u0E35\u0E48\u0E22\
\u0E37\u0E14\u0E40\u0E22\u0E37\u0E49\u0E2D\u0E15\u0E32\u0E21\u0E21\u0E32\u0E14\
\u0E49\u0E27\u0E22\u0E04\u0E27\u0E32\u0E21\u0E41\u0E2B\u0E49\u0E07\u0E41\u0E25\
\u0E49\u0E07\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E23\u0E38\u0E19\u0E41\u0E23\u0E07"
D: "\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E25\u0E32\u0E01\u0E2B\u0E25\u0E32\u0E22\
\u0E02\u0E2D\u0E07\u0E0A\u0E19\u0E34\u0E14\u0E25\u0E14\u0E25\u0E07 \u0E41\u0E15\
\u0E48\u0E08\u0E33\u0E19\u0E27\u0E19\u0E2B\u0E34\u0E19\u0E04\u0E49\u0E2D\u0E19\
\u0E41\u0E25\u0E30\u0E2A\u0E30\u0E40\u0E01\u0E47\u0E14\u0E40\u0E1E\u0E34\u0E48\
\u0E21\u0E02\u0E36\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E1A\u0E48\u0E07\u0E0A\
\u0E35\u0E49\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E1C\u0E25\u0E34\u0E15\u0E40\
\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E21\u0E37\u0E2D\u0E2B\u0E34\u0E19"
input_correct_responses:
- A
input_question: "\u0E01\u0E32\u0E23\u0E27\u0E34\u0E08\u0E31\u0E22\u0E25\u0E48\u0E32\
\u0E2A\u0E38\u0E14\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E2A\
\u0E32\u0E22\u0E1E\u0E31\u0E19\u0E18\u0E38\u0E4C hominid \u0E17\u0E35\u0E48\u0E21\
\u0E32\u0E08\u0E32\u0E01 Middle Pliocene \u0E23\u0E30\u0E1A\u0E38\u0E27\u0E48\
\u0E32\u0E21\u0E35 (\u0E13 \u0E1B\u0E35 2020):"
- input_choice_list:
A: "\u0E44\u0E21\u0E48\u0E40\u0E01\u0E34\u0E19 650 \u0E0B\u0E35\u0E0B\u0E35"
B: "\u0E1B\u0E23\u0E30\u0E21\u0E32\u0E13 800 \u0E0B\u0E35\u0E0B\u0E35"
C: "\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E44\u0E21\u0E48\u0E40\u0E01\u0E34\u0E19\
\ 1,000 \u0E0B\u0E35\u0E0B\u0E35"
D: "1200 \u0E0B\u0E35\u0E0B\u0E35"
input_correct_responses:
- C
input_question: "\u0E04\u0E27\u0E32\u0E21\u0E08\u0E38\u0E01\u0E23\u0E30\u0E42\u0E2B\
\u0E25\u0E01\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E02\u0E2D\u0E07 Homo erectus\
\ \u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_prehistory
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_prehistory
task_alias: prehistory
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_professional_accounting.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "70,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C"
B: "75,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C"
C: "80,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C"
D: 100,000
input_correct_responses:
- D
input_question: "Box \u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23\u0E1E\u0E31\u0E12\u0E19\
\u0E32\u0E40\u0E2D\u0E01\u0E0A\u0E19\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E41\
\u0E2A\u0E27\u0E07\u0E2B\u0E32\u0E1C\u0E25\u0E01\u0E33\u0E44\u0E23\u0E21\u0E35\
\u0E18\u0E38\u0E23\u0E01\u0E23\u0E23\u0E21\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
\u0E35\u0E49\u0E43\u0E19\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E1B\u0E35\
: \u0E40\u0E07\u0E34\u0E19\u0E2A\u0E14\u0E23\u0E31\u0E1A\u0E08\u0E32\u0E01\u0E01\
\u0E32\u0E23\u0E02\u0E32\u0E22\u0E40\u0E07\u0E34\u0E19\u0E25\u0E07\u0E17\u0E38\
\u0E19 80,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C \u0E0B\u0E37\u0E49\u0E2D\
\u0E2D\u0E32\u0E04\u0E32\u0E23\u0E41\u0E25\u0E30\u0E2D\u0E38\u0E1B\u0E01\u0E23\
\u0E13\u0E4C 10,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C \u0E40\u0E07\u0E34\
\u0E19\u0E2A\u0E14\u0E23\u0E31\u0E1A\u0E08\u0E32\u0E01\u0E2B\u0E19\u0E35\u0E49\
\u0E23\u0E30\u0E22\u0E30\u0E22\u0E32\u0E27 100,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\
\u0E23\u0E4C \u0E02\u0E32\u0E14\u0E17\u0E38\u0E19\u0E08\u0E32\u0E01\u0E01\u0E32\
\u0E23\u0E02\u0E32\u0E22\u0E40\u0E07\u0E34\u0E19\u0E25\u0E07\u0E17\u0E38\u0E19\
\ 5,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C \u0E08\u0E33\u0E19\u0E27\u0E19\
\u0E40\u0E07\u0E34\u0E19\u0E17\u0E35\u0E48\u0E04\u0E27\u0E23\u0E23\u0E32\u0E22\
\u0E07\u0E32\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E38\u0E17\u0E18\u0E34 \u0E40\
\u0E07\u0E34\u0E19\u0E2A\u0E14\u0E44\u0E14\u0E49\u0E21\u0E32\u0E08\u0E32\u0E01\
\u0E01\u0E34\u0E08\u0E01\u0E23\u0E23\u0E21\u0E08\u0E31\u0E14\u0E2B\u0E32\u0E40\
\u0E07\u0E34\u0E19\u0E43\u0E19\u0E07\u0E1A\u0E01\u0E23\u0E30\u0E41\u0E2A\u0E40\
\u0E07\u0E34\u0E19\u0E2A\u0E14\u0E02\u0E2D\u0E07 Box?"
- input_choice_list:
A: $13,000
B: $600
C: $15,000
D: $28,000
input_correct_responses:
- A
input_question: "\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E23\u0E49\u0E2D\u0E22\u0E1B\u0E35\
\u0E17\u0E35\u0E48\u0E41\u0E25\u0E49\u0E27 \u0E04\u0E38\u0E13\u0E17\u0E27\u0E14\
\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E25\u0E07\u0E17\u0E38\u0E19 $100 \u0E14\
\u0E49\u0E27\u0E22\u0E14\u0E2D\u0E01\u0E40\u0E1A\u0E35\u0E49\u0E22 5% \u0E15\
\u0E48\u0E2D\u0E1B\u0E35 \u0E01\u0E32\u0E23\u0E25\u0E07\u0E17\u0E38\u0E19\u0E27\
\u0E31\u0E19\u0E19\u0E35\u0E49\u0E04\u0E38\u0E49\u0E21\u0E04\u0E48\u0E32\u0E41\
\u0E04\u0E48\u0E44\u0E2B\u0E19?"
- input_choice_list:
A: $0
B: $500
C: $1,650
D: $16,500
input_correct_responses:
- A
input_question: "Krete \u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E39\u0E49\u0E40\u0E2A\u0E35\
\u0E22\u0E20\u0E32\u0E29\u0E35\u0E42\u0E2A\u0E14\u0E17\u0E35\u0E48\u0E21\u0E35\
\u0E23\u0E32\u0E22\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E04\u0E48\u0E32\u0E08\
\u0E49\u0E32\u0E07\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E20\u0E32\
\u0E22\u0E43\u0E19\u0E27\u0E31\u0E19\u0E17\u0E35\u0E48 31 \u0E18\u0E31\u0E19\
\u0E27\u0E32\u0E04\u0E21 \u0E1B\u0E35\u0E17\u0E35\u0E48 1 \u0E19\u0E32\u0E22\
\u0E08\u0E49\u0E32\u0E07\u0E02\u0E2D\u0E07 Krete \u0E44\u0E14\u0E49\u0E2B\u0E31\
\u0E01\u0E20\u0E32\u0E29\u0E35\u0E23\u0E32\u0E22\u0E44\u0E14\u0E49\u0E02\u0E2D\
\u0E07\u0E23\u0E31\u0E10\u0E1A\u0E32\u0E25\u0E01\u0E25\u0E32\u0E07\u0E08\u0E33\
\u0E19\u0E27\u0E19 16,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C \u0E41\u0E25\
\u0E30 Krete \u0E22\u0E31\u0E07\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E08\u0E48\
\u0E32\u0E22\u0E20\u0E32\u0E29\u0E35\u0E42\u0E14\u0E22\u0E1B\u0E23\u0E30\u0E21\
\u0E32\u0E13 \u0E43\u0E19\u0E27\u0E31\u0E19\u0E17\u0E35\u0E48 15 \u0E40\u0E21\
\u0E29\u0E32\u0E22\u0E19 \u0E1B\u0E35\u0E17\u0E35\u0E48 2 \u0E04\u0E23\u0E35\
\u0E15\u0E44\u0E14\u0E49\u0E22\u0E37\u0E48\u0E19\u0E04\u0E33\u0E23\u0E49\u0E2D\
\u0E07\u0E02\u0E2D\u0E02\u0E22\u0E32\u0E22\u0E40\u0E27\u0E25\u0E32\u0E22\u0E37\
\u0E48\u0E19\u0E41\u0E1A\u0E1A\u0E41\u0E2A\u0E14\u0E07\u0E23\u0E32\u0E22\u0E01\
\u0E32\u0E23\u0E20\u0E32\u0E29\u0E35\u0E2A\u0E48\u0E27\u0E19\u0E1A\u0E38\u0E04\
\u0E04\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E18\u0E2D\u0E2D\u0E22\u0E48\u0E32\u0E07\
\u0E17\u0E31\u0E19\u0E17\u0E48\u0E27\u0E07\u0E17\u0E35 \u0E41\u0E25\u0E30\u0E08\
\u0E48\u0E32\u0E22\u0E20\u0E32\u0E29\u0E35\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\
\u0E15\u0E34\u0E21 300 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C \u0E04\u0E27\
\u0E32\u0E21\u0E23\u0E31\u0E1A\u0E1C\u0E34\u0E14\u0E17\u0E32\u0E07\u0E20\u0E32\
\u0E29\u0E35\u0E1B\u0E35\u0E17\u0E35\u0E48 1 \u0E02\u0E2D\u0E07 Krete \u0E2D\
\u0E22\u0E39\u0E48\u0E17\u0E35\u0E48 16,500 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\
\u0E4C \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E18\u0E2D\u0E22\u0E37\u0E48\u0E19\
\u0E41\u0E1A\u0E1A\u0E41\u0E2A\u0E14\u0E07\u0E23\u0E32\u0E22\u0E01\u0E32\u0E23\
\u0E20\u0E32\u0E29\u0E35\u0E43\u0E19\u0E27\u0E31\u0E19\u0E17\u0E35\u0E48 30\
\ \u0E40\u0E21\u0E29\u0E32\u0E22\u0E19 \u0E1B\u0E35\u0E17\u0E35\u0E48 2 \u0E15\
\u0E32\u0E21\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E40\u0E27\u0E25\u0E32 \u0E41\u0E25\
\u0E30\u0E0A\u0E33\u0E23\u0E30\u0E22\u0E2D\u0E14\u0E20\u0E32\u0E29\u0E35\u0E17\
\u0E35\u0E48\u0E40\u0E2B\u0E25\u0E37\u0E2D\u0E2D\u0E22\u0E39\u0E48 \u0E08\u0E33\
\u0E19\u0E27\u0E19\u0E40\u0E17\u0E48\u0E32\u0E43\u0E14\u0E17\u0E35\u0E48\u0E08\
\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E16\u0E39\u0E01\u0E1B\u0E23\u0E31\u0E1A\u0E2A\
\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E0A\u0E33\u0E23\u0E30\u0E20\
\u0E32\u0E29\u0E35\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E40\u0E21\u0E34\u0E19\
\u0E44\u0E27\u0E49\u0E15\u0E48\u0E33\u0E01\u0E27\u0E48\u0E32\u0E04\u0E27\u0E32\
\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E23\u0E34\u0E07?"
- input_choice_list:
A: "5,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C"
B: $13,500
C: $16,000
D: $20,000
input_correct_responses:
- B
input_question: "\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E27\u0E31\u0E19\u0E17\u0E35\u0E48\
\ 1 \u0E21\u0E01\u0E23\u0E32\u0E04\u0E21 \u0E1B\u0E35\u0E17\u0E35\u0E48 1 Alpha\
\ Co. \u0E44\u0E14\u0E49\u0E25\u0E07\u0E19\u0E32\u0E21\u0E43\u0E19\u0E02\u0E49\
\u0E2D\u0E15\u0E01\u0E25\u0E07\u0E01\u0E32\u0E23\u0E1A\u0E33\u0E23\u0E38\u0E07\
\u0E23\u0E31\u0E01\u0E29\u0E32\u0E23\u0E32\u0E22\u0E1B\u0E35\u0E01\u0E31\u0E1A\
\u0E1C\u0E39\u0E49\u0E43\u0E2B\u0E49\u0E1A\u0E23\u0E34\u0E01\u0E32\u0E23\u0E0B\
\u0E2D\u0E1F\u0E15\u0E4C\u0E41\u0E27\u0E23\u0E4C\u0E43\u0E19\u0E23\u0E32\u0E04\
\u0E32 15,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C \u0E41\u0E25\u0E30\u0E23\
\u0E30\u0E22\u0E30\u0E40\u0E27\u0E25\u0E32\u0E01\u0E32\u0E23\u0E1A\u0E33\u0E23\
\u0E38\u0E07\u0E23\u0E31\u0E01\u0E29\u0E32\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\
\u0E21\u0E43\u0E19\u0E27\u0E31\u0E19\u0E17\u0E35\u0E48 1 \u0E21\u0E35\u0E19\u0E32\
\u0E04\u0E21 \u0E1B\u0E35\u0E17\u0E35\u0E48 2 \u0E19\u0E2D\u0E01\u0E08\u0E32\
\u0E01\u0E19\u0E35\u0E49 Alpha \u0E22\u0E31\u0E07\u0E21\u0E35\u0E04\u0E48\u0E32\
\u0E43\u0E0A\u0E49\u0E08\u0E48\u0E32\u0E22 5,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\
\u0E23\u0E4C\u0E43\u0E19\u0E27\u0E31\u0E19\u0E17\u0E35\u0E48 1 \u0E21\u0E01\u0E23\
\u0E32\u0E04\u0E21 \u0E1B\u0E35\u0E17\u0E35\u0E48 1 \u0E0B\u0E36\u0E48\u0E07\
\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\
\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\
\u0E19\u0E0B\u0E2D\u0E1F\u0E15\u0E4C\u0E41\u0E27\u0E23\u0E4C \u0E04\u0E33\u0E02\
\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E1F\u0E31\
\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E01\u0E32\u0E23\u0E17\u0E33\u0E07\u0E32\
\u0E19\u0E02\u0E2D\u0E07\u0E0B\u0E2D\u0E1F\u0E15\u0E4C\u0E41\u0E27\u0E23\u0E4C\
\ Alpha \u0E08\u0E30\u0E04\u0E34\u0E14\u0E04\u0E48\u0E32\u0E40\u0E2A\u0E37\u0E48\
\u0E2D\u0E21\u0E23\u0E32\u0E04\u0E32\u0E41\u0E25\u0E30\u0E15\u0E31\u0E14\u0E08\
\u0E33\u0E2B\u0E19\u0E48\u0E32\u0E22\u0E2A\u0E34\u0E19\u0E17\u0E23\u0E31\u0E1E\
\u0E22\u0E4C\u0E04\u0E2D\u0E21\u0E1E\u0E34\u0E27\u0E40\u0E15\u0E2D\u0E23\u0E4C\
\u0E41\u0E25\u0E30\u0E0B\u0E2D\u0E1F\u0E15\u0E4C\u0E41\u0E27\u0E23\u0E4C\u0E40\
\u0E1B\u0E47\u0E19\u0E40\u0E27\u0E25\u0E32\u0E2B\u0E49\u0E32\u0E1B\u0E35\u0E42\
\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E27\u0E34\u0E18\u0E35\u0E40\u0E2A\u0E49\u0E19\
\u0E15\u0E23\u0E07 \u0E04\u0E48\u0E32\u0E43\u0E0A\u0E49\u0E08\u0E48\u0E32\u0E22\
\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E17\u0E35\u0E48 Alpha \u0E04\u0E27\
\u0E23\u0E23\u0E31\u0E1A\u0E23\u0E39\u0E49\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\
\u0E01\u0E31\u0E1A\u0E02\u0E49\u0E2D\u0E15\u0E01\u0E25\u0E07\u0E01\u0E32\u0E23\
\u0E1A\u0E33\u0E23\u0E38\u0E07\u0E23\u0E31\u0E01\u0E29\u0E32\u0E41\u0E25\u0E30\
\u0E01\u0E32\u0E23\u0E41\u0E01\u0E49\u0E44\u0E02\u0E0B\u0E2D\u0E1F\u0E15\u0E4C\
\u0E41\u0E27\u0E23\u0E4C\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E1B\u0E35\u0E2A\
\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14\u0E27\u0E31\u0E19\u0E17\u0E35\u0E48 31\
\ \u0E18\u0E31\u0E19\u0E27\u0E32\u0E04\u0E21 \u0E1B\u0E35\u0E17\u0E35\u0E48\
\ 1 \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E33\u0E19\u0E27\u0E19\u0E40\u0E17\u0E48\
\u0E32\u0E43\u0E14"
- input_choice_list:
A: "\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E40\u0E21\u0E34\u0E19\u0E21\u0E39\
\u0E25\u0E04\u0E48\u0E32\u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\
\u0E2A\u0E23\u0E23"
B: "\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E21\u0E1A\u0E39\u0E23\u0E13\u0E4C"
C: "\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E41\u0E25\u0E30\u0E2B\u0E19\u0E49\u0E32\
\u0E17\u0E35\u0E48"
D: "\u0E01\u0E32\u0E23\u0E19\u0E33\u0E40\u0E2A\u0E19\u0E2D\u0E41\u0E25\u0E30\
\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E34\u0E14\u0E40\u0E1C\u0E22\u0E02\u0E49\u0E2D\
\u0E21\u0E39\u0E25"
input_correct_responses:
- B
input_question: "\u0E1C\u0E39\u0E49\u0E2A\u0E2D\u0E1A\u0E1A\u0E31\u0E0D\u0E0A\u0E35\
\u0E15\u0E34\u0E14\u0E15\u0E32\u0E21\u0E2B\u0E21\u0E32\u0E22\u0E40\u0E25\u0E02\
\u0E1B\u0E23\u0E30\u0E08\u0E33\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E1A\
\u0E19\u0E2D\u0E38\u0E1B\u0E01\u0E23\u0E13\u0E4C\u0E44\u0E1B\u0E22\u0E31\u0E07\
\u0E1A\u0E31\u0E0D\u0E0A\u0E35\u0E41\u0E22\u0E01\u0E1B\u0E23\u0E30\u0E40\u0E20\
\u0E17\u0E22\u0E48\u0E2D\u0E22\u0E02\u0E2D\u0E07\u0E1C\u0E39\u0E49\u0E44\u0E21\
\u0E48\u0E2D\u0E2D\u0E01\u0E15\u0E23\u0E32\u0E2A\u0E32\u0E23 \u0E01\u0E32\u0E23\
\u0E17\u0E14\u0E2A\u0E2D\u0E1A\u0E19\u0E35\u0E49\u0E23\u0E2D\u0E07\u0E23\u0E31\
\u0E1A\u0E01\u0E32\u0E23\u0E22\u0E37\u0E19\u0E22\u0E31\u0E19\u0E01\u0E32\u0E23\
\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\
\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_professional_accounting
tag: mmlu_th_llama_other_tasks
task: mmlu_th_llama_professional_accounting
task_alias: professional_accounting
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_professional_law.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E01\u0E0E\u0E40\u0E01\u0E13\u0E11\u0E4C\u0E14\u0E31\u0E07\u0E01\u0E25\
\u0E48\u0E32\u0E27\u0E16\u0E37\u0E2D\u0E40\u0E1B\u0E47\u0E19\u0E42\u0E21\u0E06\
\u0E30\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\
\u0E21\u0E04\u0E25\u0E38\u0E21\u0E40\u0E04\u0E23\u0E37\u0E2D\u0E20\u0E32\u0E22\
\u0E43\u0E15\u0E49\u0E21\u0E32\u0E15\u0E23\u0E32\u0E01\u0E23\u0E30\u0E1A\u0E27\
\u0E19\u0E01\u0E32\u0E23\u0E2D\u0E31\u0E19\u0E0A\u0E2D\u0E1A\u0E18\u0E23\u0E23\
\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E41\u0E1B\u0E23\u0E0D\u0E31\u0E15\u0E15\
\u0E34\u0E09\u0E1A\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E2A\u0E34\u0E1A\u0E2A\u0E35\
\u0E48"
B: "\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E44\u0E21\u0E48\u0E16\u0E39\u0E01\
\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E25\u0E30\u0E40\u0E21\
\u0E34\u0E14\u0E40\u0E2A\u0E23\u0E35\u0E20\u0E32\u0E1E\u0E43\u0E19\u0E01\u0E32\
\u0E23\u0E1E\u0E39\u0E14\u0E02\u0E2D\u0E07\u0E1C\u0E39\u0E49\u0E23\u0E49\u0E2D\
\u0E07\u0E20\u0E32\u0E22\u0E43\u0E15\u0E49\u0E01\u0E32\u0E23\u0E41\u0E01\u0E49\
\u0E44\u0E02\u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E23\u0E01"
C: "\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E14\u0E31\u0E07\u0E01\u0E25\u0E48\
\u0E32\u0E27\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E17\
\u0E2D\u0E19\u0E40\u0E2A\u0E23\u0E35\u0E20\u0E32\u0E1E\u0E43\u0E19\u0E01\u0E32\
\u0E23\u0E1E\u0E39\u0E14\u0E20\u0E32\u0E22\u0E43\u0E15\u0E49\u0E01\u0E32\u0E23\
\u0E41\u0E01\u0E49\u0E44\u0E02\u0E04\u0E23\u0E31\u0E49\u0E07\u0E17\u0E35\u0E48\
\ 1 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E21\u0E35\u0E27\
\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E08\u0E33\u0E01\u0E31\u0E14\u0E19\u0E49\
\u0E2D\u0E22\u0E01\u0E27\u0E48\u0E32\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\
\u0E49\u0E1A\u0E23\u0E23\u0E25\u0E38\u0E27\u0E31\u0E15\u0E16\u0E38\u0E1B\u0E23\
\u0E30\u0E2A\u0E07\u0E04\u0E4C\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19"
D: "\u0E01\u0E0E\u0E40\u0E01\u0E13\u0E11\u0E4C\u0E19\u0E31\u0E49\u0E19\u0E01\
\u0E27\u0E49\u0E32\u0E07\u0E40\u0E01\u0E34\u0E19\u0E44\u0E1B\u0E41\u0E25\u0E30\
\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E25\u0E43\u0E2B\u0E49\u0E44\u0E21\u0E48\u0E16\
\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E20\u0E32\u0E22\u0E43\u0E15\u0E49\u0E01\
\u0E32\u0E23\u0E41\u0E01\u0E49\u0E44\u0E02\u0E04\u0E23\u0E31\u0E49\u0E07\u0E17\
\u0E35\u0E48\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E41\u0E25\u0E30\u0E2A\u0E34\u0E1A\
\u0E2A\u0E35\u0E48"
input_correct_responses:
- D
input_question: "\u0E2A\u0E20\u0E32\u0E19\u0E34\u0E15\u0E34\u0E1A\u0E31\u0E0D\u0E0D\
\u0E15\u0E34\u0E41\u0E2B\u0E48\u0E07\u0E23\u0E31\u0E10\u0E40\u0E1E\u0E34\u0E48\
\u0E07\u0E2D\u0E2D\u0E01\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E01\u0E33\u0E2B\
\u0E19\u0E14\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E2A\u0E32\u0E1B\u0E41\u0E0A\
\u0E48\u0E07 \u0E1B\u0E23\u0E30\u0E13\u0E32\u0E21 \u0E2B\u0E23\u0E37\u0E2D\u0E43\
\u0E0A\u0E49\u0E20\u0E32\u0E29\u0E32\u0E25\u0E32\u0E21\u0E01\u0E2D\u0E19\u0E32\
\u0E08\u0E32\u0E23\u0E2B\u0E23\u0E37\u0E2D\u0E14\u0E39\u0E2B\u0E21\u0E34\u0E48\
\u0E19\u0E2B\u0E23\u0E37\u0E2D\u0E01\u0E25\u0E48\u0E32\u0E27\u0E16\u0E36\u0E07\
\u0E40\u0E08\u0E49\u0E32\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\u0E15\u0E33\
\u0E23\u0E27\u0E08\u0E17\u0E35\u0E48\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34\
\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E27\
\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E17\u0E32\u0E07\u0E2D\u0E32\u0E0D\u0E32 \u0E19\
\u0E31\u0E01\u0E28\u0E36\u0E01\u0E29\u0E32\u0E21\u0E2B\u0E32\u0E27\u0E34\u0E17\
\u0E22\u0E32\u0E25\u0E31\u0E22\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\u0E08\u0E31\
\u0E14\u0E40\u0E14\u0E34\u0E19\u0E02\u0E1A\u0E27\u0E19\u0E43\u0E19\u0E21\u0E2B\
\u0E32\u0E27\u0E34\u0E17\u0E22\u0E32\u0E25\u0E31\u0E22\u0E40\u0E1E\u0E37\u0E48\
\u0E2D\u0E1B\u0E23\u0E30\u0E17\u0E49\u0E27\u0E07\u0E2A\u0E07\u0E04\u0E23\u0E32\
\u0E21 \u0E01\u0E32\u0E23\u0E0A\u0E38\u0E21\u0E19\u0E38\u0E21\u0E21\u0E35\u0E01\
\u0E25\u0E38\u0E48\u0E21\u0E19\u0E31\u0E01\u0E28\u0E36\u0E01\u0E29\u0E32 50\
\ \u0E04\u0E19\u0E40\u0E02\u0E49\u0E32\u0E23\u0E48\u0E27\u0E21 \u0E15\u0E30\u0E42\
\u0E01\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E15\u0E48\u0E2D\u0E15\
\u0E49\u0E32\u0E19\u0E2A\u0E07\u0E04\u0E23\u0E32\u0E21\u0E43\u0E2A\u0E48\u0E23\
\u0E16\u0E22\u0E19\u0E15\u0E4C\u0E17\u0E35\u0E48\u0E02\u0E31\u0E1A\u0E1C\u0E48\
\u0E32\u0E19\u0E44\u0E1B\u0E21\u0E32 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E2A\
\u0E14\u0E07\u0E04\u0E27\u0E32\u0E21\u0E14\u0E39\u0E16\u0E39\u0E01\u0E2A\u0E2B\
\u0E23\u0E31\u0E10\u0E2D\u0E40\u0E21\u0E23\u0E34\u0E01\u0E32 \u0E19\u0E31\u0E01\
\u0E40\u0E23\u0E35\u0E22\u0E19\u0E04\u0E19\u0E19\u0E31\u0E49\u0E19\u0E40\u0E22\
\u0E47\u0E1A\u0E18\u0E07\u0E0A\u0E32\u0E15\u0E34\u0E2D\u0E40\u0E21\u0E23\u0E34\
\u0E01\u0E31\u0E19\u0E17\u0E35\u0E48\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E25\u0E31\
\u0E07\u0E01\u0E32\u0E07\u0E40\u0E01\u0E07\u0E22\u0E35\u0E19\u0E2A\u0E4C\u0E02\
\u0E2D\u0E07\u0E40\u0E02\u0E32 \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E08\u0E49\
\u0E32\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\u0E15\u0E33\u0E23\u0E27\u0E08\
\u0E40\u0E2B\u0E47\u0E19\u0E18\u0E07\u0E17\u0E35\u0E48\u0E1B\u0E31\u0E01\u0E2D\
\u0E22\u0E39\u0E48\u0E1A\u0E19\u0E01\u0E32\u0E07\u0E40\u0E01\u0E07\u0E22\u0E35\
\u0E19\u0E2A\u0E4C\u0E02\u0E2D\u0E07\u0E19\u0E31\u0E01\u0E40\u0E23\u0E35\u0E22\
\u0E19 \u0E40\u0E02\u0E32\u0E40\u0E14\u0E34\u0E19\u0E40\u0E02\u0E49\u0E32\u0E21\
\u0E32\u0E2B\u0E32\u0E41\u0E25\u0E30\u0E1A\u0E2D\u0E01\u0E43\u0E2B\u0E49\u0E40\
\u0E02\u0E32\u0E16\u0E2D\u0E14\u0E18\u0E07\u0E2D\u0E2D\u0E01 \u0E21\u0E34\u0E09\
\u0E30\u0E19\u0E31\u0E49\u0E19\u0E40\u0E02\u0E32\u0E08\u0E30\u0E16\u0E39\u0E01\
\u0E08\u0E31\u0E1A\u0E01\u0E38\u0E21 \u0E19\u0E31\u0E01\u0E40\u0E23\u0E35\u0E22\
\u0E19\u0E04\u0E19\u0E19\u0E31\u0E49\u0E19\u0E42\u0E01\u0E23\u0E18\u0E41\u0E25\
\u0E30\u0E15\u0E30\u0E42\u0E01\u0E19\u0E43\u0E2A\u0E48\u0E40\u0E08\u0E49\u0E32\
\u0E2B\u0E19\u0E49\u0E32\u0E17\u0E35\u0E48\u0E15\u0E33\u0E23\u0E27\u0E08\u0E27\
\u0E48\u0E32 "\u0E1F\u0E31\u0E07\u0E19\u0E30 \u0E44\u0E2D\u0E49\u0E2A\u0E32\
\u0E23\u0E40\u0E25\u0E27 \u0E09\u0E31\u0E19\u0E08\u0E30\u0E43\u0E2A\u0E48\u0E1C\
\u0E49\u0E32\u0E02\u0E35\u0E49\u0E23\u0E34\u0E49\u0E27\u0E19\u0E35\u0E49\u0E17\
\u0E38\u0E01\u0E17\u0E35\u0E48\u0E17\u0E35\u0E48\u0E09\u0E31\u0E19\u0E1E\u0E2D\
\u0E43\u0E08" \u0E43\u0E19\u0E40\u0E27\u0E25\u0E32\u0E15\u0E48\u0E2D\u0E21\
\u0E32 \u0E19\u0E31\u0E01\u0E40\u0E23\u0E35\u0E22\u0E19\u0E04\u0E19\u0E19\u0E31\
\u0E49\u0E19\u0E16\u0E39\u0E01\u0E08\u0E31\u0E1A\u0E01\u0E38\u0E21\u0E41\u0E25\
\u0E30\u0E16\u0E39\u0E01\u0E15\u0E31\u0E49\u0E07\u0E02\u0E49\u0E2D\u0E2B\u0E32\
\u0E25\u0E30\u0E40\u0E21\u0E34\u0E14\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E02\
\u0E2D\u0E07\u0E23\u0E31\u0E10 \u0E43\u0E19\u0E40\u0E27\u0E25\u0E32\u0E15\u0E48\
\u0E2D\u0E21\u0E32\u0E19\u0E31\u0E01\u0E40\u0E23\u0E35\u0E22\u0E19\u0E44\u0E14\
\u0E49\u0E22\u0E37\u0E48\u0E19\u0E1F\u0E49\u0E2D\u0E07\u0E15\u0E48\u0E2D\u0E28\
\u0E32\u0E25\u0E02\u0E2D\u0E07\u0E23\u0E31\u0E10\u0E40\u0E1E\u0E37\u0E48\u0E2D\
\u0E17\u0E49\u0E32\u0E17\u0E32\u0E22\u0E04\u0E27\u0E32\u0E21\u0E0A\u0E2D\u0E1A\
\u0E14\u0E49\u0E27\u0E22\u0E23\u0E31\u0E10\u0E18\u0E23\u0E23\u0E21\u0E19\u0E39\
\u0E0D\u0E02\u0E2D\u0E07\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22 \u0E02\u0E49\u0E2D\
\u0E42\u0E15\u0E49\u0E41\u0E22\u0E49\u0E07\u0E15\u0E32\u0E21\u0E23\u0E31\u0E10\
\u0E18\u0E23\u0E23\u0E21\u0E19\u0E39\u0E0D\u0E17\u0E35\u0E48\u0E41\u0E02\u0E47\
\u0E07\u0E41\u0E01\u0E23\u0E48\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E2A\
\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E19\u0E31\u0E01\u0E40\u0E23\u0E35\u0E22\u0E19\
\u0E01\u0E47\u0E04\u0E37\u0E2D"
- input_choice_list:
A: "\u0E02\u0E49\u0E2D\u0E1E\u0E32\u0E13\u0E34\u0E0A\u0E22\u0E4C."
B: "\u0E21\u0E32\u0E15\u0E23\u0E32\u0E01\u0E32\u0E23\u0E1B\u0E49\u0E2D\u0E07\
\u0E01\u0E31\u0E19\u0E17\u0E35\u0E48\u0E40\u0E17\u0E48\u0E32\u0E40\u0E17\u0E35\
\u0E22\u0E21\u0E01\u0E31\u0E19\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E41\u0E01\
\u0E49\u0E44\u0E02\u0E04\u0E23\u0E31\u0E49\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E34\
\u0E1A\u0E2A\u0E35\u0E48"
C: "\u0E02\u0E49\u0E2D\u0E40\u0E2D\u0E01\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E4C\
\u0E41\u0E25\u0E30\u0E04\u0E27\u0E32\u0E21\u0E04\u0E38\u0E49\u0E21\u0E01\u0E31\
\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D IV \u0E2A\u0E48\u0E27\u0E19\u0E17\
\u0E35\u0E48 2"
D: "\u0E02\u0E49\u0E2D\u0E2A\u0E31\u0E0D\u0E0D\u0E32."
input_correct_responses:
- A
input_question: "\u0E23\u0E31\u0E10\u0E40\u0E1E\u0E34\u0E48\u0E07\u0E2D\u0E2D\u0E01\
\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E2B\u0E49\u0E32\u0E21\u0E17\u0E34\u0E49\
\u0E07\u0E01\u0E32\u0E01\u0E19\u0E34\u0E27\u0E40\u0E04\u0E25\u0E35\u0E22\u0E23\
\u0E4C\u0E20\u0E32\u0E22\u0E43\u0E19\u0E23\u0E31\u0E10 \u0E01\u0E0E\u0E2B\u0E21\
\u0E32\u0E22\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E02\u0E31\u0E14\u0E2B\u0E23\
\u0E37\u0E2D\u0E02\u0E31\u0E14\u0E41\u0E22\u0E49\u0E07\u0E01\u0E31\u0E1A\u0E01\
\u0E0E\u0E40\u0E01\u0E13\u0E11\u0E4C\u0E43\u0E14\u0E46 \u0E02\u0E2D\u0E07\u0E23\
\u0E31\u0E10\u0E1A\u0E32\u0E25\u0E01\u0E25\u0E32\u0E07 \u0E0A\u0E32\u0E22\u0E04\
\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\
\u0E34\u0E08\u0E01\u0E32\u0E23\u0E1A\u0E23\u0E34\u0E29\u0E31\u0E17\u0E43\u0E19\
\u0E23\u0E31\u0E10\u0E17\u0E35\u0E48\u0E17\u0E33\u0E18\u0E38\u0E23\u0E01\u0E34\
\u0E08\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\
\u0E01\u0E33\u0E08\u0E31\u0E14\u0E01\u0E32\u0E01\u0E19\u0E34\u0E27\u0E40\u0E04\
\u0E25\u0E35\u0E22\u0E23\u0E4C \u0E20\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E07\u0E01\
\u0E32\u0E23\u0E1C\u0E48\u0E32\u0E19\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E02\
\u0E2D\u0E07\u0E23\u0E31\u0E10 \u0E0A\u0E32\u0E22\u0E1C\u0E39\u0E49\u0E0B\u0E36\
\u0E48\u0E07\u0E22\u0E31\u0E07\u0E44\u0E21\u0E48\u0E17\u0E23\u0E32\u0E1A\u0E01\
\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E43\u0E2B\u0E21\u0E48\u0E44\u0E14\u0E49\u0E17\
\u0E33\u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E01\u0E31\u0E1A\u0E1A\u0E23\u0E34\u0E29\
\u0E31\u0E17\u0E19\u0E2D\u0E01\u0E23\u0E31\u0E10\u0E2B\u0E25\u0E32\u0E22\u0E41\
\u0E2B\u0E48\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E33\u0E08\u0E31\u0E14\
\u0E01\u0E32\u0E01\u0E19\u0E34\u0E27\u0E40\u0E04\u0E25\u0E35\u0E22\u0E23\u0E4C\
\u0E43\u0E19\u0E23\u0E31\u0E10 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\
\u0E47\u0E15\u0E32\u0E21 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\
\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E43\u0E2B\u0E21\u0E48\u0E19\u0E35\u0E49\
\ \u0E1C\u0E39\u0E49\u0E0A\u0E32\u0E22\u0E08\u0E30\u0E44\u0E21\u0E48\u0E2A\u0E32\
\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E40\u0E2B\
\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49 \u0E2A\u0E21\u0E21\u0E15\
\u0E34\u0E27\u0E48\u0E32\u0E0A\u0E32\u0E22\u0E04\u0E19\u0E19\u0E31\u0E49\u0E19\
\u0E22\u0E37\u0E19\u0E2B\u0E22\u0E31\u0E14\u0E17\u0E35\u0E48\u0E08\u0E30\u0E17\
\u0E49\u0E32\u0E17\u0E32\u0E22\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E2D\
\u0E07\u0E23\u0E31\u0E10\u0E19\u0E35\u0E49 \u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\
\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E41\u0E2A\u0E14\u0E07\u0E16\u0E36\
\u0E07\u0E40\u0E2B\u0E15\u0E38\u0E1C\u0E25\u0E15\u0E32\u0E21\u0E23\u0E31\u0E10\
\u0E18\u0E23\u0E23\u0E21\u0E19\u0E39\u0E0D\u0E17\u0E35\u0E48\u0E41\u0E02\u0E47\
\u0E07\u0E41\u0E01\u0E23\u0E48\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\
\u0E2D\u0E07\u0E40\u0E02\u0E32\u0E43\u0E19\u0E01\u0E32\u0E23\u0E17\u0E49\u0E32\
\u0E17\u0E32\u0E22\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E23\
\u0E31\u0E10\u0E17\u0E35\u0E48\u0E2B\u0E49\u0E32\u0E21\u0E01\u0E32\u0E23\u0E01\
\u0E33\u0E08\u0E31\u0E14\u0E01\u0E32\u0E01\u0E19\u0E34\u0E27\u0E40\u0E04\u0E25\
\u0E35\u0E22\u0E23\u0E4C\u0E20\u0E32\u0E22\u0E43\u0E19\u0E23\u0E31\u0E10"
- input_choice_list:
A: "\u0E02\u0E49\u0E2D\u0E40\u0E17\u0E47\u0E08\u0E08\u0E23\u0E34\u0E07\u0E17\
\u0E35\u0E48\u0E40\u0E16\u0E35\u0E22\u0E07\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49"
B: "\u0E02\u0E49\u0E2D\u0E40\u0E17\u0E47\u0E08\u0E08\u0E23\u0E34\u0E07\u0E17\
\u0E35\u0E48\u0E16\u0E39\u0E01\u0E01\u0E25\u0E48\u0E32\u0E27\u0E2B\u0E32\u0E42\
\u0E14\u0E22\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23\u0E17\u0E32\u0E07\u0E01\u0E32\
\u0E23\u0E40\u0E21\u0E37\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2D\u0E07\
\u0E04\u0E4C\u0E01\u0E23"
C: "\u0E02\u0E49\u0E2D\u0E40\u0E17\u0E47\u0E08\u0E08\u0E23\u0E34\u0E07\u0E17\
\u0E35\u0E48\u0E23\u0E31\u0E1A\u0E23\u0E39\u0E49\u0E42\u0E14\u0E22\u0E17\u0E31\
\u0E48\u0E27\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E04\
\u0E27\u0E32\u0E21\u0E08\u0E23\u0E34\u0E07"
D: "\u0E02\u0E49\u0E2D\u0E40\u0E17\u0E47\u0E08\u0E08\u0E23\u0E34\u0E07\u0E17\
\u0E35\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E15\u0E23\u0E27\u0E08\u0E2A\
\u0E2D\u0E1A\u0E44\u0E14\u0E49\u0E17\u0E32\u0E07\u0E27\u0E34\u0E17\u0E22\u0E32\
\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C"
input_correct_responses:
- B
input_question: "\u0E1C\u0E39\u0E49\u0E1E\u0E34\u0E1E\u0E32\u0E01\u0E29\u0E32\u0E44\
\u0E14\u0E49\u0E41\u0E08\u0E49\u0E07\u0E43\u0E2B\u0E49\u0E17\u0E23\u0E32\u0E1A\
\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E40\u0E17\u0E47\u0E08\u0E08\u0E23\u0E34\
\u0E07\u0E1A\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E01\u0E32\u0E23\u0E43\u0E19\u0E0A\
\u0E48\u0E27\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\
\u0E07\u0E01\u0E32\u0E23\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\u0E04\u0E14\
\u0E35 \u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\
\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E02\u0E49\u0E2D\u0E40\u0E17\u0E47\
\u0E08\u0E08\u0E23\u0E34\u0E07\u0E17\u0E35\u0E48\u0E40\u0E2B\u0E21\u0E32\u0E30\
\u0E2A\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E1E\u0E34\
\u0E08\u0E32\u0E23\u0E13\u0E32\u0E04\u0E14\u0E35"
- input_choice_list:
A: "\u0E43\u0E2B\u0E49\u0E1C\u0E48\u0E2D\u0E19\u0E1B\u0E23\u0E19\u0E40\u0E1E\
\u0E23\u0E32\u0E30\u0E23\u0E31\u0E49\u0E27\u0E19\u0E31\u0E49\u0E19\u0E25\u0E30\
\u0E40\u0E21\u0E34\u0E14\u0E02\u0E49\u0E2D \u0E08\u0E33\u0E01\u0E31\u0E14\
\ \u0E04\u0E27\u0E32\u0E21\u0E2A\u0E30\u0E14\u0E27\u0E01"
B: "\u0E43\u0E2B\u0E49\u0E1C\u0E48\u0E2D\u0E19\u0E1B\u0E23\u0E19\u0E40\u0E1E\
\u0E23\u0E32\u0E30\u0E23\u0E38\u0E01\u0E25\u0E49\u0E33\u0E41\u0E19\u0E27\u0E23\
\u0E31\u0E49\u0E27\u0E1C\u0E34\u0E14\u0E02\u0E49\u0E2D\u0E08\u0E33\u0E01\u0E31\
\u0E14\u0E43\u0E19\u0E41\u0E1C\u0E19\u0E40\u0E14\u0E34\u0E21"
C: "\u0E1B\u0E0F\u0E34\u0E40\u0E2A\u0E18\u0E01\u0E32\u0E23\u0E1C\u0E48\u0E2D\
\u0E19\u0E1B\u0E23\u0E19\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E04\u0E23\u0E39\u0E44\
\u0E21\u0E48\u0E44\u0E14\u0E49\u0E1A\u0E31\u0E07\u0E04\u0E31\u0E1A\u0E43\u0E0A\
\u0E49\u0E02\u0E49\u0E2D \u0E08\u0E33\u0E01\u0E31\u0E14 \u0E01\u0E31\u0E1A\
\u0E1C\u0E39\u0E49\u0E40\u0E01\u0E29\u0E35\u0E22\u0E13\u0E2D\u0E32\u0E22\u0E38"
D: "\u0E1B\u0E0F\u0E34\u0E40\u0E2A\u0E18\u0E01\u0E32\u0E23\u0E1C\u0E48\u0E2D\
\u0E19\u0E1B\u0E23\u0E19 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\
\u0E23\u0E31\u0E49\u0E27\u0E08\u0E30\u0E44\u0E21\u0E48\u0E16\u0E39\u0E01\u0E15\
\u0E35\u0E04\u0E27\u0E32\u0E21\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 "\u0E42\
\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07" \u0E20\u0E32\u0E22\u0E43\
\u0E19\u0E40\u0E07\u0E37\u0E48\u0E2D\u0E19\u0E44\u0E02\u0E02\u0E2D\u0E07\u0E02\
\u0E49\u0E2D\u0E08\u0E33\u0E01\u0E31\u0E14"
input_correct_responses:
- B
input_question: "\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E27\u0E31\u0E19\u0E17\u0E35\u0E48\
\ 1 \u0E15\u0E38\u0E25\u0E32\u0E04\u0E21 \u0E1E.\u0E28. 2523 \u0E19\u0E31\u0E01\
\u0E1E\u0E31\u0E12\u0E19\u0E32\u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\
\u0E40\u0E08\u0E49\u0E32\u0E02\u0E2D\u0E07\u0E1E\u0E37\u0E49\u0E19\u0E17\u0E35\
\u0E48\u0E2B\u0E25\u0E32\u0E22\u0E23\u0E49\u0E2D\u0E22\u0E40\u0E2D\u0E40\u0E04\
\u0E2D\u0E23\u0E4C\u0E43\u0E19\u0E40\u0E02\u0E15\u0E0A\u0E19\u0E1A\u0E17\u0E41\
\u0E2B\u0E48\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E44\u0E14\u0E49\u0E23\u0E48\
\u0E32\u0E07\u0E41\u0E1C\u0E19\u0E1E\u0E31\u0E12\u0E19\u0E32\u0E17\u0E31\u0E48\
\u0E27\u0E44\u0E1B\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E1E\u0E37\u0E49\u0E19\
\u0E17\u0E35\u0E48\u0E14\u0E31\u0E07\u0E01\u0E25\u0E48\u0E32\u0E27 \u0E41\u0E1C\
\u0E19\u0E17\u0E35\u0E48\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E44\u0E27\u0E49\
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E44\
\u0E14\u0E49\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E02\u0E49\u0E2D\u0E08\u0E33\u0E01\
\u0E31\u0E14\u0E41\u0E25\u0E30\u0E02\u0E49\u0E2D \u0E08\u0E33\u0E01\u0E31\u0E14\
\ \u0E17\u0E35\u0E48\u0E0B\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E40\u0E01\u0E35\
\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E14\u0E34\u0E19\u0E43\
\u0E19\u0E41\u0E1C\u0E19\u0E0B\u0E36\u0E48\u0E07\u0E08\u0E30\u0E15\u0E49\u0E2D\
\u0E07\u0E1E\u0E31\u0E12\u0E19\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E22\u0E48\u0E32\
\u0E19\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E2D\u0E32\u0E28\u0E31\u0E22\
\ \u0E02\u0E49\u0E2D\u0E08\u0E33\u0E01\u0E31\u0E14\u0E14\u0E31\u0E07\u0E01\u0E25\
\u0E48\u0E32\u0E27\u0E08\u0E30\u0E02\u0E22\u0E32\u0E22\u0E44\u0E1B\u0E16\u0E36\
\u0E07\u0E17\u0E38\u0E01\u0E04\u0E19\u0E17\u0E35\u0E48\u0E04\u0E23\u0E2D\u0E1A\
\u0E04\u0E23\u0E2D\u0E07\u0E25\u0E47\u0E2D\u0E15\u0E43\u0E14 \u0E46 \u0E41\u0E25\
\u0E30\u0E17\u0E32\u0E22\u0E32\u0E17 \u0E1C\u0E39\u0E49\u0E23\u0E31\u0E1A\u0E42\
\u0E2D\u0E19\u0E2A\u0E34\u0E17\u0E18\u0E34 \u0E41\u0E25\u0E30\u0E1C\u0E39\u0E49\
\u0E40\u0E0A\u0E48\u0E32 \u0E21\u0E35\u0E40\u0E07\u0E37\u0E48\u0E2D\u0E19\u0E44\
\u0E02\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21\u0E27\u0E48\u0E32\
\u0E40\u0E08\u0E49\u0E32\u0E02\u0E2D\u0E07\u0E17\u0E35\u0E48\u0E15\u0E32\u0E21\
\u0E21\u0E32\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E08\u0E30\u0E16\u0E39\
\u0E01\u0E40\u0E23\u0E35\u0E22\u0E01\u0E40\u0E01\u0E47\u0E1A\u0E40\u0E07\u0E34\
\u0E19\u0E42\u0E14\u0E22\u0E41\u0E08\u0E49\u0E07\u0E43\u0E2B\u0E49\u0E17\u0E23\
\u0E32\u0E1A\u0E16\u0E36\u0E07\u0E02\u0E49\u0E2D\u0E08\u0E33\u0E01\u0E31\u0E14\
\ \u0E43\u0E19\u0E1A\u0E23\u0E23\u0E14\u0E32\u0E02\u0E49\u0E2D\u0E08\u0E33\u0E01\
\u0E31\u0E14\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E43\u0E19\
\u0E41\u0E1C\u0E19\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E21\u0E35\u0E14\u0E31\
\u0E07\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49: (22) \u0E2A\u0E34\u0E17\
\u0E18\u0E34\u0E4C\u0E41\u0E1F\u0E23\u0E19\u0E44\u0E0A\u0E2A\u0E4C\u0E16\u0E39\
\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E02\u0E36\u0E49\u0E19\u0E43\u0E19\u0E41\
\u0E16\u0E1A\u0E17\u0E35\u0E48\u0E14\u0E34\u0E19\u0E01\u0E27\u0E49\u0E32\u0E07\
\ 10 \u0E1F\u0E38\u0E15\u0E17\u0E35\u0E48\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E25\
\u0E31\u0E07\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E25\u0E47\u0E2D\
\u0E15\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\
\u0E02\u0E2D\u0E07\u0E1A\u0E23\u0E34\u0E29\u0E31\u0E17\u0E2A\u0E32\u0E18\u0E32\
\u0E23\u0E13\u0E39\u0E1B\u0E42\u0E20\u0E04\u0E17\u0E35\u0E48\u0E21\u0E35\u0E2A\
\u0E34\u0E17\u0E18\u0E34\u0E4C\u0E40\u0E02\u0E49\u0E32\u0E41\u0E25\u0E30\u0E2D\
\u0E2D\u0E01 (23) \u0E2B\u0E49\u0E32\u0E21\u0E1B\u0E25\u0E39\u0E01\u0E1A\u0E49\
\u0E32\u0E19\u0E2B\u0E23\u0E37\u0E2D\u0E2A\u0E34\u0E48\u0E07\u0E01\u0E48\u0E2D\
\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E43\u0E14 \u0E46 \u0E1A\u0E19\u0E17\u0E35\u0E48\
\u0E14\u0E34\u0E19\u0E14\u0E31\u0E07\u0E01\u0E25\u0E48\u0E32\u0E27\u0E17\u0E35\
\u0E48\u0E15\u0E31\u0E14\u0E1C\u0E48\u0E32\u0E19\u0E41\u0E1B\u0E25\u0E07\u0E14\
\u0E31\u0E07\u0E01\u0E25\u0E48\u0E32\u0E27 \u0E43\u0E19\u0E1B\u0E35 2000 \u0E1C\
\u0E39\u0E49\u0E40\u0E01\u0E29\u0E35\u0E22\u0E13\u0E2D\u0E32\u0E22\u0E38\u0E04\
\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E44\u0E14\u0E49\u0E0B\u0E37\u0E49\u0E2D\
\u0E17\u0E35\u0E48\u0E14\u0E34\u0E19\u0E1C\u0E37\u0E19\u0E2B\u0E19\u0E36\u0E48\
\u0E07 \u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1A\u0E49\u0E32\u0E19 \u0E41\u0E25\u0E30\
\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E23\u0E31\u0E49\u0E27\u0E14\u0E49\u0E32\u0E19\
\u0E2B\u0E25\u0E31\u0E07\u0E17\u0E23\u0E31\u0E1E\u0E22\u0E4C\u0E2A\u0E34\u0E19\
\u0E02\u0E2D\u0E07\u0E40\u0E02\u0E32\u0E20\u0E32\u0E22\u0E43\u0E19\u0E1E\u0E37\
\u0E49\u0E19\u0E17\u0E35\u0E48\u0E2B\u0E27\u0E07\u0E2B\u0E49\u0E32\u0E21 \u0E43\
\u0E19\u0E1B\u0E35 \u0E1E.\u0E28. 2547 \u0E04\u0E23\u0E39\u0E04\u0E19\u0E2B\u0E19\
\u0E36\u0E48\u0E07\u0E44\u0E14\u0E49\u0E0B\u0E37\u0E49\u0E2D\u0E17\u0E35\u0E48\
\u0E14\u0E34\u0E19\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E15\u0E34\u0E14\
\u0E01\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E14\u0E34\u0E19\u0E02\u0E2D\u0E07\u0E1C\
\u0E39\u0E49\u0E40\u0E01\u0E29\u0E35\u0E22\u0E13\u0E2D\u0E32\u0E22\u0E38\u0E41\
\u0E25\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1A\u0E49\u0E32\u0E19\u0E2B\u0E25\
\u0E31\u0E07\u0E43\u0E2B\u0E21\u0E48 \u0E2A\u0E2D\u0E07\u0E1B\u0E35\u0E15\u0E48\
\u0E2D\u0E21\u0E32 \u0E1A\u0E23\u0E23\u0E13\u0E32\u0E23\u0E31\u0E01\u0E29\u0E4C\
\u0E04\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E44\u0E14\u0E49\u0E0B\u0E37\u0E49\
\u0E2D\u0E17\u0E35\u0E48\u0E14\u0E34\u0E19\u0E0B\u0E36\u0E48\u0E07\u0E2D\u0E22\
\u0E39\u0E48\u0E15\u0E34\u0E14\u0E01\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E14\u0E34\
\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E23\u0E39 \u0E42\u0E09\u0E19\u0E14\u0E17\u0E31\
\u0E49\u0E07\u0E2A\u0E32\u0E21\u0E09\u0E1A\u0E31\u0E1A\u0E02\u0E2D\u0E07\u0E04\
\u0E38\u0E13\u0E2A\u0E21\u0E1A\u0E31\u0E15\u0E34\u0E40\u0E2B\u0E25\u0E48\u0E32\
\u0E19\u0E31\u0E49\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E23\u0E32\u0E22\u0E01\
\u0E32\u0E23\u0E21\u0E35\u0E01\u0E32\u0E23\u0E2D\u0E49\u0E32\u0E07\u0E2D\u0E34\
\u0E07\u0E16\u0E36\u0E07\u0E2A\u0E21\u0E38\u0E14\u0E42\u0E09\u0E19\u0E14\u0E17\
\u0E35\u0E48\u0E21\u0E35\u0E01\u0E32\u0E23\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\
\u0E41\u0E1C\u0E19\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B \u0E43\u0E19\u0E1B\u0E35\
\ \u0E1E.\u0E28. 2551 \u0E1A\u0E23\u0E23\u0E13\u0E32\u0E23\u0E31\u0E01\u0E29\
\u0E4C\u0E44\u0E14\u0E49\u0E40\u0E23\u0E34\u0E48\u0E21\u0E2A\u0E23\u0E49\u0E32\
\u0E07\u0E23\u0E31\u0E49\u0E27\u0E40\u0E2A\u0E32\u0E41\u0E25\u0E30\u0E23\u0E32\
\u0E07\u0E22\u0E32\u0E27 7 \u0E1F\u0E38\u0E15\u0E15\u0E32\u0E21\u0E41\u0E19\u0E27\
\u0E41\u0E1A\u0E48\u0E07\u0E17\u0E35\u0E48\u0E14\u0E34\u0E19\u0E02\u0E2D\u0E07\
\u0E40\u0E02\u0E32\u0E01\u0E31\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E23\u0E39 \u0E41\
\u0E25\u0E30\u0E15\u0E32\u0E21\u0E41\u0E19\u0E27\u0E01\u0E36\u0E48\u0E07\u0E01\
\u0E25\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E1E\u0E37\u0E49\u0E19\u0E17\u0E35\u0E48\
\u0E20\u0E32\u0E22\u0E43\u0E15\u0E49\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E41\u0E1F\
\u0E23\u0E19\u0E44\u0E0A\u0E2A\u0E4C \u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E04\
\u0E23\u0E39\u0E08\u0E30\u0E04\u0E31\u0E14\u0E04\u0E49\u0E32\u0E19\u0E01\u0E32\
\u0E23\u0E01\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 \u0E41\u0E15\u0E48\u0E23\
\u0E31\u0E49\u0E27\u0E01\u0E47\u0E40\u0E2A\u0E23\u0E47\u0E08\u0E2A\u0E21\u0E1A\
\u0E39\u0E23\u0E13\u0E4C \u0E2B\u0E32\u0E01\u0E04\u0E23\u0E39\u0E15\u0E49\u0E2D\
\u0E07\u0E01\u0E32\u0E23\u0E04\u0E33\u0E2A\u0E31\u0E48\u0E07\u0E1A\u0E31\u0E07\
\u0E04\u0E31\u0E1A\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1A\u0E31\u0E07\u0E04\u0E31\
\u0E1A\u0E43\u0E2B\u0E49\u0E23\u0E37\u0E49\u0E2D\u0E23\u0E31\u0E49\u0E27\u0E1A\
\u0E23\u0E23\u0E13\u0E32\u0E23\u0E31\u0E01\u0E29\u0E4C \u0E28\u0E32\u0E25\u0E21\
\u0E31\u0E01\u0E08\u0E30"
- input_choice_list:
A: "\u0E04\u0E33\u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E02\u0E2D\u0E07\u0E1A\u0E34\
\u0E14\u0E32\u0E41\u0E25\u0E30\u0E04\u0E27\u0E32\u0E21\u0E40\u0E0A\u0E37\u0E48\
\u0E2D\u0E21\u0E31\u0E48\u0E19\u0E02\u0E2D\u0E07\u0E40\u0E08\u0E49\u0E32\u0E2B\
\u0E19\u0E35\u0E49 \u0E2B\u0E32\u0E01\u0E1E\u0E34\u0E2A\u0E39\u0E08\u0E19\u0E4C\
\u0E44\u0E14\u0E49 \u0E01\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E40\u0E01\u0E34\u0E14\
\u0E01\u0E32\u0E23\u0E40\u0E23\u0E35\u0E22\u0E01\u0E23\u0E49\u0E2D\u0E07\u0E17\
\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\
\u0E08\u0E49\u0E32\u0E2B\u0E19\u0E35\u0E49\u0E15\u0E48\u0E2D\u0E1A\u0E34\u0E14\
\u0E32\u0E15\u0E32\u0E21\u0E2B\u0E25\u0E31\u0E01\u0E04\u0E33\u0E2A\u0E2D\u0E19\
\u0E02\u0E2D\u0E07\u0E01\u0E0E\u0E2B\u0E21\u0E32\u0E22\u0E1B\u0E34\u0E14\u0E1B\
\u0E32\u0E01\u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E43\u0E0A\u0E49\u0E40\u0E07\u0E34\
\u0E19"
B: "\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E44\u0E14\u0E49\
\u0E27\u0E48\u0E32\u0E04\u0E33\u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E02\u0E2D\u0E07\
\u0E1A\u0E34\u0E14\u0E32\u0E08\u0E30\u0E0A\u0E31\u0E01\u0E08\u0E39\u0E07\u0E43\
\u0E2B\u0E49\u0E40\u0E08\u0E49\u0E32\u0E2B\u0E19\u0E35\u0E49\u0E23\u0E30\u0E07\
\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E43\u0E14 \u0E46\
\ \u0E01\u0E31\u0E1A\u0E1A\u0E38\u0E15\u0E23 \u0E01\u0E32\u0E23\u0E22\u0E2D\
\u0E21\u0E2D\u0E14\u0E01\u0E25\u0E31\u0E49\u0E19\u0E14\u0E31\u0E07\u0E01\u0E25\
\u0E48\u0E32\u0E27\u0E16\u0E37\u0E2D\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E49\u0E2D\
\u0E15\u0E48\u0E2D\u0E23\u0E2D\u0E07\u0E43\u0E19\u0E01\u0E32\u0E23\u0E1E\u0E34\
\u0E08\u0E32\u0E23\u0E13\u0E32\u0E04\u0E33\u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E02\
\u0E2D\u0E07\u0E1A\u0E34\u0E14\u0E32"
C: "\u0E01\u0E32\u0E23\u0E08\u0E48\u0E32\u0E22\u0E40\u0E07\u0E34\u0E19\u0E2B\
\u0E49\u0E32\u0E04\u0E23\u0E31\u0E49\u0E07\u0E02\u0E2D\u0E07\u0E1A\u0E34\u0E14\
\u0E32\u0E43\u0E2B\u0E49\u0E41\u0E01\u0E48\u0E40\u0E08\u0E49\u0E32\u0E2B\u0E19\
\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E33\u0E19\u0E27\u0E19\u0E40\u0E07\
\u0E34\u0E19\u0E23\u0E27\u0E21 2,500 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C\
\ \u0E41\u0E2A\u0E14\u0E07\u0E16\u0E36\u0E07\u0E40\u0E08\u0E15\u0E19\u0E32\
\u0E17\u0E35\u0E48\u0E08\u0E23\u0E34\u0E07\u0E08\u0E31\u0E07\u0E43\u0E19\u0E2A\
\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E1A\u0E34\u0E14\u0E32\u0E17\u0E35\u0E48\
\u0E08\u0E30\u0E1C\u0E39\u0E01\u0E1E\u0E31\u0E19\u0E15\u0E32\u0E21\u0E2A\u0E31\
\u0E0D\u0E0D\u0E32 \u0E41\u0E25\u0E30\u0E42\u0E14\u0E22\u0E17\u0E31\u0E48\u0E27\
\u0E44\u0E1B\u0E41\u0E25\u0E49\u0E27 \u0E01\u0E32\u0E23\u0E41\u0E2A\u0E14\u0E07\
\u0E40\u0E08\u0E15\u0E19\u0E32\u0E14\u0E31\u0E07\u0E01\u0E25\u0E48\u0E32\u0E27\
\u0E16\u0E37\u0E2D\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E14\
\u0E41\u0E17\u0E19\u0E01\u0E32\u0E23\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\
\u0E17\u0E35\u0E48\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E2A\u0E34\u0E17\u0E18\u0E34\
\u0E20\u0E32\u0E1E"
D: "\u0E42\u0E14\u0E22\u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\u0E20\u0E32\u0E23\
\u0E30\u0E2B\u0E19\u0E35\u0E49\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\
\u0E19\u0E35\u0E49\u0E17\u0E35\u0E48\u0E25\u0E39\u0E01\u0E0A\u0E32\u0E22\u0E40\
\u0E1B\u0E47\u0E19\u0E2B\u0E19\u0E35\u0E49\u0E40\u0E08\u0E49\u0E32\u0E2B\u0E19\
\u0E35\u0E49 \u0E1A\u0E34\u0E14\u0E32\u0E01\u0E25\u0E32\u0E22\u0E40\u0E1B\u0E47\
\u0E19\u0E1C\u0E39\u0E49\u0E04\u0E49\u0E33\u0E1B\u0E23\u0E30\u0E01\u0E31\u0E19\
\u0E0B\u0E36\u0E48\u0E07\u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E17\u0E35\u0E48\u0E43\
\u0E2B\u0E49\u0E44\u0E27\u0E49\u0E01\u0E31\u0E1A\u0E40\u0E08\u0E49\u0E32\u0E2B\
\u0E19\u0E35\u0E49\u0E21\u0E35\u0E1C\u0E25\u0E43\u0E0A\u0E49\u0E1A\u0E31\u0E07\
\u0E04\u0E31\u0E1A\u0E44\u0E14\u0E49 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\
\u0E32\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E25\u0E32\u0E22\u0E25\u0E31\u0E01\u0E29\
\u0E13\u0E4C\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E41\u0E25\u0E30\u0E44\u0E14\u0E49\
\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2A\u0E19\u0E31\u0E1A\u0E2A\u0E19\u0E38\
\u0E19\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\
\u0E32\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E1E\u0E2D"
input_correct_responses:
- A
input_question: "\u0E25\u0E39\u0E01\u0E0A\u0E32\u0E22\u0E04\u0E19\u0E2B\u0E19\u0E36\
\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E19\u0E35\u0E49\u0E40\u0E08\u0E49\
\u0E32\u0E2B\u0E19\u0E35\u0E49 5,000 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C\
\ \u0E1E\u0E48\u0E2D\u0E02\u0E2D\u0E07\u0E25\u0E39\u0E01\u0E0A\u0E32\u0E22\u0E44\
\u0E14\u0E49\u0E15\u0E34\u0E14\u0E15\u0E48\u0E2D\u0E01\u0E31\u0E1A\u0E40\u0E08\
\u0E49\u0E32\u0E2B\u0E19\u0E35\u0E49\u0E41\u0E25\u0E30\u0E1A\u0E2D\u0E01\u0E40\
\u0E02\u0E32\u0E27\u0E48\u0E32\u0E40\u0E02\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\
\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E2B\u0E19\u0E35\u0E49\u0E02\u0E2D\u0E07\u0E25\
\u0E39\u0E01\u0E0A\u0E32\u0E22 \u0E1A\u0E34\u0E14\u0E32\u0E25\u0E07\u0E19\u0E32\
\u0E21\u0E43\u0E19\u0E40\u0E2D\u0E01\u0E2A\u0E32\u0E23\u0E17\u0E35\u0E48\u0E23\
\u0E30\u0E1A\u0E38\u0E27\u0E48\u0E32\u0E1A\u0E34\u0E14\u0E32\u0E08\u0E30\u0E0A\
\u0E33\u0E23\u0E30\u0E2B\u0E19\u0E35\u0E49\u0E02\u0E2D\u0E07\u0E25\u0E39\u0E01\
\u0E0A\u0E32\u0E22\u0E43\u0E19\u0E2D\u0E31\u0E15\u0E23\u0E32 500 \u0E14\u0E2D\
\u0E25\u0E25\u0E32\u0E23\u0E4C\u0E15\u0E48\u0E2D\u0E40\u0E14\u0E37\u0E2D\u0E19\
\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E27\u0E25\u0E32 10 \u0E40\u0E14\u0E37\u0E2D\
\u0E19 \u0E40\u0E08\u0E49\u0E32\u0E2B\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E21\
\u0E35\u0E02\u0E49\u0E2D\u0E1C\u0E39\u0E01\u0E21\u0E31\u0E14\u0E40\u0E1B\u0E47\
\u0E19\u0E25\u0E32\u0E22\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E2D\u0E31\u0E01\
\u0E29\u0E23\u0E2B\u0E23\u0E37\u0E2D\u0E14\u0E49\u0E27\u0E22\u0E1B\u0E32\u0E01\
\u0E40\u0E1B\u0E25\u0E48\u0E32\u0E17\u0E35\u0E48\u0E08\u0E30\u0E44\u0E21\u0E48\
\u0E22\u0E2D\u0E21\u0E1F\u0E49\u0E2D\u0E07\u0E25\u0E39\u0E01\u0E0A\u0E32\u0E22\
\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E27\u0E07\u0E2B\u0E19\u0E35\u0E49 5,000\
\ \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C \u0E41\u0E25\u0E30\u0E1E\u0E48\u0E2D\
\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E23\u0E49\u0E2D\u0E07\u0E02\u0E2D\u0E14\
\u0E49\u0E27\u0E22\u0E27\u0E32\u0E08\u0E32\u0E2B\u0E23\u0E37\u0E2D\u0E40\u0E1B\
\u0E47\u0E19\u0E25\u0E32\u0E22\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E2D\u0E31\
\u0E01\u0E29\u0E23\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E1C\
\u0E48\u0E2D\u0E19\u0E1C\u0E31\u0E19\u0E14\u0E31\u0E07\u0E01\u0E25\u0E48\u0E32\
\u0E27 \u0E43\u0E19\u0E2D\u0E35\u0E01\u0E2B\u0E49\u0E32\u0E40\u0E14\u0E37\u0E2D\
\u0E19\u0E15\u0E48\u0E2D\u0E21\u0E32 \u0E1E\u0E48\u0E2D\u0E01\u0E47\u0E08\u0E48\
\u0E32\u0E22\u0E40\u0E07\u0E34\u0E19\u0E41\u0E25\u0E30\u0E40\u0E08\u0E49\u0E32\
\u0E2B\u0E19\u0E35\u0E49\u0E22\u0E2D\u0E21\u0E23\u0E31\u0E1A\u0E40\u0E07\u0E34\
\u0E19 500 \u0E14\u0E2D\u0E25\u0E25\u0E32\u0E23\u0E4C\u0E15\u0E48\u0E2D\u0E40\
\u0E14\u0E37\u0E2D\u0E19\u0E15\u0E32\u0E21\u0E17\u0E35\u0E48\u0E15\u0E01\u0E25\
\u0E07\u0E01\u0E31\u0E19\u0E44\u0E27\u0E49 \u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\
\u0E40\u0E27\u0E25\u0E32\u0E19\u0E31\u0E49\u0E19\u0E40\u0E08\u0E49\u0E32\u0E2B\
\u0E19\u0E35\u0E49\u0E01\u0E25\u0E31\u0E1A\u0E44\u0E21\u0E48\u0E22\u0E2D\u0E21\
\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E04\u0E14\u0E35\u0E43\u0E14\u0E46 \u0E01\
\u0E31\u0E1A\u0E25\u0E39\u0E01\u0E0A\u0E32\u0E22 \u0E2D\u0E22\u0E48\u0E32\u0E07\
\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21\u0E1A\u0E34\u0E14\u0E32\u0E44\u0E14\
\u0E49\u0E41\u0E08\u0E49\u0E07\u0E40\u0E08\u0E49\u0E32\u0E2B\u0E19\u0E35\u0E49\
\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E21\u0E48\u0E0A\u0E33\u0E23\u0E30\u0E2B\
\u0E19\u0E35\u0E49\u0E2D\u0E35\u0E01 \u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\
\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E49\u0E2D\
\u0E42\u0E15\u0E49\u0E41\u0E22\u0E49\u0E07\u0E17\u0E35\u0E48\u0E42\u0E19\u0E49\
\u0E21\u0E19\u0E49\u0E32\u0E27\u0E43\u0E08\u0E44\u0E14\u0E49\u0E21\u0E32\u0E01\
\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E27\u0E48\u0E32\u0E1A\u0E34\u0E14\u0E32\
\u0E15\u0E49\u0E2D\u0E07\u0E23\u0E31\u0E1A\u0E1C\u0E34\u0E14\u0E15\u0E48\u0E2D\
\u0E40\u0E08\u0E49\u0E32\u0E2B\u0E19\u0E35\u0E49\u0E15\u0E32\u0E21\u0E40\u0E07\
\u0E37\u0E48\u0E2D\u0E19\u0E44\u0E02\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E15\u0E01\
\u0E25\u0E07\u0E02\u0E2D\u0E07\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_professional_law
tag: mmlu_th_llama_humanities_tasks
task: mmlu_th_llama_professional_law
task_alias: professional_law
lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_professional_medicine.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0E40\u0E25\u0E40\u0E1A\u0E17\u0E32\u0E25\u0E2D\u0E25"
B: "\u0E1B\u0E23\u0E34\u0E21\u0E32\u0E13\u0E42\u0E1E\u0E41\u0E17\u0E2A\u0E40\
\u0E0B\u0E35\u0E22\u0E21\u0E04\u0E25\u0E2D\u0E44\u0E23\u0E14\u0E4C"
C: "\u0E19\u0E34\u0E40\u0E1F\u0E14\u0E34\u0E1E\u0E35\u0E19"
D: "\u0E1F\u0E35\u0E19\u0E47\u0E2D\u0E01\u0E0B\u0E35\u0E40\u0E1A\u0E19\u0E0B\
\u0E32\u0E21\u0E35\u0E19"
input_correct_responses:
- D
input_question: "\u0E0A\u0E32\u0E22\u0E2D\u0E32\u0E22\u0E38 42 \u0E1B\u0E35\u0E21\
\u0E32\u0E17\u0E35\u0E48\u0E2A\u0E33\u0E19\u0E31\u0E01\u0E07\u0E32\u0E19\u0E40\
\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\
\u0E40\u0E21\u0E34\u0E19\u0E01\u0E48\u0E2D\u0E19\u0E01\u0E32\u0E23\u0E1C\u0E48\
\u0E32\u0E15\u0E31\u0E14\u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\
\u0E40\u0E02\u0E49\u0E32\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E1C\u0E48\u0E32\
\u0E15\u0E31\u0E14\u0E15\u0E48\u0E2D\u0E21\u0E2B\u0E21\u0E27\u0E01\u0E44\u0E15\
\u0E20\u0E32\u0E22\u0E43\u0E19 2 \u0E2A\u0E31\u0E1B\u0E14\u0E32\u0E2B\u0E4C\
\ \u0E2B\u0E19\u0E36\u0E48\u0E07\u0E40\u0E14\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\
\u0E1C\u0E48\u0E32\u0E19\u0E21\u0E32 \u0E40\u0E02\u0E32\u0E44\u0E14\u0E49\u0E23\
\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E14\u0E39\u0E41\u0E25\u0E43\u0E19\u0E41\u0E1C\
\u0E19\u0E01\u0E09\u0E38\u0E01\u0E40\u0E09\u0E34\u0E19\u0E40\u0E19\u0E37\u0E48\
\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E40\u0E08\u0E47\u0E1A\
\u0E1B\u0E27\u0E14\u0E17\u0E35\u0E48\u0E2A\u0E35\u0E02\u0E49\u0E32\u0E07\u0E02\
\u0E27\u0E32\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E23\u0E16\u0E0A\u0E19\
\u0E01\u0E31\u0E19 \u0E02\u0E13\u0E30\u0E19\u0E31\u0E49\u0E19\u0E04\u0E27\u0E32\
\u0E21\u0E14\u0E31\u0E19\u0E42\u0E25\u0E2B\u0E34\u0E15\u0E2D\u0E22\u0E39\u0E48\
\u0E17\u0E35\u0E48 160/100 \u0E21\u0E21.\u0E1B\u0E23\u0E2D\u0E17 \u0E41\u0E25\
\u0E30\u0E01\u0E32\u0E23\u0E2A\u0E41\u0E01\u0E19 CT \u0E02\u0E2D\u0E07\u0E0A\
\u0E48\u0E2D\u0E07\u0E17\u0E49\u0E2D\u0E07\u0E1E\u0E1A\u0E27\u0E48\u0E32\u0E21\
\u0E35\u0E21\u0E27\u0E25\u0E02\u0E2D\u0E07\u0E15\u0E48\u0E2D\u0E21\u0E2B\u0E21\
\u0E27\u0E01\u0E44\u0E15\u0E14\u0E49\u0E32\u0E19\u0E0B\u0E49\u0E32\u0E22\u0E1B\
\u0E23\u0E30\u0E21\u0E32\u0E13 10 \u0E0B\u0E21. \u0E1C\u0E25\u0E01\u0E32\u0E23\
\u0E28\u0E36\u0E01\u0E29\u0E32\u0E43\u0E19\u0E2B\u0E49\u0E2D\u0E07\u0E1B\u0E0F\
\u0E34\u0E1A\u0E31\u0E15\u0E34\u0E01\u0E32\u0E23 \u0E44\u0E14\u0E49\u0E41\u0E01\
\u0E48 \u0E01\u0E32\u0E23\u0E19\u0E31\u0E1A\u0E40\u0E21\u0E47\u0E14\u0E40\u0E25\
\u0E37\u0E2D\u0E14 \u0E04\u0E27\u0E32\u0E21\u0E40\u0E02\u0E49\u0E21\u0E02\u0E49\
\u0E19\u0E02\u0E2D\u0E07\u0E2D\u0E34\u0E40\u0E25\u0E47\u0E01\u0E42\u0E17\u0E23\
\u0E44\u0E25\u0E15\u0E4C\u0E43\u0E19\u0E0B\u0E35\u0E23\u0E31\u0E48\u0E21 \u0E41\
\u0E25\u0E30\u0E01\u0E32\u0E23\u0E17\u0E14\u0E2A\u0E2D\u0E1A\u0E01\u0E32\u0E23\
\u0E17\u0E33\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E1A \u0E2D\u0E22\
\u0E39\u0E48\u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E2D\u0E49\u0E32\u0E07\u0E2D\
\u0E34\u0E07 \u0E1C\u0E39\u0E49\u0E1B\u0E48\u0E27\u0E22\u0E21\u0E35\u0E2A\u0E38\
\u0E02\u0E20\u0E32\u0E1E\u0E41\u0E02\u0E47\u0E07\u0E41\u0E23\u0E07\u0E41\u0E25\
\u0E30\u0E44\u0E21\u0E48\u0E40\u0E04\u0E22\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\
\u0E41\u0E08\u0E49\u0E07\u0E27\u0E48\u0E32\u0E40\u0E02\u0E32\u0E21\u0E35\u0E04\
\u0E27\u0E32\u0E21\u0E14\u0E31\u0E19\u0E42\u0E25\u0E2B\u0E34\u0E15\u0E2A\u0E39\
\u0E07 \u0E40\u0E02\u0E32\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E49\u0E22\u0E32 \u0E01\
\u0E32\u0E23\u0E15\u0E34\u0E14\u0E15\u0E32\u0E21\u0E1C\u0E25\u0E43\u0E19\u0E2A\
\u0E33\u0E19\u0E31\u0E01\u0E07\u0E32\u0E19\u0E40\u0E21\u0E37\u0E48\u0E2D 2 \u0E2A\
\u0E31\u0E1B\u0E14\u0E32\u0E2B\u0E4C\u0E01\u0E48\u0E2D\u0E19\u0E40\u0E1C\u0E22\
\u0E43\u0E2B\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E40\u0E02\
\u0E49\u0E21\u0E02\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E19\u0E2D\u0E23\u0E4C\u0E40\
\u0E21\u0E17\u0E32\u0E40\u0E19\u0E1F\u0E23\u0E34\u0E19\u0E41\u0E25\u0E30\u0E40\
\u0E21\u0E17\u0E32\u0E40\u0E19\u0E1F\u0E23\u0E34\u0E19\u0E43\u0E19\u0E1B\u0E31\
\u0E2A\u0E2A\u0E32\u0E27\u0E30\u0E41\u0E25\u0E30\u0E2D\u0E31\u0E25\u0E42\u0E14\
\u0E2A\u0E40\u0E15\u0E2D\u0E42\u0E23\u0E19\u0E43\u0E19\u0E1E\u0E25\u0E32\u0E2A\
\u0E21\u0E32\u0E17\u0E35\u0E48\u0E2A\u0E39\u0E07\u0E02\u0E36\u0E49\u0E19 \u0E1C\
\u0E39\u0E49\u0E1B\u0E48\u0E27\u0E22\u0E16\u0E39\u0E01\u0E2A\u0E48\u0E07\u0E15\
\u0E48\u0E2D\u0E44\u0E1B\u0E22\u0E31\u0E07\u0E28\u0E31\u0E25\u0E22\u0E41\u0E1E\
\u0E17\u0E22\u0E4C\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E19\u0E30\u0E19\u0E33\u0E43\
\u0E2B\u0E49\u0E17\u0E33\u0E01\u0E32\u0E23\u0E1C\u0E48\u0E32\u0E15\u0E31\u0E14\
\u0E15\u0E48\u0E2D\u0E21\u0E2B\u0E21\u0E27\u0E01\u0E44\u0E15 \u0E27\u0E31\u0E19\
\u0E19\u0E35\u0E49 \u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E13\u0E0A\u0E35\u0E1E\u0E04\
\u0E37\u0E2D \u0E2D\u0E38\u0E13\u0E2B\u0E20\u0E39\u0E21\u0E34 36.6\xB0C (97.9\xB0\
F) \u0E0A\u0E35\u0E1E\u0E08\u0E23 100/\u0E19\u0E32\u0E17\u0E35 \u0E01\u0E32\u0E23\
\u0E2B\u0E32\u0E22\u0E43\u0E08 14/\u0E19\u0E32\u0E17\u0E35 \u0E41\u0E25\u0E30\
\u0E04\u0E27\u0E32\u0E21\u0E14\u0E31\u0E19\u0E42\u0E25\u0E2B\u0E34\u0E15 170/95\
\ \u0E21\u0E21.\u0E1B\u0E23\u0E2D\u0E17 \u0E01\u0E32\u0E23\u0E15\u0E23\u0E27\
\u0E08\u0E23\u0E48\u0E32\u0E07\u0E01\u0E32\u0E22\u0E44\u0E21\u0E48\u0E1E\u0E1A\
\u0E27\u0E48\u0E32\u0E21\u0E35\u0E2A\u0E32\u0E23\u0E30\u0E2A\u0E33\u0E04\u0E31\
\u0E0D \u0E01\u0E32\u0E23\u0E40\u0E15\u0E23\u0E35\u0E22\u0E21\u0E15\u0E31\u0E27\
\u0E01\u0E48\u0E2D\u0E19\u0E01\u0E32\u0E23\u0E1C\u0E48\u0E32\u0E15\u0E31\u0E14\
\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E04\u0E27\u0E23\u0E23\
\u0E27\u0E21\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E23\u0E31\u0E01\u0E29\u0E32\
\u0E14\u0E49\u0E27\u0E22\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\
\u0E1B\u0E19\u0E35\u0E49?"
- input_choice_list:
A: "\u0E1A\u0E34\u0E14\u0E28\u0E31\u0E01\u0E14\u0E34\u0E4C\u0E2A\u0E34\u0E17\
\u0E18\u0E34\u0E4C\u0E0B\u0E49\u0E32\u0E22\u0E1A\u0E19\u0E0B\u0E49\u0E32\u0E22"
B: "\u0E1A\u0E34\u0E14\u0E28\u0E31\u0E01\u0E14\u0E34\u0E4C\u0E2A\u0E34\u0E17\
\u0E18\u0E34\u0E4C\u0E0B\u0E49\u0E32\u0E22\u0E02\u0E27\u0E32"
C: "\u0E01\u0E32\u0E23\u0E07\u0E2D\u0E28\u0E31\u0E01\u0E14\u0E34\u0E4C\u0E2A\
\u0E34\u0E17\u0E18\u0E34\u0E4C\u0E02\u0E49\u0E32\u0E07\u0E40\u0E14\u0E35\u0E22\
\u0E27\u0E14\u0E49\u0E32\u0E19\u0E02\u0E27\u0E32"
D: "\u0E1A\u0E34\u0E14\u0E28\u0E31\u0E01\u0E14\u0E34\u0E4C\u0E2A\u0E34\u0E17\
\u0E18\u0E34\u0E4C\u0E02\u0E27\u0E32\u0E1A\u0E19\u0E02\u0E27\u0E32"
input_correct_responses:
- D
input_question: "\u0E0A\u0E32\u0E22\u0E2D\u0E32\u0E22\u0E38 36 \u0E1B\u0E35\u0E19\
\u0E33\u0E40\u0E2A\u0E19\u0E2D\u0E17\u0E35\u0E48\u0E2A\u0E33\u0E19\u0E31\u0E01\
\u0E07\u0E32\u0E19\u0E14\u0E49\u0E27\u0E22\u0E1B\u0E23\u0E30\u0E27\u0E31\u0E15\
\u0E34\u0E2D\u0E32\u0E01\u0E32\u0E23\u0E1B\u0E27\u0E14\u0E2B\u0E25\u0E31\u0E07\
\u0E2A\u0E48\u0E27\u0E19\u0E25\u0E48\u0E32\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E40\
\u0E27\u0E25\u0E32 3 \u0E2A\u0E31\u0E1B\u0E14\u0E32\u0E2B\u0E4C \u0E40\u0E02\
\u0E32\u0E1B\u0E0F\u0E34\u0E40\u0E2A\u0E18\u0E2D\u0E32\u0E01\u0E32\u0E23\u0E1A\
\u0E32\u0E14\u0E40\u0E08\u0E47\u0E1A\u0E25\u0E48\u0E32\u0E2A\u0E38\u0E14 \u0E41\
\u0E15\u0E48\u0E1A\u0E2D\u0E01\u0E27\u0E48\u0E32\u0E40\u0E02\u0E32\u0E1B\u0E35\
\u0E19\u0E02\u0E36\u0E49\u0E19\u0E41\u0E25\u0E30\u0E25\u0E07\u0E08\u0E32\u0E01\
\u0E23\u0E16\u0E1A\u0E23\u0E23\u0E17\u0E38\u0E01\u0E27\u0E31\u0E19\u0E25\u0E30\
\u0E2B\u0E25\u0E32\u0E22\u0E04\u0E23\u0E31\u0E49\u0E07\u0E40\u0E1E\u0E37\u0E48\
\u0E2D\u0E44\u0E1B\u0E17\u0E33\u0E07\u0E32\u0E19 \u0E01\u0E32\u0E23\u0E15\u0E23\
\u0E27\u0E08\u0E1C\u0E39\u0E49\u0E1B\u0E48\u0E27\u0E22\u0E43\u0E19\u0E17\u0E48\
\u0E32\u0E19\u0E2D\u0E19\u0E04\u0E27\u0E48\u0E33\u0E08\u0E30\u0E40\u0E1C\u0E22\
\u0E43\u0E2B\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E23\u0E48\u0E2D\u0E07\u0E28\u0E31\
\u0E01\u0E14\u0E34\u0E4C\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E4C\u0E17\u0E35\u0E48\
\u0E2D\u0E22\u0E39\u0E48\u0E25\u0E36\u0E01\u0E17\u0E32\u0E07\u0E14\u0E49\u0E32\
\u0E19\u0E0B\u0E49\u0E32\u0E22 \u0E21\u0E38\u0E21\u0E14\u0E49\u0E32\u0E19\u0E02\
\u0E49\u0E32\u0E07\u0E14\u0E49\u0E32\u0E19\u0E25\u0E48\u0E32\u0E07\u0E14\u0E49\
\u0E32\u0E19\u0E2B\u0E25\u0E31\u0E07\u0E17\u0E32\u0E07\u0E14\u0E49\u0E32\u0E19\
\u0E02\u0E27\u0E32 \u0E41\u0E25\u0E30\u0E17\u0E32\u0E07\u0E41\u0E22\u0E01\u0E02\
\u0E2D\u0E07 lumbosacral \u0E17\u0E35\u0E48\u0E2A\u0E1B\u0E23\u0E34\u0E07\u0E15\
\u0E31\u0E27\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2D\u0E34\u0E2A\
\u0E23\u0E30\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E01\u0E14\u0E17\u0E31\u0E1A \u0E01\
\u0E32\u0E23\u0E27\u0E34\u0E19\u0E34\u0E08\u0E09\u0E31\u0E22\u0E17\u0E35\u0E48\
\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E21\u0E32\u0E01\u0E17\
\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D"
- input_choice_list:
A: "\u0E42\u0E14\u0E1B\u0E32\u0E21\u0E35\u0E19"
B: "\u0E01\u0E25\u0E39\u0E15\u0E32\u0E40\u0E21\u0E15"
C: "\u0E19\u0E2D\u0E23\u0E4C\u0E2D\u0E34\u0E1E\u0E34\u0E40\u0E19\u0E1F\u0E23\
\u0E34\u0E19"
D: "\u0E40\u0E0B\u0E42\u0E23\u0E42\u0E17\u0E19\u0E34\u0E19"
input_correct_responses:
- D
input_question: "\u0E2B\u0E0D\u0E34\u0E07\u0E27\u0E31\u0E22 32 \u0E1B\u0E35\u0E17\
\u0E35\u0E48\u0E21\u0E35\u0E2A\u0E38\u0E02\u0E20\u0E32\u0E1E\u0E41\u0E02\u0E47\
\u0E07\u0E41\u0E23\u0E07\u0E21\u0E32\u0E1E\u0E1A\u0E41\u0E1E\u0E17\u0E22\u0E4C\
\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E2A\u0E32\u0E21\u0E35\u0E02\u0E2D\
\u0E07\u0E40\u0E18\u0E2D\u0E40\u0E2A\u0E35\u0E22\u0E0A\u0E35\u0E27\u0E34\u0E15\
\u0E43\u0E19\u0E2D\u0E38\u0E1A\u0E31\u0E15\u0E34\u0E40\u0E2B\u0E15\u0E38\u0E23\
\u0E16\u0E0A\u0E19\u0E44\u0E14\u0E49 8 \u0E40\u0E14\u0E37\u0E2D\u0E19 \u0E15\
\u0E31\u0E49\u0E07\u0E41\u0E15\u0E48\u0E19\u0E31\u0E49\u0E19\u0E40\u0E1B\u0E47\
\u0E19\u0E15\u0E49\u0E19\u0E21\u0E32 \u0E40\u0E18\u0E2D\u0E21\u0E35\u0E04\u0E27\
\u0E32\u0E21\u0E2D\u0E22\u0E32\u0E01\u0E2D\u0E32\u0E2B\u0E32\u0E23\u0E25\u0E14\
\u0E25\u0E07\u0E41\u0E25\u0E30\u0E2B\u0E25\u0E31\u0E1A\u0E22\u0E32\u0E01 \u0E40\
\u0E18\u0E2D\u0E1A\u0E2D\u0E01\u0E27\u0E48\u0E32\u0E40\u0E18\u0E2D\u0E21\u0E31\
\u0E01\u0E08\u0E30\u0E40\u0E28\u0E23\u0E49\u0E32\u0E41\u0E25\u0E30\u0E23\u0E49\
\u0E2D\u0E07\u0E44\u0E2B\u0E49\u0E1A\u0E48\u0E2D\u0E22\u0E46 \u0E40\u0E18\u0E2D\
\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E25\u0E47\u0E2D\u0E01\u0E1B\u0E23\
\u0E30\u0E15\u0E39\u0E0B\u0E49\u0E33\u0E41\u0E25\u0E49\u0E27\u0E0B\u0E49\u0E33\
\u0E2D\u0E35\u0E01 5 \u0E04\u0E23\u0E31\u0E49\u0E07\u0E01\u0E48\u0E2D\u0E19\u0E2D\
\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E1A\u0E49\u0E32\u0E19 \u0E41\u0E25\u0E30\u0E15\
\u0E49\u0E2D\u0E07\u0E19\u0E31\u0E1A\u0E01\u0E23\u0E30\u0E14\u0E32\u0E29\u0E0A\
\u0E33\u0E23\u0E30\u0E43\u0E2B\u0E49\u0E04\u0E23\u0E1A 5 \u0E41\u0E1C\u0E48\u0E19\
\u0E01\u0E48\u0E2D\u0E19\u0E43\u0E0A\u0E49 \u0E40\u0E18\u0E2D\u0E1A\u0E2D\u0E01\
\u0E27\u0E48\u0E32\u0E40\u0E18\u0E2D\u0E40\u0E1B\u0E47\u0E19\u0E1E\u0E27\u0E01\
\u0E0A\u0E2D\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E21\u0E1A\u0E39\u0E23\u0E13\
\u0E4C\u0E41\u0E1A\u0E1A\u0E21\u0E32\u0E42\u0E14\u0E22\u0E15\u0E25\u0E2D\u0E14\
\ \u0E41\u0E15\u0E48\u0E04\u0E27\u0E32\u0E21\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\
\u0E23\u0E41\u0E25\u0E30\u0E1E\u0E34\u0E18\u0E35\u0E01\u0E23\u0E23\u0E21\u0E40\
\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E22\u0E31\u0E07\u0E43\u0E2B\u0E21\
\u0E48\u0E2D\u0E22\u0E39\u0E48 \u0E40\u0E20\u0E2A\u0E31\u0E0A\u0E1A\u0E33\u0E1A\
\u0E31\u0E14\u0E04\u0E27\u0E23\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E40\u0E1B\u0E49\
\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E44\u0E1B\u0E17\u0E35\u0E48\u0E2A\u0E32\u0E23\
\u0E2A\u0E37\u0E48\u0E2D\u0E1B\u0E23\u0E30\u0E2A\u0E32\u0E17\u0E43\u0E14\u0E15\
\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"
- input_choice_list:
A: "\u0E42\u0E23\u0E04\u0E08\u0E21\u0E39\u0E01\u0E2D\u0E31\u0E01\u0E40\u0E2A\
\u0E1A\u0E08\u0E32\u0E01\u0E20\u0E39\u0E21\u0E34\u0E41\u0E1E\u0E49"
B: "\u0E44\u0E27\u0E23\u0E31\u0E2A Epstein-Barr"
C: "\u0E21\u0E31\u0E22\u0E42\u0E04\u0E1E\u0E25\u0E32\u0E2A\u0E21\u0E32\u0E1B\
\u0E2D\u0E14\u0E1A\u0E27\u0E21"
D: "\u0E44\u0E23\u0E42\u0E19\u0E44\u0E27\u0E23\u0E31\u0E2A"
input_correct_responses:
- D
input_question: "\u0E0A\u0E32\u0E22\u0E2D\u0E32\u0E22\u0E38 44 \u0E1B\u0E35\u0E21\
\u0E32\u0E17\u0E35\u0E48\u0E2A\u0E33\u0E19\u0E31\u0E01\u0E07\u0E32\u0E19\u0E40\
\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E21\u0E35\u0E2D\u0E32\u0E01\
\u0E32\u0E23\u0E40\u0E08\u0E47\u0E1A\u0E04\u0E2D \u0E44\u0E2D\u0E44\u0E21\u0E48\
\u0E21\u0E35\u0E19\u0E49\u0E33\u0E21\u0E39\u0E01\u0E44\u0E2B\u0E25 \u0E41\u0E25\
\u0E30\u0E1B\u0E27\u0E14\u0E28\u0E35\u0E23\u0E29\u0E30\u0E2A\u0E48\u0E27\u0E19\
\u0E2B\u0E19\u0E49\u0E32\u0E21\u0E32 3 \u0E27\u0E31\u0E19 \u0E40\u0E02\u0E32\
\u0E1A\u0E2D\u0E01\u0E27\u0E48\u0E32\u0E2D\u0E32\u0E01\u0E32\u0E23\u0E1B\u0E27\
\u0E14\u0E2B\u0E31\u0E27\u0E08\u0E30\u0E41\u0E22\u0E48\u0E25\u0E07\u0E43\u0E19\
\u0E15\u0E2D\u0E19\u0E40\u0E0A\u0E49\u0E32\u0E41\u0E25\u0E30\u0E44\u0E2D\u0E1A\
\u0E39\u0E42\u0E1E\u0E23\u0E40\u0E1F\u0E19\u0E0A\u0E48\u0E27\u0E22\u0E1A\u0E23\
\u0E23\u0E40\u0E17\u0E32\u0E44\u0E14\u0E49\u0E1A\u0E49\u0E32\u0E07 \u0E40\u0E02\
\u0E32\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2B\u0E32\u0E22\u0E43\u0E08\u0E16\
\u0E35\u0E48 \u0E1B\u0E23\u0E30\u0E27\u0E31\u0E15\u0E34\u0E17\u0E32\u0E07\u0E01\
\u0E32\u0E23\u0E41\u0E1E\u0E17\u0E22\u0E4C\u0E19\u0E31\u0E49\u0E19\u0E44\u0E21\
\u0E48\u0E18\u0E23\u0E23\u0E21\u0E14\u0E32 \u0E40\u0E02\u0E32\u0E44\u0E21\u0E48\
\u0E43\u0E0A\u0E49\u0E22\u0E32\u0E2D\u0E37\u0E48\u0E19\u0E19\u0E2D\u0E01\u0E08\
\u0E32\u0E01\u0E44\u0E2D\u0E1A\u0E39\u0E42\u0E1E\u0E23\u0E40\u0E1F\u0E19\u0E2A\
\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E40\u0E08\u0E47\u0E1A\
\u0E1B\u0E27\u0E14 \u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E13\u0E0A\u0E35\u0E1E\u0E04\
\u0E37\u0E2D \u0E2D\u0E38\u0E13\u0E2B\u0E20\u0E39\u0E21\u0E34 37.4\xB0C (99.4\xB0\
F) \u0E0A\u0E35\u0E1E\u0E08\u0E23 88 \u0E04\u0E23\u0E31\u0E49\u0E07/\u0E19\u0E32\
\u0E17\u0E35 \u0E01\u0E32\u0E23\u0E2B\u0E32\u0E22\u0E43\u0E08 18 \u0E04\u0E23\
\u0E31\u0E49\u0E07/\u0E19\u0E32\u0E17\u0E35 \u0E41\u0E25\u0E30\u0E04\u0E27\u0E32\
\u0E21\u0E14\u0E31\u0E19\u0E42\u0E25\u0E2B\u0E34\u0E15 120/84 \u0E21\u0E21.\u0E1B\
\u0E23\u0E2D\u0E17 \u0E01\u0E32\u0E23\u0E15\u0E23\u0E27\u0E08\u0E1E\u0E23\u0E30\
\u0E19\u0E40\u0E23\u0E28\u0E1E\u0E1A\u0E40\u0E22\u0E37\u0E48\u0E2D\u0E40\u0E21\
\u0E37\u0E2D\u0E01\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E21\u0E47\
\u0E14\u0E40\u0E25\u0E37\u0E2D\u0E14\u0E41\u0E14\u0E07 \u0E01\u0E32\u0E23\u0E15\
\u0E23\u0E27\u0E08\u0E04\u0E2D\u0E08\u0E30\u0E41\u0E2A\u0E14\u0E07\u0E2D\u0E32\
\u0E01\u0E32\u0E23\u0E41\u0E14\u0E07\u0E41\u0E25\u0E30\u0E15\u0E48\u0E2D\u0E21\
\u0E19\u0E49\u0E33\u0E40\u0E2B\u0E25\u0E37\u0E2D\u0E07\u0E17\u0E35\u0E48\u0E15\
\u0E48\u0E2D\u0E21\u0E19\u0E49\u0E33\u0E40\u0E2B\u0E25\u0E37\u0E2D\u0E07\u0E17\
\u0E35\u0E48\u0E15\u0E48\u0E2D\u0E21\u0E19\u0E49\u0E33\u0E40\u0E2B\u0E25\u0E37\
\u0E2D\u0E07\u0E1A\u0E23\u0E34\u0E40\u0E27\u0E13\u0E2B\u0E25\u0E31\u0E07\u0E04\
\u0E2D\u0E2B\u0E2D\u0E22 \u0E44\u0E21\u0E48\u0E21\u0E35 adenopathy \u0E1B\u0E32\
\u0E01\u0E21\u0E14\u0E25\u0E39\u0E01\u0E17\u0E35\u0E48\u0E40\u0E2B\u0E47\u0E19\
\u0E44\u0E14\u0E49\u0E0A\u0E31\u0E14 \u0E1B\u0E2D\u0E14\u0E1B\u0E25\u0E2D\u0E14\
\u0E42\u0E1B\u0E23\u0E48\u0E07\u0E15\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E44\u0E14\
\u0E49\u0E22\u0E34\u0E19 \u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\
\u0E1B\u0E19\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E32\u0E40\u0E2B\u0E15\
\u0E38\u0E02\u0E2D\u0E07\u0E2D\u0E32\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E1C\
\u0E39\u0E49\u0E1B\u0E48\u0E27\u0E22\u0E23\u0E32\u0E22\u0E19\u0E35\u0E49\u0E21\
\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14?"
- input_choice_list:
A: "\u0E2B\u0E19\u0E49\u0E32\u0E14\u0E49\u0E32\u0E19"
B: "\u0E25\u0E32\u0E17\u0E34\u0E2A\u0E0B\u0E34\u0E21\u0E38\u0E2A \u0E14\u0E2D\
\u0E23\u0E4C\u0E0B\u0E35"
C: "\u0E2B\u0E19\u0E49\u0E32\u0E2D\u0E01\u0E40\u0E25\u0E47\u0E01\u0E19\u0E49\
\u0E2D\u0E22"
D: "\u0E04\u0E27\u0E2D\u0E14\u0E23\u0E32\u0E15\u0E31\u0E2A lumborum"
input_correct_responses:
- C
input_question: "\u0E19\u0E31\u0E01\u0E27\u0E34\u0E48\u0E07\u0E21\u0E32\u0E23\u0E32\
\u0E18\u0E2D\u0E19\u0E0A\u0E32\u0E22\u0E27\u0E31\u0E22 22 \u0E1B\u0E35 \u0E21\
\u0E32\u0E17\u0E35\u0E48\u0E2D\u0E2D\u0E1F\u0E1F\u0E34\u0E28\u0E1E\u0E23\u0E49\
\u0E2D\u0E21\u0E01\u0E31\u0E1A\u0E1A\u0E48\u0E19\u0E27\u0E48\u0E32\u0E1B\u0E27\
\u0E14\u0E0B\u0E35\u0E48\u0E42\u0E04\u0E23\u0E07\u0E14\u0E49\u0E32\u0E19\u0E02\
\u0E27\u0E32\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E27\u0E34\u0E48\u0E07\u0E23\u0E30\
\u0E22\u0E30\u0E44\u0E01\u0E25 \u0E01\u0E32\u0E23\u0E15\u0E23\u0E27\u0E08\u0E23\
\u0E48\u0E32\u0E07\u0E01\u0E32\u0E22\u0E1E\u0E1A\u0E27\u0E48\u0E32\u0E2B\u0E31\
\u0E27\u0E43\u0E08\u0E41\u0E25\u0E30\u0E1B\u0E2D\u0E14\u0E1B\u0E01\u0E15\u0E34\
\ \u0E41\u0E25\u0E30\u0E21\u0E35\u0E01\u0E32\u0E23\u0E2B\u0E32\u0E22\u0E43\u0E08\
\u0E2D\u0E2D\u0E01\u0E1C\u0E34\u0E14\u0E1B\u0E01\u0E15\u0E34\u0E17\u0E35\u0E48\
\u0E0B\u0E35\u0E48\u0E42\u0E04\u0E23\u0E07\u0E0B\u0E35\u0E48\u0E17\u0E35\u0E48\
\ 4-5 \u0E17\u0E32\u0E07\u0E14\u0E49\u0E32\u0E19\u0E02\u0E27\u0E32 \u0E01\u0E25\
\u0E49\u0E32\u0E21\u0E40\u0E19\u0E37\u0E49\u0E2D\u0E2B\u0E23\u0E37\u0E2D\u0E01\
\u0E25\u0E38\u0E48\u0E21\u0E01\u0E25\u0E49\u0E32\u0E21\u0E40\u0E19\u0E37\u0E49\
\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E21\u0E35\
\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01\u0E17\u0E35\
\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E19\u0E01\u0E32\u0E23\u0E41\u0E01\u0E49\u0E44\
\u0E02\u0E04\u0E27\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E1B\u0E01\u0E15\u0E34\u0E19\
\u0E35\u0E49\u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E27\u0E34\u0E18\u0E35\u0E42\
\u0E14\u0E22\u0E15\u0E23\u0E07"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_professional_medicine
tag: mmlu_th_llama_other_tasks
task: mmlu_th_llama_professional_medicine
task_alias: professional_medicine
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment