Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_us_foreign_policy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Prejudicou o apoio ao modelo americano de economia pol\xEDtica e capitalismo"
+      B: Isso criou raiva nos Estados Unidos por exagerarem a crise
+      C: "Aumentou o apoio \xE0 lideran\xE7a global americana sob o presidente Obama"
+      D: "Reduziu o uso global do d\xF3lar americano"
+    input_correct_responses:
+    - A
+    input_question: "Como a crise financeira de 2008 afetou a reputa\xE7\xE3o internacional\
+      \ da Am\xE9rica?"
+  - input_choice_list:
+      A: "Globalizou a conten\xE7\xE3o."
+      B: "Militarizou a conten\xE7\xE3o."
+      C: "Apelava ao desenvolvimento da bomba de hidrog\xE9nio."
+      D: Tudo o que precede
+    input_correct_responses:
+    - D
+    input_question: "Como o NSC-68 mudou a estrat\xE9gia dos EUA?"
+  - input_choice_list:
+      A: "pol\xEDtica de terrorismo."
+      B: "pol\xEDtica econ\xF4mica."
+      C: "pol\xEDtica estrangeira."
+      D: "pol\xEDtica internacional."
+    input_correct_responses:
+    - C
+    input_question: "O dom\xEDnio das decis\xF5es pol\xEDticas relacionadas principalmente\
+      \ com as rela\xE7\xF5es entre os Estados Unidos e o resto do mundo \xE9 conhecido\
+      \ como"
+  - input_choice_list:
+      A: "Os realistas defensivos colocam maior \xEAnfase no papel das institui\xE7\
+        \xF5es internacionais"
+      B: "Os realistas defensivos colocam menos \xEAnfase nos fatores geogr\xE1ficos"
+      C: "Os realistas ofensivos d\xE3o mais prioridade ao interesse nacional do que\
+        \ os realistas defensivos."
+      D: "Os realistas defensivos acreditam que os estados s\xE3o maximizadores de\
+        \ seguran\xE7a, enquanto os realistas ofensivos acreditam que os estados s\xE3\
+        o maximizadores de poder"
+    input_correct_responses:
+    - D
+    input_question: "Como o Realismo Defensivo e o Realismo Ofensivo diferem na sua\
+      \ explica\xE7\xE3o do comportamento do Estado?"
+  - input_choice_list:
+      A: "A globaliza\xE7\xE3o tornou homens como ele ricos demais"
+      B: "A globaliza\xE7\xE3o beneficiou apenas alguns estados americanos, como Nova\
+        \ York"
+      C: "As elites liberais encorajaram a globaliza\xE7\xE3o, enquanto os \u201C\
+        americanos comuns\u201D perderam empregos por causa dela"
+      D: "A globaliza\xE7\xE3o incentivou guerras comerciais prejudiciais"
+    input_correct_responses:
+    - C
+    input_question: "Como Donald Trump atacou a globaliza\xE7\xE3o na campanha de\
+      \ 2016?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_us_foreign_policy
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_us_foreign_policy
+task_alias: us_foreign_policy

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_virology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Porque eles n\xE3o t\xEAm \xE1cido nucl\xE9ico"
+      B: "Eles exigem um v\xEDrus auxiliar"
+      C: "Replicar apenas em c\xE9lulas em divis\xE3o"
+      D: Pode integrar-se aos cromossomos do hospedeiro
+    input_correct_responses:
+    - A
+    input_question: "Por que os parvov\xEDrus s\xE3o um parasita altamente impactante?"
+  - input_choice_list:
+      A: "V\xEDrus fr\xE1geis frequentemente visualizados com RNA expelido de dentro"
+      B: "V\xEDrus alongados"
+      C: "V\xEDrus icosa\xE9dricos com envelope"
+      D: "V\xEDrus muito grandes"
+    input_correct_responses:
+    - A
+    input_question: "Qual das alternativas a seguir \xE9 uma caracter\xEDstica morfol\xF3\
+      gica dos paramixov\xEDrus."
+  - input_choice_list:
+      A: "Cole\xE7\xE3o de dados"
+      B: "Estabelecimento de um reposit\xF3rio de amostras biol\xF3gicas"
+      C: Interesse do participante
+      D: "Administra\xE7\xE3o do question\xE1rio pela equipe"
+    input_correct_responses:
+    - B
+    input_question: "Um fator chave que facilitou a aplica\xE7\xE3o de estudos de\
+      \ caso-controle aninhados do MACS foi:"
+  - input_choice_list:
+      A: "Mudan\xE7a de comportamento"
+      B: Cobertura abrangente
+      C: Uso eficaz da teoria comportamental
+      D: "Mudan\xE7a sustentada de comportamento"
+    input_correct_responses:
+    - D
+    input_question: "O objetivo mais importante de uma interven\xE7\xE3o comportamental\
+      \ \xE9:"
+  - input_choice_list:
+      A: "Indiv\xEDduos soroprevalentes infectados pelo HIV"
+      B: Soronegativos
+      C: Soroconversores
+      D: Soronegativos de alto risco
+    input_correct_responses:
+    - C
+    input_question: "O tempo m\xE9dio de sobreviv\xEAncia \xE0 SIDA e \xE0 morte foi\
+      \ estabelecido da seguinte forma:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_virology
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_virology
+task_alias: virology

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_world_religions.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "O arco-\xEDris"
+      B: "Circuncis\xE3o"
+      C: Um filho
+      D: Bar Mitzvah
+    input_correct_responses:
+    - B
+    input_question: "Qual \xE9 o sinal da alian\xE7a para os homens judeus?"
+  - input_choice_list:
+      A: O Dharma
+      B: A Sanga
+      C: O Buda
+      D: O Bodisatva
+    input_correct_responses:
+    - A
+    input_question: "Qual \xE9 a segunda joia do budismo?"
+  - input_choice_list:
+      A: Shang
+      B: Zhou
+      C: Han
+      D: Xia
+    input_correct_responses:
+    - B
+    input_question: "Em que dinastia foi desenvolvido o \u201CMandato do C\xE9u\u201D\
+      \ para legitimar os novos governantes?"
+  - input_choice_list:
+      A: Honen
+      B: Tanaka
+      C: Tokugawa
+      D: Meiji
+    input_correct_responses:
+    - D
+    input_question: "Que governo japon\xEAs promoveu uma esp\xE9cie de culto nacional\
+      \ baseado no imperador e nas suas associa\xE7\xF5es com os kami?"
+  - input_choice_list:
+      A: Textos rituais
+      B: "Textos filos\xF3ficos"
+      C: Hinos
+      D: "Hist\xF3rias de origem"
+    input_correct_responses:
+    - B
+    input_question: Como os Upanishads podem ser caracterizados?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_world_religions
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_world_religions
+task_alias: world_religions

lm_eval/tasks/llama3/instruct/mmlu_pt/utils.py

+from functools import partial
+
+import datasets
+
+
+def process_docs(dataset: datasets.Dataset, subtask) -> datasets.Dataset:
+    return dataset.filter(
+        lambda example: example["subtask_name"] == f"mmlu_pt_chat.{subtask}"
+    )
+
+
+process_docs_formal_logic = partial(process_docs, subtask="formal_logic")
+process_docs_college_medicine = partial(process_docs, subtask="college_medicine")
+process_docs_nutrition = partial(process_docs, subtask="nutrition")
+process_docs_econometrics = partial(process_docs, subtask="econometrics")
+process_docs_college_chemistry = partial(process_docs, subtask="college_chemistry")
+process_docs_high_school_mathematics = partial(
+    process_docs, subtask="high_school_mathematics"
+)
+process_docs_high_school_us_history = partial(
+    process_docs, subtask="high_school_us_history"
+)
+process_docs_anatomy = partial(process_docs, subtask="anatomy")
+process_docs_machine_learning = partial(process_docs, subtask="machine_learning")
+process_docs_logical_fallacies = partial(process_docs, subtask="logical_fallacies")
+process_docs_professional_accounting = partial(
+    process_docs, subtask="professional_accounting"
+)
+process_docs_management = partial(process_docs, subtask="management")
+process_docs_computer_security = partial(process_docs, subtask="computer_security")
+process_docs_conceptual_physics = partial(process_docs, subtask="conceptual_physics")
+process_docs_high_school_geography = partial(
+    process_docs, subtask="high_school_geography"
+)
+process_docs_college_computer_science = partial(
+    process_docs, subtask="college_computer_science"
+)
+process_docs_international_law = partial(process_docs, subtask="international_law")
+process_docs_professional_medicine = partial(
+    process_docs, subtask="professional_medicine"
+)
+process_docs_moral_disputes = partial(process_docs, subtask="moral_disputes")
+process_docs_high_school_macroeconomics = partial(
+    process_docs, subtask="high_school_macroeconomics"
+)
+process_docs_public_relations = partial(process_docs, subtask="public_relations")
+process_docs_high_school_world_history = partial(
+    process_docs, subtask="high_school_world_history"
+)
+process_docs_business_ethics = partial(process_docs, subtask="business_ethics")
+process_docs_college_physics = partial(process_docs, subtask="college_physics")
+process_docs_high_school_government_and_politics = partial(
+    process_docs, subtask="high_school_government_and_politics"
+)
+process_docs_college_mathematics = partial(process_docs, subtask="college_mathematics")
+process_docs_electrical_engineering = partial(
+    process_docs, subtask="electrical_engineering"
+)
+process_docs_professional_psychology = partial(
+    process_docs, subtask="professional_psychology"
+)
+process_docs_clinical_knowledge = partial(process_docs, subtask="clinical_knowledge")
+process_docs_human_sexuality = partial(process_docs, subtask="human_sexuality")
+process_docs_sociology = partial(process_docs, subtask="sociology")
+process_docs_prehistory = partial(process_docs, subtask="prehistory")
+process_docs_high_school_psychology = partial(
+    process_docs, subtask="high_school_psychology"
+)
+process_docs_abstract_algebra = partial(process_docs, subtask="abstract_algebra")
+process_docs_high_school_computer_science = partial(
+    process_docs, subtask="high_school_computer_science"
+)
+process_docs_medical_genetics = partial(process_docs, subtask="medical_genetics")
+process_docs_elementary_mathematics = partial(
+    process_docs, subtask="elementary_mathematics"
+)
+process_docs_professional_law = partial(process_docs, subtask="professional_law")
+process_docs_miscellaneous = partial(process_docs, subtask="miscellaneous")
+process_docs_high_school_chemistry = partial(
+    process_docs, subtask="high_school_chemistry"
+)
+process_docs_human_aging = partial(process_docs, subtask="human_aging")
+process_docs_high_school_european_history = partial(
+    process_docs, subtask="high_school_european_history"
+)
+process_docs_college_biology = partial(process_docs, subtask="college_biology")
+process_docs_astronomy = partial(process_docs, subtask="astronomy")
+process_docs_high_school_physics = partial(process_docs, subtask="high_school_physics")
+process_docs_global_facts = partial(process_docs, subtask="global_facts")
+process_docs_jurisprudence = partial(process_docs, subtask="jurisprudence")
+process_docs_us_foreign_policy = partial(process_docs, subtask="us_foreign_policy")
+process_docs_virology = partial(process_docs, subtask="virology")
+process_docs_philosophy = partial(process_docs, subtask="philosophy")
+process_docs_high_school_statistics = partial(
+    process_docs, subtask="high_school_statistics"
+)
+process_docs_high_school_microeconomics = partial(
+    process_docs, subtask="high_school_microeconomics"
+)
+process_docs_high_school_biology = partial(process_docs, subtask="high_school_biology")
+process_docs_moral_scenarios = partial(process_docs, subtask="moral_scenarios")
+process_docs_security_studies = partial(process_docs, subtask="security_studies")
+process_docs_world_religions = partial(process_docs, subtask="world_religions")
+process_docs_marketing = partial(process_docs, subtask="marketing")

lm_eval/tasks/llama3/instruct/mmlu_th/_continuation_template_yaml

+dataset_path: meta-llama/Llama-3.1-8B-Instruct-evals
+dataset_name: Llama-3.1-8B-Instruct-evals__multilingual_mmlu_th__details
+output_type: generate_until
+test_split: latest
+doc_to_text: "Given the following question and four candidate answers (A, B, C and D), choose the best answer.\nQuestion: {{input_question.strip()}}\nA. {{input_choice_list.A}}\nB. {{input_choice_list.B}}\nC. {{input_choice_list.C}}\nD. {{input_choice_list.D}}\nYour response should end with \"The best answer is [the_answer_letter]\" where the [the_answer_letter] is one of A, B, C or D."
+gen_prefix: "The best answer is"
+doc_to_target: "{{input_correct_responses[0]}}."
+num_fewshot: 5
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+    regexes_to_ignore:
+      - "\\$"
+      - "\\.$"
+generation_kwargs:
+  do_sample: false
+  temperature: 0
+  until:
+    - "."
+  max_gen_toks: 10
+filter_list:
+  - name: strict_match
+    filter:
+      - function: remove_whitespace
+      - function: take_first
+metadata:
+  version: 1.0
+dataset_kwargs:
+  trust_remote_code: true

lm_eval/tasks/llama3/instruct/mmlu_th/_mmlu_th_humanities.yaml

+group: mmlu_th_llama_humanities
+group_alias: humanities
+task:
+  - mmlu_th_llama_humanities_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_th/_mmlu_th_llama.yaml

+group: mmlu_th_llama
+task:
+  - mmlu_th_llama_stem
+  - mmlu_th_llama_other
+  - mmlu_th_llama_social_sciences
+  - mmlu_th_llama_humanities
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_th/_mmlu_th_other.yaml

+group: mmlu_th_llama_other
+group_alias: other
+task:
+  - mmlu_th_llama_other_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_th/_mmlu_th_social_sciences.yaml

+group: mmlu_th_llama_social_sciences
+group_alias: social sciences
+task:
+  - mmlu_th_llama_social_sciences_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_th/_mmlu_th_stem.yaml

+group: mmlu_th_llama_stem
+group_alias: stem
+task:
+  - mmlu_th_llama_stem_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_abstract_algebra.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '0'
+      B: '1'
+      C: '2'
+      D: '3'
+    input_correct_responses:
+    - B
+    input_question: "\u0E04\u0E49\u0E19\u0E2B\u0E32 c \u0E17\u0E31\u0E49\u0E07\u0E2B\
+      \u0E21\u0E14\u0E43\u0E19 Z_3 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\
+      \ Z_3[x]/(x^2 + c) \u0E40\u0E1B\u0E47\u0E19\u0E1F\u0E34\u0E25\u0E14\u0E4C"
+  - input_choice_list:
+      A: "\u0E17\u0E23\u0E39\u0E17\u0E23\u0E39"
+      B: "\u0E40\u0E17\u0E47\u0E08\u0E40\u0E17\u0E47\u0E08"
+      C: "\u0E16\u0E39\u0E01\u0E1C\u0E34\u0E14"
+      D: "\u0E1C\u0E34\u0E14\u0E16\u0E39\u0E01"
+    input_correct_responses:
+    - B
+    input_question: "\u0E41\u0E16\u0E25\u0E07\u0E01\u0E32\u0E23\u0E13\u0E4C 1 | \u0E16\
+      \u0E49\u0E32 aH \u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E21\u0E32\u0E0A\u0E34\u0E01\
+      \u0E02\u0E2D\u0E07\u0E01\u0E25\u0E38\u0E48\u0E21\u0E15\u0E31\u0E27\u0E1B\u0E23\
+      \u0E30\u0E01\u0E2D\u0E1A \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 |aH| \u0E2B\
+      \u0E32\u0E23 |\u0E01|. \u0E16\u0E49\u0E2D\u0E22\u0E41\u0E16\u0E25\u0E07 2 |\
+      \ \u0E16\u0E49\u0E32 H \u0E41\u0E25\u0E30 K \u0E40\u0E1B\u0E47\u0E19\u0E01\u0E25\
+      \u0E38\u0E48\u0E21\u0E22\u0E48\u0E2D\u0E22\u0E02\u0E2D\u0E07 G \u0E41\u0E25\u0E49\
+      \u0E27 HK \u0E04\u0E37\u0E2D\u0E01\u0E25\u0E38\u0E48\u0E21\u0E22\u0E48\u0E2D\
+      \u0E22\u0E02\u0E2D\u0E07 G"
+  - input_choice_list:
+      A: "\u0E17\u0E23\u0E39\u0E17\u0E23\u0E39"
+      B: "\u0E40\u0E17\u0E47\u0E08\u0E40\u0E17\u0E47\u0E08"
+      C: "\u0E16\u0E39\u0E01\u0E1C\u0E34\u0E14"
+      D: "\u0E1C\u0E34\u0E14\u0E16\u0E39\u0E01"
+    input_correct_responses:
+    - C
+    input_question: "\u0E41\u0E16\u0E25\u0E07\u0E01\u0E32\u0E23\u0E13\u0E4C 1 | \u0E17\
+      \u0E38\u0E01\u0E2D\u0E07\u0E04\u0E4C\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E02\
+      \u0E2D\u0E07\u0E01\u0E25\u0E38\u0E48\u0E21\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E01\
+      \u0E25\u0E38\u0E48\u0E21\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E40\u0E1B\
+      \u0E47\u0E19\u0E27\u0E07\u0E08\u0E23\u0E02\u0E2D\u0E07\u0E01\u0E25\u0E38\u0E48\
+      \u0E21 \u0E16\u0E49\u0E2D\u0E22\u0E41\u0E16\u0E25\u0E07 2 | \u0E01\u0E25\u0E38\
+      \u0E48\u0E21\u0E2A\u0E21\u0E21\u0E32\u0E15\u0E23 S_10 \u0E21\u0E35 10 \u0E2D\
+      \u0E07\u0E04\u0E4C\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A"
+  - input_choice_list:
+      A: "\u0E17\u0E23\u0E39\u0E17\u0E23\u0E39"
+      B: "\u0E40\u0E17\u0E47\u0E08\u0E40\u0E17\u0E47\u0E08"
+      C: "\u0E16\u0E39\u0E01\u0E1C\u0E34\u0E14"
+      D: "\u0E1C\u0E34\u0E14\u0E16\u0E39\u0E01"
+    input_correct_responses:
+    - A
+    input_question: "\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 1| \u0E17\u0E38\u0E01\
+      \u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E08\u0E32\u0E01\u0E40\u0E0B\
+      \u0E15\u0E08\u0E33\u0E01\u0E31\u0E14\u0E40\u0E02\u0E49\u0E32\u0E2A\u0E39\u0E48\
+      \u0E15\u0E31\u0E27\u0E21\u0E31\u0E19\u0E40\u0E2D\u0E07\u0E08\u0E30\u0E15\u0E49\
+      \u0E2D\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E2B\u0E19\u0E36\u0E48\
+      \u0E07\u0E15\u0E48\u0E2D\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E16\u0E49\u0E2D\u0E22\
+      \u0E41\u0E16\u0E25\u0E07 2 | \u0E01\u0E25\u0E38\u0E48\u0E21\u0E22\u0E48\u0E2D\
+      \u0E22\u0E02\u0E2D\u0E07\u0E01\u0E25\u0E38\u0E48\u0E21\u0E2D\u0E32\u0E40\u0E1A\
+      \u0E40\u0E25\u0E35\u0E22\u0E19\u0E17\u0E38\u0E01\u0E01\u0E25\u0E38\u0E48\u0E21\
+      \u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E32\u0E40\u0E1A\u0E40\u0E25\u0E35\u0E22\u0E19"
+  - input_choice_list:
+      A: '0'
+      B: '3'
+      C: '12'
+      D: '30'
+    input_correct_responses:
+    - A
+    input_question: "\u0E04\u0E49\u0E19\u0E2B\u0E32\u0E25\u0E31\u0E01\u0E29\u0E13\u0E30\
+      \u0E02\u0E2D\u0E07\u0E27\u0E07\u0E41\u0E2B\u0E27\u0E19 2Z"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_abstract_algebra
+tag: mmlu_th_llama_stem_tasks
+task: mmlu_th_llama_abstract_algebra
+task_alias: abstract_algebra

lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_anatomy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0E2A\u0E48\u0E27\u0E19\u0E42\u0E04\u0E49\u0E07\u0E04\u0E2D\u0E2B\u0E2D\
+        \u0E22\u0E2D\u0E31\u0E19\u0E41\u0E23\u0E01"
+      B: "\u0E2A\u0E48\u0E27\u0E19\u0E42\u0E04\u0E49\u0E07\u0E04\u0E2D\u0E2B\u0E2D\
+        \u0E22\u0E17\u0E35\u0E48\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E41\u0E25\u0E30\u0E2A\
+        \u0E2D\u0E07"
+      C: "\u0E2A\u0E48\u0E27\u0E19\u0E42\u0E04\u0E49\u0E07\u0E04\u0E2D\u0E2B\u0E2D\
+        \u0E22\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07"
+      D: "\u0E04\u0E2D\u0E2B\u0E2D\u0E22\u0E2A\u0E48\u0E27\u0E19\u0E42\u0E04\u0E49\
+        \u0E07\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E41\u0E25\u0E30\u0E2A\u0E32\u0E21"
+    input_correct_responses:
+    - D
+    input_question: "\u0E15\u0E49\u0E19\u0E01\u0E33\u0E40\u0E19\u0E34\u0E14\u0E02\u0E2D\
+      \u0E07\u0E15\u0E31\u0E27\u0E2D\u0E48\u0E2D\u0E19\u0E02\u0E2D\u0E07\u0E01\u0E23\
+      \u0E30\u0E14\u0E39\u0E01\u0E44\u0E2E\u0E2D\u0E2D\u0E22\u0E14\u0E4C\u0E04\u0E37\
+      \u0E2D\u0E2D\u0E30\u0E44\u0E23?"
+  - input_choice_list:
+      A: "\u0E40\u0E2A\u0E49\u0E19\u0E1B\u0E23\u0E30\u0E2A\u0E32\u0E17\u0E40\u0E2B\
+        \u0E19\u0E37\u0E2D\u0E2D\u0E2D\u0E23\u0E4C\u0E1A\u0E34\u0E17\u0E31\u0E25"
+      B: "\u0E40\u0E2A\u0E49\u0E19\u0E1B\u0E23\u0E30\u0E2A\u0E32\u0E17 infraorbital"
+      C: "\u0E1B\u0E23\u0E30\u0E2A\u0E32\u0E17\u0E08\u0E34\u0E15"
+      D: "\u0E44\u0E21\u0E48\u0E21\u0E35\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E01\u0E25\
+        \u0E48\u0E32\u0E27\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19"
+    input_correct_responses:
+    - D
+    input_question: "\u0E41\u0E02\u0E19\u0E07\u0E43\u0E14\u0E02\u0E2D\u0E07\u0E40\u0E2A\
+      \u0E49\u0E19\u0E1B\u0E23\u0E30\u0E2A\u0E32\u0E17\u0E44\u0E15\u0E23\u0E40\u0E08\
+      \u0E21\u0E34\u0E19\u0E31\u0E25\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\
+      \u0E21\u0E35\u0E01\u0E23\u0E30\u0E1A\u0E27\u0E19\u0E01\u0E32\u0E23\u0E2A\u0E31\
+      \u0E48\u0E07\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E42\u0E0B\u0E21\u0E32\u0E15\
+      \u0E34\u0E01"
+  - input_choice_list:
+      A: "\u0E44\u0E21\u0E48\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E2A\u0E32\u0E17\u0E2A\
+        \u0E31\u0E21\u0E1C\u0E31\u0E2A\u0E1B\u0E01\u0E04\u0E25\u0E38\u0E21\u0E14\u0E49\
+        \u0E27\u0E22\u0E40\u0E2A\u0E49\u0E19"
+      B: "\u0E04\u0E31\u0E48\u0E19\u0E14\u0E49\u0E27\u0E22\u0E0A\u0E48\u0E2D\u0E07\
+        \u0E27\u0E48\u0E32\u0E07 2 \u0E21\u0E21."
+      C: "\u0E02\u0E22\u0E32\u0E22\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19\
+        \u0E04\u0E2D"
+      D: "\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22\u0E40\u0E22\
+        \u0E37\u0E48\u0E2D\u0E1A\u0E38\u0E1C\u0E34\u0E27\u0E17\u0E32\u0E07\u0E40\u0E14\
+        \u0E34\u0E19\u0E2B\u0E32\u0E22\u0E43\u0E08"
+    input_correct_responses:
+    - C
+    input_question: "\u0E40\u0E22\u0E37\u0E48\u0E2D\u0E2B\u0E38\u0E49\u0E21\u0E1B\u0E2D\
+      \u0E14"
+  - input_choice_list:
+      A: "\u0E1F\u0E31\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E1A\u0E19\u0E17\u0E35\u0E48\
+        \u0E2A\u0E1A\u0E01\u0E31\u0E19\u0E40\u0E01\u0E34\u0E19"
+      B: "\u0E42\u0E2D\u0E40\u0E27\u0E2D\u0E23\u0E4C\u0E40\u0E08\u0E47\u0E15\u0E40\
+        \u0E0A\u0E34\u0E07\u0E25\u0E1A\u0E02\u0E2D\u0E07\u0E1F\u0E31\u0E19\u0E2B\u0E19\
+        \u0E49\u0E32\u0E01\u0E25\u0E32\u0E07\u0E1A\u0E19"
+      C: "\u0E1F\u0E31\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E1A\u0E19\u0E22\u0E37\u0E48\
+        \u0E19\u0E2D\u0E2D\u0E01\u0E21\u0E32\u0E21\u0E32\u0E01\u0E40\u0E01\u0E34\u0E19\
+        \u0E44\u0E1B"
+      D: "\u0E2A\u0E48\u0E27\u0E19\u0E40\u0E01\u0E34\u0E19\u0E02\u0E2D\u0E07\u0E1F\
+        \u0E31\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E01\u0E25\u0E32\u0E07\u0E1A\u0E19"
+    input_correct_responses:
+    - C
+    input_question: "\u0E43\u0E19\u0E01\u0E32\u0E23\u0E1A\u0E14\u0E40\u0E04\u0E35\u0E49\
+      \u0E22\u0E27 Class II Div 2 \u0E02\u0E2D\u0E07 Angle \u0E21\u0E35"
+  - input_choice_list:
+      A: "\u0E0A\u0E48\u0E2D\u0E07\u0E17\u0E49\u0E2D\u0E07"
+      B: "\u0E01\u0E30\u0E42\u0E2B\u0E25\u0E01\u0E28\u0E35\u0E23\u0E29\u0E30"
+      C: "\u0E40\u0E22\u0E37\u0E48\u0E2D\u0E2B\u0E38\u0E49\u0E21\u0E1B\u0E2D\u0E14"
+      D: "\u0E01\u0E23\u0E30\u0E14\u0E39\u0E01\u0E2A\u0E31\u0E19\u0E2B\u0E25\u0E31\
+        \u0E07"
+    input_correct_responses:
+    - B
+    input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E04\u0E37\u0E2D\u0E42\u0E1E\u0E23\
+      \u0E07\u0E23\u0E48\u0E32\u0E07\u0E01\u0E32\u0E22\u0E17\u0E35\u0E48\u0E21\u0E35\
+      \u0E15\u0E48\u0E2D\u0E21\u0E43\u0E15\u0E49\u0E2A\u0E21\u0E2D\u0E07?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_anatomy
+tag: mmlu_th_llama_stem_tasks
+task: mmlu_th_llama_anatomy
+task_alias: anatomy

lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_astronomy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0E21\u0E31\u0E19\u0E08\u0E30\u0E22\u0E32\u0E01\u0E02\u0E36\u0E49\u0E19\
+        \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E23\u0E16\u0E1A\u0E23\
+        \u0E23\u0E17\u0E38\u0E01\u0E2B\u0E19\u0E31\u0E01\u0E01\u0E27\u0E48\u0E32\u0E1A\
+        \u0E19\u0E14\u0E32\u0E27\u0E2D\u0E31\u0E07\u0E04\u0E32\u0E23"
+      B: "\u0E21\u0E31\u0E19\u0E08\u0E30\u0E07\u0E48\u0E32\u0E22\u0E01\u0E27\u0E48\
+        \u0E32\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E23\u0E16\u0E1A\
+        \u0E23\u0E23\u0E17\u0E38\u0E01\u0E21\u0E35\u0E19\u0E49\u0E33\u0E2B\u0E19\u0E31\
+        \u0E01\u0E40\u0E1A\u0E32\u0E01\u0E27\u0E48\u0E32\u0E1A\u0E19\u0E14\u0E32\u0E27\
+        \u0E2D\u0E31\u0E07\u0E04\u0E32\u0E23"
+      C: "\u0E21\u0E31\u0E19\u0E08\u0E30\u0E22\u0E32\u0E01\u0E02\u0E36\u0E49\u0E19\
+        \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E23\u0E16\u0E1A\u0E23\
+        \u0E23\u0E17\u0E38\u0E01\u0E40\u0E1A\u0E32\u0E01\u0E27\u0E48\u0E32\u0E1A\u0E19\
+        \u0E14\u0E32\u0E27\u0E2D\u0E31\u0E07\u0E04\u0E32\u0E23"
+      D: "\u0E21\u0E31\u0E19\u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\
+        \u0E31\u0E19\u0E44\u0E21\u0E48\u0E27\u0E48\u0E32\u0E04\u0E38\u0E13\u0E08\u0E30\
+        \u0E2D\u0E22\u0E39\u0E48\u0E17\u0E35\u0E48\u0E44\u0E2B\u0E19"
+    input_correct_responses:
+    - D
+    input_question: "\u0E04\u0E38\u0E13\u0E01\u0E33\u0E25\u0E31\u0E07\u0E40\u0E02\u0E47\
+      \u0E19\u0E23\u0E16\u0E1A\u0E23\u0E23\u0E17\u0E38\u0E01\u0E44\u0E1B\u0E15\u0E32\
+      \u0E21\u0E16\u0E19\u0E19 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E07\u0E48\u0E32\u0E22\
+      \u0E01\u0E27\u0E48\u0E32\u0E44\u0E2B\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\
+      \u0E23\u0E48\u0E07\u0E23\u0E16\u0E1A\u0E23\u0E23\u0E17\u0E38\u0E01\u0E04\u0E31\
+      \u0E19\u0E19\u0E35\u0E49\u0E1A\u0E19\u0E14\u0E32\u0E27\u0E2D\u0E31\u0E07\u0E04\
+      \u0E32\u0E23 \u0E17\u0E33\u0E44\u0E21 (\u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\u0E44\
+      \u0E21\u0E48\u0E21\u0E35\u0E41\u0E23\u0E07\u0E40\u0E2A\u0E35\u0E22\u0E14\u0E17\
+      \u0E32\u0E19)"
+  - input_choice_list:
+      A: "\u0E41\u0E16\u0E1A\u0E44\u0E04\u0E40\u0E1B\u0E2D\u0E23\u0E4C; \u0E14\u0E32\
+        \u0E27\u0E2B\u0E32\u0E07\u0E04\u0E32\u0E1A\u0E2A\u0E31\u0E49\u0E19\u0E21\u0E35\
+        \u0E41\u0E19\u0E27\u0E42\u0E19\u0E49\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2D\
+        \u0E22\u0E39\u0E48\u0E43\u0E19\u0E23\u0E30\u0E19\u0E32\u0E1A\u0E02\u0E2D\u0E07\
+        \u0E23\u0E30\u0E1A\u0E1A\u0E2A\u0E38\u0E23\u0E34\u0E22\u0E30\u0E40\u0E0A\u0E48\
+        \u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E41\u0E16\u0E1A\u0E44\
+        \u0E04\u0E40\u0E1B\u0E2D\u0E23\u0E4C"
+      B: "\u0E41\u0E16\u0E1A\u0E44\u0E04\u0E40\u0E1B\u0E2D\u0E23\u0E4C; \u0E14\u0E32\
+        \u0E27\u0E2B\u0E32\u0E07\u0E04\u0E32\u0E1A\u0E2A\u0E31\u0E49\u0E19\u0E21\u0E31\
+        \u0E01\u0E08\u0E30\u0E21\u0E32\u0E08\u0E32\u0E01\u0E17\u0E34\u0E28\u0E17\u0E32\
+        \u0E07\u0E2A\u0E38\u0E48\u0E21\u0E0B\u0E36\u0E48\u0E07\u0E1A\u0E48\u0E07\u0E0A\
+        \u0E35\u0E49\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E08\u0E32\
+        \u0E22\u0E15\u0E31\u0E27\u0E02\u0E2D\u0E07\u0E14\u0E32\u0E27\u0E2B\u0E32\u0E07\
+        \u0E17\u0E23\u0E07\u0E01\u0E25\u0E21\u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\
+        \u0E01\u0E27\u0E48\u0E32\u0E41\u0E16\u0E1A\u0E44\u0E04\u0E40\u0E1B\u0E2D\u0E23\
+        \u0E4C"
+      C: "\u0E41\u0E16\u0E1A\u0E14\u0E32\u0E27\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\
+        \u0E4C\u0E19\u0E49\u0E2D\u0E22 \u0E14\u0E32\u0E27\u0E2B\u0E32\u0E07\u0E04\u0E32\
+        \u0E1A\u0E2A\u0E31\u0E49\u0E19\u0E21\u0E35\u0E04\u0E32\u0E1A\u0E01\u0E32\u0E23\
+        \u0E42\u0E04\u0E08\u0E23\u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E1A\u0E14\
+        \u0E32\u0E27\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\u0E19\u0E49\u0E2D\u0E22\
+        \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E27\u0E2A\u0E15\u0E32 \u0E41\u0E25\u0E30\
+        \u0E1E\u0E1A\u0E43\u0E19\u0E23\u0E30\u0E19\u0E32\u0E1A\u0E02\u0E2D\u0E07\u0E23\
+        \u0E30\u0E1A\u0E1A\u0E2A\u0E38\u0E23\u0E34\u0E22\u0E30\u0E40\u0E0A\u0E48\u0E19\
+        \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E41\u0E16\u0E1A\u0E14\u0E32\
+        \u0E27\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\u0E19\u0E49\u0E2D\u0E22"
+      D: "\u0E40\u0E21\u0E06\u0E2D\u0E2D\u0E23\u0E4C\u0E15; \u0E14\u0E32\u0E27\u0E2B\
+        \u0E32\u0E07\u0E04\u0E32\u0E1A\u0E2A\u0E31\u0E49\u0E19\u0E21\u0E35\u0E41\u0E19\
+        \u0E27\u0E42\u0E19\u0E49\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2D\u0E22\u0E39\
+        \u0E48\u0E43\u0E19\u0E23\u0E30\u0E19\u0E32\u0E1A\u0E02\u0E2D\u0E07\u0E23\u0E30\
+        \u0E1A\u0E1A\u0E2A\u0E38\u0E23\u0E34\u0E22\u0E30\u0E40\u0E0A\u0E48\u0E19\u0E40\
+        \u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E40\u0E21\u0E06\u0E2D\u0E2D\u0E23\
+        \u0E4C\u0E15"
+    input_correct_responses:
+    - A
+    input_question: "\u0E14\u0E32\u0E27\u0E2B\u0E32\u0E07\u0E04\u0E32\u0E1A\u0E2A\u0E31\
+      \u0E49\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E2B\u0E0D\u0E48\u0E21\u0E32\u0E08\
+      \u0E32\u0E01\u0E44\u0E2B\u0E19\u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E08\u0E30\
+      \u0E23\u0E39\u0E49\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\
+      ?"
+  - input_choice_list:
+      A: "\u0E2D\u0E35\u0E01 10,000 \u0E40\u0E17\u0E48\u0E32"
+      B: "\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E36\u0E49\u0E19\u0E2D\u0E35\u0E01\
+        \ 100 \u0E40\u0E17\u0E48\u0E32"
+      C: "\u0E2D\u0E35\u0E01 1,000 \u0E40\u0E17\u0E48\u0E32"
+      D: "\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E36\u0E49\u0E19 10 \u0E40\u0E17\u0E48\
+        \u0E32"
+    input_correct_responses:
+    - A
+    input_question: "\u0E2A\u0E21\u0E21\u0E15\u0E34\u0E27\u0E48\u0E32\u0E23\u0E39\u0E21\
+      \u0E48\u0E32\u0E19\u0E15\u0E32\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E21\u0E35\
+      \u0E40\u0E2A\u0E49\u0E19\u0E1C\u0E48\u0E32\u0E19\u0E28\u0E39\u0E19\u0E22\u0E4C\
+      \u0E01\u0E25\u0E32\u0E07 5 \u0E21\u0E21. \u0E41\u0E25\u0E30\u0E04\u0E38\u0E13\
+      \u0E21\u0E35\u0E01\u0E25\u0E49\u0E2D\u0E07\u0E42\u0E17\u0E23\u0E17\u0E23\u0E23\
+      \u0E28\u0E19\u0E4C\u0E17\u0E35\u0E48\u0E21\u0E35\u0E23\u0E39\u0E23\u0E31\u0E1A\
+      \u0E41\u0E2A\u0E07 50 \u0E0B\u0E21. \u0E01\u0E25\u0E49\u0E2D\u0E07\u0E42\u0E17\
+      \u0E23\u0E17\u0E23\u0E23\u0E28\u0E19\u0E4C\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\
+      \u0E23\u0E27\u0E1A\u0E23\u0E27\u0E21\u0E41\u0E2A\u0E07\u0E44\u0E14\u0E49\u0E21\
+      \u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\u0E15\u0E32\u0E02\u0E2D\u0E07\u0E04\u0E38\
+      \u0E13\u0E21\u0E32\u0E01\u0E41\u0E04\u0E48\u0E44\u0E2B\u0E19?"
+  - input_choice_list:
+      A: "\u0E14\u0E32\u0E27\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\u0E14\u0E27\
+        \u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E40\u0E04\u0E22\u0E01\u0E48\u0E2D\u0E15\
+        \u0E31\u0E27\u0E02\u0E36\u0E49\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E48 \u0E41\
+        \u0E15\u0E48\u0E16\u0E39\u0E01\u0E41\u0E22\u0E01\u0E2D\u0E2D\u0E01\u0E08\u0E32\
+        \u0E01\u0E01\u0E31\u0E19\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E0A\u0E19\u0E01\
+        \u0E31\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E23\u0E38\u0E19\u0E41\u0E23\u0E07"
+      B: "\u0E43\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E19\u0E35\u0E49\u0E02\u0E2D\u0E07\
+        \u0E40\u0E19\u0E1A\u0E34\u0E27\u0E25\u0E32\u0E2A\u0E38\u0E23\u0E34\u0E22\u0E30\
+        \u0E21\u0E35\u0E27\u0E31\u0E2A\u0E14\u0E38\u0E44\u0E21\u0E48\u0E40\u0E1E\u0E35\
+        \u0E22\u0E07\u0E1E\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E01\u0E48\u0E2D\u0E15\
+        \u0E31\u0E27\u0E40\u0E1B\u0E47\u0E19\u0E14\u0E32\u0E27\u0E40\u0E04\u0E23\u0E32\
+        \u0E30\u0E2B\u0E4C"
+      C: "\u0E21\u0E35\u0E27\u0E31\u0E2A\u0E14\u0E38\u0E17\u0E35\u0E48\u0E40\u0E1B\
+        \u0E47\u0E19\u0E2B\u0E34\u0E19\u0E21\u0E32\u0E01\u0E40\u0E01\u0E34\u0E19\u0E44\
+        \u0E1B\u0E17\u0E35\u0E48\u0E08\u0E30\u0E01\u0E48\u0E2D\u0E15\u0E31\u0E27\u0E40\
+        \u0E1B\u0E47\u0E19\u0E14\u0E32\u0E27\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\
+        \u0E1A\u0E19\u0E1E\u0E37\u0E49\u0E19\u0E42\u0E25\u0E01 \u0E41\u0E15\u0E48\u0E21\
+        \u0E35\u0E27\u0E31\u0E2A\u0E14\u0E38\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\
+        \u0E01\u0E4A\u0E32\u0E0B\u0E44\u0E21\u0E48\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E1E\
+        \u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E01\u0E48\u0E2D\u0E15\u0E31\u0E27\u0E40\
+        \u0E1B\u0E47\u0E19\u0E14\u0E32\u0E27\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\
+        \u0E42\u0E08\u0E40\u0E27\u0E35\u0E22\u0E19"
+      D: "\u0E01\u0E32\u0E23\u0E2A\u0E31\u0E48\u0E19\u0E1E\u0E49\u0E2D\u0E07\u0E01\
+        \u0E31\u0E1A\u0E14\u0E32\u0E27\u0E1E\u0E24\u0E2B\u0E31\u0E2A\u0E1A\u0E14\u0E35\
+        \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E27\u0E31\u0E2A\u0E14\u0E38\u0E44\u0E21\u0E48\
+        \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E23\u0E27\u0E21\u0E15\u0E31\u0E27\u0E01\
+        \u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E14\
+        \u0E32\u0E27\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\u0E44\u0E14\u0E49"
+    input_correct_responses:
+    - D
+    input_question: "\u0E40\u0E2B\u0E15\u0E38\u0E43\u0E14\u0E08\u0E36\u0E07\u0E44\u0E21\
+      \u0E48\u0E21\u0E35\u0E14\u0E32\u0E27\u0E40\u0E04\u0E23\u0E32\u0E30\u0E2B\u0E4C\
+      \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E35\u0E48\u0E15\u0E31\
+      \u0E49\u0E07\u0E02\u0E2D\u0E07\u0E41\u0E16\u0E1A\u0E14\u0E32\u0E27\u0E40\u0E04\
+      \u0E23\u0E32\u0E30\u0E2B\u0E4C\u0E19\u0E49\u0E2D\u0E22"
+  - input_choice_list:
+      A: "\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E1E\u0E37\u0E49\
+        \u0E19\u0E1C\u0E34\u0E27\u0E16\u0E39\u0E01\u0E1B\u0E01\u0E04\u0E25\u0E38\u0E21\
+        \u0E14\u0E49\u0E27\u0E22\u0E41\u0E23\u0E48\u0E18\u0E32\u0E15\u0E38\u0E17\u0E35\
+        \u0E48\u0E16\u0E39\u0E01\u0E2D\u0E2D\u0E01\u0E0B\u0E34\u0E44\u0E14\u0E0B\u0E4C\
+        \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2B\u0E19\u0E31\u0E01 ("\u0E2A\u0E19\
+        \u0E34\u0E21")"
+      B: "\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E0A\u0E31\u0E49\
+        \u0E19\u0E1A\u0E23\u0E23\u0E22\u0E32\u0E01\u0E32\u0E28\u0E08\u0E30\u0E01\u0E23\
+        \u0E30\u0E08\u0E32\u0E22\u0E41\u0E2A\u0E07\u0E21\u0E32\u0E01\u0E02\u0E36\u0E49\
+        \u0E19\u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\
+        \u0E27\u0E04\u0E25\u0E37\u0E48\u0E19\u0E2A\u0E35\u0E19\u0E49\u0E33\u0E40\u0E07\
+        \u0E34\u0E19\u0E17\u0E35\u0E48\u0E2A\u0E48\u0E07\u0E41\u0E2A\u0E07\u0E2A\u0E35\
+        \u0E41\u0E14\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E2B\
+        \u0E0D\u0E48"
+      C: "\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E14\u0E32\u0E27\
+        \u0E2D\u0E31\u0E07\u0E04\u0E32\u0E23\u0E16\u0E39\u0E01\u0E1B\u0E01\u0E04\u0E25\
+        \u0E38\u0E21\u0E14\u0E49\u0E27\u0E22\u0E25\u0E32\u0E27\u0E32\u0E42\u0E1A\u0E23\
+        \u0E32\u0E13\u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35\u0E2A\u0E35\u0E41\u0E14\u0E07"
+      D: "\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E19\u0E49\u0E33\
+        \u0E17\u0E35\u0E48\u0E44\u0E2B\u0E25\u0E1A\u0E19\u0E1E\u0E37\u0E49\u0E19\u0E1C\
+        \u0E34\u0E27\u0E14\u0E32\u0E27\u0E2D\u0E31\u0E07\u0E04\u0E32\u0E23\u0E44\u0E14\
+        \u0E49\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E41\u0E1B\u0E25\u0E07\u0E41\
+        \u0E23\u0E48\u0E18\u0E32\u0E15\u0E38\u0E1A\u0E19\u0E1E\u0E37\u0E49\u0E19\u0E1C\
+        \u0E34\u0E27\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E2B\u0E25\u0E32\u0E22\u0E1E\u0E31\
+        \u0E19\u0E25\u0E49\u0E32\u0E19\u0E1B\u0E35\u0E01\u0E48\u0E2D\u0E19"
+    input_correct_responses:
+    - A
+    input_question: "\u0E17\u0E33\u0E44\u0E21\u0E14\u0E32\u0E27\u0E2D\u0E31\u0E07\u0E04\
+      \u0E32\u0E23\u0E16\u0E36\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E35\u0E41\u0E14\
+      \u0E07?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_astronomy
+tag: mmlu_th_llama_stem_tasks
+task: mmlu_th_llama_astronomy
+task_alias: astronomy

lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_business_ethics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0E2A\u0E34\u0E48\u0E07\u0E20\u0E32\u0E22\u0E19\u0E2D\u0E01 \u0E2D\u0E33\
+        \u0E19\u0E32\u0E08 \u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E34\
+        \u0E2A\u0E23\u0E30"
+      B: "\u0E01\u0E32\u0E23\u0E40\u0E1C\u0E22\u0E41\u0E1E\u0E23\u0E48, \u0E17\u0E23\
+        \u0E31\u0E1E\u0E22\u0E32\u0E01\u0E23\u0E44\u0E21\u0E48\u0E40\u0E1E\u0E35\u0E22\
+        \u0E07\u0E1E\u0E2D, \u0E01\u0E32\u0E23\u0E1E\u0E36\u0E48\u0E07\u0E1E\u0E32\
+        \u0E0B\u0E36\u0E48\u0E07\u0E01\u0E31\u0E19\u0E41\u0E25\u0E30\u0E01\u0E31\u0E19"
+      C: "\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E2A\u0E31\u0E21\u0E1E\
+        \u0E31\u0E19\u0E18\u0E4C \u0E2D\u0E33\u0E19\u0E32\u0E08 \u0E04\u0E27\u0E32\
+        \u0E21\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E34\u0E2A\u0E23\u0E30"
+      D: "\u0E2A\u0E34\u0E48\u0E07\u0E20\u0E32\u0E22\u0E19\u0E2D\u0E01 \u0E2D\u0E33\
+        \u0E19\u0E32\u0E08 \u0E01\u0E32\u0E23\u0E1E\u0E36\u0E48\u0E07\u0E1E\u0E32\u0E0B\
+        \u0E36\u0E48\u0E07\u0E01\u0E31\u0E19\u0E41\u0E25\u0E30\u0E01\u0E31\u0E19"
+    input_correct_responses:
+    - D
+    input_question: "\u0E19\u0E2D\u0E01\u0E40\u0E2B\u0E19\u0E37\u0E2D\u0E08\u0E32\u0E01\
+      \u0E01\u0E23\u0E13\u0E35\u0E18\u0E38\u0E23\u0E01\u0E34\u0E08\u0E2A\u0E33\u0E2B\
+      \u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E21\u0E35\u0E2A\u0E48\u0E27\u0E19\u0E23\
+      \u0E48\u0E27\u0E21\u0E43\u0E19 CSR \u0E22\u0E31\u0E07\u0E21\u0E35\u0E02\u0E49\
+      \u0E2D\u0E42\u0E15\u0E49\u0E41\u0E22\u0E49\u0E07\u0E17\u0E32\u0E07\u0E28\u0E35\
+      \u0E25\u0E18\u0E23\u0E23\u0E21\u0E2B\u0E25\u0E32\u0E22\u0E1B\u0E23\u0E30\u0E01\
+      \u0E32\u0E23\u0E17\u0E35\u0E48\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E02\u0E49\
+      \u0E2D\u0E07\u0E01\u0E31\u0E1A: _______ \u0E40\u0E0A\u0E34\u0E07\u0E25\u0E1A\
+      , _______ \u0E17\u0E35\u0E48\u0E1A\u0E23\u0E34\u0E29\u0E31\u0E17\u0E04\u0E23\
+      \u0E2D\u0E1A\u0E04\u0E23\u0E2D\u0E07 \u0E41\u0E25\u0E30 ________ \u0E02\u0E2D\
+      \u0E07\u0E18\u0E38\u0E23\u0E01\u0E34\u0E08\u0E41\u0E25\u0E30\u0E2A\u0E31\u0E07\
+      \u0E04\u0E21"
+  - input_choice_list:
+      A: "\u0E04\u0E27\u0E32\u0E21\u0E23\u0E31\u0E1A\u0E1C\u0E34\u0E14\u0E0A\u0E2D\
+        \u0E1A\u0E15\u0E48\u0E2D\u0E2A\u0E31\u0E07\u0E04\u0E21"
+      B: "\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E08\u0E23\u0E34\
+        \u0E22\u0E18\u0E23\u0E23\u0E21\u0E17\u0E32\u0E07\u0E18\u0E38\u0E23\u0E01\u0E34\
+        \u0E08"
+      C: "\u0E04\u0E27\u0E32\u0E21\u0E22\u0E31\u0E48\u0E07\u0E22\u0E37\u0E19"
+      D: "\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E2A\u0E34\u0E48\
+        \u0E07\u0E41\u0E27\u0E14\u0E25\u0E49\u0E2D\u0E21"
+    input_correct_responses:
+    - B
+    input_question: "_______ \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E1E\
+      \u0E22\u0E32\u0E22\u0E32\u0E21\u0E42\u0E14\u0E22\u0E15\u0E23\u0E07\u0E43\u0E19\
+      \u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E1B\u0E31\u0E0D\u0E2B\
+      \u0E32\u0E2B\u0E23\u0E37\u0E2D\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E14\u0E49\u0E32\
+      \u0E19\u0E08\u0E23\u0E34\u0E22\u0E18\u0E23\u0E23\u0E21\u0E2D\u0E22\u0E48\u0E32\
+      \u0E07\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E32\u0E07\u0E01\u0E32\u0E23\u0E2B\u0E23\
+      \u0E37\u0E2D\u0E44\u0E21\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E32\u0E07\u0E01\
+      \u0E32\u0E23 \u0E1C\u0E48\u0E32\u0E19\u0E19\u0E42\u0E22\u0E1A\u0E32\u0E22 \u0E41\
+      \u0E19\u0E27\u0E1B\u0E0F\u0E34\u0E1A\u0E31\u0E15\u0E34 \u0E41\u0E25\u0E30\u0E42\
+      \u0E04\u0E23\u0E07\u0E01\u0E32\u0E23\u0E40\u0E09\u0E1E\u0E32\u0E30"
+  - input_choice_list:
+      A: "\u0E20\u0E32\u0E22\u0E19\u0E2D\u0E01 \u0E08\u0E33\u0E01\u0E31\u0E14 \u0E40\
+        \u0E1B\u0E47\u0E19\u0E2D\u0E34\u0E2A\u0E23\u0E30"
+      B: "\u0E20\u0E32\u0E22\u0E43\u0E19 \u0E08\u0E33\u0E01\u0E31\u0E14 \u0E40\u0E1B\
+        \u0E47\u0E19\u0E23\u0E30\u0E22\u0E30 \u0E46"
+      C: "\u0E19\u0E2D\u0E01, \u0E44\u0E21\u0E48\u0E08\u0E33\u0E01\u0E31\u0E14, \u0E40\
+        \u0E1B\u0E47\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E46"
+      D: "\u0E20\u0E32\u0E22\u0E43\u0E19 \u0E44\u0E21\u0E48\u0E08\u0E33\u0E01\u0E31\
+        \u0E14 \u0E2D\u0E34\u0E2A\u0E23\u0E30"
+    input_correct_responses:
+    - A
+    input_question: "\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E41\u0E19\u0E48\
+      \u0E43\u0E08\u0E27\u0E48\u0E32\u0E2A\u0E21\u0E32\u0E0A\u0E34\u0E01\u0E04\u0E13\
+      \u0E30\u0E01\u0E23\u0E23\u0E21\u0E01\u0E32\u0E23\u0E17\u0E35\u0E48\u0E44\u0E21\
+      \u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E39\u0E49\u0E1A\u0E23\u0E34\u0E2B\u0E32\
+      \u0E23\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E34\
+      \u0E2A\u0E23\u0E30 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E40\u0E2B\u0E25\
+      \u0E48\u0E32\u0E19\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E31\u0E49\u0E19\
+      \u0E15\u0E2D\u0E19\u0E2B\u0E25\u0E32\u0E22\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\
+      \u0E19\u0E17\u0E35\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E14\u0E33\u0E40\
+      \u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\u0E44\u0E14\u0E49 \u0E0B\u0E36\u0E48\u0E07\
+      \u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E41\u0E15\u0E48\u0E07\
+      \u0E15\u0E31\u0E49\u0E07\u0E1C\u0E39\u0E49\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\
+      \u0E43\u0E0A\u0E48\u0E1C\u0E39\u0E49\u0E1A\u0E23\u0E34\u0E2B\u0E32\u0E23\u0E08\
+      \u0E32\u0E01 _______ \u0E1A\u0E23\u0E34\u0E29\u0E31\u0E17 \u0E01\u0E32\u0E23\
+      \u0E41\u0E15\u0E48\u0E07\u0E15\u0E31\u0E49\u0E07\u0E43\u0E19\u0E0A\u0E48\u0E27\
+      \u0E07\u0E40\u0E27\u0E25\u0E32 _________ \u0E15\u0E25\u0E2D\u0E14\u0E08\u0E19\
+      \u0E01\u0E32\u0E23\u0E41\u0E15\u0E48\u0E07\u0E15\u0E31\u0E49\u0E07 _________"
+  - input_choice_list:
+      A: "\u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E42\u0E14\u0E22\u0E15\
+        \u0E23\u0E07\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E23\u0E38\u0E19\u0E41\u0E23\
+        \u0E07, \u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E42\u0E14\u0E22\
+        \u0E15\u0E23\u0E07\u0E17\u0E35\u0E48\u0E23\u0E38\u0E19\u0E41\u0E23\u0E07,\
+        \ \u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E42\u0E14\u0E22\u0E2D\
+        \u0E49\u0E2D\u0E21, \u0E01\u0E32\u0E23\u0E04\u0E27\u0E48\u0E33\u0E1A\u0E32\
+        \u0E15\u0E23"
+      B: "\u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E17\u0E32\u0E07\u0E2D\
+        \u0E49\u0E2D\u0E21, \u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E14\
+        \u0E49\u0E27\u0E22\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E21\u0E37\u0E2D\
+        , \u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E42\u0E14\u0E22\u0E15\
+        \u0E23\u0E07\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E23\u0E38\u0E19\u0E41\u0E23\
+        \u0E07, \u0E01\u0E32\u0E23\u0E23\u0E13\u0E23\u0E07\u0E04\u0E4C\u0E14\u0E49\
+        \u0E27\u0E22\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25"
+      C: "\u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E17\u0E32\u0E07\u0E2D\
+        \u0E49\u0E2D\u0E21, \u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E42\
+        \u0E14\u0E22\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48\u0E23\u0E38\u0E19\u0E41\u0E23\
+        \u0E07, \u0E01\u0E32\u0E23\u0E04\u0E27\u0E48\u0E33\u0E1A\u0E32\u0E15\u0E23\
+        \u0E42\u0E14\u0E22\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E23\
+        \u0E38\u0E19\u0E41\u0E23\u0E07"
+      D: "\u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\u0E33\u0E42\u0E14\u0E22\u0E15\
+        \u0E23\u0E07\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E49\u0E04\u0E27\
+        \u0E32\u0E21\u0E23\u0E38\u0E19\u0E41\u0E23\u0E07, \u0E01\u0E32\u0E23\u0E01\
+        \u0E23\u0E30\u0E17\u0E33\u0E14\u0E49\u0E27\u0E22\u0E40\u0E04\u0E23\u0E37\u0E48\
+        \u0E2D\u0E07\u0E21\u0E37\u0E2D, \u0E01\u0E32\u0E23\u0E01\u0E23\u0E30\u0E17\
+        \u0E33\u0E42\u0E14\u0E22\u0E2D\u0E49\u0E2D\u0E21, \u0E01\u0E32\u0E23\u0E23\
+        \u0E13\u0E23\u0E07\u0E04\u0E4C\u0E14\u0E49\u0E27\u0E22\u0E02\u0E49\u0E2D\u0E21\
+        \u0E39\u0E25"
+    input_correct_responses:
+    - C
+    input_question: "\u0E01\u0E25\u0E22\u0E38\u0E17\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E02\
+      \u0E31\u0E14\u0E41\u0E22\u0E49\u0E07\u0E01\u0E31\u0E19\u0E2A\u0E32\u0E21\u0E27\
+      \u0E34\u0E18\u0E35\u0E17\u0E35\u0E48 CSO \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\
+      \u0E21\u0E35\u0E2A\u0E48\u0E27\u0E19\u0E23\u0E48\u0E27\u0E21\u0E40\u0E1E\u0E37\
+      \u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E1A\u0E23\u0E23\u0E25\u0E38\u0E40\u0E1B\u0E49\
+      \u0E32\u0E2B\u0E21\u0E32\u0E22 \u0E44\u0E14\u0E49\u0E41\u0E01\u0E48 ________\
+      \ \u0E0B\u0E36\u0E48\u0E07\u0E42\u0E14\u0E22\u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\
+      \u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\
+      \u0E01\u0E32\u0E23\u0E27\u0E34\u0E08\u0E31\u0E22\u0E41\u0E25\u0E30\u0E01\u0E32\
+      \u0E23\u0E2A\u0E37\u0E48\u0E2D\u0E2A\u0E32\u0E23 ________ \u0E0B\u0E36\u0E48\
+      \u0E07\u0E2D\u0E32\u0E08\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E02\u0E49\u0E2D\
+      \u0E07\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E42\u0E08\u0E21\u0E15\u0E35\u0E17\
+      \u0E32\u0E07\u0E23\u0E48\u0E32\u0E07\u0E01\u0E32\u0E22\u0E15\u0E48\u0E2D\u0E01\
+      \u0E32\u0E23\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E07\u0E32\u0E19\u0E02\u0E2D\
+      \u0E07\u0E1A\u0E23\u0E34\u0E29\u0E31\u0E17 \u0E2B\u0E23\u0E37\u0E2D ________\
+      \ \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E31\u0E01\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\
+      \u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A _______ \u0E23\u0E39\u0E1B\u0E41\u0E1A\
+      \u0E1A\u0E43\u0E14\u0E23\u0E39\u0E1B\u0E41\u0E1A\u0E1A\u0E2B\u0E19\u0E36\u0E48\
+      \u0E07"
+  - input_choice_list:
+      A: "Buycotts, Boycotts, \u0E40\u0E17\u0E04\u0E42\u0E19\u0E42\u0E25\u0E22\u0E35\
+        \ Blockchain, \u0E01\u0E32\u0E23\u0E1A\u0E23\u0E34\u0E08\u0E32\u0E04\u0E40\
+        \u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E01\u0E38\u0E28\u0E25"
+      B: "Buycotts, Boycotts, \u0E40\u0E17\u0E04\u0E42\u0E19\u0E42\u0E25\u0E22\u0E35\
+        \u0E14\u0E34\u0E08\u0E34\u0E17\u0E31\u0E25, \u0E22\u0E2D\u0E14\u0E02\u0E32\
+        \u0E22\u0E17\u0E35\u0E48\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E36\u0E49\u0E19"
+      C: "\u0E01\u0E32\u0E23\u0E04\u0E27\u0E48\u0E33\u0E1A\u0E32\u0E15\u0E23 Buyalls\
+        \ \u0E40\u0E17\u0E04\u0E42\u0E19\u0E42\u0E25\u0E22\u0E35 Blockchain \u0E01\
+        \u0E32\u0E23\u0E1A\u0E23\u0E34\u0E08\u0E32\u0E04\u0E40\u0E1E\u0E37\u0E48\u0E2D\
+        \u0E01\u0E32\u0E23\u0E01\u0E38\u0E28\u0E25"
+      D: "\u0E01\u0E32\u0E23\u0E04\u0E27\u0E48\u0E33\u0E1A\u0E32\u0E15\u0E23 Buycotts\
+        \ \u0E40\u0E17\u0E04\u0E42\u0E19\u0E42\u0E25\u0E22\u0E35\u0E14\u0E34\u0E08\
+        \u0E34\u0E17\u0E31\u0E25 \u0E01\u0E32\u0E23\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E22\
+        \u0E2D\u0E14\u0E02\u0E32\u0E22"
+    input_correct_responses:
+    - D
+    input_question: "\u0E15\u0E23\u0E07\u0E01\u0E31\u0E19\u0E02\u0E49\u0E32\u0E21\u0E01\
+      \u0E31\u0E1A _______, _______ \u0E21\u0E35\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\
+      \u0E32\u0E22\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E23\u0E32\u0E07\
+      \u0E27\u0E31\u0E25\u0E41\u0E01\u0E48\u0E1E\u0E24\u0E15\u0E34\u0E01\u0E23\u0E23\
+      \u0E21\u0E17\u0E35\u0E48\u0E40\u0E2D\u0E37\u0E49\u0E2D\u0E2D\u0E33\u0E19\u0E27\
+      \u0E22\u0E42\u0E14\u0E22\u0E1A\u0E23\u0E34\u0E29\u0E31\u0E17\u0E15\u0E48\u0E32\
+      \u0E07\u0E46 \u0E04\u0E27\u0E32\u0E21\u0E2A\u0E33\u0E40\u0E23\u0E47\u0E08\u0E02\
+      \u0E2D\u0E07\u0E01\u0E32\u0E23\u0E23\u0E13\u0E23\u0E07\u0E04\u0E4C\u0E14\u0E31\
+      \u0E07\u0E01\u0E25\u0E48\u0E32\u0E27\u0E44\u0E14\u0E49\u0E40\u0E1E\u0E34\u0E48\
+      \u0E21\u0E02\u0E36\u0E49\u0E19\u0E1C\u0E48\u0E32\u0E19\u0E01\u0E32\u0E23\u0E43\
+      \u0E0A\u0E49 ___________ \u0E0B\u0E36\u0E48\u0E07\u0E0A\u0E48\u0E27\u0E22\u0E43\
+      \u0E2B\u0E49\u0E01\u0E32\u0E23\u0E23\u0E13\u0E23\u0E07\u0E04\u0E4C\u0E2D\u0E33\
+      \u0E19\u0E27\u0E22\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E30\u0E14\u0E27\u0E01\u0E43\
+      \u0E2B\u0E49\u0E1A\u0E23\u0E34\u0E29\u0E31\u0E17\u0E43\u0E19\u0E01\u0E32\u0E23\
+      \u0E1A\u0E23\u0E23\u0E25\u0E38 _________"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_business_ethics
+tag: mmlu_th_llama_other_tasks
+task: mmlu_th_llama_business_ethics
+task_alias: business_ethics

lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_clinical_knowledge.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0E40\u0E2D.\u0E17\u0E35.\u0E1E\u0E35."
+      B: "\u0E1E\u0E28."
+      C: "\u0E1F\u0E2D\u0E2A\u0E42\u0E1F\u0E04\u0E23\u0E35\u0E40\u0E2D\u0E15\u0E34\
+        \u0E19."
+      D: "\u0E2D\u0E2D\u0E01\u0E0B\u0E34\u0E40\u0E14\u0E17\u0E35\u0E1F\u0E1F\u0E2D\
+        \u0E2A\u0E42\u0E1F\u0E23\u0E35\u0E40\u0E25\u0E0A\u0E31\u0E48\u0E19"
+    input_correct_responses:
+    - A
+    input_question: "\u0E1E\u0E25\u0E31\u0E07\u0E07\u0E32\u0E19\u0E2A\u0E33\u0E2B\u0E23\
+      \u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2B\u0E14\u0E15\u0E31\u0E27\u0E02\u0E2D\u0E07\
+      \u0E01\u0E25\u0E49\u0E32\u0E21\u0E40\u0E19\u0E37\u0E49\u0E2D\u0E17\u0E38\u0E01\
+      \u0E23\u0E39\u0E1B\u0E41\u0E1A\u0E1A\u0E21\u0E32\u0E08\u0E32\u0E01:"
+  - input_choice_list:
+      A: "\u0E2A\u0E32\u0E22\u0E2A\u0E27\u0E19\u0E0A\u0E32\u0E22\u0E41\u0E25\u0E30\
+        \u0E2B\u0E0D\u0E34\u0E07\u0E21\u0E35\u0E2A\u0E35\u0E15\u0E48\u0E32\u0E07\u0E01\
+        \u0E31\u0E19"
+      B: "\u0E2A\u0E32\u0E22\u0E2A\u0E27\u0E19\u0E0A\u0E32\u0E22\u0E22\u0E32\u0E27\
+        \u0E01\u0E27\u0E48\u0E32\u0E2A\u0E32\u0E22\u0E2A\u0E27\u0E19\u0E2B\u0E0D\u0E34\
+        \u0E07"
+      C: "\u0E2A\u0E32\u0E22\u0E2A\u0E27\u0E19\u0E0A\u0E32\u0E22\u0E43\u0E2B\u0E0D\
+        \u0E48\u0E01\u0E27\u0E48\u0E32\u0E2A\u0E32\u0E22\u0E2A\u0E27\u0E19\u0E2B\u0E0D\
+        \u0E34\u0E07"
+      D: "\u0E2A\u0E32\u0E22\u0E2A\u0E27\u0E19\u0E1C\u0E39\u0E49\u0E2B\u0E0D\u0E34\
+        \u0E07\u0E22\u0E32\u0E27\u0E01\u0E27\u0E48\u0E32\u0E2A\u0E32\u0E22\u0E2A\u0E27\
+        \u0E19\u0E1C\u0E39\u0E49\u0E0A\u0E32\u0E22"
+    input_correct_responses:
+    - B
+    input_question: "\u0E2A\u0E32\u0E22\u0E2A\u0E27\u0E19\u0E0A\u0E32\u0E22\u0E41\u0E25\
+      \u0E30\u0E2B\u0E0D\u0E34\u0E07\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E01\
+      \u0E31\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23?"
+  - input_choice_list:
+      A: "\u0E01\u0E32\u0E23\u0E25\u0E31\u0E01\u0E1E\u0E32\u0E15\u0E31\u0E27\u0E02\
+        \u0E2D\u0E07\u0E19\u0E34\u0E49\u0E27\u0E2B\u0E31\u0E27\u0E41\u0E21\u0E48\u0E21\
+        \u0E37\u0E2D\u0E08\u0E31\u0E14\u0E17\u0E33\u0E42\u0E14\u0E22\u0E23\u0E32\u0E01\
+        \u0E01\u0E23\u0E30\u0E14\u0E39\u0E01\u0E2A\u0E31\u0E19\u0E2B\u0E25\u0E31\u0E07\
+        \ T2"
+      B: "\u0E01\u0E32\u0E23\u0E15\u0E48\u0E2D\u0E15\u0E49\u0E32\u0E19\u0E02\u0E2D\
+        \u0E07\u0E19\u0E34\u0E49\u0E27\u0E2B\u0E31\u0E27\u0E41\u0E21\u0E48\u0E21\u0E37\
+        \u0E2D\u0E42\u0E14\u0E22\u0E19\u0E42\u0E22\u0E1A\u0E32\u0E22\u0E1D\u0E48\u0E32\
+        \u0E22\u0E15\u0E23\u0E07\u0E02\u0E49\u0E32\u0E21\u0E08\u0E31\u0E14\u0E17\u0E33\
+        \u0E42\u0E14\u0E22\u0E01\u0E23\u0E30\u0E14\u0E39\u0E01\u0E2A\u0E31\u0E19\u0E2B\
+        \u0E25\u0E31\u0E07 T1"
+      C: "\u0E01\u0E32\u0E23\u0E14\u0E36\u0E07\u0E19\u0E34\u0E49\u0E27\u0E21\u0E32\
+        \u0E08\u0E32\u0E01\u0E40\u0E2A\u0E49\u0E19\u0E1B\u0E23\u0E30\u0E2A\u0E32\u0E17\
+        \u0E21\u0E31\u0E18\u0E22\u0E10\u0E32\u0E19"
+      D: "\u0E01\u0E32\u0E23\u0E25\u0E31\u0E01\u0E1E\u0E32\u0E19\u0E34\u0E49\u0E27\
+        \u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E37\u0E48\u0E2D\u0E01\u0E25\u0E32\u0E07\u0E42\
+        \u0E14\u0E22 Palmar interossei"
+    input_correct_responses:
+    - B
+    input_question: "\u0E43\u0E19\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E40\u0E21\u0E34\
+      \u0E19\u0E01\u0E32\u0E23\u0E17\u0E33\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07\u0E21\
+      \u0E37\u0E2D \u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
+      \u0E35\u0E49\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07"
+  - input_choice_list:
+      A: '4'
+      B: '3'
+      C: '2'
+      D: '1'
+    input_correct_responses:
+    - C
+    input_question: "\u0E04\u0E38\u0E13\u0E04\u0E27\u0E23\u0E1E\u0E22\u0E32\u0E22\u0E32\
+      \u0E21\u0E01\u0E35\u0E48\u0E04\u0E23\u0E31\u0E49\u0E07\u0E43\u0E19\u0E01\u0E32\
+      \u0E23\u0E09\u0E35\u0E14\u0E22\u0E32\u0E1C\u0E39\u0E49\u0E1B\u0E48\u0E27\u0E22\
+      \u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2A\u0E48\u0E07\u0E15\
+      \u0E48\u0E2D\u0E07\u0E32\u0E19\u0E43\u0E2B\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\
+      \u0E19\u0E23\u0E48\u0E27\u0E21\u0E07\u0E32\u0E19\u0E2D\u0E32\u0E27\u0E38\u0E42\
+      \u0E2A \u0E15\u0E32\u0E21\u0E04\u0E27\u0E32\u0E21\u0E23\u0E39\u0E49\u0E17\u0E32\
+      \u0E07\u0E01\u0E32\u0E23\u0E41\u0E1E\u0E17\u0E22\u0E4C\u0E1B\u0E35 2020"
+  - input_choice_list:
+      A: "\u0E44\u0E01\u0E25\u0E42\u0E04\u0E40\u0E08\u0E19\u0E43\u0E2B\u0E49\u0E40\
+        \u0E1B\u0E47\u0E19\u0E01\u0E25\u0E39\u0E42\u0E04\u0E2A-1-\u0E1F\u0E2D\u0E2A\
+        \u0E40\u0E1F\u0E15"
+      B: "\u0E44\u0E01\u0E25\u0E42\u0E04\u0E40\u0E08\u0E19\u0E2B\u0E23\u0E37\u0E2D\
+        \u0E01\u0E25\u0E39\u0E42\u0E04\u0E2A\u0E40\u0E1B\u0E47\u0E19\u0E1F\u0E23\u0E38\
+        \u0E01\u0E42\u0E15\u0E2A"
+      C: "\u0E44\u0E01\u0E25\u0E42\u0E04\u0E40\u0E08\u0E19\u0E2B\u0E23\u0E37\u0E2D\
+        \u0E01\u0E25\u0E39\u0E42\u0E04\u0E2A\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\
+        \u0E44\u0E1E\u0E23\u0E39\u0E40\u0E27\u0E15\u0E2B\u0E23\u0E37\u0E2D\u0E41\u0E25\
+        \u0E04\u0E40\u0E15\u0E15"
+      D: "\u0E44\u0E01\u0E25\u0E42\u0E04\u0E40\u0E08\u0E19\u0E2B\u0E23\u0E37\u0E2D\
+        \u0E01\u0E25\u0E39\u0E42\u0E04\u0E2A\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1E\u0E23\
+        \u0E39\u0E40\u0E27\u0E15\u0E2B\u0E23\u0E37\u0E2D\u0E2D\u0E30\u0E40\u0E0B\u0E17\
+        \u0E34\u0E25\u0E42\u0E04\u0E40\u0E2D"
+    input_correct_responses:
+    - C
+    input_question: "Glycolysis \u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E17\
+      \u0E35\u0E48\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\
+      \u0E27\u0E34\u0E16\u0E35\u0E17\u0E35\u0E48\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\
+      \u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E25\
+      \u0E35\u0E48\u0E22\u0E19\u0E41\u0E1B\u0E25\u0E07\u0E02\u0E2D\u0E07:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_clinical_knowledge
+tag: mmlu_th_llama_other_tasks
+task: mmlu_th_llama_clinical_knowledge
+task_alias: clinical_knowledge

lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_college_biology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0E1E\u0E27\u0E01\u0E21\u0E31\u0E19\u0E21\u0E35\u0E42\u0E04\u0E23\u0E07\
+        \u0E01\u0E23\u0E30\u0E14\u0E39\u0E01\u0E20\u0E32\u0E22\u0E19\u0E2D\u0E01\u0E17\
+        \u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22\u0E40\
+        \u0E1E\u0E1B\u0E17\u0E34\u0E42\u0E14\u0E44\u0E01\u0E25\u0E41\u0E04\u0E19\u0E40\
+        \u0E1B\u0E47\u0E19\u0E2B\u0E25\u0E31\u0E01"
+      B: "\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E21\u0E35\u0E23\u0E30\u0E1A\u0E1A\
+        \u0E44\u0E2B\u0E25\u0E40\u0E27\u0E35\u0E22\u0E19\u0E42\u0E25\u0E2B\u0E34\u0E15\
+        \u0E40\u0E1B\u0E34\u0E14\u0E01\u0E31\u0E1A\u0E2B\u0E31\u0E27\u0E43\u0E08\u0E2B\
+        \u0E25\u0E31\u0E07"
+      C: "\u0E1E\u0E27\u0E01\u0E21\u0E31\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E21\
+        \u0E32\u0E0A\u0E34\u0E01\u0E02\u0E2D\u0E07\u0E44\u0E1F\u0E25\u0E31\u0E21\u0E17\
+        \u0E35\u0E48\u0E44\u0E21\u0E48\u0E1B\u0E23\u0E30\u0E2A\u0E1A\u0E04\u0E27\u0E32\
+        \u0E21\u0E2A\u0E33\u0E40\u0E23\u0E47\u0E08\u0E17\u0E32\u0E07\u0E0A\u0E35\u0E27\
+        \u0E27\u0E34\u0E17\u0E22\u0E32\u0E0B\u0E36\u0E48\u0E07\u0E44\u0E21\u0E48\u0E2A\
+        \u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\
+        \u0E0A\u0E19\u0E4C\u0E08\u0E32\u0E01\u0E41\u0E2B\u0E25\u0E48\u0E07\u0E17\u0E35\
+        \u0E48\u0E2D\u0E22\u0E39\u0E48\u0E2D\u0E32\u0E28\u0E31\u0E22\u0E41\u0E25\u0E30\
+        \u0E41\u0E2B\u0E25\u0E48\u0E07\u0E2D\u0E32\u0E2B\u0E32\u0E23\u0E17\u0E35\u0E48\
+        \u0E2B\u0E25\u0E32\u0E01\u0E2B\u0E25\u0E32\u0E22\u0E44\u0E14\u0E49"
+      D: "\u0E1E\u0E27\u0E01\u0E40\u0E02\u0E32\u0E44\u0E21\u0E48\u0E21\u0E35\u0E2D\
+        \u0E27\u0E31\u0E22\u0E27\u0E30\u0E17\u0E35\u0E48\u0E40\u0E0A\u0E37\u0E48\u0E2D\
+        \u0E21\u0E15\u0E48\u0E2D\u0E01\u0E31\u0E19"
+    input_correct_responses:
+    - B
+    input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
+      \u0E35\u0E49\u0E41\u0E2A\u0E14\u0E07\u0E16\u0E36\u0E07\u0E04\u0E33\u0E01\u0E25\
+      \u0E48\u0E32\u0E27\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\
+      \u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E2A\u0E31\u0E15\u0E27\
+      \u0E4C\u0E02\u0E32\u0E1B\u0E25\u0E49\u0E2D\u0E07"
+  - input_choice_list:
+      A: 1/400
+      B: 19/400
+      C: 20/400
+      D: 38/400
+    input_correct_responses:
+    - D
+    input_question: "\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E0A\u0E32\u0E01\u0E23\u0E17\u0E35\
+      \u0E48\u0E01\u0E33\u0E2B\u0E19\u0E14 1 \u0E43\u0E19 400 \u0E04\u0E19\u0E40\u0E1B\
+      \u0E47\u0E19\u0E21\u0E30\u0E40\u0E23\u0E47\u0E07\u0E17\u0E35\u0E48\u0E40\u0E01\
+      \u0E34\u0E14\u0E08\u0E32\u0E01\u0E2D\u0E31\u0E25\u0E25\u0E35\u0E25\u0E17\u0E35\
+      \u0E48\u0E14\u0E49\u0E2D\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 \u0E02\
+      . \u0E2A\u0E21\u0E21\u0E15\u0E34\u0E27\u0E48\u0E32\u0E1B\u0E23\u0E30\u0E0A\u0E32\
+      \u0E01\u0E23\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E20\u0E32\u0E27\u0E30\u0E2A\
+      \u0E21\u0E14\u0E38\u0E25\u0E02\u0E2D\u0E07\u0E2E\u0E32\u0E23\u0E4C\u0E14\u0E35\
+      -\u0E44\u0E27\u0E19\u0E4C\u0E40\u0E1A\u0E34\u0E23\u0E4C\u0E01 \u0E02\u0E49\u0E2D\
+      \u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D\
+      \u0E2A\u0E31\u0E14\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E04\u0E32\u0E14\
+      \u0E2B\u0E27\u0E31\u0E07\u0E02\u0E2D\u0E07\u0E1A\u0E38\u0E04\u0E04\u0E25\u0E17\
+      \u0E35\u0E48\u0E21\u0E35\u0E2D\u0E31\u0E25\u0E25\u0E35\u0E25 b \u0E41\u0E15\u0E48\
+      \u0E44\u0E21\u0E48\u0E04\u0E32\u0E14\u0E27\u0E48\u0E32\u0E08\u0E30\u0E1E\u0E31\
+      \u0E12\u0E19\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E21\u0E30\u0E40\u0E23\u0E47\u0E07"
+  - input_choice_list:
+      A: "\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\u0E41\u0E25\u0E30\u0E19\u0E01\u0E40\
+        \u0E1B\u0E47\u0E19\u0E2A\u0E31\u0E15\u0E27\u0E4C\u0E2B\u0E25\u0E32\u0E22\u0E2A\
+        \u0E32\u0E22\u0E1E\u0E31\u0E19\u0E18\u0E38\u0E4C"
+      B: "\u0E27\u0E34\u0E27\u0E31\u0E12\u0E19\u0E32\u0E01\u0E32\u0E23\u0E02\u0E2D\
+        \u0E07\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\u0E41\u0E25\u0E30\u0E19\u0E01\u0E19\
+        \u0E31\u0E49\u0E19\u0E21\u0E32\u0E1A\u0E23\u0E23\u0E08\u0E1A\u0E01\u0E31\u0E19"
+      C: "\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\u0E41\u0E25\u0E30\u0E19\u0E01\u0E40\
+        \u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07 clade"
+      D: "\u0E21\u0E19\u0E38\u0E29\u0E22\u0E4C\u0E41\u0E25\u0E30\u0E19\u0E01\u0E1E\
+        \u0E31\u0E12\u0E19\u0E32\u0E02\u0E36\u0E49\u0E19\u0E42\u0E14\u0E22\u0E01\u0E32\
+        \u0E23\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A"
+    input_correct_responses:
+    - C
+    input_question: "\u0E01\u0E32\u0E23\u0E21\u0E35\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\
+      \u0E49\u0E32\u0E07\u0E04\u0E25\u0E49\u0E32\u0E22\u0E04\u0E25\u0E36\u0E07\u0E01\
+      \u0E31\u0E19\u0E43\u0E19\u0E2A\u0E34\u0E48\u0E07\u0E21\u0E35\u0E0A\u0E35\u0E27\
+      \u0E34\u0E15\u0E2A\u0E2D\u0E07\u0E0A\u0E19\u0E34\u0E14\u0E17\u0E35\u0E48\u0E41\
+      \u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19 \u0E40\u0E0A\u0E48\u0E19\
+      \ \u0E01\u0E23\u0E30\u0E14\u0E39\u0E01\u0E15\u0E49\u0E19\u0E41\u0E02\u0E19\u0E2A\
+      \u0E48\u0E27\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07\u0E21\u0E19\u0E38\
+      \u0E29\u0E22\u0E4C\u0E41\u0E25\u0E30\u0E19\u0E01 \u0E1A\u0E48\u0E07\u0E0A\u0E35\
+      \u0E49\u0E27\u0E48\u0E32"
+  - input_choice_list:
+      A: "\u0E1B\u0E31\u0E4A\u0E21\u0E44\u0E2B\u0E25\u0E41\u0E1A\u0E1A\u0E02\u0E36\
+        \u0E49\u0E19\u0E2D\u0E22\u0E39\u0E48\u0E01\u0E31\u0E1A\u0E41\u0E23\u0E07\u0E14\
+        \u0E31\u0E19 ATP"
+      B: "\u0E04\u0E27\u0E32\u0E21\u0E15\u0E48\u0E32\u0E07\u0E28\u0E31\u0E01\u0E22\
+        \u0E4C\u0E41\u0E23\u0E07\u0E14\u0E31\u0E19\u0E19\u0E49\u0E33"
+      C: "\u0E01\u0E32\u0E23\u0E04\u0E32\u0E22\u0E19\u0E49\u0E33"
+      D: "\u0E01\u0E32\u0E23\u0E41\u0E1E\u0E23\u0E48\u0E01\u0E23\u0E30\u0E08\u0E32\
+        \u0E22\u0E02\u0E2D\u0E07\u0E2D\u0E30\u0E42\u0E1E\u0E1E\u0E25\u0E32\u0E2A\u0E15\
+        \u0E34\u0E01"
+    input_correct_responses:
+    - B
+    input_question: "\u0E15\u0E32\u0E21\u0E41\u0E1A\u0E1A\u0E08\u0E33\u0E25\u0E2D\u0E07\
+      \u0E01\u0E32\u0E23\u0E44\u0E2B\u0E25\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\
+      \u0E14\u0E31\u0E19\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E40\u0E04\u0E25\u0E37\
+      \u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E40\u0E19\u0E37\u0E49\
+      \u0E2D\u0E2B\u0E32\u0E43\u0E19\u0E42\u0E1F\u0E25\u0E40\u0E2D\u0E47\u0E21 \u0E01\
+      \u0E32\u0E23\u0E40\u0E04\u0E25\u0E37\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E02\
+      \u0E2D\u0E07\u0E41\u0E2A\u0E07\u0E2A\u0E31\u0E07\u0E40\u0E04\u0E23\u0E32\u0E30\
+      \u0E2B\u0E4C\u0E08\u0E32\u0E01\u0E41\u0E2B\u0E25\u0E48\u0E07\u0E01\u0E33\u0E40\
+      \u0E19\u0E34\u0E14\u0E44\u0E1B\u0E22\u0E31\u0E07\u0E2D\u0E48\u0E32\u0E07\u0E25\
+      \u0E49\u0E32\u0E07\u0E08\u0E32\u0E19\u0E19\u0E31\u0E49\u0E19\u0E02\u0E31\u0E1A\
+      \u0E40\u0E04\u0E25\u0E37\u0E48\u0E2D\u0E19\u0E42\u0E14\u0E22"
+  - input_choice_list:
+      A: "\u0E40\u0E17\u0E42\u0E25\u0E40\u0E21\u0E35\u0E22\u0E23\u0E4C"
+      B: "\u0E40\u0E0B\u0E19\u0E42\u0E17\u0E23\u0E40\u0E21\u0E35\u0E22\u0E23\u0E4C"
+      C: "\u0E19\u0E34\u0E27\u0E04\u0E25\u0E35\u0E42\u0E2D\u0E42\u0E0B\u0E21"
+      D: "\u0E1B\u0E23\u0E30\u0E01\u0E1A\u0E01\u0E31\u0E19"
+    input_correct_responses:
+    - B
+    input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
+      \u0E35\u0E49\u0E21\u0E35\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E14\u0E35\u0E40\u0E2D\
+      \u0E47\u0E19\u0E40\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\
+      \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E42\
+      \u0E04\u0E23\u0E42\u0E21\u0E42\u0E0B\u0E21\u0E43\u0E19\u0E44\u0E21\u0E42\u0E17\
+      \u0E0B\u0E34\u0E2A\u0E41\u0E25\u0E30\u0E44\u0E21\u0E42\u0E2D\u0E0B\u0E34\u0E2A"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_biology
+tag: mmlu_th_llama_stem_tasks
+task: mmlu_th_llama_college_biology
+task_alias: college_biology

lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_college_chemistry.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0E2A\u0E16\u0E32\u0E19\u0E30\u0E2D\u0E2D\u0E01\u0E0B\u0E34\u0E40\u0E14\
+        \u0E0A\u0E31\u0E19\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E21\u0E32\u0E01\u0E17\u0E35\
+        \u0E48\u0E2A\u0E38\u0E14\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E18\u0E32\u0E15\
+        \u0E38\u0E41\u0E25\u0E19\u0E17\u0E32\u0E44\u0E19\u0E14\u0E4C\u0E04\u0E37\u0E2D\
+        \ +3"
+      B: "\u0E04\u0E2D\u0E21\u0E40\u0E1E\u0E25\u0E47\u0E01\u0E0B\u0E4C\u0E41\u0E25\
+        \u0E19\u0E17\u0E32\u0E44\u0E19\u0E14\u0E4C\u0E21\u0E31\u0E01\u0E21\u0E35\u0E08\
+        \u0E33\u0E19\u0E27\u0E19\u0E42\u0E04\u0E2D\u0E2D\u0E23\u0E4C\u0E14\u0E34\u0E40\
+        \u0E19\u0E0A\u0E31\u0E19\u0E2A\u0E39\u0E07 (> 6)"
+      C: "\u0E18\u0E32\u0E15\u0E38\u0E41\u0E25\u0E19\u0E17\u0E32\u0E44\u0E19\u0E14\
+        \u0E4C\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E17\u0E33\u0E1B\u0E0F\u0E34\
+        \u0E01\u0E34\u0E23\u0E34\u0E22\u0E32\u0E01\u0E31\u0E1A\u0E01\u0E23\u0E14\u0E43\
+        \u0E19\u0E19\u0E49\u0E33\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1B\u0E25\u0E14\u0E1B\
+        \u0E25\u0E48\u0E2D\u0E22\u0E44\u0E2E\u0E42\u0E14\u0E23\u0E40\u0E08\u0E19"
+      D: "\u0E23\u0E31\u0E28\u0E21\u0E35\u0E2D\u0E30\u0E15\u0E2D\u0E21\u0E02\u0E2D\
+        \u0E07\u0E18\u0E32\u0E15\u0E38\u0E41\u0E25\u0E19\u0E17\u0E32\u0E44\u0E19\u0E14\
+        \u0E4C\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E36\u0E49\u0E19\u0E15\u0E25\u0E2D\
+        \u0E14\u0E0A\u0E48\u0E27\u0E07\u0E40\u0E27\u0E25\u0E32\u0E08\u0E32\u0E01 La\
+        \ \u0E16\u0E36\u0E07 Lu"
+    input_correct_responses:
+    - D
+    input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E01\u0E25\u0E48\u0E32\u0E27\u0E16\
+      \u0E36\u0E07\u0E18\u0E32\u0E15\u0E38\u0E41\u0E25\u0E19\u0E17\u0E32\u0E44\u0E19\
+      \u0E14\u0E4C\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\
+      \u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07"
+  - input_choice_list:
+      A: "1.0 \u0E21\u0E25"
+      B: "10 \u0E21\u0E25"
+      C: "20 \u0E21\u0E25"
+      D: "50 \u0E21\u0E25"
+    input_correct_responses:
+    - C
+    input_question: "\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\
+      \ HgO 0.217 \u0E01\u0E23\u0E31\u0E21 (\u0E21\u0E27\u0E25\u0E42\u0E21\u0E25\u0E32\
+      \u0E23\u0E4C = 217 \u0E01\u0E23\u0E31\u0E21) \u0E17\u0E33\u0E1B\u0E0F\u0E34\u0E01\
+      \u0E34\u0E23\u0E34\u0E22\u0E32\u0E01\u0E31\u0E1A\u0E44\u0E2D\u0E2D\u0E2D\u0E19\
+      \u0E44\u0E2D\u0E42\u0E2D\u0E44\u0E14\u0E14\u0E4C\u0E2A\u0E48\u0E27\u0E19\u0E40\
+      \u0E01\u0E34\u0E19\u0E15\u0E32\u0E21\u0E1B\u0E0F\u0E34\u0E01\u0E34\u0E23\u0E34\
+      \u0E22\u0E32\u0E17\u0E35\u0E48\u0E41\u0E2A\u0E14\u0E07\u0E14\u0E49\u0E32\u0E19\
+      \u0E1A\u0E19 \u0E01\u0E32\u0E23\u0E44\u0E17\u0E40\u0E17\u0E23\u0E15\u0E02\u0E2D\
+      \u0E07\u0E2A\u0E32\u0E23\u0E25\u0E30\u0E25\u0E32\u0E22\u0E17\u0E35\u0E48\u0E44\
+      \u0E14\u0E49\u0E15\u0E49\u0E2D\u0E07\u0E43\u0E0A\u0E49 HCl 0.10 M \u0E01\u0E35\
+      \u0E48\u0E21\u0E25. \u0E08\u0E36\u0E07\u0E08\u0E30\u0E16\u0E36\u0E07\u0E08\u0E38\
+      \u0E14\u0E2A\u0E21\u0E21\u0E39\u0E25"
+  - input_choice_list:
+      A: '4'
+      B: '3'
+      C: '6'
+      D: '24'
+    input_correct_responses:
+    - A
+    input_question: "\u0E17\u0E33\u0E19\u0E32\u0E22\u0E08\u0E33\u0E19\u0E27\u0E19\u0E40\
+      \u0E2A\u0E49\u0E19\u0E43\u0E19\u0E2A\u0E40\u0E1B\u0E01\u0E15\u0E23\u0E31\u0E21\
+      \ EPR \u0E02\u0E2D\u0E07\u0E2A\u0E32\u0E23\u0E25\u0E30\u0E25\u0E32\u0E22\u0E40\
+      \u0E21\u0E17\u0E34\u0E25\u0E41\u0E23\u0E14\u0E34\u0E04\u0E31\u0E25\u0E17\u0E35\
+      \u0E48\u0E21\u0E35\u0E09\u0E25\u0E32\u0E01 13C (13CH3\u2022) \u0E42\u0E14\u0E22\
+      \u0E2A\u0E21\u0E21\u0E15\u0E34\u0E27\u0E48\u0E32\u0E40\u0E2A\u0E49\u0E19\u0E44\
+      \u0E21\u0E48\u0E17\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E31\u0E19"
+  - input_choice_list:
+      A: "\u0E01\u0E23\u0E14"
+      B: "\u0E10\u0E32\u0E19"
+      C: "\u0E15\u0E31\u0E27\u0E40\u0E23\u0E48\u0E07\u0E1B\u0E0F\u0E34\u0E01\u0E34\
+        \u0E23\u0E34\u0E22\u0E32"
+      D: "\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E23\u0E35\u0E14\u0E34\u0E27\
+        \u0E0B\u0E4C"
+    input_correct_responses:
+    - D
+    input_question: "3 Cl\u2212(aq) + 4 CrO_4^2\u2212(aq) + 23 H+(aq) \u2192 3 HClO2(aq)\
+      \ + 4 Cr3+(aq) + 10 H2O(l) \u0E43\u0E19\u0E1B\u0E0F\u0E34\u0E01\u0E34\u0E23\u0E34\
+      \u0E22\u0E32\u0E17\u0E35\u0E48\u0E41\u0E2A\u0E14\u0E07\u0E02\u0E49\u0E32\u0E07\
+      \u0E15\u0E49\u0E19 Cl\u2212(aq) \u0E08\u0E30\u0E17\u0E33\u0E2B\u0E19\u0E49\u0E32\
+      \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19"
+  - input_choice_list:
+      A: PbH4 < SnH4 < GeH4 < SiH4 < CH4
+      B: PbH4 < SnH4 < CH4 < GeH4 < SiH4
+      C: CH4 < SiH4 < GeH4 < SnH4 < PbH4
+      D: CH4 < PbH4 < GeH4 < SnH4 < SiH4
+    input_correct_responses:
+    - A
+    input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
+      \u0E35\u0E49\u0E41\u0E2A\u0E14\u0E07\u0E23\u0E32\u0E22\u0E01\u0E32\u0E23\u0E44\
+      \u0E2E\u0E44\u0E14\u0E23\u0E14\u0E4C\u0E02\u0E2D\u0E07\u0E18\u0E32\u0E15\u0E38\
+      \u0E2B\u0E21\u0E39\u0E48 14 \u0E15\u0E32\u0E21\u0E25\u0E33\u0E14\u0E31\u0E1A\
+      \u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E16\u0E35\u0E22\u0E23\u0E17\u0E32\u0E07\
+      \u0E04\u0E27\u0E32\u0E21\u0E23\u0E49\u0E2D\u0E19 \u0E08\u0E32\u0E01\u0E15\u0E48\
+      \u0E33\u0E2A\u0E38\u0E14\u0E44\u0E1B\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_chemistry
+tag: mmlu_th_llama_stem_tasks
+task: mmlu_th_llama_college_chemistry
+task_alias: college_chemistry

lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_college_computer_science.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0E01*(\u0E04 + \u0E07)+ \u0E02(\u0E04 + \u0E07)"
+      B: "\u0E01*(\u0E04 + \u0E07)* + \u0E02(\u0E04 + \u0E07)*"
+      C: "\u0E01*(\u0E04 + \u0E07)+ \u0E02*(\u0E04 + \u0E07)"
+      D: "(\u0E01 + \u0E02)*\u0E04 +(\u0E01 + \u0E02)*\u0E07"
+    input_correct_responses:
+    - D
+    input_question: "\u0E19\u0E34\u0E1E\u0E08\u0E19\u0E4C\u0E17\u0E31\u0E48\u0E27\u0E44\
+      \u0E1B\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E40\u0E17\
+      \u0E35\u0E22\u0E1A\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A (\u0E2D\u0E18\u0E34\
+      \u0E1A\u0E32\u0E22\u0E2A\u0E15\u0E23\u0E34\u0E07\u0E0A\u0E38\u0E14\u0E40\u0E14\
+      \u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A) (a* + b)*(c + d)"
+  - input_choice_list:
+      A: '5'
+      B: '6'
+      C: '7'
+      D: '8'
+    input_correct_responses:
+    - B
+    input_question: "\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07 RISC \u0E41\u0E1A\u0E1A\
+      \u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C\u0E1A\u0E32\u0E07\u0E40\u0E04\
+      \u0E23\u0E37\u0E48\u0E2D\u0E07\u0E21\u0E35\u0E23\u0E35\u0E08\u0E34\u0E2A\u0E40\
+      \u0E15\u0E2D\u0E23\u0E4C\u0E2D\u0E40\u0E19\u0E01\u0E1B\u0E23\u0E30\u0E2A\u0E07\
+      \u0E04\u0E4C 8 \u0E15\u0E31\u0E27 R0, R1, . . . , R7 \u0E41\u0E25\u0E30\u0E23\
+      \u0E2D\u0E07\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E17\u0E33\u0E07\u0E32\u0E19\
+      \u0E14\u0E31\u0E07\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 \u0E40\u0E1E\
+      \u0E34\u0E48\u0E21 Rs1, Rs2, Rd \u0E40\u0E1E\u0E34\u0E48\u0E21 Rs1 \u0E16\u0E36\
+      \u0E07 Rs2 \u0E41\u0E25\u0E30\u0E43\u0E2A\u0E48\u0E1C\u0E25\u0E23\u0E27\u0E21\
+      \u0E43\u0E19 Rd MUL Rs1, Rs2, Rd \u0E04\u0E39\u0E13 Rs1 \u0E14\u0E49\u0E27\u0E22\
+      \ Rs2 \u0E41\u0E25\u0E30\u0E43\u0E2A\u0E48\u0E1C\u0E25\u0E04\u0E39\u0E13\u0E43\
+      \u0E19 Rd \u0E42\u0E14\u0E22\u0E1B\u0E01\u0E15\u0E34\u0E01\u0E32\u0E23\u0E14\
+      \u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\u0E08\u0E30\u0E43\u0E0A\u0E49\
+      \u0E40\u0E27\u0E25\u0E32\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E23\u0E2D\u0E1A \u0E2D\
+      \u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E01\u0E32\
+      \u0E23\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\u0E08\u0E30\u0E43\
+      \u0E0A\u0E49\u0E40\u0E27\u0E25\u0E32\u0E2A\u0E2D\u0E07\u0E23\u0E2D\u0E1A\u0E2B\
+      \u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\
+      \u0E4C\u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E42\u0E14\
+      \u0E22\u0E01\u0E32\u0E23\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\
+      \u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E17\u0E31\u0E19\u0E17\u0E35\
+      \u0E43\u0E19\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E14\u0E33\u0E40\
+      \u0E19\u0E34\u0E19\u0E01\u0E32\u0E23 \u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\
+      \u0E19\u0E34\u0E1E\u0E08\u0E19\u0E4C AB + ABC + BC \u0E42\u0E14\u0E22\u0E17\u0E35\
+      \u0E48\u0E15\u0E31\u0E27\u0E41\u0E1B\u0E23 A, B, C \u0E2D\u0E22\u0E39\u0E48\u0E43\
+      \u0E19\u0E23\u0E35\u0E08\u0E34\u0E2A\u0E40\u0E15\u0E2D\u0E23\u0E4C R0, R1, R2\
+      \ \u0E2B\u0E32\u0E01\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E01\u0E49\
+      \u0E44\u0E02\u0E40\u0E19\u0E37\u0E49\u0E2D\u0E2B\u0E32\u0E02\u0E2D\u0E07\u0E23\
+      \u0E35\u0E08\u0E34\u0E2A\u0E40\u0E15\u0E2D\u0E23\u0E4C\u0E17\u0E31\u0E49\u0E07\
+      \u0E2A\u0E32\u0E21\u0E19\u0E35\u0E49 \u0E08\u0E33\u0E19\u0E27\u0E19\u0E23\u0E2D\
+      \u0E1A\u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E13\u0E19\u0E32\u0E2C\u0E34\u0E01\u0E32\
+      \u0E02\u0E31\u0E49\u0E19\u0E15\u0E48\u0E33\u0E17\u0E35\u0E48\u0E08\u0E33\u0E40\
+      \u0E1B\u0E47\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E25\u0E33\u0E14\u0E31\
+      \u0E1A\u0E01\u0E32\u0E23\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\
+      \u0E17\u0E35\u0E48\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32\u0E02\u0E2D\
+      \u0E07 AB + ABC + BC \u0E04\u0E37\u0E2D\u0E40\u0E17\u0E48\u0E32\u0E43\u0E14"
+  - input_choice_list:
+      A: "\u0E09\u0E31\u0E19\u0E04\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27"
+      B: "\u0E04\u0E23\u0E31\u0E49\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E40\
+        \u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"
+      C: "III \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"
+      D: "\u0E09\u0E31\u0E19, II \u0E41\u0E25\u0E30 III"
+    input_correct_responses:
+    - D
+    input_question: "\u0E23\u0E39\u0E1B\u0E41\u0E1A\u0E1A\u0E01\u0E32\u0E23\u0E2D\u0E2D\
+      \u0E01\u0E41\u0E1A\u0E1A Singleton \u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\
+      \u0E2D\u0E23\u0E31\u0E1A\u0E1B\u0E23\u0E30\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\
+      \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E2D\u0E34\
+      \u0E19\u0E2A\u0E41\u0E15\u0E19\u0E0B\u0E4C\u0E02\u0E2D\u0E07\u0E04\u0E25\u0E32\
+      \u0E2A\u0E44\u0E14\u0E49\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E2D\u0E34\u0E19\u0E2A\
+      \u0E41\u0E15\u0E19\u0E0B\u0E4C\u0E40\u0E14\u0E35\u0E22\u0E27\u0E40\u0E17\u0E48\
+      \u0E32\u0E19\u0E31\u0E49\u0E19 \u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\
+      \u0E44\u0E1B\u0E19\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E23\u0E34\u0E07\
+      \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E23\u0E39\u0E1B\u0E41\u0E1A\u0E1A\u0E01\
+      \u0E32\u0E23\u0E2D\u0E2D\u0E01\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49 I. \u0E04\
+      \u0E25\u0E32\u0E2A Singleton \u0E21\u0E35\u0E40\u0E21\u0E18\u0E2D\u0E14\u0E42\
+      \u0E23\u0E07\u0E07\u0E32\u0E19\u0E41\u0E1A\u0E1A\u0E2A\u0E41\u0E15\u0E15\u0E34\
+      \u0E01\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E08\u0E31\u0E14\u0E40\u0E15\u0E23\u0E35\
+      \u0E22\u0E21\u0E2D\u0E34\u0E19\u0E2A\u0E41\u0E15\u0E19\u0E0B\u0E4C \u0E04\u0E23\
+      \u0E31\u0E49\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07 \u0E04\u0E25\u0E32\u0E2A\
+      \ Singleton \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E1B\u0E47\u0E19\u0E04\
+      \u0E25\u0E32\u0E2A\u0E22\u0E48\u0E2D\u0E22\u0E02\u0E2D\u0E07\u0E04\u0E25\u0E32\
+      \u0E2A\u0E2D\u0E37\u0E48\u0E19\u0E44\u0E14\u0E49 \u0E2A\u0E32\u0E21. \u0E04\u0E25\
+      \u0E32\u0E2A Singleton \u0E21\u0E35\u0E15\u0E31\u0E27\u0E2A\u0E23\u0E49\u0E32\
+      \u0E07\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E31\u0E27"
+  - input_choice_list:
+      A: '5'
+      B: '6'
+      C: '7'
+      D: '9'
+    input_correct_responses:
+    - D
+    input_question: "\u0E04\u0E2D\u0E21\u0E44\u0E1E\u0E40\u0E25\u0E2D\u0E23\u0E4C\u0E2A\
+      \u0E23\u0E49\u0E32\u0E07\u0E23\u0E2B\u0E31\u0E2A\u0E2A\u0E33\u0E2B\u0E23\u0E31\
+      \u0E1A\u0E04\u0E33\u0E2A\u0E31\u0E48\u0E07\u0E21\u0E2D\u0E1A\u0E2B\u0E21\u0E32\
+      \u0E22\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 G := (A + B) * C - (D\
+      \ + E) * F \u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E40\u0E1B\u0E49\u0E32\
+      \u0E2B\u0E21\u0E32\u0E22\u0E21\u0E35\u0E0A\u0E38\u0E14\u0E04\u0E33\u0E2A\u0E31\
+      \u0E48\u0E07\u0E2A\u0E30\u0E2A\u0E21\u0E40\u0E14\u0E35\u0E22\u0E27\u0E41\u0E25\
+      \u0E30\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E40\u0E14\u0E35\u0E22\u0E27\
+      \u0E0B\u0E36\u0E48\u0E07\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\
+      \u0E22\u0E04\u0E33\u0E2A\u0E31\u0E48\u0E07\u0E42\u0E2B\u0E25\u0E14 \u0E08\u0E31\
+      \u0E14\u0E40\u0E01\u0E47\u0E1A \u0E1A\u0E27\u0E01 \u0E25\u0E1A \u0E41\u0E25\u0E30\
+      \u0E04\u0E39\u0E13 \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E14\
+      \u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\u0E17\u0E32\u0E07\u0E04\u0E13\
+      \u0E34\u0E15\u0E28\u0E32\u0E2A\u0E15\u0E23\u0E4C \u0E15\u0E31\u0E27\u0E16\u0E39\
+      \u0E01\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\u0E14\u0E49\u0E32\
+      \u0E19\u0E0B\u0E49\u0E32\u0E22\u0E08\u0E30\u0E16\u0E39\u0E01\u0E19\u0E33\u0E21\
+      \u0E32\u0E08\u0E32\u0E01\u0E15\u0E31\u0E27\u0E2A\u0E30\u0E2A\u0E21\u0E41\u0E25\
+      \u0E30\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E30\u0E1B\u0E23\u0E32\
+      \u0E01\u0E0F\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2A\u0E30\u0E2A\u0E21 \u0E08\u0E33\
+      \u0E19\u0E27\u0E19\u0E04\u0E33\u0E2A\u0E31\u0E48\u0E07\u0E17\u0E35\u0E48\u0E19\
+      \u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E40\
+      \u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E43\u0E19\u0E23\u0E2B\u0E31\
+      \u0E2A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E04\u0E37\u0E2D"
+  - input_choice_list:
+      A: 1/50
+      B: 1/27
+      C: 1/25
+      D: 2/27
+    input_correct_responses:
+    - B
+    input_question: "\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32\u0E01\u0E32\u0E23\u0E2D\
+      \u0E2D\u0E01\u0E41\u0E1A\u0E1A\u0E04\u0E2D\u0E21\u0E1E\u0E34\u0E27\u0E40\u0E15\
+      \u0E2D\u0E23\u0E4C\u0E17\u0E35\u0E48\u0E42\u0E1B\u0E23\u0E40\u0E0B\u0E2A\u0E40\
+      \u0E0B\u0E2D\u0E23\u0E4C\u0E2B\u0E25\u0E32\u0E22\u0E15\u0E31\u0E27 \u0E41\u0E15\
+      \u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E21\u0E35\u0E2B\u0E19\u0E48\u0E27\u0E22\
+      \u0E04\u0E27\u0E32\u0E21\u0E08\u0E33\u0E41\u0E04\u0E0A\u0E2A\u0E48\u0E27\u0E19\
+      \u0E15\u0E31\u0E27 \u0E43\u0E0A\u0E49\u0E2B\u0E19\u0E48\u0E27\u0E22\u0E04\u0E27\
+      \u0E32\u0E21\u0E08\u0E33\u0E2A\u0E48\u0E27\u0E19\u0E01\u0E25\u0E32\u0E07\u0E23\
+      \u0E48\u0E27\u0E21\u0E01\u0E31\u0E19\u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E1A\
+      \u0E31\u0E2A\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E1A\u0E31\u0E2A\u0E19\u0E35\u0E49\
+      \u0E40\u0E1B\u0E47\u0E19\u0E17\u0E23\u0E31\u0E1E\u0E22\u0E32\u0E01\u0E23\u0E23\
+      \u0E30\u0E1A\u0E1A\u0E17\u0E35\u0E48\u0E2A\u0E33\u0E04\u0E31\u0E0D \u0E42\u0E1B\
+      \u0E23\u0E40\u0E0B\u0E2A\u0E40\u0E0B\u0E2D\u0E23\u0E4C\u0E41\u0E15\u0E48\u0E25\
+      \u0E30\u0E15\u0E31\u0E27\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E14\u0E33\u0E40\
+      \u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E04\u0E33\
+      \u0E2A\u0E31\u0E48\u0E07\u0E17\u0E38\u0E01\u0E46 500 \u0E19\u0E32\u0E42\u0E19\
+      \u0E27\u0E34\u0E19\u0E32\u0E17\u0E35 \u0E15\u0E23\u0E32\u0E1A\u0E43\u0E14\u0E17\
+      \u0E35\u0E48\u0E41\u0E04\u0E0A\u0E43\u0E19\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\
+      \u0E07\u0E23\u0E2D\u0E07\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2D\u0E49\u0E32\
+      \u0E07\u0E2D\u0E34\u0E07\u0E2B\u0E19\u0E48\u0E27\u0E22\u0E04\u0E27\u0E32\u0E21\
+      \u0E08\u0E33 \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E41\u0E04\u0E0A\u0E2B\u0E32\u0E22\
+      \u0E44\u0E1B \u0E42\u0E1B\u0E23\u0E40\u0E0B\u0E2A\u0E40\u0E0B\u0E2D\u0E23\u0E4C\
+      \u0E08\u0E30\u0E25\u0E48\u0E32\u0E0A\u0E49\u0E32\u0E40\u0E1E\u0E34\u0E48\u0E21\
+      \u0E2D\u0E35\u0E01 2,000 \u0E19\u0E32\u0E42\u0E19\u0E27\u0E34\u0E19\u0E32\u0E17\
+      \u0E35 \u0E43\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E04\u0E23\u0E36\u0E48\u0E07\u0E2B\
+      \u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E25\u0E48\
+      \u0E32\u0E0A\u0E49\u0E32\u0E17\u0E35\u0E48\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\
+      \u0E36\u0E49\u0E19\u0E19\u0E35\u0E49 \u0E1A\u0E31\u0E2A\u0E08\u0E30\u0E43\u0E2B\
+      \u0E49\u0E1A\u0E23\u0E34\u0E01\u0E32\u0E23\u0E41\u0E04\u0E0A\u0E21\u0E34\u0E2A\
+      \u0E42\u0E14\u0E22\u0E40\u0E09\u0E1E\u0E32\u0E30 \u0E43\u0E19\u0E2D\u0E35\u0E01\
+      \u0E04\u0E23\u0E36\u0E48\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E42\u0E1B\u0E23\
+      \u0E40\u0E0B\u0E2A\u0E40\u0E0B\u0E2D\u0E23\u0E4C\u0E44\u0E21\u0E48\u0E2A\u0E32\
+      \u0E21\u0E32\u0E23\u0E16\u0E14\u0E33\u0E40\u0E19\u0E34\u0E19\u0E01\u0E32\u0E23\
+      \u0E15\u0E48\u0E2D\u0E44\u0E14\u0E49 \u0E41\u0E15\u0E48\u0E1A\u0E31\u0E2A\u0E2A\
+      \u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E2B\u0E49\u0E1A\u0E23\u0E34\u0E01\u0E32\
+      \u0E23\u0E15\u0E32\u0E21\u0E04\u0E33\u0E02\u0E2D\u0E08\u0E32\u0E01\u0E42\u0E1B\
+      \u0E23\u0E40\u0E0B\u0E2A\u0E40\u0E0B\u0E2D\u0E23\u0E4C\u0E2D\u0E37\u0E48\u0E19\
+      \u0E44\u0E14\u0E49\u0E1F\u0E23\u0E35 \u0E42\u0E14\u0E22\u0E40\u0E09\u0E25\u0E35\
+      \u0E48\u0E22\u0E41\u0E25\u0E49\u0E27 \u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\
+      \u0E2A\u0E31\u0E48\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E01\u0E32\
+      \u0E23\u0E2D\u0E49\u0E32\u0E07\u0E2D\u0E34\u0E07\u0E2B\u0E19\u0E48\u0E27\u0E22\
+      \u0E04\u0E27\u0E32\u0E21\u0E08\u0E33 2 \u0E23\u0E32\u0E22\u0E01\u0E32\u0E23\
+      \ \u0E42\u0E14\u0E22\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E41\u0E25\u0E49\u0E27\
+      \ \u0E01\u0E32\u0E23\u0E1E\u0E25\u0E32\u0E14\u0E41\u0E04\u0E0A\u0E40\u0E01\u0E34\
+      \u0E14\u0E02\u0E36\u0E49\u0E19 1 \u0E40\u0E1B\u0E2D\u0E23\u0E4C\u0E40\u0E0B\u0E47\
+      \u0E19\u0E15\u0E4C\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E2D\
+      \u0E49\u0E32\u0E07\u0E2D\u0E34\u0E07 \u0E42\u0E1B\u0E23\u0E40\u0E0B\u0E2A\u0E40\
+      \u0E0B\u0E2D\u0E23\u0E4C\u0E15\u0E31\u0E27\u0E40\u0E14\u0E35\u0E22\u0E27\u0E08\
+      \u0E30\u0E43\u0E0A\u0E49\u0E04\u0E27\u0E32\u0E21\u0E08\u0E38\u0E02\u0E2D\u0E07\
+      \u0E1A\u0E31\u0E2A\u0E43\u0E19\u0E2A\u0E31\u0E14\u0E2A\u0E48\u0E27\u0E19\u0E40\
+      \u0E17\u0E48\u0E32\u0E43\u0E14 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E2A\u0E19\
+      \u0E43\u0E08\u0E04\u0E27\u0E32\u0E21\u0E25\u0E48\u0E32\u0E0A\u0E49\u0E32\u0E40\
+      \u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E41\u0E02\
+      \u0E48\u0E07\u0E02\u0E31\u0E19\u0E08\u0E32\u0E01\u0E42\u0E1B\u0E23\u0E40\u0E0B\
+      \u0E2A\u0E40\u0E0B\u0E2D\u0E23\u0E4C\u0E2D\u0E37\u0E48\u0E19"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_computer_science
+tag: mmlu_th_llama_stem_tasks
+task: mmlu_th_llama_college_computer_science
+task_alias: college_computer_science

lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_college_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ST = 0
+      B: ST = T
+      C: "ST = \u0E17\u0E2A"
+      D: "ST - TS \u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1C\u0E19\u0E17\u0E35\u0E48\u0E1B\
+        \u0E23\u0E30\u0E08\u0E33\u0E15\u0E31\u0E27\u0E02\u0E2D\u0E07 V \u0E40\u0E02\
+        \u0E49\u0E32\u0E2A\u0E39\u0E48\u0E15\u0E31\u0E27\u0E21\u0E31\u0E19\u0E40\u0E2D\
+        \u0E07"
+    input_correct_responses:
+    - D
+    input_question: "\u0E43\u0E2B\u0E49 V \u0E40\u0E1B\u0E47\u0E19\u0E40\u0E0B\u0E15\
+      \u0E02\u0E2D\u0E07\u0E1E\u0E2B\u0E38\u0E19\u0E32\u0E21 p(x) \u0E08\u0E33\u0E19\
+      \u0E27\u0E19\u0E08\u0E23\u0E34\u0E07\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\
+      \ \u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E41\u0E1B\u0E25\u0E07 T, S \u0E16\u0E39\
+      \u0E01\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E1A\u0E19 V \u0E42\u0E14\u0E22 T:p(x)\
+      \ -> xp(x) \u0E41\u0E25\u0E30 S:p(x) -> p'(x) = d/dx p(x) \u0E41\u0E25\
+      \u0E30\u0E15\u0E35\u0E04\u0E27\u0E32\u0E21 (ST) (p(x)) \u0E40\u0E1B\u0E47\u0E19\
+      \ S(T(p(x))) \u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
+      \u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E23\u0E34\u0E07"
+  - input_choice_list:
+      A: '2'
+      B: "2 - \u0E2D\u0E35^-2"
+      C: 2 + e^-2
+      D: 2 + e^-4
+    input_correct_responses:
+    - D
+    input_question: "\u0E43\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E49\u0E19\u0E16\u0E31\
+      \u0E07\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22\u0E2A\u0E32\
+      \u0E23\u0E25\u0E30\u0E25\u0E32\u0E22\u0E40\u0E01\u0E25\u0E37\u0E2D 3 \u0E01\u0E23\
+      \u0E31\u0E21\u0E17\u0E35\u0E48\u0E25\u0E30\u0E25\u0E32\u0E22\u0E43\u0E19\u0E19\
+      \u0E49\u0E33 100 \u0E25\u0E34\u0E15\u0E23 \u0E2A\u0E32\u0E23\u0E25\u0E30\u0E25\
+      \u0E32\u0E22\u0E40\u0E01\u0E25\u0E37\u0E2D\u0E17\u0E35\u0E48\u0E21\u0E35\u0E40\
+      \u0E01\u0E25\u0E37\u0E2D 0.02 \u0E01\u0E23\u0E31\u0E21\u0E15\u0E48\u0E2D\u0E19\
+      \u0E49\u0E33\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E25\u0E34\u0E15\u0E23\u0E08\u0E30\
+      \u0E16\u0E39\u0E01\u0E09\u0E35\u0E14\u0E1E\u0E48\u0E19\u0E25\u0E07\u0E43\u0E19\
+      \u0E16\u0E31\u0E07\u0E43\u0E19\u0E2D\u0E31\u0E15\u0E23\u0E32 4 \u0E25\u0E34\u0E15\
+      \u0E23\u0E15\u0E48\u0E2D\u0E19\u0E32\u0E17\u0E35 \u0E2A\u0E32\u0E23\u0E25\u0E30\
+      \u0E25\u0E32\u0E22\u0E17\u0E35\u0E48\u0E09\u0E35\u0E14\u0E1E\u0E48\u0E19\u0E08\
+      \u0E30\u0E1C\u0E2A\u0E21\u0E01\u0E31\u0E1A\u0E2A\u0E32\u0E23\u0E25\u0E30\u0E25\
+      \u0E32\u0E22\u0E40\u0E01\u0E25\u0E37\u0E2D\u0E43\u0E19\u0E16\u0E31\u0E07\u0E2D\
+      \u0E22\u0E48\u0E32\u0E07\u0E15\u0E48\u0E2D\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\
+      \ \u0E41\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19\u0E1C\u0E2A\u0E21\u0E08\u0E30\u0E44\
+      \u0E2B\u0E25\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E16\u0E31\u0E07\u0E14\u0E49\
+      \u0E27\u0E22\u0E2D\u0E31\u0E15\u0E23\u0E32 4 \u0E25\u0E34\u0E15\u0E23\u0E15\u0E48\
+      \u0E2D\u0E19\u0E32\u0E17\u0E35 \u0E16\u0E49\u0E32\u0E1C\u0E2A\u0E21\u0E17\u0E31\
+      \u0E19\u0E17\u0E35 100 \u0E19\u0E32\u0E17\u0E35\u0E1C\u0E48\u0E32\u0E19\u0E44\
+      \u0E1B\u0E43\u0E19\u0E16\u0E31\u0E07\u0E21\u0E35\u0E40\u0E01\u0E25\u0E37\u0E2D\
+      \u0E01\u0E35\u0E48\u0E01\u0E23\u0E31\u0E21"
+  - input_choice_list:
+      A: "\u0E09\u0E31\u0E19\u0E04\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27"
+      B: "\u0E04\u0E23\u0E31\u0E49\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E40\
+        \u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"
+      C: "III \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"
+      D: "II \u0E41\u0E25\u0E30 III \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"
+    input_correct_responses:
+    - B
+    input_question: "\u0E43\u0E2B\u0E49 A \u0E40\u0E1B\u0E47\u0E19\u0E40\u0E21\u0E17\
+      \u0E23\u0E34\u0E01\u0E0B\u0E4C\u0E02\u0E19\u0E32\u0E14 2x2 \u0E08\u0E23\u0E34\
+      \u0E07 \u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\
+      \u0E49\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\
+      \u0E08\u0E23\u0E34\u0E07 I. \u0E23\u0E32\u0E22\u0E01\u0E32\u0E23\u0E17\u0E31\
+      \u0E49\u0E07\u0E2B\u0E21\u0E14\u0E02\u0E2D\u0E07 A^2 \u0E44\u0E21\u0E48\u0E40\
+      \u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E25\u0E1A \u0E04\u0E23\u0E31\u0E49\u0E07\
+      \u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07 \u0E14\u0E35\u0E40\u0E17\u0E2D\u0E23\u0E4C\
+      \u0E21\u0E35\u0E41\u0E19\u0E19\u0E15\u0E4C\u0E02\u0E2D\u0E07 A^2 \u0E44\u0E21\
+      \u0E48\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E25\u0E1A \u0E2A\u0E32\u0E21\
+      . \u0E16\u0E49\u0E32 A \u0E21\u0E35\u0E04\u0E48\u0E32\u0E25\u0E31\u0E01\u0E29\
+      \u0E13\u0E30\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E17\u0E35\u0E48\u0E41\u0E15\u0E01\
+      \u0E15\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19\u0E2A\u0E2D\u0E07\u0E04\u0E48\u0E32\
+      \ \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 A^2 \u0E08\u0E30\u0E21\u0E35\u0E04\
+      \u0E48\u0E32\u0E25\u0E31\u0E01\u0E29\u0E13\u0E30\u0E40\u0E09\u0E1E\u0E32\u0E30\
+      \u0E17\u0E35\u0E48\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19\
+      \u0E2A\u0E2D\u0E07\u0E04\u0E48\u0E32"
+  - input_choice_list:
+      A: '-11'
+      B: '0'
+      C: '11'
+      D: 33/2
+    input_correct_responses:
+    - C
+    input_question: "\u0E2A\u0E21\u0E21\u0E15\u0E34\u0E27\u0E48\u0E32 f(1 + x) = f(x)\
+      \ \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A x \u0E08\u0E23\u0E34\u0E07\u0E17\u0E31\
+      \u0E49\u0E07\u0E2B\u0E21\u0E14 \u0E16\u0E49\u0E32 f \u0E40\u0E1B\u0E47\u0E19\
+      \u0E1E\u0E2B\u0E38\u0E19\u0E32\u0E21 \u0E41\u0E25\u0E30 f(5) = 11 \u0E41\u0E25\
+      \u0E49\u0E27 f(15/2)"
+  - input_choice_list:
+      A: '-5'
+      B: '-4'
+      C: '-3'
+      D: '-2'
+    input_correct_responses:
+    - B
+    input_question: "\u0E43\u0E2B\u0E49 A \u0E40\u0E1B\u0E47\u0E19\u0E40\u0E0B\u0E15\
+      \u0E02\u0E2D\u0E07\u0E08\u0E33\u0E19\u0E27\u0E19\u0E40\u0E15\u0E47\u0E21\u0E04\
+      \u0E39\u0E48\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E17\u0E31\u0E49\u0E07\u0E2B\
+      \u0E21\u0E14 (m, n) \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\
+      \u0E1A 7m + 12n = 22 \u0E08\u0E33\u0E19\u0E27\u0E19\u0E25\u0E1A\u0E17\u0E35\u0E48\
+      \u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E19\u0E40\u0E0B\
+      \u0E15 B = {m + n : (m, n) \\in A} \u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_mathematics
+tag: mmlu_th_llama_stem_tasks
+task: mmlu_th_llama_college_mathematics
+task_alias: college_mathematics

lm_eval/tasks/llama3/instruct/mmlu_th/mmlu_th_college_medicine.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0E1C\u0E48\u0E32\u0E19\u0E15\u0E31\u0E27\u0E02\u0E19\u0E2A\u0E48\u0E07\
+        \u0E42\u0E1B\u0E23\u0E15\u0E35\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\
+        \u0E01\u0E27\u0E48\u0E32 GLUT4"
+      B: "\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E21\u0E35\
+        \u0E2D\u0E34\u0E19\u0E0B\u0E39\u0E25\u0E34\u0E19"
+      C: "\u0E1C\u0E48\u0E32\u0E19\u0E40\u0E2E\u0E01\u0E42\u0E0B\u0E44\u0E04\u0E40\
+        \u0E19\u0E2A"
+      D: "\u0E1C\u0E48\u0E32\u0E19\u0E17\u0E32\u0E07\u0E15\u0E31\u0E27\u0E02\u0E19\
+        \u0E2A\u0E48\u0E07\u0E01\u0E23\u0E14\u0E42\u0E21\u0E42\u0E19\u0E04\u0E32\u0E23\
+        \u0E4C\u0E1A\u0E34\u0E25\u0E34\u0E01"
+    input_correct_responses:
+    - A
+    input_question: "\u0E01\u0E25\u0E39\u0E42\u0E04\u0E2A\u0E16\u0E39\u0E01\u0E02\u0E19\
+      \u0E2A\u0E48\u0E07\u0E40\u0E02\u0E49\u0E32\u0E2A\u0E39\u0E48\u0E40\u0E0B\u0E25\
+      \u0E25\u0E4C\u0E01\u0E25\u0E49\u0E32\u0E21\u0E40\u0E19\u0E37\u0E49\u0E2D:"
+  - input_choice_list:
+      A: "\u0E44\u0E01\u0E25\u0E42\u0E04\u0E40\u0E08\u0E19\u0E43\u0E19\u0E01\u0E25\
+        \u0E49\u0E32\u0E21\u0E40\u0E19\u0E37\u0E49\u0E2D\u0E08\u0E30\u0E16\u0E39\u0E01\
+        \u0E22\u0E48\u0E2D\u0E22\u0E2A\u0E25\u0E32\u0E22\u0E14\u0E49\u0E27\u0E22\u0E40\
+        \u0E2D\u0E19\u0E44\u0E0B\u0E21\u0E4C\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E25\u0E39\
+        \u0E42\u0E04\u0E2A-1-\u0E1F\u0E2D\u0E2A\u0E40\u0E1F\u0E15"
+      B: "\u0E19\u0E31\u0E01\u0E27\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E21\u0E35\
+        \u0E04\u0E27\u0E32\u0E21\u0E2D\u0E14\u0E17\u0E19\u0E2A\u0E39\u0E07\u0E21\u0E35\
+        \u0E40\u0E2A\u0E49\u0E19\u0E43\u0E22\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 I\
+        \ \u0E43\u0E19\u0E2A\u0E31\u0E14\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\
+        \u0E2A\u0E39\u0E07\u0E43\u0E19\u0E01\u0E25\u0E49\u0E32\u0E21\u0E40\u0E19\u0E37\
+        \u0E49\u0E2D\u0E02\u0E32"
+      C: "\u0E44\u0E01\u0E25\u0E42\u0E04\u0E40\u0E08\u0E19\u0E43\u0E19\u0E15\u0E31\
+        \u0E1A\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E33\u0E04\u0E31\u0E0D\u0E43\
+        \u0E19\u0E01\u0E32\u0E23\u0E23\u0E31\u0E01\u0E29\u0E32\u0E04\u0E27\u0E32\u0E21\
+        \u0E40\u0E02\u0E49\u0E21\u0E02\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E01\u0E25\u0E39\
+        \u0E42\u0E04\u0E2A\u0E43\u0E19\u0E40\u0E25\u0E37\u0E2D\u0E14"
+      D: "\u0E2D\u0E34\u0E19\u0E0B\u0E39\u0E25\u0E34\u0E19\u0E2A\u0E48\u0E07\u0E40\
+        \u0E2A\u0E23\u0E34\u0E21\u0E01\u0E32\u0E23\u0E14\u0E39\u0E14\u0E0B\u0E36\u0E21\
+        \u0E01\u0E25\u0E39\u0E42\u0E04\u0E2A\u0E08\u0E32\u0E01\u0E40\u0E19\u0E37\u0E49\
+        \u0E2D\u0E40\u0E22\u0E37\u0E48\u0E2D\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\
+        \u0E43\u0E19\u0E23\u0E48\u0E32\u0E07\u0E01\u0E32\u0E22"
+    input_correct_responses:
+    - D
+    input_question: "\u0E02\u0E49\u0E2D\u0E43\u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\
+      \u0E35\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E02\u0E49\u0E2D\u0E04\u0E27\
+      \u0E32\u0E21\u0E08\u0E23\u0E34\u0E07"
+  - input_choice_list:
+      A: "\u0E25\u0E39\u0E01\u0E2B\u0E25\u0E32\u0E19\u0E43\u0E19\u0E1D\u0E31\u0E48\
+        \u0E07\u0E21\u0E32\u0E23\u0E14\u0E32\u0E17\u0E38\u0E01\u0E04\u0E19\u0E08\u0E30\
+        \u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E1B\u0E01\u0E15\u0E34"
+      B: "\u0E1C\u0E39\u0E49\u0E2B\u0E0D\u0E34\u0E07\u0E08\u0E30\u0E44\u0E14\u0E49\
+        \u0E23\u0E31\u0E1A\u0E1C\u0E25\u0E01\u0E23\u0E30\u0E17\u0E1A\u0E1B\u0E23\u0E30\
+        \u0E21\u0E32\u0E13\u0E2A\u0E2D\u0E07\u0E40\u0E17\u0E48\u0E32\u0E02\u0E2D\u0E07\
+        \u0E1C\u0E39\u0E49\u0E0A\u0E32\u0E22\u0E43\u0E19\u0E04\u0E23\u0E2D\u0E1A\u0E04\
+        \u0E23\u0E31\u0E27\u0E19\u0E35\u0E49"
+      C: "\u0E25\u0E39\u0E01\u0E2A\u0E32\u0E27\u0E02\u0E2D\u0E07\u0E1C\u0E39\u0E49\
+        \u0E0A\u0E32\u0E22\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E1C\
+        \u0E25\u0E01\u0E23\u0E30\u0E17\u0E1A\u0E08\u0E30\u0E44\u0E14\u0E49\u0E23\u0E31\
+        \u0E1A\u0E1C\u0E25\u0E01\u0E23\u0E30\u0E17\u0E1A\u0E17\u0E31\u0E49\u0E07\u0E2B\
+        \u0E21\u0E14"
+      D: "\u0E08\u0E30\u0E21\u0E35\u0E01\u0E32\u0E23\u0E41\u0E08\u0E01\u0E41\u0E08\
+        \u0E07\u0E1C\u0E39\u0E49\u0E44\u0E14\u0E49\u0E23\u0E31\u0E1A\u0E1C\u0E25\u0E01\
+        \u0E23\u0E30\u0E17\u0E1A\u0E17\u0E31\u0E49\u0E07\u0E0A\u0E32\u0E22\u0E41\u0E25\
+        \u0E30\u0E2B\u0E0D\u0E34\u0E07\u0E40\u0E17\u0E48\u0E32\u0E46 \u0E01\u0E31\u0E19"
+    input_correct_responses:
+    - C
+    input_question: "\u0E43\u0E19\u0E01\u0E32\u0E23\u0E17\u0E14\u0E2A\u0E2D\u0E1A\u0E17\
+      \u0E32\u0E07\u0E1E\u0E31\u0E19\u0E18\u0E38\u0E01\u0E23\u0E23\u0E21\u0E02\u0E2D\
+      \u0E07\u0E17\u0E32\u0E23\u0E01\u0E41\u0E23\u0E01\u0E40\u0E01\u0E34\u0E14 \u0E1E\
+      \u0E1A\u0E04\u0E27\u0E32\u0E21\u0E1C\u0E34\u0E14\u0E1B\u0E01\u0E15\u0E34\u0E17\
+      \u0E32\u0E07\u0E1E\u0E31\u0E19\u0E18\u0E38\u0E01\u0E23\u0E23\u0E21\u0E17\u0E35\
+      \u0E48\u0E2B\u0E32\u0E44\u0E14\u0E49\u0E22\u0E32\u0E01\u0E0B\u0E36\u0E48\u0E07\
+      \u0E21\u0E35\u0E01\u0E32\u0E23\u0E16\u0E48\u0E32\u0E22\u0E17\u0E2D\u0E14\u0E41\
+      \u0E1A\u0E1A X-linked recessive \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\
+      \u0E14\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E19\u0E48\u0E32\u0E08\
+      \u0E30\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E23\u0E34\u0E07\u0E40\u0E01\u0E35\u0E48\
+      \u0E22\u0E27\u0E01\u0E31\u0E1A\u0E2A\u0E32\u0E22\u0E40\u0E25\u0E37\u0E2D\u0E14\
+      \u0E02\u0E2D\u0E07\u0E42\u0E23\u0E04\u0E19\u0E35\u0E49"
+  - input_choice_list:
+      A: "\u0E2D\u0E38\u0E13\u0E2B\u0E20\u0E39\u0E21\u0E34\u0E40\u0E1E\u0E34\u0E48\
+        \u0E21\u0E02\u0E36\u0E49\u0E19 \u0E42\u0E21\u0E25\u0E02\u0E2D\u0E07\u0E41\u0E01\
+        \u0E4A\u0E2A\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E36\u0E49\u0E19"
+      B: "\u0E2D\u0E38\u0E13\u0E2B\u0E20\u0E39\u0E21\u0E34\u0E17\u0E35\u0E48\u0E40\
+        \u0E1E\u0E34\u0E48\u0E21\u0E02\u0E36\u0E49\u0E19 \u0E1B\u0E23\u0E34\u0E21\u0E32\
+        \u0E13\u0E17\u0E35\u0E48\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E36\u0E49\u0E19"
+      C: "\u0E1B\u0E23\u0E34\u0E21\u0E32\u0E13\u0E25\u0E14\u0E25\u0E07 \u0E2D\u0E38\
+        \u0E13\u0E2B\u0E20\u0E39\u0E21\u0E34\u0E25\u0E14\u0E25\u0E07"
+      D: "\u0E42\u0E21\u0E25\u0E02\u0E2D\u0E07\u0E41\u0E01\u0E4A\u0E2A\u0E25\u0E14\
+        \u0E25\u0E07 \u0E40\u0E1E\u0E34\u0E48\u0E21\u0E1B\u0E23\u0E34\u0E21\u0E32\u0E15\
+        \u0E23"
+    input_correct_responses:
+    - A
+    input_question: "\u0E04\u0E23\u0E39\u0E27\u0E34\u0E17\u0E22\u0E32\u0E28\u0E32\u0E2A\
+      \u0E15\u0E23\u0E4C\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E21\u0E31\u0E18\u0E22\u0E21\
+      \u0E1B\u0E25\u0E32\u0E22\u0E40\u0E15\u0E34\u0E21\u0E44\u0E19\u0E42\u0E15\u0E23\
+      \u0E40\u0E08\u0E19\u0E1A\u0E23\u0E34\u0E2A\u0E38\u0E17\u0E18\u0E34\u0E4C\u0E25\
+      \u0E07\u0E43\u0E19\u0E02\u0E27\u0E14\u0E02\u0E19\u0E32\u0E14 1 \u0E25\u0E34\u0E15\
+      \u0E23\u0E41\u0E25\u0E49\u0E27\u0E1B\u0E34\u0E14\u0E1D\u0E32 \u0E04\u0E27\u0E32\
+      \u0E21\u0E14\u0E31\u0E19\u0E04\u0E37\u0E2D 1.70 atm \u0E41\u0E25\u0E30\u0E2D\
+      \u0E38\u0E13\u0E2B\u0E20\u0E39\u0E21\u0E34\u0E2B\u0E49\u0E2D\u0E07\u0E04\u0E37\
+      \u0E2D 25\xB0C \u0E15\u0E31\u0E27\u0E41\u0E1B\u0E23\u0E2A\u0E2D\u0E07\u0E15\u0E31\
+      \u0E27\u0E43\u0E14\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E27\u0E32\
+      \u0E21\u0E14\u0E31\u0E19\u0E02\u0E2D\u0E07\u0E23\u0E30\u0E1A\u0E1A \u0E16\u0E49\
+      \u0E32\u0E15\u0E31\u0E27\u0E41\u0E1B\u0E23\u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E17\
+      \u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E21\u0E35\u0E04\u0E48\u0E32\u0E04\u0E07\
+      \u0E17\u0E35\u0E48"
+  - input_choice_list:
+      A: "\u0E01\u0E25\u0E49\u0E32\u0E21\u0E40\u0E19\u0E37\u0E49\u0E2D\u0E2D\u0E48\
+        \u0E2D\u0E19\u0E41\u0E23\u0E07."
+      B: "\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E21\u0E27\u0E25\u0E01\u0E32\u0E22"
+      C: "\u0E1B\u0E27\u0E14\u0E01\u0E25\u0E49\u0E32\u0E21\u0E40\u0E19\u0E37\u0E49\
+        \u0E2D"
+      D: "\u0E01\u0E32\u0E23\u0E2A\u0E39\u0E0D\u0E40\u0E2A\u0E35\u0E22\u0E2D\u0E34\
+        \u0E40\u0E25\u0E47\u0E01\u0E42\u0E17\u0E23\u0E44\u0E25\u0E15\u0E4C"
+    input_correct_responses:
+    - B
+    input_question: "\u0E1C\u0E25\u0E02\u0E49\u0E32\u0E07\u0E40\u0E04\u0E35\u0E22\u0E07\
+      \u0E17\u0E35\u0E48\u0E04\u0E32\u0E14\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\
+      \u0E49\u0E23\u0E31\u0E1A\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E40\u0E2A\u0E23\
+      \u0E34\u0E21\u0E04\u0E23\u0E35\u0E40\u0E2D\u0E17\u0E35\u0E19\u0E04\u0E37\u0E2D\
+      :"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_medicine
+tag: mmlu_th_llama_other_tasks
+task: mmlu_th_llama_college_medicine
+task_alias: college_medicine