Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_us_foreign_policy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Es besch\xE4digte die Unterst\xFCtzung f\xFCr das US-amerikanische Modell\
+        \ der politischen \xD6konomie und des Kapitalismus"
+      B: "Es erzeugte Wut auf die Vereinigten Staaten, weil sie die Krise \xFCbertrieben"
+      C: "Es erh\xF6hte die Unterst\xFCtzung f\xFCr die amerikanische globale F\xFC\
+        hrung unter Pr\xE4sident Obama"
+      D: Es reduzierte die weltweite Verwendung des US-Dollars
+    input_correct_responses:
+    - A
+    input_question: Wie hat sich die Finanzkrise von 2008 auf Amerikas internationalen
+      Ruf ausgewirkt?
+  - input_choice_list:
+      A: "Es globalisierte die Eind\xE4mmung."
+      B: "Es militarisierte die Eind\xE4mmung."
+      C: Es forderte die Entwicklung der Wasserstoffbombe.
+      D: Alles das oben Genannte
+    input_correct_responses:
+    - D
+    input_question: "Wie hat NSC-68 die US-Strategie ver\xE4ndert?"
+  - input_choice_list:
+      A: Terrorismuspolitik.
+      B: Wirtschaftspolitik.
+      C: "Au\xDFenpolitik."
+      D: Internationale Politik.
+    input_correct_responses:
+    - C
+    input_question: "Der Bereich der politischen Entscheidungen, die sich haupts\xE4\
+      chlich mit den Beziehungen zwischen den Vereinigten Staaten und dem Rest der\
+      \ Welt befassen, wird als bezeichnet"
+  - input_choice_list:
+      A: "Defensive Realisten legen gr\xF6\xDFeres Gewicht auf die Rolle internationaler\
+        \ Institutionen"
+      B: Defensive Realisten legen weniger Wert auf geografische Faktoren
+      C: "Offensive Realisten geben dem nationalen Interesse mehr Priorit\xE4t als\
+        \ defensive Realisten."
+      D: "Defensive Realisten glauben, dass Staaten Sicherheitsmaximierer sind, w\xE4\
+        hrend offensive Realisten glauben, dass Staaten Machtmaximierer sind"
+    input_correct_responses:
+    - D
+    input_question: "Wie unterscheiden sich Defensiver Realismus und Offensiver Realismus\
+      \ in ihrer Erkl\xE4rung staatlichen Verhaltens?"
+  - input_choice_list:
+      A: "Die Globalisierung hatte M\xE4nner wie ihn zu reich gemacht"
+      B: Von der Globalisierung profitierten nur bestimmte amerikanische Staaten wie
+        New York
+      C: "Liberale Eliten hatten die Globalisierung gef\xF6rdert, w\xE4hrend \u201E\
+        einfache Amerikaner\u201C deswegen Arbeitspl\xE4tze verloren"
+      D: "Die Globalisierung f\xF6rderte sch\xE4dliche Handelskriege"
+    input_correct_responses:
+    - C
+    input_question: Wie hat Donald Trump im Wahlkampf 2016 die Globalisierung angegriffen?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_us_foreign_policy
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_us_foreign_policy
+task_alias: us_foreign_policy

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_virology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Weil sie keine Nukleins\xE4ure haben"
+      B: "Sie ben\xF6tigen einen Helfervirus"
+      C: Nur in sich teilenden Zellen replizieren
+      D: Kann sich in Wirtschromosomen integrieren
+    input_correct_responses:
+    - A
+    input_question: "Warum sind Parvoviren ein \xE4u\xDFerst wirkungsvoller Parasit?"
+  - input_choice_list:
+      A: Zerbrechliche Viren werden oft mit RNA visualisiert, die von innen ausspuckt
+      B: "Verl\xE4ngerte Viren"
+      C: "Ikosaedrische Viren mit H\xFClle"
+      D: "Sehr gro\xDFe Viren"
+    input_correct_responses:
+    - A
+    input_question: Welches der folgenden Merkmale ist ein morphologisches Merkmal
+      der Paramyxoviren?
+  - input_choice_list:
+      A: Datensammlung
+      B: "Einrichtung eines Depots f\xFCr biologische Proben"
+      C: Teilnehmerinteresse
+      D: Verwaltung des Fragebogens durch Mitarbeiter
+    input_correct_responses:
+    - B
+    input_question: "Ein Schl\xFCsselfaktor, der die Anwendung von verschachtelten\
+      \ Fall-Kontroll-Studien aus dem MACS erleichterte, war:"
+  - input_choice_list:
+      A: "Verhaltens\xE4nderung"
+      B: Umfassende Abdeckung
+      C: Effektive Anwendung der Verhaltenstheorie
+      D: "Nachhaltige Verhaltens\xE4nderung"
+    input_correct_responses:
+    - D
+    input_question: 'Das wichtigste Ziel einer Verhaltensintervention ist:'
+  - input_choice_list:
+      A: "Seropr\xE4valente HIV-infizierte Personen"
+      B: Seronegative
+      C: Serokonverter
+      D: Hochrisiko-Seronegative
+    input_correct_responses:
+    - C
+    input_question: "Die mittlere \xDCberlebenszeit bis AIDS und Tod wurde wie folgt\
+      \ ermittelt:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_virology
+tag: mmlu_de_llama_other_tasks
+task: mmlu_de_llama_virology
+task_alias: virology

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_world_religions.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Der Regenbogen
+      B: Beschneidung
+      C: Einen Sohn
+      D: Bar Mizwa
+    input_correct_responses:
+    - B
+    input_question: "Was ist das Zeichen des Bundes f\xFCr j\xFCdische M\xE4nner?"
+  - input_choice_list:
+      A: Der Dharma
+      B: Der Sangha
+      C: Der Buddha
+      D: Der Bodhisattva
+    input_correct_responses:
+    - A
+    input_question: Was ist das zweite Juwel im Buddhismus?
+  - input_choice_list:
+      A: Shang
+      B: Zhou
+      C: Han
+      D: Xia
+    input_correct_responses:
+    - B
+    input_question: "In welcher Dynastie wurde das \u201EMandat des Himmels\u201C\
+      \ entwickelt, um die neuen Herrscher zu legitimieren?"
+  - input_choice_list:
+      A: Honen
+      B: Tanaka
+      C: Tokugawa
+      D: Meiji
+    input_correct_responses:
+    - D
+    input_question: "Welche japanische Regierung f\xF6rderte eine Art nationalen Kult,\
+      \ der auf dem Kaiser und seinen Beziehungen zu Kami beruhte?"
+  - input_choice_list:
+      A: Rituelle Texte
+      B: Philosophische Texte
+      C: Hymnen
+      D: Entstehungsgeschichten
+    input_correct_responses:
+    - B
+    input_question: Wie lassen sich die Upanishaden charakterisieren?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_world_religions
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_world_religions
+task_alias: world_religions

lm_eval/tasks/llama3/instruct/mmlu_de/utils.py

+from functools import partial
+
+import datasets
+
+
+def process_docs(dataset: datasets.Dataset, subtask) -> datasets.Dataset:
+    return dataset.filter(
+        lambda example: example["subtask_name"] == f"mmlu_de_chat.{subtask}"
+    )
+
+
+process_docs_high_school_psychology = partial(
+    process_docs, subtask="high_school_psychology"
+)
+process_docs_abstract_algebra = partial(process_docs, subtask="abstract_algebra")
+process_docs_medical_genetics = partial(process_docs, subtask="medical_genetics")
+process_docs_high_school_world_history = partial(
+    process_docs, subtask="high_school_world_history"
+)
+process_docs_high_school_physics = partial(process_docs, subtask="high_school_physics")
+process_docs_high_school_macroeconomics = partial(
+    process_docs, subtask="high_school_macroeconomics"
+)
+process_docs_philosophy = partial(process_docs, subtask="philosophy")
+process_docs_security_studies = partial(process_docs, subtask="security_studies")
+process_docs_elementary_mathematics = partial(
+    process_docs, subtask="elementary_mathematics"
+)
+process_docs_prehistory = partial(process_docs, subtask="prehistory")
+process_docs_professional_medicine = partial(
+    process_docs, subtask="professional_medicine"
+)
+process_docs_college_mathematics = partial(process_docs, subtask="college_mathematics")
+process_docs_professional_psychology = partial(
+    process_docs, subtask="professional_psychology"
+)
+process_docs_high_school_microeconomics = partial(
+    process_docs, subtask="high_school_microeconomics"
+)
+process_docs_high_school_european_history = partial(
+    process_docs, subtask="high_school_european_history"
+)
+process_docs_international_law = partial(process_docs, subtask="international_law")
+process_docs_miscellaneous = partial(process_docs, subtask="miscellaneous")
+process_docs_formal_logic = partial(process_docs, subtask="formal_logic")
+process_docs_high_school_chemistry = partial(
+    process_docs, subtask="high_school_chemistry"
+)
+process_docs_global_facts = partial(process_docs, subtask="global_facts")
+process_docs_electrical_engineering = partial(
+    process_docs, subtask="electrical_engineering"
+)
+process_docs_high_school_geography = partial(
+    process_docs, subtask="high_school_geography"
+)
+process_docs_conceptual_physics = partial(process_docs, subtask="conceptual_physics")
+process_docs_marketing = partial(process_docs, subtask="marketing")
+process_docs_professional_law = partial(process_docs, subtask="professional_law")
+process_docs_moral_scenarios = partial(process_docs, subtask="moral_scenarios")
+process_docs_high_school_computer_science = partial(
+    process_docs, subtask="high_school_computer_science"
+)
+process_docs_clinical_knowledge = partial(process_docs, subtask="clinical_knowledge")
+process_docs_machine_learning = partial(process_docs, subtask="machine_learning")
+process_docs_sociology = partial(process_docs, subtask="sociology")
+process_docs_astronomy = partial(process_docs, subtask="astronomy")
+process_docs_high_school_government_and_politics = partial(
+    process_docs, subtask="high_school_government_and_politics"
+)
+process_docs_high_school_mathematics = partial(
+    process_docs, subtask="high_school_mathematics"
+)
+process_docs_world_religions = partial(process_docs, subtask="world_religions")
+process_docs_virology = partial(process_docs, subtask="virology")
+process_docs_moral_disputes = partial(process_docs, subtask="moral_disputes")
+process_docs_computer_security = partial(process_docs, subtask="computer_security")
+process_docs_econometrics = partial(process_docs, subtask="econometrics")
+process_docs_college_chemistry = partial(process_docs, subtask="college_chemistry")
+process_docs_human_aging = partial(process_docs, subtask="human_aging")
+process_docs_logical_fallacies = partial(process_docs, subtask="logical_fallacies")
+process_docs_public_relations = partial(process_docs, subtask="public_relations")
+process_docs_college_medicine = partial(process_docs, subtask="college_medicine")
+process_docs_college_biology = partial(process_docs, subtask="college_biology")
+process_docs_high_school_biology = partial(process_docs, subtask="high_school_biology")
+process_docs_business_ethics = partial(process_docs, subtask="business_ethics")
+process_docs_high_school_statistics = partial(
+    process_docs, subtask="high_school_statistics"
+)
+process_docs_college_physics = partial(process_docs, subtask="college_physics")
+process_docs_human_sexuality = partial(process_docs, subtask="human_sexuality")
+process_docs_professional_accounting = partial(
+    process_docs, subtask="professional_accounting"
+)
+process_docs_high_school_us_history = partial(
+    process_docs, subtask="high_school_us_history"
+)
+process_docs_us_foreign_policy = partial(process_docs, subtask="us_foreign_policy")
+process_docs_nutrition = partial(process_docs, subtask="nutrition")
+process_docs_management = partial(process_docs, subtask="management")
+process_docs_anatomy = partial(process_docs, subtask="anatomy")
+process_docs_college_computer_science = partial(
+    process_docs, subtask="college_computer_science"
+)
+process_docs_jurisprudence = partial(process_docs, subtask="jurisprudence")

lm_eval/tasks/llama3/instruct/mmlu_es/_continuation_template_yaml

+dataset_path: meta-llama/Llama-3.1-8B-Instruct-evals
+dataset_name: Llama-3.1-8B-Instruct-evals__multilingual_mmlu_es__details
+output_type: generate_until
+test_split: latest
+doc_to_text: "Given the following question and four candidate answers (A, B, C and D), choose the best answer.\nQuestion: {{input_question.strip()}}\nA. {{input_choice_list.A}}\nB. {{input_choice_list.B}}\nC. {{input_choice_list.C}}\nD. {{input_choice_list.D}}\nYour response should end with \"The best answer is [the_answer_letter]\" where the [the_answer_letter] is one of A, B, C or D."
+gen_prefix: "The best answer is"
+doc_to_target: "{{input_correct_responses[0]}}."
+num_fewshot: 5
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+    regexes_to_ignore:
+      - "\\$"
+      - "\\.$"
+generation_kwargs:
+  do_sample: false
+  temperature: 0
+  until:
+    - "."
+  max_gen_toks: 10
+filter_list:
+  - name: strict_match
+    filter:
+      - function: remove_whitespace
+      - function: take_first
+metadata:
+  version: 1.0
+dataset_kwargs:
+  trust_remote_code: true

lm_eval/tasks/llama3/instruct/mmlu_es/_mmlu_es_humanities.yaml

+group: mmlu_es_llama_humanities
+group_alias: humanities
+task:
+  - mmlu_es_llama_humanities_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_es/_mmlu_es_llama.yaml

+group: mmlu_es_llama
+task:
+  - mmlu_es_llama_stem
+  - mmlu_es_llama_other
+  - mmlu_es_llama_social_sciences
+  - mmlu_es_llama_humanities
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_es/_mmlu_es_other.yaml

+group: mmlu_es_llama_other
+group_alias: other
+task:
+  - mmlu_es_llama_other_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_es/_mmlu_es_social_sciences.yaml

+group: mmlu_es_llama_social_sciences
+group_alias: social sciences
+task:
+  - mmlu_es_llama_social_sciences_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_es/_mmlu_es_stem.yaml

+group: mmlu_es_llama_stem
+group_alias: stem
+task:
+  - mmlu_es_llama_stem_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_abstract_algebra.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '0'
+      B: '1'
+      C: '2'
+      D: '3'
+    input_correct_responses:
+    - B
+    input_question: Encuentre todo c en Z_3 de modo que Z_3[x]/(x^2 + c) sea un campo.
+  - input_choice_list:
+      A: Verdad verdad
+      B: falso, falso
+      C: Verdadero Falso
+      D: Falso verdadero
+    input_correct_responses:
+    - B
+    input_question: "Declaraci\xF3n 1 | Si aH es un elemento de un grupo de factores,\
+      \ entonces |aH| divide |a|. Declaraci\xF3n 2 | Si H y K son subgrupos de G,\
+      \ entonces HK es un subgrupo de G."
+  - input_choice_list:
+      A: Verdad verdad
+      B: falso, falso
+      C: Verdadero Falso
+      D: Falso verdadero
+    input_correct_responses:
+    - C
+    input_question: "Declaraci\xF3n 1 | Cada elemento de un grupo genera un subgrupo\
+      \ c\xEDclico del grupo. Declaraci\xF3n 2 | El grupo sim\xE9trico S_10 tiene\
+      \ 10 elementos."
+  - input_choice_list:
+      A: Verdad verdad
+      B: falso, falso
+      C: Verdadero Falso
+      D: Falso verdadero
+    input_correct_responses:
+    - A
+    input_question: "Declaraci\xF3n 1| Cada funci\xF3n de un conjunto finito sobre\
+      \ s\xED misma debe ser uno a uno. Declaraci\xF3n 2 | Todo subgrupo de un grupo\
+      \ abeliano es abeliano."
+  - input_choice_list:
+      A: '0'
+      B: '3'
+      C: '12'
+      D: '30'
+    input_correct_responses:
+    - A
+    input_question: "Encuentra la caracter\xEDstica del anillo 2Z."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_abstract_algebra
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_abstract_algebra
+task_alias: abstract_algebra

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_anatomy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "El primer arco far\xEDngeo."
+      B: "El primer y segundo arco far\xEDngeo."
+      C: "El segundo arco far\xEDngeo"
+      D: "El segundo y tercer arco far\xEDngeo."
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l es el origen embriol\xF3gico del hueso hioides?"
+  - input_choice_list:
+      A: El nervio supraorbitario
+      B: El nervio infraorbitario
+      C: El nervio mental
+      D: Ninguna de las anteriores
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de estas ramas del nervio trig\xE9mino contiene procesos\
+      \ motores som\xE1ticos?"
+  - input_choice_list:
+      A: "No tienen inervaci\xF3n sensorial."
+      B: "est\xE1n separados por un espacio de 2 mm."
+      C: extenderse hasta el cuello.
+      D: "Est\xE1n compuestos por epitelio respiratorio."
+    input_correct_responses:
+    - C
+    input_question: la pleura
+  - input_choice_list:
+      A: Sobremordida excesiva de los incisivos laterales superiores.
+      B: resalte negativo de los incisivos centrales superiores.
+      C: exceso de resalte de los incisivos laterales superiores.
+      D: exceso de resalte de los incisivos centrales superiores.
+    input_correct_responses:
+    - C
+    input_question: "En la oclusi\xF3n Clase II Div 2 de Angle hay"
+  - input_choice_list:
+      A: Abdominal
+      B: Craneal
+      C: pleural
+      D: Espinal
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1l de las siguientes es la cavidad corporal que contiene\
+      \ la gl\xE1ndula pituitaria?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_anatomy
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_anatomy
+task_alias: anatomy

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_astronomy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Ser\xEDa m\xE1s dif\xEDcil ya que el cami\xF3n es m\xE1s pesado en Marte."
+      B: "Ser\xEDa m\xE1s f\xE1cil ya que el cami\xF3n es m\xE1s ligero en Marte."
+      C: "Ser\xEDa m\xE1s dif\xEDcil ya que el cami\xF3n es m\xE1s ligero en Marte."
+      D: "Ser\xEDa lo mismo sin importar d\xF3nde est\xE9s."
+    input_correct_responses:
+    - D
+    input_question: "Est\xE1s empujando un cami\xF3n por una carretera. \xBFSer\xED\
+      a m\xE1s f\xE1cil acelerar este cami\xF3n en Marte? \xBFPor qu\xE9? (Supongamos\
+      \ que no hay fricci\xF3n)"
+  - input_choice_list:
+      A: "El cintur\xF3n de Kuiper; Los cometas de per\xEDodo corto tienden a estar\
+        \ en el plano del sistema solar al igual que el cintur\xF3n de Kuiper."
+      B: "El cintur\xF3n de Kuiper; Los cometas de per\xEDodo corto tienden a provenir\
+        \ de direcciones aleatorias, lo que indica una distribuci\xF3n esf\xE9rica\
+        \ de cometas llamada cintur\xF3n de Kuiper."
+      C: "El cintur\xF3n de asteroides; Los cometas de per\xEDodo corto tienen per\xED\
+        odos orbitales similares a los asteroides como Vesta y se encuentran en el\
+        \ plano del sistema solar al igual que el cintur\xF3n de asteroides."
+      D: "La nube de Oort; Los cometas de per\xEDodo corto tienden a estar en el plano\
+        \ del sistema solar al igual que la nube de Oort."
+    input_correct_responses:
+    - A
+    input_question: "\xBFDe d\xF3nde proceden la mayor\xEDa de los cometas de per\xED\
+      odo corto y c\xF3mo lo sabemos?"
+  - input_choice_list:
+      A: "10000 veces m\xE1s"
+      B: "100 veces m\xE1s"
+      C: "1000 veces m\xE1s"
+      D: "10 veces m\xE1s"
+    input_correct_responses:
+    - A
+    input_question: "Digamos que la pupila de tu ojo tiene un di\xE1metro de 5 mm\
+      \ y tienes un telescopio con una apertura de 50 cm. \xBFCu\xE1nta m\xE1s luz\
+      \ puede captar el telescopio que tu ojo?"
+  - input_choice_list:
+      A: "Una vez se form\xF3 aqu\xED un planeta, pero fue destruido por una colisi\xF3\
+        n catastr\xF3fica."
+      B: "En esta parte de la nebulosa solar no hab\xEDa suficiente material para\
+        \ formar un planeta."
+      C: "Hab\xEDa demasiado material rocoso para formar un planeta terrestre pero\
+        \ no suficiente material gaseoso para formar un planeta joviano."
+      D: "La resonancia con J\xFApiter impidi\xF3 que el material se acumulara para\
+        \ formar un planeta."
+    input_correct_responses:
+    - D
+    input_question: "\xBFPor qu\xE9 no existe un planeta donde se encuentre el cintur\xF3\
+      n de asteroides?"
+  - input_choice_list:
+      A: "Porque la superficie est\xE1 cubierta de minerales muy oxidados ("oxidados")."
+      B: "Porque la atm\xF3sfera dispersa m\xE1s luz en longitudes de onda m\xE1s\
+        \ azules y transmite principalmente luz roja."
+      C: "Porque Marte est\xE1 cubierto de antiguos flujos de lava de color rojo."
+      D: "Porque el agua que fluy\xF3 sobre la superficie de Marte alter\xF3 los minerales\
+        \ de la superficie hace varios miles de millones de a\xF1os."
+    input_correct_responses:
+    - A
+    input_question: "\xBFPor qu\xE9 Marte es rojo?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_astronomy
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_astronomy
+task_alias: astronomy

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_business_ethics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Externalidades, Poder, Independencia
+      B: Publicidad, Recursos insustanciales, Dependencia mutua
+      C: Publicidad, Poder, Independencia
+      D: Externalidades, Poder, Dependencia mutua
+    input_correct_responses:
+    - D
+    input_question: "M\xE1s all\xE1 del argumento comercial para involucrarse en la\
+      \ RSE, hay una serie de argumentos morales relacionados con: _______ negativo,\
+      \ el _______ que poseen las corporaciones y el ________ de los negocios y la\
+      \ sociedad."
+  - input_choice_list:
+      A: Responsabilidad social corporativa
+      B: "Gesti\xF3n de la \xE9tica empresarial"
+      C: Sostenibilidad
+      D: "Gesti\xF3n ambiental"
+    input_correct_responses:
+    - B
+    input_question: "_______ es el intento directo de gestionar formal o informalmente\
+      \ cuestiones o problemas \xE9ticos, a trav\xE9s de pol\xEDticas, pr\xE1cticas\
+      \ y programas espec\xEDficos."
+  - input_choice_list:
+      A: Exterior, limitado, independiente
+      B: Interior, limitado, intermitente
+      C: Exterior, ilimitado, intermitente
+      D: Dentro, Ilimitado, Independiente
+    input_correct_responses:
+    - A
+    input_question: "Para garantizar la independencia de los miembros no ejecutivos\
+      \ de la junta directiva, se pueden tomar una serie de medidas, que incluyen\
+      \ la selecci\xF3n de no ejecutivos de _______ de la empresa, su nombramiento\
+      \ por un per\xEDodo de tiempo _________ y su nombramiento _________."
+  - input_choice_list:
+      A: "Acci\xF3n directa no violenta, Acci\xF3n directa violenta, Acci\xF3n indirecta,\
+        \ Boicot"
+      B: "Acci\xF3n indirecta, Acci\xF3n instrumental, Acci\xF3n directa no violenta,\
+        \ Campa\xF1a de informaci\xF3n"
+      C: "Acci\xF3n indirecta, Acci\xF3n directa violenta, Boicot de acci\xF3n directa\
+        \ no violenta"
+      D: "Acci\xF3n directa no violenta, Acci\xF3n instrumental, Acci\xF3n indirecta,\
+        \ Campa\xF1a de informaci\xF3n"
+    input_correct_responses:
+    - C
+    input_question: "Tres t\xE1cticas contrastantes que las OSC pueden utilizar para\
+      \ alcanzar sus objetivos son ________, que normalmente implica investigaci\xF3\
+      n y comunicaci\xF3n, ________, que puede implicar atacar f\xEDsicamente las\
+      \ operaciones de una empresa o ________, que a menudo implica alguna forma de\
+      \ _______."
+  - input_choice_list:
+      A: "Buycotts, Boicots, Tecnolog\xEDa Blockchain, Donaciones ben\xE9ficas"
+      B: "Buycotts, Boicots, Tecnolog\xEDa digital, Aumento de ventas"
+      C: "Boicots, Buyalls, Tecnolog\xEDa Blockchain, Donaciones ben\xE9ficas"
+      D: "Boicots, Buycotts, Tecnolog\xEDa digital, Aumento de ventas"
+    input_correct_responses:
+    - D
+    input_question: "A diferencia de _______, _______ pretende recompensar el comportamiento\
+      \ favorable de las empresas. El \xE9xito de este tipo de campa\xF1as se ha incrementado\
+      \ mediante el uso de ___________, que permiten que las campa\xF1as faciliten\
+      \ a la empresa la consecuci\xF3n de _________."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_business_ethics
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_business_ethics
+task_alias: business_ethics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_clinical_knowledge.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ATP.
+      B: ADP.
+      C: fosfocreatina.
+      D: "fosforilaci\xF3n oxidativa."
+    input_correct_responses:
+    - A
+    input_question: "La energ\xEDa para todas las formas de contracci\xF3n muscular\
+      \ la proporciona:"
+  - input_choice_list:
+      A: "Los cat\xE9teres masculinos y femeninos son de diferentes colores."
+      B: "Los cat\xE9teres masculinos son m\xE1s largos que los cat\xE9teres femeninos."
+      C: "Los cat\xE9teres masculinos son m\xE1s grandes que los cat\xE9teres femeninos."
+      D: "Los cat\xE9teres femeninos son m\xE1s largos que los cat\xE9teres masculinos."
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1l es la diferencia entre un cat\xE9ter masculino y\
+      \ uno femenino?"
+  - input_choice_list:
+      A: "La abducci\xF3n del pulgar est\xE1 inervada por la ra\xEDz espinal T2."
+      B: "La oposici\xF3n del pulgar por el oponente pol\xEDtico est\xE1 inervada\
+        \ por la ra\xEDz espinal T1."
+      C: "La aducci\xF3n de los dedos est\xE1 inervada por el nervio mediano."
+      D: "La abducci\xF3n de los dedos est\xE1 mediada por los inter\xF3seos palmar."
+    input_correct_responses:
+    - B
+    input_question: "En la evaluaci\xF3n de la funci\xF3n de la mano \xBFcu\xE1l de\
+      \ las siguientes afirmaciones es verdadera?"
+  - input_choice_list:
+      A: '4'
+      B: '3'
+      C: '2'
+      D: '1'
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1ntos intentos se deben hacer para canular a un paciente\
+      \ antes de pasar el trabajo a un colega superior, seg\xFAn los conocimientos\
+      \ m\xE9dicos de 2020?"
+  - input_choice_list:
+      A: "gluc\xF3geno en glucosa-1-fosfato."
+      B: "gluc\xF3geno o glucosa en fructosa."
+      C: "gluc\xF3geno o glucosa en piruvato o lactato."
+      D: "gluc\xF3geno o glucosa en piruvato o acetil CoA."
+    input_correct_responses:
+    - C
+    input_question: "La gluc\xF3lisis es el nombre que se le da a la v\xEDa que implica\
+      \ la conversi\xF3n de:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_clinical_knowledge
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_clinical_knowledge
+task_alias: clinical_knowledge

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_college_biology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Poseen un exoesqueleto compuesto principalmente de peptidoglicano.
+      B: "Poseen un sistema circulatorio abierto con un coraz\xF3n dorsal."
+      C: "Son miembros de un filo biol\xF3gicamente fracasado, incapaz de explotar\
+        \ diversos h\xE1bitats y fuentes de nutrici\xF3n."
+      D: "Carecen de ap\xE9ndices pareados y articulados."
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1l de las siguientes representa una afirmaci\xF3n precisa\
+      \ sobre los artr\xF3podos?"
+  - input_choice_list:
+      A: 1/400
+      B: 19/400
+      C: 20/400
+      D: 38/400
+    input_correct_responses:
+    - D
+    input_question: "En una poblaci\xF3n determinada, 1 de cada 400 personas tiene\
+      \ un c\xE1ncer causado por un alelo completamente recesivo, b. Suponiendo que\
+      \ la poblaci\xF3n se encuentra en equilibrio de Hardy-Weinberg, \xBFcu\xE1l\
+      \ de las siguientes es la proporci\xF3n esperada de individuos que portan el\
+      \ alelo b pero que no se espera que desarrollen c\xE1ncer?"
+  - input_choice_list:
+      A: "el humano y el ave son especies polifil\xE9ticas"
+      B: "La evoluci\xF3n de un ser humano y un p\xE1jaro es convergente."
+      C: "el humano y el p\xE1jaro pertenecen a un clado"
+      D: "El ser humano y el p\xE1jaro desarrollados por analog\xEDa."
+    input_correct_responses:
+    - C
+    input_question: "La presencia de estructuras hom\xF3logas en dos organismos diferentes,\
+      \ como el h\xFAmero en la extremidad anterior de un humano y un p\xE1jaro, indica\
+      \ que"
+  - input_choice_list:
+      A: "una bomba de presi\xF3n-flujo dependiente de ATP"
+      B: "un gradiente de potencial de presi\xF3n del agua"
+      C: "transpiraci\xF3n"
+      D: "difusi\xF3n apopl\xE1sica"
+    input_correct_responses:
+    - B
+    input_question: "Seg\xFAn el modelo de presi\xF3n-flujo del movimiento del contenido\
+      \ del floema, el movimiento de fotosintato desde la fuente hasta el sumidero\
+      \ es impulsado por"
+  - input_choice_list:
+      A: "Tel\xF3meros"
+      B: "centr\xF3meros"
+      C: Nucleosomas
+      D: Empalizosomas
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1l de los siguientes contiene secuencias de ADN necesarias\
+      \ para la segregaci\xF3n de cromosomas en la mitosis y la meiosis?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_biology
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_college_biology
+task_alias: college_biology

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_college_chemistry.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "El estado de oxidaci\xF3n m\xE1s com\xFAn de los elementos lant\xE1nidos\
+        \ es +3."
+      B: "Los complejos de lant\xE1nidos suelen tener n\xFAmeros de coordinaci\xF3\
+        n elevados (>6)."
+      C: "Todos los elementos lant\xE1nidos reaccionan con un \xE1cido acuoso para\
+        \ liberar hidr\xF3geno."
+      D: "Los radios at\xF3micos de los elementos lant\xE1nidos aumentan a lo largo\
+        \ del per\xEDodo de La a Lu."
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de las siguientes afirmaciones sobre los elementos\
+      \ lant\xE1nidos NO es cierta?"
+  - input_choice_list:
+      A: 1,0 ml
+      B: 10ml
+      C: 20ml
+      D: 50 mililitros
+    input_correct_responses:
+    - C
+    input_question: "Una muestra de 0,217 g de HgO (masa molar = 217 g) reacciona\
+      \ con un exceso de iones yoduro de acuerdo con la reacci\xF3n que se muestra\
+      \ arriba. \xBFCu\xE1ntos ml de HCl 0,10 M se necesitan para valorar la soluci\xF3\
+      n resultante para alcanzar el punto de equivalencia?"
+  - input_choice_list:
+      A: '4'
+      B: '3'
+      C: '6'
+      D: '24'
+    input_correct_responses:
+    - A
+    input_question: "Prediga el n\xFAmero de l\xEDneas en el espectro EPR de una soluci\xF3\
+      n de radical metilo marcado con 13C (13CH3\u2022), suponiendo que las l\xED\
+      neas no se superpongan."
+  - input_choice_list:
+      A: "un \xE1cido"
+      B: una base
+      C: un catalizador
+      D: un agente reductor
+    input_correct_responses:
+    - D
+    input_question: "3 Cl\u2212(ac) + 4 CrO_4^2\u2212(ac) + 23 H+(ac) \u2192 3 HClO2(ac)\
+      \ + 4 Cr3+(ac) + 10 H2O(l). En la reacci\xF3n que se muestra arriba, Cl\u2212\
+      (aq) se comporta como"
+  - input_choice_list:
+      A: PbH4 < SnH4 < GeH4 < SiH4 < CH4
+      B: PbH4 < SnH4 < CH4 < GeH4 < SiH4
+      C: CH4 < SiH4 < GeH4 < SnH4 < PbH4
+      D: CH4 < PbH4 < GeH4 < SnH4 < SiH4
+    input_correct_responses:
+    - A
+    input_question: "\xBFCu\xE1l de las siguientes enumera los hidruros de elementos\
+      \ del grupo 14 en orden de estabilidad t\xE9rmica, de menor a mayor?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_chemistry
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_college_chemistry
+task_alias: college_chemistry

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_college_computer_science.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: a*(c + d)+ b(c + d)
+      B: a*(c + d)* + b(c + d)*
+      C: a*(c + d)+ b*(c + d)
+      D: (a + b)*c +(a + b)*d
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de las siguientes expresiones regulares es equivalente\
+      \ a (describe el mismo conjunto de cadenas que) (a* + b)*(c + d)?"
+  - input_choice_list:
+      A: '5'
+      B: '6'
+      C: '7'
+      D: '8'
+    input_correct_responses:
+    - B
+    input_question: "Cierta m\xE1quina RISC canalizada tiene 8 registros de prop\xF3\
+      sito general R0, R1,. . . , R7 y admite las siguientes operaciones. SUMAR Rs1,\
+      \ Rs2, Rd Sumar Rs1 a Rs2 y poner la suma en Rd MUL Rs1, Rs2, Rd Multiplicar\
+      \ Rs1 por Rs2 y poner el producto en Rd Una operaci\xF3n normalmente toma un\
+      \ ciclo; sin embargo, una operaci\xF3n requiere dos ciclos si produce un resultado\
+      \ requerido por la operaci\xF3n inmediatamente siguiente en una secuencia de\
+      \ operaciones. Considere la expresi\xF3n AB + ABC + BC, donde las variables\
+      \ A, B, C est\xE1n ubicadas en los registros R0, R1, R2. Si no se debe modificar\
+      \ el contenido de estos tres registros, \xBFcu\xE1l es el n\xFAmero m\xEDnimo\
+      \ de ciclos de reloj requeridos para una secuencia de operaci\xF3n que calcula\
+      \ el valor de AB + ABC + BC?"
+  - input_choice_list:
+      A: yo solo
+      B: Yo solo
+      C: solo III
+      D: I, II y III
+    input_correct_responses:
+    - D
+    input_question: "El patr\xF3n de dise\xF1o Singleton se utiliza para garantizar\
+      \ que solo se pueda crear una instancia de una clase. \xBFCu\xE1l de las siguientes\
+      \ afirmaciones es cierta respecto de este patr\xF3n de dise\xF1o? I. La clase\
+      \ Singleton tiene un m\xE9todo de f\xE1brica est\xE1tico para proporcionar su\
+      \ instancia. II. La clase Singleton puede ser una subclase de otra clase. III.\
+      \ La clase Singleton tiene un constructor privado."
+  - input_choice_list:
+      A: '5'
+      B: '6'
+      C: '7'
+      D: '9'
+    input_correct_responses:
+    - D
+    input_question: "Un compilador genera c\xF3digo para la siguiente declaraci\xF3\
+      n de asignaci\xF3n. G := (A + B) * C - (D + E) * F La m\xE1quina de destino\
+      \ tiene un \xFAnico acumulador y un conjunto de instrucciones de direcci\xF3\
+      n \xFAnica que consta de instrucciones de carga, almacenamiento, suma, resta\
+      \ y multiplicaci\xF3n. Para las operaciones aritm\xE9ticas, el operando izquierdo\
+      \ se toma del acumulador y el resultado aparece en el acumulador. El menor n\xFA\
+      mero posible de instrucciones en el c\xF3digo resultante es"
+  - input_choice_list:
+      A: 1/50
+      B: 1/27
+      C: 1/25
+      D: 2/27
+    input_correct_responses:
+    - B
+    input_question: "Considere un dise\xF1o de computadora en el que m\xFAltiples\
+      \ procesadores, cada uno con una memoria cach\xE9 privada, comparten la memoria\
+      \ global usando un solo bus. Este bus es el recurso cr\xEDtico del sistema.\
+      \ Cada procesador puede ejecutar una instrucci\xF3n cada 500 nanosegundos siempre\
+      \ que su cach\xE9 local satisfaga las referencias de memoria. Cuando se produce\
+      \ una p\xE9rdida de cach\xE9, el procesador se retrasa 2000 nanosegundos adicionales.\
+      \ Durante la mitad de este retraso adicional, el autob\xFAs se dedica a atender\
+      \ la p\xE9rdida de cach\xE9. Durante la otra mitad, el procesador no puede continuar,\
+      \ pero el bus queda libre para atender las solicitudes de otros procesadores.\
+      \ En promedio, cada instrucci\xF3n requiere 2 referencias a la memoria. En promedio,\
+      \ los errores de cach\xE9 ocurren en el 1 por ciento de las referencias. \xBF\
+      Qu\xE9 proporci\xF3n de la capacidad del bus consumir\xEDa un solo procesador,\
+      \ ignorando los retrasos debidos a la competencia de otros procesadores?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_computer_science
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_college_computer_science
+task_alias: college_computer_science

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_college_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: EST = 0
+      B: ST = T
+      C: ST = TS
+      D: "ST - TS es el mapa de identidad de V sobre s\xED mismo."
+    input_correct_responses:
+    - D
+    input_question: "Sea V el conjunto de todos los polinomios reales p(x). Definamos\
+      \ las transformaciones T, S en V por T:p(x) -> xp(x) y S:p(x) -> p'(x)\
+      \ = d/dx p(x), e interpretemos (ST) (p(x)) como S(T(p(x))). \xBFCual de los\
+      \ siguientes es verdadero?"
+  - input_choice_list:
+      A: '2'
+      B: 2-e^-2
+      C: 2 + e^-2
+      D: 2 + e^-4
+    input_correct_responses:
+    - D
+    input_question: "Un tanque contiene inicialmente una soluci\xF3n salina de 3 gramos\
+      \ de sal disueltos en 100 litros de agua. Se pulveriza en el tanque una soluci\xF3\
+      n salina que contiene 0,02 gramos de sal por litro de agua a una velocidad de\
+      \ 4 litros por minuto. La soluci\xF3n pulverizada se mezcla continuamente con\
+      \ la soluci\xF3n salina en el tanque y la mezcla sale del tanque a una velocidad\
+      \ de 4 litros por minuto. Si la mezcla es instant\xE1nea \xBFcu\xE1ntos gramos\
+      \ de sal quedan en el tanque despu\xE9s de transcurridos 100 minutos?"
+  - input_choice_list:
+      A: yo solo
+      B: Yo solo
+      C: solo III
+      D: "S\xF3lo II y III"
+    input_correct_responses:
+    - B
+    input_question: "Sea A una matriz real de 2x2. \xBFCu\xE1l de las siguientes afirmaciones\
+      \ debe ser cierta? I. Todas las entradas de A^2 no son negativas. II. El determinante\
+      \ de A^2 no es negativo. III. Si A tiene dos valores propios distintos, entonces\
+      \ A^2 tiene dos valores propios distintos."
+  - input_choice_list:
+      A: '-11'
+      B: '0'
+      C: '11'
+      D: 33/2
+    input_correct_responses:
+    - C
+    input_question: Supongamos que f(1 + x) = f(x) para todo x real. Si f es un polinomio
+      y f(5) = 11, entonces f(15/2)
+  - input_choice_list:
+      A: '-5'
+      B: '-4'
+      C: '-3'
+      D: '-2'
+    input_correct_responses:
+    - B
+    input_question: "Sea A el conjunto de todos los pares ordenados de enteros (m,\
+      \ n) tales que 7m + 12n = 22. \xBFCu\xE1l es el mayor n\xFAmero negativo del\
+      \ conjunto B = {m + n : (m, n) \\in A}?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_mathematics
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_college_mathematics
+task_alias: college_mathematics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_college_medicine.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "a trav\xE9s de transportadores de prote\xEDnas llamados GLUT4."
+      B: "s\xF3lo en presencia de insulina."
+      C: "v\xEDa hexoquinasa."
+      D: "mediante transportadores de \xE1cido monocarb\xEDlico."
+    input_correct_responses:
+    - A
+    input_question: "La glucosa se transporta a la c\xE9lula muscular:"
+  - input_choice_list:
+      A: "El gluc\xF3geno muscular se descompone enzim\xE1ticamente en glucosa-1-fosfato."
+      B: "Los corredores de resistencia de \xE9lite tienen una alta proporci\xF3n\
+        \ de fibras tipo I en los m\xFAsculos de las piernas"
+      C: "El gluc\xF3geno hep\xE1tico es importante en el mantenimiento de la concentraci\xF3\
+        n de glucosa en sangre."
+      D: "La insulina promueve la absorci\xF3n de glucosa por todos los tejidos del\
+        \ cuerpo."
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de las siguientes no es una afirmaci\xF3n verdadera?"
+  - input_choice_list:
+      A: "Todos los descendientes por l\xEDnea materna padecer\xE1n el trastorno."
+      B: "Las mujeres se ver\xE1n aproximadamente dos veces m\xE1s afectadas que los\
+        \ hombres en esta familia."
+      C: "Todas las hijas de un var\xF3n afectado se ver\xE1n afectadas."
+      D: "Habr\xE1 una distribuci\xF3n equitativa de hombres y mujeres afectados."
+    input_correct_responses:
+    - C
+    input_question: "En una prueba gen\xE9tica de un reci\xE9n nacido, se encuentra\
+      \ un trastorno gen\xE9tico poco com\xFAn que tiene transmisi\xF3n recesiva ligada\
+      \ al cromosoma X. \xBFCu\xE1l de las siguientes afirmaciones es probablemente\
+      \ cierta con respecto al pedigr\xED de este trastorno?"
+  - input_choice_list:
+      A: Aumento de temperatura, aumento de moles de gas.
+      B: Aumento de temperatura, aumento de volumen.
+      C: "Disminuci\xF3n del volumen, disminuci\xF3n de la temperatura."
+      D: "Disminuci\xF3n de moles de gas, aumento de volumen."
+    input_correct_responses:
+    - A
+    input_question: "Un profesor de ciencias de secundaria llena una botella de 1\
+      \ litro con nitr\xF3geno puro y sella la tapa. La presi\xF3n es de 1,70 atm\
+      \ y la temperatura ambiente es de 25\xB0C. \xBFCu\xE1les dos variables aumentar\xE1\
+      n la presi\xF3n del sistema si todas las dem\xE1s variables se mantienen constantes?"
+  - input_choice_list:
+      A: debilidad muscular.
+      B: ganancia de masa corporal.
+      C: calambres musculares.
+      D: "p\xE9rdida de electrolitos."
+    input_correct_responses:
+    - B
+    input_question: "Un efecto secundario esperado de la suplementaci\xF3n con creatina\
+      \ es:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_medicine
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_college_medicine
+task_alias: college_medicine