Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_college_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '4'
+      B: '5'
+      C: '6'
+      D: '20'
+    input_correct_responses:
+    - A
+    input_question: Un telescopio refractor consta de dos lentes convergentes separadas
+      por 100 cm. La lente del ocular tiene una distancia focal de 20 cm. El aumento
+      angular del telescopio es
+  - input_choice_list:
+      A: Temperatura constante
+      B: Volumen constante
+      C: "Presi\xF3n constante"
+      D: "Adiab\xE1tico"
+    input_correct_responses:
+    - B
+    input_question: "\xBFPara cu\xE1l de los siguientes procesos termodin\xE1micos\
+      \ el aumento de la energ\xEDa interna de un gas ideal es igual al calor a\xF1\
+      adido al gas?"
+  - input_choice_list:
+      A: 2,4 voltios
+      B: 3,3 voltios
+      C: 4,5 voltios
+      D: 5,7 voltios
+    input_correct_responses:
+    - A
+    input_question: "Un extremo de un alambre de nicromo de longitud 2L y \xE1rea\
+      \ de secci\xF3n transversal A est\xE1 unido a un extremo de otro alambre de\
+      \ nicromo de longitud L y \xE1rea de secci\xF3n transversal 2A. Si el extremo\
+      \ libre del cable m\xE1s largo tiene un potencial el\xE9ctrico de 8,0 voltios\
+      \ y el extremo libre del cable m\xE1s corto tiene un potencial el\xE9ctrico\
+      \ de 1,0 voltios, el potencial en la uni\xF3n de los dos cables es casi igual\
+      \ a"
+  - input_choice_list:
+      A: '4'
+      B: '5'
+      C: '6'
+      D: '20'
+    input_correct_responses:
+    - A
+    input_question: Un telescopio refractor consta de dos lentes convergentes separadas
+      por 100 cm. La lente del ocular tiene una distancia focal de 20 cm. El aumento
+      angular del telescopio es
+  - input_choice_list:
+      A: cargar
+      B: masa
+      C: "energ\xEDa y impulso"
+      D: "n\xFAmero lept\xF3nico"
+    input_correct_responses:
+    - D
+    input_question: "El mu\xF3n se desintegra con una vida \xFAtil caracter\xEDstica\
+      \ de aproximadamente 10 ^ -6 segundos en un electr\xF3n, un neutrino mu\xF3\
+      nico y un antineutrino electr\xF3nico. El mu\xF3n tiene prohibido desintegrarse\
+      \ en un electr\xF3n y un solo neutrino por la ley de conservaci\xF3n de"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_physics
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_college_physics
+task_alias: college_physics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_computer_security.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 160 bits
+      B: 512 bits
+      C: 628 bits
+      D: 820 bits
+    input_correct_responses:
+    - A
+    input_question: SHA-1 tiene un resumen de mensajes de
+  - input_choice_list:
+      A: "mensajer\xEDa instant\xE1nea: troyanos"
+      B: Troyanos de puerta trasera
+      C: Descargador de troyanos
+      D: Troyano de rescate
+    input_correct_responses:
+    - D
+    input_question: "_____________ puede modificar datos en su sistema, de modo que\
+      \ su sistema no se ejecute correctamente o ya no pueda acceder a datos espec\xED\
+      ficos, o incluso puede solicitar un rescate para otorgarle acceso."
+  - input_choice_list:
+      A: ""Hackear" la \xE9tica para justificar un comportamiento ego\xED\
+        sta involuntario"
+      B: "Hackear sistemas (por ejemplo, durante las pruebas de penetraci\xF3n) para\
+        \ exponer las vulnerabilidades para que puedan repararse, en lugar de explotarse."
+      C: "Hackear sistemas dirigidos por aquellos con cuya \xE9tica no est\xE1 de\
+        \ acuerdo"
+      D: "Un t\xE9rmino de jerga para el desarrollo r\xE1pido de software, por ejemplo,\
+        \ como parte de hackatones."
+    input_correct_responses:
+    - B
+    input_question: "\xBFQu\xE9 es el hacking \xE9tico?"
+  - input_choice_list:
+      A: "sobrescribir claves criptogr\xE1ficas en la memoria"
+      B: "una especie de inyecci\xF3n de c\xF3digo"
+      C: "una lectura fuera de los l\xEDmites de un buffer"
+      D: un ataque de cadena de formato
+    input_correct_responses:
+    - C
+    input_question: "Explotaci\xF3n de los permisos del error Heartbleed"
+  - input_choice_list:
+      A: Web embrujada
+      B: World Wide Web
+      C: Red de superficie
+      D: Red profunda
+    input_correct_responses:
+    - D
+    input_question: "El ____________ es cualquier cosa que su motor de b\xFAsqueda\
+      \ no pueda buscar."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_computer_security
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_computer_security
+task_alias: computer_security

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_conceptual_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: menos
+      B: "m\xE1s"
+      C: lo mismo
+      D: cero
+    input_correct_responses:
+    - A
+    input_question: "En comparaci\xF3n con la masa de un \xE1tomo de uranio sometido\
+      \ a fisi\xF3n, las masas combinadas de los productos despu\xE9s de la fisi\xF3\
+      n son"
+  - input_choice_list:
+      A: espacio y tiempo.
+      B: un gemelo que viaja y un gemelo que se queda en casa.
+      C: "gravedad y aceleraci\xF3n."
+      D: "masa y energ\xEDa."
+    input_correct_responses:
+    - C
+    input_question: "Las cosas que son equivalentes seg\xFAn el principio de equivalencia\
+      \ son"
+  - input_choice_list:
+      A: convertido a una frecuencia diferente
+      B: "desviaci\xF3n"
+      C: interferencia
+      D: "polarizaci\xF3n"
+    input_correct_responses:
+    - C
+    input_question: "Los colores de una pompa de jab\xF3n son el resultado de la luz."
+  - input_choice_list:
+      A: lo mismo
+      B: mayor que
+      C: menos
+      D: mayor o menor dependiendo de la velocidad del viento
+    input_correct_responses:
+    - B
+    input_question: "Un modelo de avi\xF3n vuela m\xE1s lento cuando vuela contra\
+      \ el viento y m\xE1s r\xE1pido con el viento a favor. Cuando se lanza en \xE1\
+      ngulo recto con el viento (viento cruzado), su velocidad respecto al suelo en\
+      \ comparaci\xF3n con volar en aire en calma es"
+  - input_choice_list:
+      A: "Hidr\xF3geno"
+      B: Hierro
+      C: Uranio
+      D: Lo mismo en cada
+    input_correct_responses:
+    - A
+    input_question: "\xBFCu\xE1l de estos tres elementos tiene mayor masa por nucle\xF3\
+      n?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_conceptual_physics
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_conceptual_physics
+task_alias: conceptual_physics