Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_college_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '4'
+      B: '5'
+      C: '6'
+      D: '20'
+    input_correct_responses:
+    - A
+    input_question: Un telescopio refractor consta de dos lentes convergentes separadas
+      por 100 cm. La lente del ocular tiene una distancia focal de 20 cm. El aumento
+      angular del telescopio es
+  - input_choice_list:
+      A: Temperatura constante
+      B: Volumen constante
+      C: "Presi\xF3n constante"
+      D: "Adiab\xE1tico"
+    input_correct_responses:
+    - B
+    input_question: "\xBFPara cu\xE1l de los siguientes procesos termodin\xE1micos\
+      \ el aumento de la energ\xEDa interna de un gas ideal es igual al calor a\xF1\
+      adido al gas?"
+  - input_choice_list:
+      A: 2,4 voltios
+      B: 3,3 voltios
+      C: 4,5 voltios
+      D: 5,7 voltios
+    input_correct_responses:
+    - A
+    input_question: "Un extremo de un alambre de nicromo de longitud 2L y \xE1rea\
+      \ de secci\xF3n transversal A est\xE1 unido a un extremo de otro alambre de\
+      \ nicromo de longitud L y \xE1rea de secci\xF3n transversal 2A. Si el extremo\
+      \ libre del cable m\xE1s largo tiene un potencial el\xE9ctrico de 8,0 voltios\
+      \ y el extremo libre del cable m\xE1s corto tiene un potencial el\xE9ctrico\
+      \ de 1,0 voltios, el potencial en la uni\xF3n de los dos cables es casi igual\
+      \ a"
+  - input_choice_list:
+      A: '4'
+      B: '5'
+      C: '6'
+      D: '20'
+    input_correct_responses:
+    - A
+    input_question: Un telescopio refractor consta de dos lentes convergentes separadas
+      por 100 cm. La lente del ocular tiene una distancia focal de 20 cm. El aumento
+      angular del telescopio es
+  - input_choice_list:
+      A: cargar
+      B: masa
+      C: "energ\xEDa y impulso"
+      D: "n\xFAmero lept\xF3nico"
+    input_correct_responses:
+    - D
+    input_question: "El mu\xF3n se desintegra con una vida \xFAtil caracter\xEDstica\
+      \ de aproximadamente 10 ^ -6 segundos en un electr\xF3n, un neutrino mu\xF3\
+      nico y un antineutrino electr\xF3nico. El mu\xF3n tiene prohibido desintegrarse\
+      \ en un electr\xF3n y un solo neutrino por la ley de conservaci\xF3n de"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_physics
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_college_physics
+task_alias: college_physics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_computer_security.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 160 bits
+      B: 512 bits
+      C: 628 bits
+      D: 820 bits
+    input_correct_responses:
+    - A
+    input_question: SHA-1 tiene un resumen de mensajes de
+  - input_choice_list:
+      A: "mensajer\xEDa instant\xE1nea: troyanos"
+      B: Troyanos de puerta trasera
+      C: Descargador de troyanos
+      D: Troyano de rescate
+    input_correct_responses:
+    - D
+    input_question: "_____________ puede modificar datos en su sistema, de modo que\
+      \ su sistema no se ejecute correctamente o ya no pueda acceder a datos espec\xED\
+      ficos, o incluso puede solicitar un rescate para otorgarle acceso."
+  - input_choice_list:
+      A: ""Hackear" la \xE9tica para justificar un comportamiento ego\xED\
+        sta involuntario"
+      B: "Hackear sistemas (por ejemplo, durante las pruebas de penetraci\xF3n) para\
+        \ exponer las vulnerabilidades para que puedan repararse, en lugar de explotarse."
+      C: "Hackear sistemas dirigidos por aquellos con cuya \xE9tica no est\xE1 de\
+        \ acuerdo"
+      D: "Un t\xE9rmino de jerga para el desarrollo r\xE1pido de software, por ejemplo,\
+        \ como parte de hackatones."
+    input_correct_responses:
+    - B
+    input_question: "\xBFQu\xE9 es el hacking \xE9tico?"
+  - input_choice_list:
+      A: "sobrescribir claves criptogr\xE1ficas en la memoria"
+      B: "una especie de inyecci\xF3n de c\xF3digo"
+      C: "una lectura fuera de los l\xEDmites de un buffer"
+      D: un ataque de cadena de formato
+    input_correct_responses:
+    - C
+    input_question: "Explotaci\xF3n de los permisos del error Heartbleed"
+  - input_choice_list:
+      A: Web embrujada
+      B: World Wide Web
+      C: Red de superficie
+      D: Red profunda
+    input_correct_responses:
+    - D
+    input_question: "El ____________ es cualquier cosa que su motor de b\xFAsqueda\
+      \ no pueda buscar."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_computer_security
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_computer_security
+task_alias: computer_security

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_conceptual_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: menos
+      B: "m\xE1s"
+      C: lo mismo
+      D: cero
+    input_correct_responses:
+    - A
+    input_question: "En comparaci\xF3n con la masa de un \xE1tomo de uranio sometido\
+      \ a fisi\xF3n, las masas combinadas de los productos despu\xE9s de la fisi\xF3\
+      n son"
+  - input_choice_list:
+      A: espacio y tiempo.
+      B: un gemelo que viaja y un gemelo que se queda en casa.
+      C: "gravedad y aceleraci\xF3n."
+      D: "masa y energ\xEDa."
+    input_correct_responses:
+    - C
+    input_question: "Las cosas que son equivalentes seg\xFAn el principio de equivalencia\
+      \ son"
+  - input_choice_list:
+      A: convertido a una frecuencia diferente
+      B: "desviaci\xF3n"
+      C: interferencia
+      D: "polarizaci\xF3n"
+    input_correct_responses:
+    - C
+    input_question: "Los colores de una pompa de jab\xF3n son el resultado de la luz."
+  - input_choice_list:
+      A: lo mismo
+      B: mayor que
+      C: menos
+      D: mayor o menor dependiendo de la velocidad del viento
+    input_correct_responses:
+    - B
+    input_question: "Un modelo de avi\xF3n vuela m\xE1s lento cuando vuela contra\
+      \ el viento y m\xE1s r\xE1pido con el viento a favor. Cuando se lanza en \xE1\
+      ngulo recto con el viento (viento cruzado), su velocidad respecto al suelo en\
+      \ comparaci\xF3n con volar en aire en calma es"
+  - input_choice_list:
+      A: "Hidr\xF3geno"
+      B: Hierro
+      C: Uranio
+      D: Lo mismo en cada
+    input_correct_responses:
+    - A
+    input_question: "\xBFCu\xE1l de estos tres elementos tiene mayor masa por nucle\xF3\
+      n?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_conceptual_physics
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_conceptual_physics
+task_alias: conceptual_physics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_econometrics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Eventualmente muere
+      B: Persistir indefinidamente
+      C: Crecer exponencialmente
+      D: Nunca ocurre
+    input_correct_responses:
+    - A
+    input_question: Para un proceso autorregresivo estacionario, los shocks
+  - input_choice_list:
+      A: 0,2
+      B: 0,4
+      C: 0,5
+      D: 0,33
+    input_correct_responses:
+    - D
+    input_question: "Considere el siguiente modelo AR(1) con perturbaciones que tienen\
+      \ media cero y varianza unitaria yt = 0,2 + 0,4 yt-1 + ut La media (incondicional)\
+      \ de y estar\xE1 dada por"
+  - input_choice_list:
+      A: "(ii) y (iv) \xFAnicamente"
+      B: "(i) y (iii) \xFAnicamente"
+      C: "(i), (ii) y (iii) \xFAnicamente"
+      D: (i), (ii), (iii) y (iv)
+    input_correct_responses:
+    - C
+    input_question: "Supongamos que un estad\xEDstico de prueba tiene asociado un\
+      \ valor p de 0,08. \xBFCu\xE1l de las siguientes afirmaciones es verdadera?\
+      \ (i) Si el tama\xF1o de la prueba fuera exactamente del 8%, ser\xEDa indiferente\
+      \ entre rechazar o no la hip\xF3tesis nula (ii) La nula ser\xEDa rechazada si\
+      \ se utilizara un tama\xF1o de prueba del 10% (iii) La nula no se rechazar\xE1\
+      \ si se utiliza un tama\xF1o de prueba del 1% (iv) La nula se rechazar\xE1 si\
+      \ se utiliza un tama\xF1o de prueba del 5%."
+  - input_choice_list:
+      A: "ser\xE1 parcial"
+      B: "ser\xE1 inconsistente"
+      C: "ser\xE1 ineficiente"
+      D: "Todo (a), (b) y (c) ser\xE1 cierto."
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1les ser\xEDan entonces las consecuencias para el estimador\
+      \ MCO si la heterocedasticidad est\xE1 presente en un modelo de regresi\xF3\
+      n pero se ignora?"
+  - input_choice_list:
+      A: 1 retraso
+      B: 2 rezagos
+      C: 3 retrasos
+      D: 4 rezagos
+    input_correct_responses:
+    - C
+    input_question: "Supongamos ahora que un investigador desea utilizar criterios\
+      \ de informaci\xF3n para determinar la duraci\xF3n \xF3ptima del rezago para\
+      \ un VAR. Est\xE1n disponibles 500 observaciones para el VAR bivariado, y los\
+      \ valores del determinante de la matriz de varianza-covarianza de residuos son\
+      \ 0,0336, 0,0169, 0,0084 y 0,0062 para 1, 2, 3 y 4 rezagos respectivamente.\
+      \ \xBFCu\xE1l es el orden \xF3ptimo del modelo seg\xFAn el criterio de informaci\xF3\
+      n de Akaike?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_econometrics
+tag: mmlu_es_llama_social_sciences_tasks
+task: mmlu_es_llama_econometrics
+task_alias: econometrics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_electrical_engineering.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: S=0,R=0
+      B: S=0, R=1
+      C: S=1, R=0
+      D: S=1, R=1
+    input_correct_responses:
+    - D
+    input_question: "En un pestillo SR construido a partir de puertas NOR, cuya condici\xF3\
+      n no est\xE1 permitida"
+  - input_choice_list:
+      A: "200\u03A9"
+      B: "100\u03A9"
+      C: "50\u03A9"
+      D: "10\u03A9"
+    input_correct_responses:
+    - C
+    input_question: "En una m\xE1quina de CC de bobinado superpuesto de 2 polos, la\
+      \ resistencia de un conductor es 2 \u03A9 y el n\xFAmero total de conductores\
+      \ es 100. Encuentre la resistencia total"
+  - input_choice_list:
+      A: 1 mA.
+      B: 2 mA.
+      C: 3 mA.
+      D: 4 mA.
+    input_correct_responses:
+    - B
+    input_question: "La bobina de un medidor de bobina m\xF3vil tiene 100 vueltas,\
+      \ mide 40 mm de largo y 30 mm de ancho. El par de control es de 240*10-6 Nm\
+      \ a escala completa. Si la densidad del flujo magn\xE9tico es 1Wb/m2, el rango\
+      \ del medidor es"
+  - input_choice_list:
+      A: 100 N.
+      B: 0,1 norte.
+      C: 1 n.
+      D: 0,01 norte.
+    input_correct_responses:
+    - B
+    input_question: "Dos conductores largos paralelos transportan 100 A. Si los conductores\
+      \ est\xE1n separados 20 mm, la fuerza por metro de longitud de cada conductor\
+      \ ser\xE1"
+  - input_choice_list:
+      A: 15 N.
+      B: 20 N.
+      C: 7,5 N.
+      D: 3,75 norte.
+    input_correct_responses:
+    - A
+    input_question: "Un polo puntual tiene una fuerza de 4\u03C0 * 10^-4 weber. La\
+      \ fuerza en newtons sobre un polo puntual de 4\u03C0 * 1,5 * 10^-4 weber colocado\
+      \ a una distancia de 10 cm de \xE9l ser\xE1"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_electrical_engineering
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_electrical_engineering
+task_alias: electrical_engineering

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_elementary_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 5 mil
+      B: 5 centenas
+      C: 5 decenas
+      D: 5 unos
+    input_correct_responses:
+    - A
+    input_question: "La poblaci\xF3n de la ciudad donde naci\xF3 Michelle es 145.826.\
+      \ \xBFCu\xE1l es el valor del 5 en el n\xFAmero 145,826?"
+  - input_choice_list:
+      A: "El d\xE9cimo n\xFAmero del patr\xF3n ser\xE1 un n\xFAmero par."
+      B: "El patr\xF3n num\xE9rico nunca tendr\xE1 dos n\xFAmeros pares uno al lado\
+        \ del otro."
+      C: "Los siguientes dos n\xFAmeros del patr\xF3n ser\xE1n un n\xFAmero par y\
+        \ luego un n\xFAmero impar."
+      D: "Si el patr\xF3n num\xE9rico comenzara con un n\xFAmero impar, entonces el\
+        \ patr\xF3n solo tendr\xEDa n\xFAmeros impares."
+    input_correct_responses:
+    - B
+    input_question: "Olivia us\xF3 la regla "Suma 11" para crear el patr\xF3\
+      n num\xE9rico que se muestra a continuaci\xF3n. 10, 21, 32, 43, 54 \xBFQu\xE9\
+      \ afirmaci\xF3n sobre el patr\xF3n num\xE9rico es verdadera?"
+  - input_choice_list:
+      A: Suma 5 a 30 para encontrar 35 equipos.
+      B: Divide 30 entre 5 para encontrar 6 equipos.
+      C: Multiplica 30 y 5 para encontrar 150 equipos.
+      D: Resta 5 de 30 para encontrar 25 equipos.
+    input_correct_responses:
+    - B
+    input_question: "Un total de 30 jugadores jugar\xE1n baloncesto en un parque.\
+      \ Habr\xE1 exactamente 5 jugadores en cada equipo. \xBFQu\xE9 afirmaci\xF3n\
+      \ explica correctamente c\xF3mo encontrar la cantidad de equipos necesarios?"
+  - input_choice_list:
+      A: '749'
+      B: '2.675'
+      C: 2,945
+      D: '4.250'
+    input_correct_responses:
+    - B
+    input_question: "Una tienda vende 107 colores diferentes de pintura. Tienen 25\
+      \ latas de cada color almacenadas. La cantidad de latas de pintura que la tienda\
+      \ tiene almacenadas se puede encontrar usando la siguiente expresi\xF3n. 107\
+      \ \xD7 25. \xBFCu\xE1ntas latas de pintura tiene almacenadas la tienda?"
+  - input_choice_list:
+      A: (5 x 4) x (6 x 5)
+      B: (5x5) + (5x4)
+      C: (5x5) + (5x9)
+      D: (5 x 9) x (6 x 9)
+    input_correct_responses:
+    - B
+    input_question: "\xBFQu\xE9 expresi\xF3n equivale a 5 x 9?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_elementary_mathematics
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_elementary_mathematics
+task_alias: elementary_mathematics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_formal_logic.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ~Pd
+      B: "(\u2200x)(Px \u2228 ~Dx)"
+      C: "(\u2200x)(Px \u2283 ~Dx)"
+      D: ~Dp
+    input_correct_responses:
+    - C
+    input_question: "Seleccione la mejor traducci\xF3n a la l\xF3gica de predicados:\
+      \ Nadie conduce en Marte."
+  - input_choice_list:
+      A: Blgh
+      B: Bhlg
+      C: Bglh
+      D: Bghl
+    input_correct_responses:
+    - C
+    input_question: "Seleccione la mejor traducci\xF3n a la l\xF3gica de predicados.\
+      \ George toma prestada la cortadora de c\xE9sped de H\xE9ctor. (g: George; h:\
+      \ H\xE9ctor; l: la cortadora de c\xE9sped de H\xE9ctor; Bxyx: x toma prestado\
+      \ y de z)"
+  - input_choice_list:
+      A: "Marina es bailarina. Algunos d\xE9biles no son bailarines. O todo es un\
+        \ debilucho o Georgia juega al voleibol. Entonces algo juega voleibol."
+      B: "Marina es bailarina. Ning\xFAn debilucho es bailar\xEDn. Todo es un debilucho\
+        \ o juega al voleibol. Entonces algo juega voleibol."
+      C: "Marina es bailarina. Algunos d\xE9biles no son bailarines. Todo es un debilucho\
+        \ o juega al voleibol. Entonces algo juega voleibol."
+      D: "Marina es bailarina. Ning\xFAn debilucho es bailar\xEDn. O todo es un debilucho\
+        \ o Georgia juega al voleibol. Entonces algo juega voleibol."
+    input_correct_responses:
+    - D
+    input_question: "Seleccione la mejor interpretaci\xF3n en ingl\xE9s de los argumentos\
+      \ dados en l\xF3gica de predicados. Dm (\u2200x)(Wx \u2283 ~Dx) (\u2200x)Wx\
+      \ \u2228 Ag / (\u2203x)Ax"
+  - input_choice_list:
+      A: "L\xF3gicamente equivalente"
+      B: Contradictorio
+      C: "Ni l\xF3gicamente equivalente ni contradictorio, pero s\xED consistente"
+      D: Inconsistente
+    input_correct_responses:
+    - C
+    input_question: "Construya una tabla de verdad completa para los siguientes pares\
+      \ de proposiciones. Luego, usando las tablas de verdad, determine si los enunciados\
+      \ son l\xF3gicamente equivalentes o contradictorios. En caso negativo, determine\
+      \ si son consistentes o inconsistentes. Justifica tus respuestas. E \u2283 (F\
+      \ \xB7 E) y ~E \xB7 F"
+  - input_choice_list:
+      A: "(L\xB7H) \u2261 Yo"
+      B: "(L\xB7H) \u2228 Yo"
+      C: "L\xB7(H\u2228I)"
+      D: "L\xB7(H\u2283R)"
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1l de las f\xF3rmulas dadas de PL es la mejor simbolizaci\xF3\
+      n de la siguiente oraci\xF3n? Las tortugas viven largas vidas y son criaturas\
+      \ felices, a menos que resulten heridas."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_formal_logic
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_formal_logic
+task_alias: formal_logic

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_global_facts.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "La gente tiende a ser optimista acerca de su propio futuro y el futuro de\
+        \ su naci\xF3n o del mundo."
+      B: "La gente tiende a ser optimista acerca de su propio futuro pero pesimista\
+        \ acerca del futuro de su naci\xF3n o del mundo."
+      C: "La gente tiende a ser pesimista acerca de su propio futuro pero optimista\
+        \ acerca del futuro de su naci\xF3n o del mundo."
+      D: "La gente tiende a ser pesimista sobre su propio futuro y el futuro de su\
+        \ naci\xF3n o del mundo."
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1l de los siguientes pares de afirmaciones son verdaderas\
+      \ (a partir de 2019)?"
+  - input_choice_list:
+      A: 31%
+      B: 46%
+      C: 61%
+      D: 76%
+    input_correct_responses:
+    - B
+    input_question: "A partir de 2019, \xBFqu\xE9 porcentaje aproximado de estadounidenses\
+      \ est\xE1n de acuerdo en que el estado se gestiona en beneficio de todo el pueblo?"
+  - input_choice_list:
+      A: aumentado, aumentado
+      B: aumentado disminuido
+      C: disminuido, aumentado
+      D: disminuido, disminuido
+    input_correct_responses:
+    - B
+    input_question: "A partir de 2015, desde 1990 los bosques tienen ____ en Europa\
+      \ y ____ en \xC1frica y Am\xE9rica."
+  - input_choice_list:
+      A: 38%
+      B: 53%
+      C: 68%
+      D: 83%
+    input_correct_responses:
+    - A
+    input_question: "A partir de 2019, \xBFqu\xE9 porcentaje de rusos dicen que es\
+      \ muy importante tener medios de comunicaci\xF3n libres en nuestro pa\xEDs sin\
+      \ censura gubernamental o estatal?"
+  - input_choice_list:
+      A: 80%
+      B: 60%
+      C: 40%
+      D: 20%
+    input_correct_responses:
+    - A
+    input_question: "A 2017, \xBFcu\xE1ntos de los ni\xF1os de 1 a\xF1o que hay hoy\
+      \ en el mundo han sido vacunados contra alguna enfermedad? *"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_global_facts
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_global_facts
+task_alias: global_facts

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_biology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Traducci\xF3n"
+      B: "Conjugaci\xF3n"
+      C: "Transducci\xF3n especializada"
+      D: "Transformaci\xF3n"
+    input_correct_responses:
+    - A
+    input_question: "\xBFCu\xE1l de las siguientes no es una forma de formar ADN recombinante?"
+  - input_choice_list:
+      A: "Al cambiar el pH \xF3ptimo de la enzima"
+      B: "Cambiando la ubicaci\xF3n de la enzima en la c\xE9lula."
+      C: "Cambiando la forma de la prote\xEDna."
+      D: "Un cambio de amino\xE1cido fuera del sitio activo no puede alterar la especificidad\
+        \ del sustrato de la enzima."
+    input_correct_responses:
+    - C
+    input_question: "Una mutaci\xF3n en una enzima bacteriana transform\xF3 un amino\xE1\
+      cido previamente polar en un amino\xE1cido no polar. Este amino\xE1cido estaba\
+      \ ubicado en un sitio distante del sitio activo de la enzima. \xBFC\xF3mo podr\xED\
+      a esta mutaci\xF3n alterar la especificidad del sustrato de la enzima?"
+  - input_choice_list:
+      A: "Membrana plasm\xE1tica-aparato de Golgi-ribosoma-ves\xEDcula secretora-RE\
+        \ rugoso"
+      B: "Ribosoma-aparato de Golgi-RE rugoso-ves\xEDcula secretora-membrana plasm\xE1\
+        tica"
+      C: "Membrana plasm\xE1tica-aparato de Golgi-ribosoma-ves\xEDcula secretora-RE\
+        \ rugoso"
+      D: "Ribosoma\u2013RE rugoso\u2013aparato de Golgi\u2013ves\xEDcula secretora\u2013\
+        membrana plasm\xE1tica"
+    input_correct_responses:
+    - D
+    input_question: "En las c\xE9lulas animales, \xBFcu\xE1l de las siguientes representa\
+      \ la v\xEDa m\xE1s probable que sigue una prote\xEDna secretora cuando se sintetiza\
+      \ en una c\xE9lula?"
+  - input_choice_list:
+      A: ciclinas
+      B: "Prote\xEDnas quinasas"
+      C: Puntos de control
+      D: "C\xE9lulas de fibroblastos"
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de los siguientes no se sabe que est\xE9 involucrado\
+      \ en el control de la divisi\xF3n celular?"
+  - input_choice_list:
+      A: "las alas de un p\xE1jaro y las alas de un murci\xE9lago"
+      B: las aletas de una ballena y los brazos de un hombre
+      C: las aletas pectorales de una marsopa y las aletas de una foca
+      D: las patas delanteras de un insecto y las patas delanteras de un perro
+    input_correct_responses:
+    - D
+    input_question: "A menudo se citan estructuras hom\xF3logas como evidencia del\
+      \ proceso de selecci\xF3n natural. Todos los siguientes son ejemplos de estructuras\
+      \ hom\xF3logas EXCEPTO"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_biology
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_high_school_biology
+task_alias: high_school_biology

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_chemistry.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: HCl
+      B: H2SO3
+      C: SO2
+      D: Al(NO3)3
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de los siguientes se considera un anh\xEDdrido de\
+      \ \xE1cido?"
+  - input_choice_list:
+      A: PCl4F
+      B: BF3
+      C: CO2
+      D: Si(CH3)4
+    input_correct_responses:
+    - A
+    input_question: "\xBFCu\xE1l de las siguientes se espera que sea una mol\xE9cula\
+      \ polar?"
+  - input_choice_list:
+      A: Todos los cloruros, bromuros y yoduros son solubles.
+      B: Todos los sulfatos son solubles.
+      C: "Todos los hidr\xF3xidos son solubles."
+      D: Todos los compuestos que contienen amonio son solubles.
+    input_correct_responses:
+    - D
+    input_question: "De las reglas de solubilidad, \xBFcu\xE1l de las siguientes afirmaciones\
+      \ es verdadera?"
+  - input_choice_list:
+      A: 3,89
+      B: 7,78
+      C: '5.78'
+      D: '2.33'
+    input_correct_responses:
+    - C
+    input_question: "Se sintetiza un nuevo compuesto y se descubre que es un \xE1\
+      cido monopr\xF3tico con una masa molar de 248 g/mol. Cuando se disuelven 0,0050\
+      \ moles de este \xE1cido en 0,500 litros de agua, el pH se mide como 3,89. \xBF\
+      Cu\xE1l es el pKa de este \xE1cido?"
+  - input_choice_list:
+      A: 0,500 moles
+      B: 1.00 mol
+      C: 2.00 moles
+      D: 3.00 moles
+    input_correct_responses:
+    - C
+    input_question: "Una soluci\xF3n contiene 2,00 moles de \xE1cido ac\xE9tico, CH3COOH,\
+      \ y 1,00 moles de acetato de calcio, Ca(CH3COO)2. La soluci\xF3n es capaz de\
+      \ resistir la adici\xF3n de una peque\xF1a cantidad de \xE1cido fuerte o base\
+      \ fuerte con s\xF3lo cambios menores en el pH de la soluci\xF3n. Cantidades\
+      \ mayores de \xE1cido fuerte o base fuerte pueden provocar un cambio significativo\
+      \ en el pH. \xBFCu\xE1ntos moles de \xE1cido n\xEDtrico, HNO3, se pueden agregar\
+      \ antes de que el pH comience a cambiar significativamente?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_chemistry
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_high_school_chemistry
+task_alias: high_school_chemistry

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_computer_science.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Un coche alerta a un conductor que est\xE1 a punto de chocar contra un objeto."
+      B: "Un excursionista utiliza un reloj GPS para realizar un seguimiento de su\
+        \ posici\xF3n."
+      C: "Un refrigerador pide leche a un servicio de entrega en l\xEDnea cuando la\
+        \ leche del refrigerador casi se ha acabado."
+      D: "Un corredor utiliza un reloj con sensores \xF3pticos para controlar su frecuencia\
+        \ card\xEDaca."
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de los siguientes es un ejemplo del uso de un dispositivo\
+      \ en Internet de las cosas (IoT)?"
+  - input_choice_list:
+      A: "Las actividades de un usuario que navega en una ventana an\xF3nima no ser\xE1\
+        n visibles para las personas que monitorean la red del usuario, como el administrador\
+        \ del sistema."
+      B: "Los art\xEDculos colocados en el carrito de compras de una tienda web para\
+        \ compras futuras durante la sesi\xF3n de navegaci\xF3n an\xF3nima no se guardar\xE1\
+        n en la computadora del usuario."
+      C: "Un usuario no podr\xE1 iniciar sesi\xF3n en cuentas de correo electr\xF3\
+        nico o de redes sociales durante la sesi\xF3n de navegaci\xF3n an\xF3nima."
+      D: "Un usuario que navegue en una ventana an\xF3nima estar\xE1 protegido de\
+        \ los virus lanzados desde cualquier sitio web visitado o archivos descargados."
+    input_correct_responses:
+    - B
+    input_question: "Muchos navegadores web permiten a los usuarios abrir ventanas\
+      \ an\xF3nimas. Durante una sesi\xF3n de navegaci\xF3n en una ventana an\xF3\
+      nima, el navegador no registra un historial de navegaci\xF3n ni una lista de\
+      \ archivos descargados. Cuando se sale de la ventana an\xF3nima, las cookies\
+      \ creadas durante la sesi\xF3n se eliminan. \xBFCu\xE1l de las siguientes afirmaciones\
+      \ sobre sesiones de navegaci\xF3n en una ventana an\xF3nima es cierta?"
+  - input_choice_list:
+      A: Error
+      B: a B C
+      C: cba
+      D: C
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l es el resultado de "abc"[::-1] en Python\
+      \ 3?"
+  - input_choice_list:
+      A: Fox
+      B: Hotel
+      C: Noviembre
+      D: yanqui
+    input_correct_responses:
+    - C
+    input_question: "En el programa siguiente, el valor inicial de x es 5 y el valor\
+      \ inicial de y es 10. IF (X < O) { DISPLAY ("Foxtrot") } ELSE {\
+      \ IF (X > y) { DISPLAY ("Hotel") } ELSE { IF (y > O) { DISPLAY\
+      \ ("Noviembre") } ELSE { DISPLAY ("Yankee") } } } \xBFQu\xE9\
+      \ se muestra como resultado de ejecutar el programa?"
+  - input_choice_list:
+      A: "Paso 3: aumente el valor de la posici\xF3n en 1. Paso 4: repita los pasos\
+        \ 2 y 3 hasta que el valor del recuento sea mayor que 100."
+      B: "Paso 3: Aumente el valor de la posici\xF3n en 1. Paso 4: Repita los pasos\
+        \ 2 y 3 hasta que el valor de la posici\xF3n sea mayor que n."
+      C: "Paso 3: repita el paso 2 hasta que el valor del recuento sea mayor que 100.\
+        \ Paso 4: aumente el valor de la posici\xF3n en 1."
+      D: "Paso 3: repita el paso 2 hasta que el valor de la posici\xF3n sea mayor\
+        \ que n. Paso 4: aumente el valor del recuento en 1."
+    input_correct_responses:
+    - D
+    input_question: "Una lista de n\xFAmeros tiene n elementos, indexados del 1 al\
+      \ n. El siguiente algoritmo est\xE1 destinado a mostrar la cantidad de elementos\
+      \ en la lista que tienen un valor mayor que 100. El algoritmo utiliza las variables\
+      \ recuento y posici\xF3n. Faltan los pasos 3 y 4. Paso 1: establezca el recuento\
+      \ en 0 y la posici\xF3n en 1. Paso 2: si el valor del elemento en la posici\xF3\
+      n del \xEDndice es mayor que 100, aumente el valor del recuento en 1. Paso 3:\
+      \ (paso faltante) Paso 4: (paso faltante ) Paso 5: Mostrar el valor del recuento.\
+      \ \xBFCu\xE1l de los siguientes podr\xEDa usarse para reemplazar los pasos 3\
+      \ y 4 para que el algoritmo funcione seg\xFAn lo previsto?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_computer_science
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_high_school_computer_science
+task_alias: high_school_computer_science

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_european_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Jean-Jacques Rousseau
+      B: "Bar\xF3n Montesquieu"
+      C: "Mar\xEDa Wollstonecraft"
+      D: Adam Smith
+    input_correct_responses:
+    - B
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. El siguiente\
+      \ extracto es de un folleto. Me har\xE1 usted la justicia de recordar que siempre\
+      \ he apoyado en\xE9rgicamente el derecho de cada hombre a tener su propia opini\xF3\
+      n, por muy diferente que esa opini\xF3n pueda ser de la m\xEDa. Quien niega\
+      \ a otro este derecho, se hace esclavo de su opini\xF3n actual, porque se excluye\
+      \ el derecho de cambiarla. El arma m\xE1s formidable contra errores de todo\
+      \ tipo es la raz\xF3n. Nunca he usado ning\xFAn otro y conf\xEDo en que nunca\
+      \ lo har\xE9. La circunstancia que ha tenido lugar ahora en Francia de la abolici\xF3\
+      n total de todo el orden nacional del sacerdocio, y de todo lo perteneciente\
+      \ a sistemas religiosos compulsivos y art\xEDculos de fe compulsivos, no s\xF3\
+      lo ha precipitado mi intenci\xF3n, sino que ha convertido una obra de este tipo\
+      \ sumamente necesario, no sea que en el desastre general de la superstici\xF3\
+      n, de los falsos sistemas de gobierno y la falsa teolog\xEDa, perdamos de vista\
+      \ la moralidad, la humanidad y la teolog\xEDa que es verdadera. Creo en un Dios\
+      \ y no m\xE1s; y espero felicidad m\xE1s all\xE1 de esta vida. Creo en la igualdad\
+      \ del hombre; y creo que los deberes religiosos consisten en hacer justicia,\
+      \ amar la misericordia y esforzarse en hacer felices a nuestros semejantes.\
+      \ No creo en el credo profesado por la iglesia jud\xEDa, por la iglesia romana,\
+      \ por la iglesia griega, por la iglesia turca, por la iglesia protestante, ni\
+      \ por ninguna iglesia que yo sepa. Mi propia mente es mi propia iglesia. Todas\
+      \ las instituciones nacionales de las iglesias, ya sean jud\xEDas, cristianas\
+      \ o turcas, me parecen no m\xE1s que invenciones humanas, creadas para aterrorizar\
+      \ y esclavizar a la humanidad y monopolizar el poder y las ganancias. No pretendo\
+      \ con esta declaraci\xF3n condenar a quienes creen lo contrario; ellos tienen\
+      \ el mismo derecho a sus creencias que yo a las m\xEDas. \u2014Thomas Paine,\
+      \ La era de la raz\xF3n, 1794\u20131795 \xBFCu\xE1l de los siguientes fil\xF3\
+      sofos de la Ilustraci\xF3n dise\xF1\xF3 un sistema de controles y equilibrios\
+      \ para que el gobierno evitara abusos de poder?"
+  - input_choice_list:
+      A: "Las ideas de libertad personal y nacionalismo concebidas durante la Ilustraci\xF3\
+        n resultaron en revoluciones radicales que pudieron extenderse por toda Europa."
+      B: "La conquista de Europa por Napole\xF3n condujo a la creaci\xF3n de nuevas\
+        \ facciones y cambi\xF3 el equilibrio de poder europeo."
+      C: "El poder de los monarcas hab\xEDa crecido hasta el punto de que necesitaba\
+        \ ser controlado por otros poderes dentro de cada naci\xF3n o se producir\xED\
+        a la dominaci\xF3n de los civiles."
+      D: "El ciclo econ\xF3mico ascendente y descendente de la nueva econom\xEDa capitalista\
+        \ emergente podr\xEDa provocar disturbios civiles que deben ser reprimidos."
+    input_correct_responses:
+    - A
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. Lea el\
+      \ siguiente extracto. La semilla revolucionaria hab\xEDa penetrado en todos\
+      \ los pa\xEDses y se hab\xEDa extendido m\xE1s o menos. Se desarroll\xF3 mucho\
+      \ bajo el r\xE9gimen del despotismo militar de Bonaparte. Sus conquistas desplazaron\
+      \ una serie de leyes, instituciones y costumbres; rompi\xF3 v\xEDnculos sagrados\
+      \ entre todas las naciones, lo suficientemente fuertes como para resistir el\
+      \ tiempo mismo; lo cual es m\xE1s de lo que se puede decir de ciertos beneficios\
+      \ conferidos por estos innovadores. Los monarcas cumplir\xE1n los deberes que\
+      \ les impone Aquel que, al confiarles el poder, les ha encargado velar por el\
+      \ mantenimiento de la justicia y de los derechos de todos, de evitar los caminos\
+      \ del error y de pisar con firmeza el camino del verdad. M\xE1s all\xE1 de las\
+      \ pasiones que agitan la sociedad, es principalmente en los d\xEDas de prueba\
+      \ cuando est\xE1n llamados a despojar las realidades de sus falsas apariencias\
+      \ y a mostrarse tal como son, padres investidos de la autoridad que corresponde\
+      \ por derecho a los cabezas de familia, para demostrar que, en los d\xEDas de\
+      \ luto, saben ser justos, sabios y, por tanto, fuertes, y que no abandonar\xE1\
+      n al pueblo que deber\xEDan gobernar para que sea el juego de las facciones,\
+      \ al error y a sus consecuencias, que deben implican la p\xE9rdida de la sociedad.\
+      \ La uni\xF3n entre los monarcas es la base de la pol\xEDtica que ahora debe\
+      \ seguirse para salvar a la sociedad de la ruina total. . . . No confundan las\
+      \ concesiones hechas a los partidos con el bien que deber\xEDan hacer a su pueblo,\
+      \ modificando, seg\xFAn sus necesidades reconocidas, las ramas de la administraci\xF3\
+      n que as\xED lo requieran. Que sean justos, pero fuertes; ben\xE9fico, pero\
+      \ estricto. Que mantengan los principios religiosos en toda su pureza, y no\
+      \ permitan que la fe sea atacada y la moral interpretada seg\xFAn el contrato\
+      \ social o las visiones de tontos sectarios. Que supriman las sociedades secretas;\
+      \ esa gangrena de la sociedad. \u2014Klemens von Metternich, Confesi\xF3n pol\xED\
+      tica de fe, 1820 \xBFCu\xE1l de las siguientes fue la causa principal de los\
+      \ temores expresados por Metternich en el documento anterior?"
+  - input_choice_list:
+      A: Capitalista
+      B: "Cient\xEDfico"
+      C: Comunista
+      D: existencialista
+    input_correct_responses:
+    - C
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. En Rusia\
+      \ no iba nada bien y [Souvarine] estaba desesperado por la noticia que hab\xED\
+      a recibido. Todos sus antiguos compa\xF1eros se volv\xEDan hacia los pol\xED\
+      ticos; los famosos nihilistas que hicieron temblar a Europa -hijos de curas\
+      \ de aldea, de la clase media baja, de comerciantes- no pudieron elevarse por\
+      \ encima de la idea de la liberaci\xF3n nacional, y parec\xEDan creer que el\
+      \ mundo ser\xEDa liberado -cuando hab\xEDan matado a su d\xE9spota... "\xA1\
+      Tonter\xEDas! Nunca saldr\xE1n de aqu\xED con sus tonter\xEDas." Luego,\
+      \ bajando a\xFAn m\xE1s la voz, describi\xF3 con algunas palabras amargas su\
+      \ viejo sue\xF1o de fraternidad. Hab\xEDa renunciado a su rango y a su fortuna;\
+      \ hab\xEDa ido entre los trabajadores, s\xF3lo con la esperanza de ver por fin\
+      \ los cimientos de una nueva sociedad de trabajo en com\xFAn. Todos los sueldos\
+      \ que llevaba en los bolsillos hac\xEDa tiempo que hab\xEDan ido a parar a los\
+      \ pilluelos del asentamiento; hab\xEDa sido tan tierno como un hermano con los\
+      \ mineros, sonriendo ante sus sospechas, gan\xE1ndolos con sus maneras tranquilas\
+      \ y trabajadoras y su aversi\xF3n a la charla. Pero decididamente la fusi\xF3\
+      n no se hab\xEDa producido. Su voz cambi\xF3, sus ojos se iluminaron, fij\xF3\
+      \ sus ojos en \xC9tienne, dirigi\xE9ndose directamente a \xE9l: "Ahora,\
+      \ \xBFentiendes? Esos sombrereros de Marsella, que han ganado el gran premio\
+      \ de la loter\xEDa de cien mil francos, se han ido inmediatamente a invertir\
+      \ \xA1Declarando que van a vivir sin hacer nada! S\xED, esa es vuestra idea,\
+      \ todos vosotros, trabajadores franceses: quer\xE9is desenterrar un tesoro para\
+      \ devorarlo despu\xE9s solos en alg\xFAn rinc\xF3n perezoso y ego\xEDsta. Por\
+      \ mucho que quieras contra los ricos, no tienes el valor suficiente para devolver\
+      \ a los pobres el dinero que te trae la suerte. Nunca ser\xE1s digno de la felicidad\
+      \ mientras poseas algo, y tu odio hacia los burgueses contin\xFAa. \xFAnicamente\
+      \ por un furioso deseo de ser ustedes mismos burgueses en su lugar". \xE9\
+      mile Zola, escritor franc\xE9s, Germinal, 1885 \xBFEl pasaje muestra la preocupaci\xF3\
+      n directa por el bienestar de las clases trabajadoras que t\xEDpicamente era\
+      \ parte de qu\xE9 movimiento?"
+  - input_choice_list:
+      A: "Sirvieron de catalizador para el crecimiento del transporte mar\xEDtimo\
+        \ y del comercio exterior ingleses, pero hicieron poco para limitar las perspectivas\
+        \ de los holandeses en el siglo XVII."
+      B: "Provocaron dificultades casi inmediatas para la econom\xEDa holandesa, ya\
+        \ que su dominio del comercio exterior termin\xF3 r\xE1pidamente."
+      C: "Fueron rescindidos durante la restauraci\xF3n de los Estuardo porque buscaban\
+        \ relaciones diplom\xE1ticas normales con los holandeses para no necesitar\
+        \ el apoyo financiero del Parlamento para la guerra."
+      D: "Condujeron a casi un siglo de guerras recurrentes entre Inglaterra y los\
+        \ Pa\xEDses Bajos, que no terminar\xEDan hasta despu\xE9s de la independencia\
+        \ estadounidense."
+    input_correct_responses:
+    - A
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. Los extractos\
+      \ que aparecen a continuaci\xF3n pertenecen a las Leyes de Navegaci\xF3n de\
+      \ 1651. [Despu\xE9s del primer d\xEDa de diciembre de mil seiscientos cincuenta\
+      \ y uno, y desde all\xED en adelante, ning\xFAn bien o mercanc\xEDa alguna del\
+      \ crecimiento, producci\xF3n o manufactura de Asia, \xC1frica o Estados Unidos,\
+      \ o de cualquier parte del mismo; o de cualesquiera islas que les pertenezcan,\
+      \ o que est\xE9n descritas o establecidas en los mapas o tarjetas habituales\
+      \ de esos lugares, as\xED como de las plantaciones inglesas como otras, ser\xE1\
+      n importadas o tra\xEDdas a esta Commonwealth de Inglaterra, o a Irlanda, o\
+      \ cualquier otra tierra, isla, plantaci\xF3n o territorio de este Commonwealth\
+      \ que pertenezca, o est\xE9 en su posesi\xF3n, en cualquier otro barco o barcos,\
+      \ buque o buques de cualquier tipo, pero s\xF3lo en aquellos que verdaderamente\
+      \ y sin fraude pertenezcan \xFAnicamente al pueblo de este Commonwealth , o\
+      \ las plantaciones de los mismos, como propietarios o derechohabientes de los\
+      \ mismos; y de los cuales el capit\xE1n y los marineros son tambi\xE9n del pueblo\
+      \ de este Estado Libre Asociado, bajo pena de decomiso y p\xE9rdida de todos\
+      \ los bienes que se importen en contra de esta ley, , , , [N]o bienes o mercanc\xED\
+      as del crecimiento, La producci\xF3n o fabricaci\xF3n de Europa, o de cualquier\
+      \ parte de ella, despu\xE9s del primer d\xEDa de diciembre de mil seiscientos\
+      \ cincuenta y uno, ser\xE1 importada o tra\xEDda a esta Commonwealth de Inglaterra,\
+      \ o a cualquier otra tierra o territorio de esta Commonwealth que pertenezca,\
+      \ o en su posesi\xF3n, en cualquier barco o barcos, embarcaci\xF3n o embarcaciones\
+      \ de cualquier tipo, pero en aquellos que verdaderamente y sin fraude pertenecen\
+      \ \xFAnicamente al pueblo de esta Commonwealth, y en ning\xFAn otro, excepto\
+      \ s\xF3lo aquellos barcos y embarcaciones extranjeras que verdaderamente y pertenecen\
+      \ propiamente a la gente de ese pa\xEDs o lugar, del cual dichos bienes son\
+      \ el cultivo, producci\xF3n o fabricaci\xF3n. \xBFCu\xE1l de las siguientes\
+      \ describe mejor el resultado de las Leyes de Navegaci\xF3n de 1651?"
+  - input_choice_list:
+      A: "Dar al rey ingl\xE9s una nueva posici\xF3n de autoridad."
+      B: "Dar el puesto de jefe de la Iglesia de Inglaterra \xFAnicamente a Enrique\
+        \ VIII y excluir a sus herederos."
+      C: "establecer el calvinismo como la \xFAnica teolog\xEDa verdadera en Inglaterra"
+      D: "poner fin a diversas formas de corrupci\xF3n que azotan a la Iglesia en\
+        \ Inglaterra"
+    input_correct_responses:
+    - D
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. Si bien\
+      \ la Majestad del Rey es y debe ser, justa y leg\xEDtimamente, la cabeza suprema\
+      \ de la Iglesia de Inglaterra, y as\xED lo reconoce el clero de este reino en\
+      \ sus convocatorias, no obstante, para corroborarla y confirmarla, y para aumentar\
+      \ la virtud en la religi\xF3n de Cristo dentro de este reino de Inglaterra,\
+      \ y para reprimir y extirpar todos los errores, herej\xEDas y otras atrocidades\
+      \ y abusos utilizados hasta ahora en el mismo, promulg\xE1ndose, por autoridad\
+      \ del presente Parlamento, que el rey, nuestro se\xF1or soberano, sus herederos\
+      \ y los sucesores, reyes de este reino, ser\xE1n tomados, aceptados y reputados\
+      \ como la \xFAnica cabeza suprema en la tierra de la Iglesia de Inglaterra,\
+      \ llamada Anglicans Ecclesia; y tendr\xE1 y disfrutar\xE1, anexada y unida a\
+      \ la corona imperial de este reino, as\xED como el t\xEDtulo y estilo de la\
+      \ misma, as\xED como todos los honores, dignidades, preeminencias, jurisdicciones,\
+      \ privilegios, autoridades, inmunidades, ganancias y mercanc\xEDas a dicha dignidad\
+      \ de el jefe supremo de la misma Iglesia perteneciente y perteneciente; y que\
+      \ nuestro dicho se\xF1or soberano, sus herederos y sucesores, reyes de este\
+      \ reino, tendr\xE1n pleno poder y autoridad de vez en cuando para visitar, reprimir,\
+      \ reparar, registrar, ordenar, corregir, restringir y enmendar todos esos errores,\
+      \ herej\xEDas, abusos, ofensas, desprecios y atrocidades, cualesquiera que sean,\
+      \ que por cualquier tipo de autoridad o jurisdicci\xF3n espiritual deban o puedan\
+      \ ser reformadas, reprimidas, ordenadas, reparadas, corregidas, restringidas\
+      \ o enmendadas, para la mayor complacencia de Dios Todopoderoso, el aumento\
+      \ de la virtud en la religi\xF3n de Cristo y la conservaci\xF3n de la paz, unidad\
+      \ y tranquilidad de este reino; Sin perjuicio de cualquier uso, territorio extranjero,\
+      \ autoridad extranjera, prescripci\xF3n o cualquier otra cosa o cosas que se\
+      \ opongan al presente. Parlamento ingl\xE9s, Acta de Supremac\xEDa, 1534 Del\
+      \ pasaje se puede inferir que el Parlamento ingl\xE9s deseaba argumentar que\
+      \ el Acta de Supremac\xEDa"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_european_history
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_high_school_european_history
+task_alias: high_school_european_history

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_geography.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: tasa bruta de mortalidad a partir de la fecha bruta de nacimiento.
+      B: tasa bruta de natalidad a partir de la tasa bruta de mortalidad.
+      C: duplicar el tiempo respecto de la tasa bruta de natalidad.
+      D: tasa de fertilidad de la tasa bruta de mortalidad.
+    input_correct_responses:
+    - A
+    input_question: "La tasa de crecimiento natural de una poblaci\xF3n se encuentra\
+      \ restando la"
+  - input_choice_list:
+      A: "Las tasas de natalidad aumentan y la tasa de crecimiento demogr\xE1fico\
+        \ es menos r\xE1pida."
+      B: "Las tasas de natalidad disminuyen y la tasa de crecimiento demogr\xE1fico\
+        \ es menos r\xE1pida."
+      C: "Las tasas de natalidad aumentan y la tasa de crecimiento demogr\xE1fico\
+        \ aumenta."
+      D: "Las tasas de natalidad disminuyen y la tasa de crecimiento demogr\xE1fico\
+        \ aumenta."
+    input_correct_responses:
+    - B
+    input_question: "Durante la tercera etapa del modelo de transici\xF3n demogr\xE1\
+      fica, \xBFcu\xE1l de las siguientes afirmaciones es cierta?"
+  - input_choice_list:
+      A: "La duplicaci\xF3n de esfuerzos ocurre con frecuencia."
+      B: Los problemas sociales del centro de la ciudad se extienden a los suburbios
+        residenciales circundantes.
+      C: "La ineficiencia en la prestaci\xF3n de servicios ocurre con frecuencia."
+      D: "Los esfuerzos de un vecindario para reducir la contaminaci\xF3n siempre\
+        \ cuentan con el apoyo de las comunidades vecinas."
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de las siguientes afirmaciones NO es exacta con respecto\
+      \ a los servicios prestados por los gobiernos locales en los Estados Unidos?"
+  - input_choice_list:
+      A: "subcontrataci\xF3n."
+      B: "deslocalizaci\xF3n."
+      C: maquiladoras.
+      D: interdependencia local.
+    input_correct_responses:
+    - B
+    input_question: "La pr\xE1ctica de contratar a un tercero proveedor de servicios\
+      \ extranjero para realizar una operaci\xF3n se denomina"
+  - input_choice_list:
+      A: "jab\xF3n de paloma"
+      B: barra de chocolate paloma
+      C: "s\xEDmbolo de la paloma"
+      D: "Una paloma (p\xE1jaro)"
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de los siguientes elementos es un ejemplo de cultura\
+      \ no material?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_geography
+tag: mmlu_es_llama_social_sciences_tasks
+task: mmlu_es_llama_high_school_geography
+task_alias: high_school_geography

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_government_and_politics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "la definici\xF3n constitucional de esos poderes es amplia e inespec\xED\
+        fica"
+      B: "la mayor\xEDa de la gente est\xE1 de acuerdo en que la Constituci\xF3n impone\
+        \ demasiados l\xEDmites al poder presidencial"
+      C: "La Corte Suprema se niega sistem\xE1ticamente a pronunciarse sobre casos\
+        \ relacionados con los poderes presidenciales."
+      D: Las enmiendas constitucionales han aumentado considerablemente los poderes
+        presidenciales.
+    input_correct_responses:
+    - A
+    input_question: "La incertidumbre sobre los l\xEDmites del poder presidencial\
+      \ se debe principalmente al hecho de que"
+  - input_choice_list:
+      A: "aumento anual del gasto federal en el ej\xE9rcito"
+      B: importe de los intereses de la deuda nacional
+      C: diferencia entre las propuestas presupuestarias iniciales hechas por el presidente
+        y el Congreso
+      D: cantidad que el gobierno gasta por encima de sus ingresos
+    input_correct_responses:
+    - D
+    input_question: "El t\xE9rmino "d\xE9ficit presupuestario" se refiere\
+      \ a la"
+  - input_choice_list:
+      A: Semanas contra Estados Unidos
+      B: Betts contra Brady
+      C: Mapp contra Ohio
+      D: Miranda contra Arizona
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de los siguientes casos sent\xF3 el precedente de\
+      \ que se debe informar al acusado sobre su derecho a guardar silencio, el derecho\
+      \ a un abogado y la protecci\xF3n contra la autoincriminaci\xF3n?"
+  - input_choice_list:
+      A: Son establecidos por el poder legislativo.
+      B: Sus miembros a menudo no tienen mucha influencia sobre las decisiones presidenciales.
+      C: "No todos pueden estar dirigidos por l\xEDderes que pertenezcan al mismo\
+        \ partido pol\xEDtico que el presidente."
+      D: No todas las agencias federales son departamentos del gabinete.
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de las siguientes afirmaciones sobre los departamentos\
+      \ del gabinete es FALSA?"
+  - input_choice_list:
+      A: "Los pol\xEDticos honestos pueden impedir que se desarrollen facciones."
+      B: "Es m\xE1s probable que se produzcan facciones en rep\xFAblicas grandes que\
+        \ en las peque\xF1as."
+      C: Los efectos negativos del faccionalismo pueden reducirse mediante un gobierno
+        republicano.
+      D: Las elecciones libres son la mejor defensa del pueblo contra el faccionalismo.
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de las siguientes afirmaciones expresa mejor un argumento\
+      \ presentado por James Madison en The Federalist n\xFAmero 10?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_government_and_politics
+tag: mmlu_es_llama_social_sciences_tasks
+task: mmlu_es_llama_high_school_government_and_politics
+task_alias: high_school_government_and_politics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_macroeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "El ej\xE9rcito estadounidense abre una nueva base en un pa\xEDs extranjero\
+        \ con 1.000 efectivos estadounidenses."
+      B: Los consumidores japoneses compran miles de CD producidos en Estados Unidos.
+      C: "Un cantante pop estadounidense ofrece un concierto con entradas agotadas\
+        \ en Par\xEDs."
+      D: "Una producci\xF3n teatral francesa recorre decenas de ciudades americanas."
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de los siguientes no est\xE1 incluido en el PIB de\
+      \ EE. UU.?"
+  - input_choice_list:
+      A: "relaci\xF3n directa entre desempleo e inflaci\xF3n"
+      B: "relaci\xF3n directa entre precio y cantidad demandada"
+      C: "relaci\xF3n inversa entre precio y cantidad demandada"
+      D: "relaci\xF3n inversa entre desempleo e inflaci\xF3n"
+    input_correct_responses:
+    - D
+    input_question: La curva de Phillips de corto plazo indica una
+  - input_choice_list:
+      A: las exportaciones superan a las importaciones.
+      B: las importaciones superan a las exportaciones.
+      C: "La recaudaci\xF3n de impuestos federales supera el gasto."
+      D: el gasto federal excede los ingresos fiscales federales.
+    input_correct_responses:
+    - D
+    input_question: "Un d\xE9ficit federal ocurre cuando"
+  - input_choice_list:
+      A: Aumentar la tasa de descuento
+      B: Aumentar el ratio de reservas
+      C: Comprar valores gubernamentales
+      D: Bajar aranceles
+    input_correct_responses:
+    - C
+    input_question: "Manteniendo todo lo dem\xE1s igual, \xBFcu\xE1l de las siguientes\
+      \ pol\xEDticas monetarias se utilizar\xEDa para impulsar las exportaciones estadounidenses?"
+  - input_choice_list:
+      A: Un aumento en la oferta monetaria
+      B: Aumento del gasto gubernamental
+      C: "Reducir los impuestos a la investigaci\xF3n y el desarrollo de nuevas tecnolog\xED\
+        as"
+      D: "Impuestos m\xE1s altos sobre los ingresos de los hogares"
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de las siguientes pol\xEDticas describe mejor la\
+      \ pol\xEDtica fiscal del lado de la oferta?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_macroeconomics
+tag: mmlu_es_llama_social_sciences_tasks
+task: mmlu_es_llama_high_school_macroeconomics
+task_alias: high_school_macroeconomics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '3'
+      B: '15'
+      C: '6'
+      D: '5'
+    input_correct_responses:
+    - B
+    input_question: "Joe estaba a cargo de las luces de un baile. La luz roja parpadea\
+      \ cada dos segundos, la luz amarilla cada tres segundos y la luz azul cada cinco\
+      \ segundos. Si incluimos el principio y el final del baile, \xBFcu\xE1ntas veces\
+      \ durante un baile de siete minutos se encender\xE1n todas las luces al mismo\
+      \ tiempo? (Supongamos que las tres luces parpadean simult\xE1neamente al comienzo\
+      \ del baile)."
+  - input_choice_list:
+      A: '12'
+      B: '1'
+      C: '30'
+      D: '5'
+    input_correct_responses:
+    - C
+    input_question: "Cinco mil d\xF3lares compuestos anualmente a una tasa de inter\xE9\
+      s de $x\\%$ tardan seis a\xF1os en duplicarse. Con la misma tasa de inter\xE9\
+      s, \xBFcu\xE1ntos a\xF1os tardar\xE1n $\\$300$ en crecer hasta $\\$9600$?"
+  - input_choice_list:
+      A: '-1'
+      B: "diecis\xE9is"
+      C: -\frac{1}{256}
+      D: \frac{1}{16}
+    input_correct_responses:
+    - C
+    input_question: "La variable $x$ var\xEDa directamente con el cuadrado de $y$,\
+      \ y $y$ var\xEDa directamente con el cubo de $z$. Si $x$ es igual a $-16$ cuando\
+      \ $z$ es igual a 2, \xBFcu\xE1l es el valor de $x$ cuando $z$ es igual a $\\\
+      frac{1}{2}$?"
+  - input_choice_list:
+      A: \frac{3\sqrt{3}}{3}
+      B: \frac{1}{3}
+      C: \sqrt{3}
+      D: \frac{\sqrt{3}}{3}
+    input_correct_responses:
+    - D
+    input_question: 'Simplifica y escribe el resultado con un denominador racional:
+      $$\sqrt{\sqrt[3]{\sqrt{\frac{1}{729}}}}$$'
+  - input_choice_list:
+      A: '55'
+      B: '60'
+      C: '62'
+      D: sesenta y cinco
+    input_correct_responses:
+    - D
+    input_question: "Diez estudiantes toman un examen de biolog\xEDa y reciben los\
+      \ siguientes puntajes: 45, 55, 50, 70, 65, 80, 40, 90, 70, 85. \xBFCu\xE1l es\
+      \ la media de los puntajes de los ex\xE1menes de los estudiantes?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_mathematics
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_high_school_mathematics
+task_alias: high_school_mathematics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_microeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Un salario m\xEDnimo efectivo impuesto a este mercado laboral."
+      B: Un aumento en el precio de los galones de pintura.
+      C: "Un aumento en la construcci\xF3n de nuevas viviendas."
+      D: "Un aumento en el precio de los pintores mec\xE1nicos siempre que el efecto\
+        \ producci\xF3n supere el efecto sustituci\xF3n."
+    input_correct_responses:
+    - C
+    input_question: "En un mercado laboral competitivo para pintores de casas, \xBF\
+      cu\xE1l de las siguientes opciones aumentar\xEDa la demanda de pintores de casas?"
+  - input_choice_list:
+      A: "la demanda del producto aumentar\xE1"
+      B: "La demanda del producto disminuir\xE1."
+      C: "el excedente del consumidor aumentar\xE1"
+      D: "el excedente del consumidor disminuir\xE1"
+    input_correct_responses:
+    - C
+    input_question: Si el gobierno subsidia a los productores en un mercado perfectamente
+      competitivo, entonces
+  - input_choice_list:
+      A: '0'
+      B: '5'
+      C: '10'
+      D: '100'
+    input_correct_responses:
+    - D
+    input_question: "La relaci\xF3n de concentraci\xF3n de un monopolio es"
+  - input_choice_list:
+      A: "El precio m\xEDnimo desplaza la curva de demanda hacia la izquierda."
+      B: Un piso efectivo crea una escasez del bien.
+      C: "El precio m\xEDnimo desplaza la curva de oferta del bien hacia la derecha."
+      D: Para que sea un piso efectivo, debe fijarse por encima del precio de equilibrio.
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de las siguientes afirmaciones es cierta respecto\
+      \ del precio m\xEDnimo?"
+  - input_choice_list:
+      A: Entrada y salida gratuita del mercado
+      B: Algunos grandes productores
+      C: Un productor de un bien sin sustitutos cercanos.
+      D: "Un producto homog\xE9neo"
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1l de las siguientes es necesariamente una caracter\xED\
+      stica del oligopolio?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_microeconomics
+tag: mmlu_es_llama_social_sciences_tasks
+task: mmlu_es_llama_high_school_microeconomics
+task_alias: high_school_microeconomics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: solo yo y ii
+      B: Solo I y III
+      C: "S\xF3lo II y III"
+      D: solo III
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de las siguientes condiciones asegurar\xE1 que se\
+      \ conserve el momento angular? I. Conservaci\xF3n del momento lineal II. Fuerza\
+      \ externa neta cero III. Par externo neto cero"
+  - input_choice_list:
+      A: "La presi\xF3n est\xE1 en un nodo, pero el desplazamiento de part\xEDculas\
+        \ est\xE1 en un antinodo."
+      B: "La presi\xF3n est\xE1 en un antinodo, pero el desplazamiento de part\xED\
+        culas est\xE1 en un nodo."
+      C: "La presi\xF3n y el desplazamiento de part\xEDculas est\xE1n ambos en los\
+        \ nodos."
+      D: "La presi\xF3n y el desplazamiento de part\xEDculas est\xE1n ambos en los\
+        \ antinodos."
+    input_correct_responses:
+    - B
+    input_question: "Un tubo lleno de aire est\xE1 cerrado por un extremo. Se produce\
+      \ una onda estacionaria en la tuber\xEDa, lo que hace que \xE9sta suene una\
+      \ nota. \xBFCu\xE1l de las siguientes es una afirmaci\xF3n correcta sobre las\
+      \ propiedades de la onda en el extremo cerrado de la tuber\xEDa?"
+  - input_choice_list:
+      A: 02 A.M
+      B: 6:00 AM
+      C: 12:00 A.M
+      D: 24A
+    input_correct_responses:
+    - D
+    input_question: "Una fotoc\xE9lula de funci\xF3n de trabajo \u03D5 = 2eV est\xE1\
+      \ conectada a una resistencia en serie. Una luz de frecuencia f = 1 \xD7 10^15\
+      \ Hz incide en una placa met\xE1lica de la fotoc\xE9lula. Si la potencia de\
+      \ la luz es P = 100 W, \xBFcu\xE1l es la corriente que pasa por la resistencia?"
+  - input_choice_list:
+      A: 10W
+      B: 30 vatios
+      C: 60W
+      D: 240W
+    input_correct_responses:
+    - D
+    input_question: "Un horno microondas est\xE1 conectado a un tomacorriente de 120\
+      \ V y consume una corriente de 2 amperios. \xBFA qu\xE9 tasa utiliza energ\xED\
+      a el horno microondas?"
+  - input_choice_list:
+      A: 3,5 J
+      B: 6,0 J
+      C: 22,5J
+      D: 40J
+    input_correct_responses:
+    - B
+    input_question: "Una carga puntual, Q = +1 mC, est\xE1 fija en el origen. \xBF\
+      Cu\xE1nto trabajo se requiere para mover una carga, Q = +8 \xB5C, desde el punto\
+      \ (0, 4 metros) al punto (3 metros, 0)?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_physics
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_high_school_physics
+task_alias: high_school_physics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_psychology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "un supery\xF3 fuerte."
+      B: baja autoestima.
+      C: baja autoeficacia.
+      D: un locus de control interno.
+    input_correct_responses:
+    - D
+    input_question: "Ani cree que sus actitudes y comportamiento juegan un papel central\
+      \ en lo que le sucede. Es probable que esta creencia est\xE9 asociada con"
+  - input_choice_list:
+      A: Identificar las causas y soluciones de los problemas que presenta el cliente.
+      B: Identificar y eliminar las causas de las dificultades del consultado para
+        manejar un problema.
+      C: "Establecer una jerarqu\xEDa de autoridad para permitir una toma de decisiones\
+        \ eficaz."
+      D: "Presentar un curso de acci\xF3n \xFAnico, bien definido e inequ\xEDvoco\
+        \ para que el consultor supere los d\xE9ficits de habilidades."
+    input_correct_responses:
+    - B
+    input_question: "Seg\xFAn el modelo de consulta de casos centrado en el consultado\
+      \ de Caplan, el consultor est\xE1 interesado principalmente en"
+  - input_choice_list:
+      A: "Los mensajes se env\xEDan desde el t\xE1lamo directamente a la am\xEDgdala."
+      B: "Los mensajes se env\xEDan desde el t\xE1lamo a las v\xEDas del "qu\xE9\
+        " y del "d\xF3nde"."
+      C: "Los mensajes se env\xEDan desde el sistema nervioso parasimp\xE1tico a la\
+        \ corteza cerebral."
+      D: "Los mensajes se env\xEDan desde los l\xF3bulos frontales a la gl\xE1ndula\
+        \ pituitaria."
+    input_correct_responses:
+    - A
+    input_question: "Mientras nada en el oc\xE9ano, Iv\xE1n se asusta al ver una sombra\
+      \ oscura en el agua incluso antes de que tenga la oportunidad de identificar\
+      \ qu\xE9 es la sombra. \xBFCu\xE1l de las siguientes opciones describe mejor\
+      \ las conexiones sin\xE1pticas que tienen lugar durante este incidente de miedo?"
+  - input_choice_list:
+      A: "Dale al ni\xF1o un per\xEDodo de prueba en el nuevo entorno."
+      B: Notificar a los padres por escrito.
+      C: "Obtener la aprobaci\xF3n de la junta escolar"
+      D: Obtener el consentimiento de los padres
+    input_correct_responses:
+    - B
+    input_question: "De acuerdo con la Ley de Mejoramiento de la Educaci\xF3n para\
+      \ Individuos con Discapacidades, \xBFcu\xE1l de las siguientes debe hacer una\
+      \ agencia educativa antes de cambiar la ubicaci\xF3n educativa de un estudiante\
+      \ con una discapacidad?"
+  - input_choice_list:
+      A: sociocultural
+      B: "cl\xEDnico"
+      C: cognitivo
+      D: conductista
+    input_correct_responses:
+    - C
+    input_question: "Pascale est\xE1 interesada en las estrategias de procesamiento\
+      \ que utilizan los ni\xF1os para aprender nueva informaci\xF3n. \xBFEn qu\xE9\
+      \ tipo de psic\xF3loga se clasificar\xEDa mejor a Pascale?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_psychology
+tag: mmlu_es_llama_social_sciences_tasks
+task: mmlu_es_llama_high_school_psychology
+task_alias: high_school_psychology

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_statistics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Si la pendiente de la recta de regresi\xF3n es exactamente 1, entonces la\
+        \ correlaci\xF3n es exactamente 1."
+      B: "Si la correlaci\xF3n es 0, entonces la pendiente de la recta de regresi\xF3\
+        n no est\xE1 definida."
+      C: "Cambiar qu\xE9 variable se llama x y cu\xE1l se llama y cambia el signo\
+        \ de la correlaci\xF3n."
+      D: "La correlaci\xF3n r es igual a la pendiente de la l\xEDnea de regresi\xF3\
+        n cuando las puntuaciones z de la variable y se trazan frente a las puntuaciones\
+        \ z de la variable x."
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de las siguientes es una afirmaci\xF3n correcta sobre\
+      \ la correlaci\xF3n?"
+  - input_choice_list:
+      A: E(X + Y) = 99, var(X + Y) = 8,5
+      B: E(X + Y) = 99, var(X + Y) = 13
+      C: E(X + Y) = 99, var(X + Y) = 17
+      D: "No hay informaci\xF3n suficiente para responder a esta pregunta."
+    input_correct_responses:
+    - D
+    input_question: "Supongamos que X e Y son variables aleatorias con E(X) = 37,\
+      \ var(X) = 5, E(Y) = 62 y var(Y) = 12. \xBFCu\xE1les son el valor esperado y\
+      \ la varianza de la variable aleatoria X +? \xBFY?"
+  - input_choice_list:
+      A: "La proporci\xF3n de \xE1rboles que sufrieron m\xE1s del 50 por ciento de\
+        \ da\xF1os debido a las heladas."
+      B: "El n\xFAmero de \xE1rboles afectados por las heladas."
+      C: "El n\xFAmero de \xE1rboles muestreados de la arboleda."
+      D: "Para cada \xE1rbol muestreado, si sufri\xF3 m\xE1s del 50 por ciento de\
+        \ da\xF1o o como m\xE1ximo un 50 por ciento de da\xF1o."
+    input_correct_responses:
+    - D
+    input_question: "Despu\xE9s de que se emitiera una advertencia de heladas, el\
+      \ propietario de un gran huerto de naranjos pidi\xF3 a sus trabajadores que\
+      \ rociaran todos sus \xE1rboles con agua. Se supon\xEDa que el agua se congelar\xED\
+      a y formar\xEDa una capa protectora de hielo alrededor de la flor de naranjo.\
+      \ Sin embargo, el propietario sospechaba que algunos \xE1rboles hab\xEDan sufrido\
+      \ da\xF1os considerables debido a las heladas. Para estimar la proporci\xF3\
+      n de \xE1rboles que sufrieron m\xE1s del 50 por ciento de da\xF1os debido a\
+      \ las heladas, tom\xF3 una muestra aleatoria de 100 \xE1rboles de su arboleda.\
+      \ \xBFCu\xE1l es la variable de respuesta en este experimento?"
+  - input_choice_list:
+      A: "Media 518 gramos; desviaci\xF3n est\xE1ndar 7,0 gramos"
+      B: "Media 518 gramos; desviaci\xF3n est\xE1ndar 3,5 gramos"
+      C: "Media 518 gramos; desviaci\xF3n est\xE1ndar 6,1 gramos"
+      D: "Media 394 gramos; desviaci\xF3n est\xE1ndar 6,1 gramos"
+    input_correct_responses:
+    - C
+    input_question: "Un nuevo reloj inteligente se fabrica en una parte de una f\xE1\
+      brica y luego se asegura para su env\xEDo en otra parte independiente de la\
+      \ f\xE1brica. El peso del reloj inteligente tiene una media de 62 gramos y una\
+      \ desviaci\xF3n est\xE1ndar de 1,0 gramos. El peso del embalaje (caja, gu\xED\
+      a de usuario, pl\xE1stico de burbujas, etc.) tiene una media de 456 gramos y\
+      \ una desviaci\xF3n est\xE1ndar de 6 gramos. En conjunto, la distribuci\xF3\
+      n del peso del reloj inteligente y su embalaje tendr\xEDa la siguiente media\
+      \ y desviaci\xF3n est\xE1ndar:"
+  - input_choice_list:
+      A: yo, yo
+      B: II, III
+      C: III, yo
+      D: III,II
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de los siguientes conjuntos tiene la desviaci\xF3\
+      n est\xE1ndar m\xE1s peque\xF1a? \xBFCu\xE1l tiene el mayor? Yo: {1,2,3} II:\
+      \ {-10,10} III: {100}"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_statistics
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_high_school_statistics
+task_alias: high_school_statistics