Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_us_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Respuesta organizada a la rebeli\xF3n de Bacon"
+      B: "Respuesta federal a la rebeli\xF3n de Shays"
+      C: "Respuesta federal a la rebeli\xF3n del whisky"
+      D: "Respuesta federal a la rebeli\xF3n de Pontiac"
+    input_correct_responses:
+    - C
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. "La\
+      \ sociedad en todos los estados es una bendici\xF3n, pero el gobierno, incluso\
+      \ en su mejor estado, no es m\xE1s que un mal necesario; en su peor estado,\
+      \ un mal intolerable; porque cuando sufrimos o estamos expuestos a las mismas\
+      \ miserias por parte de un gobierno, que podr\xEDamos esperar En un pa\xEDs\
+      \ sin gobierno, nuestra calamidad se acent\xFAa al pensar que nosotros proporcionamos\
+      \ los medios por los cuales sufrimos. El gobierno, como la vestimenta, es la\
+      \ insignia de la inocencia perdida; los palacios de los reyes est\xE1n construidos\
+      \ sobre las ruinas de las glorietas del para\xEDso. Si los impulsos de la conciencia\
+      \ fueran claros, uniformes e irresistiblemente obedecidos, el hombre no necesitar\xED\
+      a otro legislador; pero no siendo ese el caso, considera necesario renunciar\
+      \ a una parte de su propiedad para proporcionar medios para la protecci\xF3\
+      n del resto; y Esto lo induce a hacer la misma prudencia que en todos los dem\xE1\
+      s casos le aconseja elegir entre dos males el menor, por lo que, siendo la seguridad\
+      \ el verdadero designio y fin del gobierno, se sigue incontestablemente que\
+      \ cualquier forma de ella que parezca m\xE1s probable para asegurar Para nosotros,\
+      \ con el menor gasto y el mayor beneficio, es preferible a todos los dem\xE1\
+      s." Thomas Paine, Common Sense, 1776 \xBFCu\xE1les de las siguientes "miserias"\
+      \ mencionadas anteriormente fueron las m\xE1s condenadas por los antifederalistas\
+      \ de la era posrevolucionaria?"
+  - input_choice_list:
+      A: "Tensiones entre las pol\xEDticas brit\xE1nicas y las aspiraciones de los\
+        \ colonos norteamericanos."
+      B: "Tensiones entre los indios americanos aliados de los franceses y los aliados\
+        \ de los brit\xE1nicos."
+      C: Tensiones entre afroamericanos liberados y plantadores blancos.
+      D: "Tensiones entre los colonos del interior del pa\xEDs y las \xE9lites dentro\
+        \ de la Am\xE9rica colonial."
+    input_correct_responses:
+    - D
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. "Dado\
+      \ que nuestra \xFAltima conducta en Conestoga Manor y Lancaster ha ocasionado\
+      \ mucha especulaci\xF3n y una gran diversidad de sentimientos en este y los\
+      \ gobiernos vecinos; algunos lo reivindican y otros lo condenan; algunos alivian\
+      \ caritativamente el crimen y otros lo pintan maliciosamente de la manera m\xE1\
+      s odiosa y Colores detestables, creemos que es nuestro deber exponer ante el\
+      \ p\xFAblico todo el asunto tal como nos apareci\xF3, y todav\xEDa nos aparece...\
+      \ "Si estas cosas no son suficientes para probar un apego injustificable\
+      \ de los cu\xE1queros a los indios salvajes , una firme resoluci\xF3n de hacerse\
+      \ amigo de ellos y una total insensibilidad ante las angustias humanas, consideremos\
+      \ algunos hechos m\xE1s recientes. Cuando el verano pasado descubrimos que probablemente\
+      \ no recibir\xEDamos ayuda del gobierno, algunos voluntarios salieron a nuestra\
+      \ costa, decididos a expulsar a nuestros enemigos de nuestras fronteras; Y cuando\
+      \ llegamos cerca de la gran isla, entendimos que varios de sus guerreros hab\xED\
+      an salido contra nuestras fronteras. Luego de esto regresamos, nos reunimos\
+      \ con ellos y luchamos con ellos en Munfey Hill, donde perdimos a algunos de\
+      \ nuestros hombres y matamos a algunos de sus guerreros y as\xED salvamos nuestras\
+      \ fronteras de esta historia en otra expedici\xF3n. Pero tan pronto como destruimos\
+      \ sus provisiones en la gran isla y arruinamos su comercio con la buena gente\
+      \ de Bel\xE9n, estos mismos indios, de quienes se sospechaba con raz\xF3n que\
+      \ hab\xEDan asesinado a nuestros amigos en el condado de Northampton, fueron\
+      \ apresados por la influencia de algunos cu\xE1queros. bajo la protecci\xF3\
+      n del gobierno para protegerlos de los resentimientos de los amigos y parientes\
+      \ de los asesinados, y para apoyarlos durante el invierno". \u2014"Apology\
+      \ of the Paxton Boys" (folleto), 1764 (Nota: "apology" en (Este\
+      \ contexto debe leerse como una explicaci\xF3n, no como una admisi\xF3n de culpa\
+      \ o arrepentimiento). \xBFCu\xE1les de las tensiones actuales durante el per\xED\
+      odo colonial de la historia estadounidense reflejan los sentimientos expresados\
+      \ en la explicaci\xF3n anterior?"
+  - input_choice_list:
+      A: la Enmienda de Igualdad de Derechos
+      B: sufragio universal
+      C: derechos de los estados
+      D: "prohibici\xF3n"
+    input_correct_responses:
+    - B
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. "En\
+      \ el nuevo C\xF3digo de Leyes que supongo ser\xE1 necesario que hagas, deseo\
+      \ que recuerdes a las Damas y seas m\xE1s generoso y favorable con ellas que\
+      \ tus antepasados. No pongas tal poder ilimitado en manos de los Esposos. .\
+      \ Recuerde que todos los Hombres ser\xEDan tiranos si pudieran. Si no se presta\
+      \ especial cuidado y atenci\xF3n a las Damas, estamos decididos a fomentar una\
+      \ Rebeli\xF3n, y no nos obligaremos a ninguna Ley en la que no tengamos voz\
+      \ o Representaci\xF3n." Abigail Adams, en una carta a John Adams, 1776:\
+      \ "La legislaci\xF3n especial para la mujer nos ha colocado en una posici\xF3\
+      n de lo m\xE1s an\xF3mala. Las mujeres investidas de los derechos de los ciudadanos\
+      \ en una secci\xF3n (votantes, jurados, funcionarios) que cruzan una l\xEDnea\
+      \ imaginaria, son sujetos en el siguiente. En algunos estados, una mujer casada\
+      \ puede poseer propiedades y realizar negocios en su propio nombre; en otros,\
+      \ sus ganancias pertenecen a su marido. En algunos estados, una mujer puede\
+      \ testificar contra su marido, demandar y ser demandada en ante los tribunales;\
+      \ en otros, no tiene reparaci\xF3n en caso de da\xF1o a la persona, a la propiedad\
+      \ o al car\xE1cter. En caso de divorcio por causa de adulterio del marido, se\
+      \ considera que la esposa inocente no posee ning\xFAn derecho a los hijos o\
+      \ a la propiedad, a menos que por decreto especial del tribunal. Pero en ning\xFA\
+      n Estado de la Uni\xF3n la esposa tiene derecho a su propia persona, o a cualquier\
+      \ parte de las ganancias conjuntas de la sociedad durante la vida de su marido.\
+      \ En algunos Estados las mujeres pueden entrar en el facultades de derecho y\
+      \ ejercer en los tribunales; en otros est\xE1n prohibidos. En algunas universidades,\
+      \ las ni\xF1as disfrutan de las mismas ventajas educativas que los ni\xF1os,\
+      \ mientras que muchas de las instituciones m\xE1s orgullosas del pa\xEDs les\
+      \ niegan la admisi\xF3n, aunque los hijos de China, Jap\xF3n y \xC1frica son\
+      \ bienvenidos all\xED. Pero los privilegios ya concedidos en los distintos estados\
+      \ no son en modo alguno seguros." Susan B. Anthony, "Declaraci\xF3\
+      n de derechos para la mujer", 4 de julio de 1876. Los sentimientos expresados\
+      \ en el segundo extracto de Susan B. Anthony probablemente apoyen de"
+  - input_choice_list:
+      A: "Los estadounidenses deben maximizar su ventaja tecnol\xF3gica en Vietnam."
+      B: "Los bombardeos estadounidenses en Vietnam est\xE1n llevando paso a paso\
+        \ al progreso de la guerra."
+      C: Los bombardeos estadounidenses en Vietnam son un fracaso.
+      D: Estados Unidos no debe ceder al derrotismo respecto de la guerra de Vietnam.
+    input_correct_responses:
+    - C
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. Nuestros\
+      \ l\xEDderes hablan de detener la agresi\xF3n desde el norte, pero esto era\
+      \ una lucha entre grupos de vietnamitas hasta que intervinimos. Parecemos decididos\
+      \ a salvar a los vietnamitas de Ho Chi Minh incluso si para ello tenemos que\
+      \ matarlos y demoler su pa\xEDs. Mientras los nativos contemplan las aldeas\
+      \ bombardeadas, las mujeres y los ni\xF1os quemados con napalm, los cultivos\
+      \ de arroz destruidos y las ciudades invadidas por nuestro personal militar,\
+      \ sin duda est\xE1n diciendo en secreto de las guerrillas del Vietcong y de\
+      \ las fuerzas estadounidenses: "Una plaga en sus dos casas". ".\
+      \ \u2026 Detener los bombardeos, al norte y al sur, poner fin a las operaciones\
+      \ ofensivas de b\xFAsqueda y destrucci\xF3n, y limitar nuestra acci\xF3n militar\
+      \ a mantener operaciones sobre el terreno. Los bombardeos en el norte no han\
+      \ logrado detener ni controlar seriamente el flujo de tropas hacia el sur y,\
+      \ de hecho, pueden haber provocado un esfuerzo b\xE9lico mucho mayor por parte\
+      \ de Hanoi. \u2014Senador George McGovern, "The Lessons of Vietnam",\
+      \ 25 de abril de 1967 \xBFCu\xE1l de las siguientes opiniones de la d\xE9cada\
+      \ de 1960 refleja m\xE1s directamente la perspectiva del discurso de George\
+      \ McGovern?"
+  - input_choice_list:
+      A: Abigail Adams
+      B: "Clara Bart\xF3n"
+      C: Shirley Temple
+      D: Hillary Clinton
+    input_correct_responses:
+    - B
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. No vengo\
+      \ a instar reclamos personales, ni a buscar beneficios individuales; Aparezco\
+      \ como abogado de aquellos que no pueden defender su propia causa; Vengo como\
+      \ amigo de aquellos que est\xE1n abandonados, oprimidos y desolados. En la Providencia\
+      \ de Dios, soy la voz del man\xEDaco cuyos gritos desgarradores desde las l\xFA\
+      gubres mazmorras de vuestras c\xE1rceles no penetran en vuestras Salas de Legislaci\xF3\
+      n. Soy la Esperanza de los pobres seres enloquecidos que suspiran en las celdas,\
+      \ los establos, las jaulas y los cuartos bald\xEDos de vuestras casas de pobres.\
+      \ Soy la Revelaci\xF3n de cientos de criaturas que lloran y sufren, escondidas\
+      \ en vuestras moradas privadas, en corrales y caba\xF1as, excluidas, aisladas\
+      \ de toda influencia curativa, de toda preocupaci\xF3n restauradora de la mente...\
+      \ \xBFPodr\xEDan difundirse ante vosotros sus melanc\xF3licas historias? como\
+      \ se le revel\xF3 a mi esp\xEDritu afligido durante los \xFAltimos tres meses,\
+      \ con qu\xE9 prontitud y con qu\xE9 seriedad buscar\xEDas los medios de alivio\
+      \ m\xE1s aprobados; \xA1Cu\xE1n insignificantes, en comparaci\xF3n, parecer\xED\
+      an los sacrificios que os piden que hag\xE1is! \xBFC\xF3mo unas pocas monedas\
+      \ de diez centavos y d\xF3lares, recaudados de cada ciudadano, disminuir\xED\
+      an de valor como posesi\xF3n, en comparaci\xF3n con los ciertos beneficios y\
+      \ el vasto bien que se asegurar\xEDa a los dementes que sufren... mediante la\
+      \ consagraci\xF3n y aplicaci\xF3n de un fondo suficiente para la construcci\xF3\
+      n? de un hospital adecuado... \u2014Dorothea Dix, Memorial Soliciting a State\
+      \ Hospital for the Protection and Cure of the Insane, presentado a la Asamblea\
+      \ General de Carolina del Norte, noviembre de 1848 \xBFCon qui\xE9n se puede\
+      \ comparar mejor a Dorothea Dix?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_us_history
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_high_school_us_history
+task_alias: high_school_us_history

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_high_school_world_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: hinduismo
+      B: Budismo
+      C: "sinto\xEDsmo"
+      D: zoroastrismo
+    input_correct_responses:
+    - A
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. \xC9\
+      l contiene todas las obras y deseos y todos los perfumes y todos los gustos.\
+      \ \xC9l envuelve todo el universo y en silencio ama a todos. Este es el Esp\xED\
+      ritu que est\xE1 en mi coraz\xF3n, este es Brahman. A \xE9l vendr\xE9 cuando\
+      \ pase m\xE1s all\xE1 de esta vida, y a \xE9l vendr\xE1 el que tenga fe y no\
+      \ dude. \u2014Los Upanishads, India, c. 1000 a. C. \xBFA qu\xE9 religi\xF3n\
+      \ pertenece m\xE1s probablemente el hablante?"
+  - input_choice_list:
+      A: "La revoluci\xF3n industrial"
+      B: "Descolonizaci\xF3n"
+      C: Asociaciones Regionales de Libre Comercio
+      D: "autarqu\xEDa"
+    input_correct_responses:
+    - B
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. "La\
+      \ lucha contra el neocolonialismo no tiene como objetivo excluir el capital\
+      \ del mundo desarrollado de operar en los pa\xEDses menos desarrollados. Su\
+      \ objetivo es impedir que el poder financiero de los pa\xEDses desarrollados\
+      \ sea utilizado de tal manera que empobrezca a los menos desarrollados. La no\
+      \ alineaci\xF3n, como la practican Ghana y muchos otros pa\xEDses, se basa en\
+      \ la cooperaci\xF3n con todos los Estados, ya sean capitalistas, socialistas\
+      \ o de econom\xEDa mixta. Por lo tanto, esa pol\xEDtica implica inversiones\
+      \ extranjeras de pa\xEDses capitalistas, pero debe invertirse de acuerdo con\
+      \ un plan nacional elaborado por el gobierno del Estado no alineado teniendo\
+      \ en cuenta sus propios intereses. La cuesti\xF3n no es qu\xE9 rendimiento recibe\
+      \ el inversor extranjero sobre sus inversiones... La cuesti\xF3n es de poder.\
+      \ Un Estado en Las garras del neocolonialismo no son due\xF1as de su propio\
+      \ destino." Kwame Nkrumah, Neocolonialismo, 1965 \xBFCu\xE1l de los siguientes\
+      \ proporciona el mejor contexto para los escritos de Nkrumah?"
+  - input_choice_list:
+      A: "Aceptaci\xF3n social del trabajo infantil"
+      B: "Disminuci\xF3n de la esperanza de vida en Alemania"
+      C: "Cr\xEDticas a los aranceles comerciales alemanes"
+      D: Efectos negativos atribuidos al capitalismo industrial
+    input_correct_responses:
+    - D
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. "El\
+      \ verdadero agravio del trabajador es la inseguridad de su existencia; no est\xE1\
+      \ seguro de que siempre tendr\xE1 trabajo, no est\xE1 seguro de que siempre\
+      \ estar\xE1 sano, y prev\xE9 que alg\xFAn d\xEDa ser\xE1 viejo y no apto para\
+      \ trabajar. Si cae en la pobreza, aunque s\xF3lo sea a causa de una enfermedad\
+      \ prolongada, entonces queda completamente indefenso, se examina a su suerte,\
+      \ y la sociedad no reconoce actualmente ninguna obligaci\xF3n real hacia \xE9\
+      l m\xE1s all\xE1 de la ayuda habitual a los pobres, incluso si tiene "Trabajamos\
+      \ todo el tiempo con mucha fidelidad y diligencia. La ayuda habitual a los pobres,\
+      \ sin embargo, deja mucho que desear, especialmente en las grandes ciudades,\
+      \ donde es mucho peor que en el campo." Otto von Bismarck, 1884 \xBFProbablemente\
+      \ Otto von Bismarck pronunci\xF3 este discurso en reacci\xF3n a cu\xE1l de las\
+      \ siguientes cuestiones?"
+  - input_choice_list:
+      A: "El mantenimiento de la supremac\xEDa militar a toda costa"
+      B: Crecientes tensiones entre sectas religiosas
+      C: Factores que provocaron el colapso del Imperio Otomano
+      D: "Esfuerzos de paz entre los imperios isl\xE1micos"
+    input_correct_responses:
+    - B
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. \xAB\
+      De hecho, tanto las fatwas de distinguidos [eruditos] que basan su opini\xF3\
+      n tanto en la raz\xF3n como en la tradici\xF3n y el consenso de la comunidad\
+      \ sunita coinciden en que la antigua obligaci\xF3n de extirpar, exterminar y\
+      \ expulsar las innovaciones malignas debe ser el objetivo de nuestra exaltada\
+      \ aspiraci\xF3n, porque "El celo religioso es una victoria para la Fe de\
+      \ Dios el Compasivo"; luego, de acuerdo con las palabras del Profeta (\xA1\
+      la paz sea con \xE9l!) "Quien introduzca innovaciones malignas en nuestra\
+      \ orden debe ser expulsado" y "Quien lo haga Todo lo que vaya en contra\
+      \ de nuestra orden debe ser expulsado, "la acci\xF3n se ha vuelto necesaria\
+      \ y exigente..." Carta del sult\xE1n otomano Selim I al saf\xE1vida Shah\
+      \ Ismail I, 1514 \xBFLa carta de Selim I es m\xE1s claramente un ejemplo de\
+      \ cu\xE1l de los siguientes?"
+  - input_choice_list:
+      A: Una ruptura de las rutas comerciales debido al colapso de la estructura estatal
+        establecida
+      B: "Un aumento de la poblaci\xF3n mundial debido a un suministro m\xE1s abundante\
+        \ de alimentos."
+      C: "La difusi\xF3n de los sistemas de creencias chinos e indios en todo el mundo."
+      D: Un aumento del malestar social
+    input_correct_responses:
+    - B
+    input_question: "Esta pregunta se refiere a la siguiente informaci\xF3n. "Al\
+      \ menos una de las sociedades [del mundo] tendr\xEDa que aumentar de alguna\
+      \ manera enormemente su productividad [para lograr la hegemon\xEDa global].\
+      \ Ese salto cu\xE1ntico tendr\xEDa que darse antes de las diversas revoluciones\
+      \ cient\xEDficas, tecnol\xF3gicas, agr\xEDcolas e industriales en las que se\
+      \ basan nuestras sociedades. Restos del mundo posterior al salto cu\xE1ntico.\
+      \ S\xF3lo podr\xEDa lograrse explotando los ecosistemas, los recursos minerales\
+      \ y los activos humanos de continentes enteros fuera de las tierras de la sociedad\
+      \ que dio el salto. Europa Occidental hizo precisamente eso por medio de su\
+      \ brutalidad, sus armas y sus armas. , m\xE1s importante a\xFAn, por suerte\
+      \ geogr\xE1fica y ecol\xF3gica." Copyright \xA9 2015 Cambridge University\
+      \ Press. Alfred Crosby, historiador, Imperialismo ecol\xF3gico, 2004 \xBFEl\
+      \ "salto cu\xE1ntico" mencionado en el pasaje contribuy\xF3 m\xE1\
+      s directamente a cu\xE1l de los siguientes desarrollos en el per\xEDodo 1450-1750\
+      \ d.C.?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_world_history
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_high_school_world_history
+task_alias: high_school_world_history

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_human_aging.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Un hombre o una mujer asi\xE1tica."
+      B: un hombre hispano
+      C: Una mujer afroamericana
+      D: Un hombre o una mujer blanca.
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de las siguientes personas tiene m\xE1s probabilidades\
+      \ de permanecer sola en casa a partir de 2019?"
+  - input_choice_list:
+      A: Ventaja de la adolescencia
+      B: Golpe de memoria
+      C: monumento conmemorativo
+      D: "Pico de recuperaci\xF3n cuadr\xE1tica"
+    input_correct_responses:
+    - B
+    input_question: "El hallazgo de que los adultos tienden a recordar mejor los acontecimientos\
+      \ de su adolescencia que los de otros per\xEDodos de sus vidas se conoce como"
+  - input_choice_list:
+      A: Texas
+      B: California
+      C: Hawai
+      D: Vermont
+    input_correct_responses:
+    - A
+    input_question: "Cuando los adultos mayores se mudan a un nuevo estado despu\xE9\
+      s de jubilarse, \xBFcu\xE1l de los siguientes es el destino m\xE1s probable?"
+  - input_choice_list:
+      A: Nicotina
+      B: "Alquitr\xE1n"
+      C: "Mon\xF3xido de carbono"
+      D: "Part\xEDculas de humo"
+    input_correct_responses:
+    - B
+    input_question: "\xBFQu\xE9 elemento del humo del tabaco es responsable de los\
+      \ c\xE1nceres?"
+  - input_choice_list:
+      A: Una mujer hispanoamericana mayor
+      B: Una mujer afroamericana mayor
+      C: "Una mujer asi\xE1tica americana mayor"
+      D: Una mujer nativa americana mayor
+    input_correct_responses:
+    - C
+    input_question: "En igualdad de condiciones, \xBFcu\xE1l de las siguientes personas\
+      \ tiene m\xE1s probabilidades de padecer osteoporosis?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_aging
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_human_aging
+task_alias: human_aging

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_human_sexuality.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: durante el primer trimestre
+      B: durante el segundo trimestre
+      C: durante el tercer trimestre
+      D: durante todo el embarazo
+    input_correct_responses:
+    - A
+    input_question: "Las n\xE1useas matutinas suelen ser un problema:"
+  - input_choice_list:
+      A: un ego fuerte
+      B: "un supery\xF3 d\xE9bil"
+      C: "una identificaci\xF3n d\xE9bil"
+      D: "un supery\xF3 fuerte"
+    input_correct_responses:
+    - B
+    input_question: "Una mujer que sabe que tiene herpes activo y s\xEDfilis no tratada\
+      \ pero contin\xFAa teniendo relaciones sexuales sin informar a sus parejas de\
+      \ su condici\xF3n tiene, en t\xE9rminos psicoanal\xEDticos:"
+  - input_choice_list:
+      A: "el hecho de que no tienen un per\xEDodo refractario."
+      B: la respuesta de las capas internas de la vagina.
+      C: tener orgasmos alternos en diferentes lugares.
+      D: el punto G.
+    input_correct_responses:
+    - A
+    input_question: "La capacidad de las mujeres para tener orgasmos m\xFAltiples\
+      \ se debe principalmente a:"
+  - input_choice_list:
+      A: relaciones sexuales
+      B: idiotas circulares
+      C: exhibicionismo
+      D: tocarse los genitales el uno al otro
+    input_correct_responses:
+    - A
+    input_question: "\xBFLa naturaleza de las actividades homosexuales que ocurren\
+      \ durante la preadolescencia incluye todas menos cu\xE1l de las siguientes?"
+  - input_choice_list:
+      A: "eyaculaci\xF3n precoz"
+      B: "eyaculaci\xF3n inhibida"
+      C: "trastorno er\xE9ctil"
+      D: trastorno eyaculatorio
+    input_correct_responses:
+    - C
+    input_question: "El trastorno m\xE1s com\xFAn entre los hombres que buscan terapia\
+      \ sexual es:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_sexuality
+tag: mmlu_es_llama_social_sciences_tasks
+task: mmlu_es_llama_human_sexuality
+task_alias: human_sexuality

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_international_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "El art\xEDculo 2(4) abarca \xFAnicamente la fuerza armada"
+      B: "El art\xEDculo 2(4) abarca todos los tipos de fuerza, incluidas las sanciones."
+      C: "El art\xEDculo 2(4) abarca toda injerencia en los asuntos internos de los\
+        \ Estados."
+      D: "El art\xEDculo 2(4) abarca la fuerza dirigida \xFAnicamente contra la integridad\
+        \ territorial de un Estado."
+    input_correct_responses:
+    - A
+    input_question: "\xBFQu\xE9 tipos de fuerza proh\xEDbe el art\xEDculo 2(4) de\
+      \ la Carta de las Naciones Unidas?"
+  - input_choice_list:
+      A: "Si una parte en un caso contencioso ante la CIJ no tiene un juez nacional,\
+        \ tiene derecho a nombrar a alguien como juez \xFAnicamente para ese caso,\
+        \ con el t\xEDtulo de juez ad hoc."
+      B: El juez ad hoc es el miembro de la sala de la CIJ con voto de calidad.
+      C: El juez ad hoc es un juez sustituto, en caso de que un juez sea inhabilitado
+        o fallezca
+      D: "El juez ad hoc es el juez que cada parte designar\xE1 siempre en cada caso\
+        \ contencioso."
+    input_correct_responses:
+    - A
+    input_question: "\xBFQu\xE9 es el juez ad hoc?"
+  - input_choice_list:
+      A: "Esta es una reserva aceptable si la legislaci\xF3n del pa\xEDs que la formula\
+        \ emplea una definici\xF3n diferente."
+      B: "Esta es una reserva inaceptable porque contraviene el objeto y fin del Pacto\
+        \ Internacional de Derechos Civiles y Pol\xEDticos."
+      C: "Esta es una reserva inaceptable porque la definici\xF3n de tortura en el\
+        \ PIDCP es consistente con el derecho internacional consuetudinario."
+      D: "Se trata de una reserva aceptable porque, seg\xFAn el derecho internacional\
+        \ general, los Estados tienen derecho a formular reservas a los tratados."
+    input_correct_responses:
+    - B
+    input_question: "\xBFSer\xEDa aceptable en la pr\xE1ctica contempor\xE1nea una\
+      \ reserva a la definici\xF3n de tortura del PIDCP?"
+  - input_choice_list:
+      A: El consentimiento puede servir como circunstancia excluyente de la ilicitud
+        siempre que se preste
+      B: El consentimiento nunca puede servir como circunstancia que excluya la ilicitud
+      C: "El consentimiento puede servir como circunstancia que excluye la ilicitud,\
+        \ siempre que el consentimiento sea v\xE1lido y en la medida en que la conducta\
+        \ se mantenga dentro de los l\xEDmites del consentimiento prestado."
+      D: "El consentimiento siempre puede servir como circunstancia excluyente de\
+        \ la ilicitud, cualquiera que sea el \xF3rgano del Estado que lo otorgue."
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1ndo el "consentimiento" puede servir como\
+      \ circunstancia que excluye la ilicitud de una conducta estatal?"
+  - input_choice_list:
+      A: "El consentimiento de un Estado en obligarse se expresa \xFAnicamente mediante\
+        \ la ratificaci\xF3n."
+      B: "El consentimiento de un Estado en obligarse por un tratado puede expresarse\
+        \ mediante firma, ratificaci\xF3n, aceptaci\xF3n, aprobaci\xF3n o adhesi\xF3\
+        n."
+      C: El consentimiento de un Estado en obligarse se expresa mediante la firma.
+      D: El consentimiento de un Estado en obligarse se expresa por cualquier medio
+        que elija
+    input_correct_responses:
+    - B
+    input_question: "\xBFC\xF3mo puede expresarse el consentimiento de un Estado en\
+      \ obligarse?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_international_law
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_international_law
+task_alias: international_law

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_jurisprudence.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "El POP elegir\xEDa la igualdad por encima de la libertad."
+      B: "El POP optar\xEDa por la estrategia 'maximin'."
+      C: "El POP optar\xEDa por el 'principio de diferencia'."
+      D: "El POP rechazar\xEDa el "sistema de libertad natural"."
+    input_correct_responses:
+    - A
+    input_question: "\xBFQu\xE9 posici\xF3n, seg\xFAn Rawls, es la que tiene menos\
+      \ probabilidades de ser adoptada por el POP (las personas en la posici\xF3n\
+      \ original)?"
+  - input_choice_list:
+      A: maximizar la libertad individual
+      B: proporcionando una base para el compromiso
+      C: manteniendo la paz
+      D: promover los principios del sistema de libre empresa
+    input_correct_responses:
+    - D
+    input_question: "\xBFLas funciones de la ley incluyen todas menos cu\xE1l de las\
+      \ siguientes?"
+  - input_choice_list:
+      A: Autoridad.
+      B: Carisma.
+      C: "Cooperaci\xF3n."
+      D: Capitalismo.
+    input_correct_responses:
+    - D
+    input_question: "\xBFQu\xE9 palabra resume mejor la explicaci\xF3n de Weber sobre\
+      \ el desarrollo del derecho formalmente racional?"
+  - input_choice_list:
+      A: La Ley natural
+      B: "Anal\xEDtico"
+      C: "Hist\xF3rico"
+      D: "Sociol\xF3gico"
+    input_correct_responses:
+    - A
+    input_question: La Escuela ________ de jurisprudencia postula que el derecho se
+      basa en lo que es "correcto".
+  - input_choice_list:
+      A: La carta es una oferta de venta.
+      B: "No se puede hacer una oferta v\xE1lida por carta."
+      C: "La carta contiene una oferta v\xE1lida que finalizar\xE1 en un plazo razonable."
+      D: La carta carece de uno de los elementos esenciales de una oferta.
+    input_correct_responses:
+    - D
+    input_question: "Iverson Jewelers escribi\xF3 una carta a Miller: "Hemos\
+      \ recibido un reloj Rolox de cuerda autom\xE1tica excepcionalmente fino que\
+      \ le venderemos a un precio muy favorable"."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_jurisprudence
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_jurisprudence
+task_alias: jurisprudence

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_logical_fallacies.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: tu quoque
+      B: risa de caballo
+      C: argumento contra la persona
+      D: ignorancia elenchi
+    input_correct_responses:
+    - C
+    input_question: "Si alguien ataca el car\xE1cter de un argumentador contrario,\
+      \ en lugar de responder a los argumentos de ese oponente, \xBFcu\xE1l de las\
+      \ siguientes falacias probablemente ha cometido la primera persona?"
+  - input_choice_list:
+      A: "argumentar que algo es inferior simplemente porque no hace algo que nunca\
+        \ tuvo la intenci\xF3n de hacer."
+      B: "incluir m\xE1s de un reclamo en la proposici\xF3n y tratar la prueba de\
+        \ un reclamo como prueba de todos los reclamos."
+      C: "sacar una conclusi\xF3n antes de examinar la evidencia y considerar solo\
+        \ la evidencia que respalda esa conclusi\xF3n."
+      D: "hacer una pregunta que incluya una suposici\xF3n no comprobada o m\xE1s\
+        \ de una pregunta, haciendo que una respuesta directa de s\xED o no carezca\
+        \ de sentido."
+    input_correct_responses:
+    - D
+    input_question: La falacia de la pregunta compleja consiste en
+  - input_choice_list:
+      A: La premisa menor debe negar el antecedente.
+      B: La premisa mayor debe afirmar la consecuente
+      C: "El t\xE9rmino medio debe usarse en al menos una premisa en un sentido universal\
+        \ o incondicional."
+      D: Todo lo anterior
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de las siguientes afirmaciones es verdadera para\
+      \ un silogismo categ\xF3rico v\xE1lido?"
+  - input_choice_list:
+      A: "Divisi\xF3n"
+      B: "Composici\xF3n"
+      C: Apelar a la persona
+      D: Apelar a la ignorancia
+    input_correct_responses:
+    - B
+    input_question: Argumentar que lo que es cierto para las partes debe serlo para
+      el todo es la falacia de...
+  - input_choice_list:
+      A: "pobre esp\xEDritu deportivo"
+      B: "apelar a la compasi\xF3n"
+      C: argumento contra la persona
+      D: "ignorancia de la refutaci\xF3n"
+    input_correct_responses:
+    - D
+    input_question: "Cuando un argumentador causa confusi\xF3n durante la refutaci\xF3\
+      n debido a una falta real o fingida de capacidad para participar en la refutaci\xF3\
+      n, ese argumentador puede haber cometido la falacia de"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_logical_fallacies
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_logical_fallacies
+task_alias: logical_fallacies

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_machine_learning.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 2.0/15
+      B: 1.0/7
+      C: 3.0/16
+      D: 1.0/5
+    input_correct_responses:
+    - B
+    input_question: "Se lanza un dado de 6 caras 15 veces y los resultados son: la\
+      \ cara 1 sale 0 veces; lado 2: 1 vez; lado 3: 2 veces; lado 4: 3 veces; lado\
+      \ 5: 4 veces; lado 6: 5 veces. Seg\xFAn estos resultados, \xBFcu\xE1l es la\
+      \ probabilidad de que aparezca el lado 3 cuando se utiliza el suavizado Add-1?"
+  - input_choice_list:
+      A: recorte aleatorio y giro horizontal
+      B: recorte aleatorio y giro vertical
+      C: "posterizaci\xF3n"
+      D: vacilante
+    input_correct_responses:
+    - A
+    input_question: "\xBFQu\xE9 aumento de datos de imagen es m\xE1s com\xFAn para\
+      \ im\xE1genes naturales?"
+  - input_choice_list:
+      A: "\xA1Mi m\xE9todo logra un error de entrenamiento menor que todos los m\xE9\
+        todos anteriores!"
+      B: "\xA1Mi m\xE9todo logra un error de prueba menor que todos los m\xE9todos\
+        \ anteriores! (Nota al pie: cuando el par\xE1metro de regularizaci\xF3n \u03BB\
+        \ se elige para minimizar el error de prueba)."
+      C: "\xA1Mi m\xE9todo logra un error de prueba menor que todos los m\xE9todos\
+        \ anteriores! (Nota al pie: cuando el par\xE1metro de regularizaci\xF3n \u03BB\
+        \ se elige para minimizar el error de validaci\xF3n cruzada)."
+      D: "\xA1Mi m\xE9todo logra un error de validaci\xF3n cruzada menor que todos\
+        \ los m\xE9todos anteriores! (Nota al pie: cuando el par\xE1metro de regularizaci\xF3\
+        n \u03BB se elige para minimizar el error de validaci\xF3n cruzada)."
+    input_correct_responses:
+    - C
+    input_question: "Est\xE1 revisando art\xEDculos para la conferencia de aprendizaje\
+      \ autom\xE1tico m\xE1s elegante del mundo y ve env\xEDos con las siguientes\
+      \ afirmaciones. \xBFCu\xE1les considerar\xEDas aceptar?"
+  - input_choice_list:
+      A: alrededor de 10 ejemplos
+      B: alrededor de 100 ejemplos
+      C: entre 100 y 500 ejemplos
+      D: "m\xE1s de 1000 ejemplos"
+    input_correct_responses:
+    - D
+    input_question: "Para lograr una estimaci\xF3n de p\xE9rdida 0/1 que sea inferior\
+      \ al 1 por ciento de la p\xE9rdida 0/1 verdadera (con una probabilidad del 95%),\
+      \ seg\xFAn la desigualdad de Hoeffding, \xBFcu\xE1ntos ejemplos debe tener el\
+      \ conjunto de pruebas IID?"
+  - input_choice_list:
+      A: Es demasiado costoso computacionalmente.
+      B: "Probablemente dar\xEDa como resultado un \xE1rbol de decisiones con una\
+        \ mala puntuaci\xF3n en el conjunto de entrenamiento y en el conjunto de pruebas."
+      C: "Probablemente dar\xEDa como resultado un \xE1rbol de decisi\xF3n que obtiene\
+        \ una buena puntuaci\xF3n en el conjunto de entrenamiento pero mal en un conjunto\
+        \ de pruebas."
+      D: "Probablemente dar\xEDa como resultado un \xE1rbol de decisi\xF3n que obtiene\
+        \ una buena puntuaci\xF3n en un conjunto de pruebas pero una mala puntuaci\xF3\
+        n en un conjunto de entrenamiento."
+    input_correct_responses:
+    - C
+    input_question: "Tradicionalmente, cuando tenemos un atributo de entrada de valor\
+      \ real durante el aprendizaje del \xE1rbol de decisiones, consideramos una divisi\xF3\
+      n binaria seg\xFAn si el atributo est\xE1 por encima o por debajo de alg\xFA\
+      n umbral. Pat sugiere que, en cambio, deber\xEDamos tener una divisi\xF3n multidireccional\
+      \ con una rama para cada uno de los distintos valores del atributo. De la lista\
+      \ siguiente, elija el mayor problema con la sugerencia de Pat:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_machine_learning
+tag: mmlu_es_llama_stem_tasks
+task: mmlu_es_llama_machine_learning
+task_alias: machine_learning

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_management.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Posici\xF3n inicial y posici\xF3n final."
+      B: Entorno inicial y entorno modificado.
+      C: Estructura organizacional y condicionamiento.
+      D: Estructura inicial y consideraciones.
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1les son las dos dimensiones principales de los Estudios\
+      \ de Ohio sobre liderazgo?"
+  - input_choice_list:
+      A: Federico Hertzberg
+      B: DC McClelland
+      C: Abraham Maslow
+      D: Douglas McGregor
+    input_correct_responses:
+    - A
+    input_question: "\xBFLos factores de higiene est\xE1n asociados con qu\xE9 escritor?"
+  - input_choice_list:
+      A: "S\xEDmbolos"
+      B: Rituales y rutinas
+      C: Estructuras de poder
+      D: Sistemas de control
+    input_correct_responses:
+    - A
+    input_question: "\xBFQu\xE9 elemento de la red cultural forma insignias?"
+  - input_choice_list:
+      A: Moral
+      B: "Innovaci\xF3n"
+      C: Recurso de crecimiento
+      D: "Adaptaci\xF3n"
+    input_correct_responses:
+    - A
+    input_question: "\xBFQu\xE9 caracter\xEDstica no es clave en el modelo de gesti\xF3\
+      n de los 'sistemas abiertos'?"
+  - input_choice_list:
+      A: "Jer\xE1rquico"
+      B: "Burocr\xE1tico"
+      C: Departamento
+      D: Funcional
+    input_correct_responses:
+    - C
+    input_question: "\xBFC\xF3mo se pueden describir las estructuras organizativas\
+      \ que se caracterizan por estilos de gesti\xF3n democr\xE1ticos e inclusivos?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_management
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_management
+task_alias: management

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_marketing.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Geodemograf\xEDa"
+      B: "La diferenciaci\xF3n del producto."
+      C: Matriz ANSOFF.
+      D: "Gesti\xF3n de la marca."
+    input_correct_responses:
+    - A
+    input_question: "_____________ es un resultado natural cuando se combinan variables\
+      \ demogr\xE1ficas y geogr\xE1ficas."
+  - input_choice_list:
+      A: "Unidad de subcontrataci\xF3n."
+      B: Centro de adquisiciones.
+      C: Unidad ejecutiva principal.
+      D: Unidad de toma de decisiones.
+    input_correct_responses:
+    - D
+    input_question: "En una organizaci\xF3n, el grupo de personas encargadas de tomar\
+      \ decisiones de compra se denomina _______________."
+  - input_choice_list:
+      A: "Las necesidades dependen de la cultura y tambi\xE9n de la clase social."
+      B: Las necesidades de nivel inferior deben satisfacerse al menos parcialmente
+        antes de que las necesidades superiores puedan afectar el comportamiento.
+      C: "Las necesidades no se priorizan ni se organizan en ning\xFAn orden particular."
+      D: Las necesidades satisfechas son motivadores y surgen nuevas necesidades cuando
+        las necesidades actuales permanecen insatisfechas.
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1l de los siguientes es un supuesto en la jerarqu\xED\
+      a de necesidades de Maslow?"
+  - input_choice_list:
+      A: El consumidor mayor que se siente algo excluido.
+      B: Las mujeres casadas, muchas de las cuales sienten la necesidad de estabilidad
+        en sus vidas.
+      C: Nuevos inmigrantes que realmente quieren asimilarse a su nueva cultura.
+      D: "Los ni\xF1os, que basan la mayor\xEDa de sus decisiones de compra en influencias\
+        \ externas."
+    input_correct_responses:
+    - D
+    input_question: "El \xFAnico grupo dentro de la sociedad que es m\xE1s vulnerable\
+      \ a la influencia del grupo de referencia es:"
+  - input_choice_list:
+      A: "L\xEDneas de atenci\xF3n."
+      B: Correo directo.
+      C: Inserciones.
+      D: Puerta a puerta.
+    input_correct_responses:
+    - D
+    input_question: "Aunque el contenido y la calidad pueden controlarse tanto como\
+      \ el correo directo, las tasas de respuesta de este medio son m\xE1s bajas debido\
+      \ a la falta de un mecanismo de direcci\xF3n personal. Este formato de medios\
+      \ se conoce como:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_marketing
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_marketing
+task_alias: marketing

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_medical_genetics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "reacci\xF3n en cadena de la polimerasa."
+      B: "An\xE1lisis de polimorfismo conformacional monocatenario."
+      C: Transferencia del Sur.
+      D: Transferencia Western.
+    input_correct_responses:
+    - C
+    input_question: 'Las expansiones de repeticiones de tripletes grandes se pueden
+      detectar mediante:'
+  - input_choice_list:
+      A: "Enzima que une fragmentos en la replicaci\xF3n normal del ADN."
+      B: una enzima de origen bacteriano que corta el ADN en secuencias de bases definidas
+      C: "una enzima que facilita la transcripci\xF3n de genes espec\xEDficos"
+      D: Enzima que limita el nivel al que llega un nutriente en particular.
+    input_correct_responses:
+    - A
+    input_question: La ADN ligasa es
+  - input_choice_list:
+      A: Tiene ambos alelos expresados independientemente en el heterocigoto.
+      B: tiene un alelo dominante sobre el otro
+      C: Tiene alelos estrechamente unidos en el mismo cromosoma.
+      D: Tiene alelos expresados al mismo tiempo en el desarrollo.
+    input_correct_responses:
+    - A
+    input_question: Un gen que muestra codominancia.
+  - input_choice_list:
+      A: "Estenosis pil\xF3rica"
+      B: Esquizofrenia
+      C: "Espina b\xEDfida (defectos del tubo neural)"
+      D: "s\xEDndrome de Marfan"
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de las siguientes condiciones no muestra herencia\
+      \ multifactorial?"
+  - input_choice_list:
+      A: profase I
+      B: metafase I
+      C: profase II
+      D: metafase II
+    input_correct_responses:
+    - A
+    input_question: 'La etapa de la meiosis en la que los cromosomas se aparean y
+      se cruzan es:'
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_medical_genetics
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_medical_genetics
+task_alias: medical_genetics

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_miscellaneous.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: uno
+      B: dos
+      C: cuatro
+      D: ocho
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1ntos ejes tiene un autom\xF3vil est\xE1ndar?"
+  - input_choice_list:
+      A: budapest
+      B: Budokan
+      C: "But\xE1n"
+      D: "Breta\xF1a"
+    input_correct_responses:
+    - B
+    input_question: "\xBFQu\xE9 lugar se nombra en el t\xEDtulo del \xE1lbum en vivo\
+      \ de 1979 de las leyendas del rock Cheap Trick?"
+  - input_choice_list:
+      A: Anthony 'Spud' Webb
+      B: Michael 'Air' Jordan
+      C: Tyrone 'Muggsy' Bogues
+      D: Julius 'Dr. J' Erving
+    input_correct_responses:
+    - A
+    input_question: "\xBFQui\xE9n es el hombre m\xE1s bajo que jam\xE1s haya ganado\
+      \ una competencia de mates de la NBA?"
+  - input_choice_list:
+      A: "hidr\xF3geno"
+      B: nylon
+      C: "ox\xEDgeno"
+      D: luz
+    input_correct_responses:
+    - C
+    input_question: "\xBFQu\xE9 se produce durante la fotos\xEDntesis?"
+  - input_choice_list:
+      A: ''Radio ga ga''
+      B: ''Ob-la-di Ob-la-da''
+      C: ''De Do Do Do De Da Da Da''
+      D: ''En-a-Gadda-Da-Vida''
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de estas canciones fue un \xE9xito Top 10 de la banda\
+      \ de rock The Police?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_miscellaneous
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_miscellaneous
+task_alias: miscellaneous

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_moral_disputes.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Hasta el momento no est\xE1 claro si la pena capital disuade o no de da\xF1\
+        ar a la comunidad."
+      B: "Hasta el momento no est\xE1 claro si la pena capital disuade o no de da\xF1\
+        ar a alguna persona."
+      C: "El consecuencialismo no est\xE1 respaldado por los valores africanos."
+      D: "Aunque el consecuencialismo est\xE1 respaldado por los valores africanos,\
+        \ no se han ofrecido argumentos consecuencialistas enmarcados en t\xE9rminos\
+        \ de valores africanos."
+    input_correct_responses:
+    - A
+    input_question: "Seg\xFAn Metz, \xBFqu\xE9 hay de malo en los argumentos consecuencialistas\
+      \ contra la pena capital basados en valores africanos?"
+  - input_choice_list:
+      A: un cigoto.
+      B: "un embri\xF3n."
+      C: una viabilidad.
+      D: un blastocisto.
+    input_correct_responses:
+    - A
+    input_question: "Un \xF3vulo fecundado tambi\xE9n se conoce como"
+  - input_choice_list:
+      A: estar en la clase alta
+      B: la capacidad de aprender y resolver problemas
+      C: "Ser m\xE1s bella que la mayor\xEDa de la poblaci\xF3n."
+      D: "ser m\xE1s bajo que el promedio"
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1l de los siguientes es un bien intr\xEDnseco seg\xFA\
+      n Singer?"
+  - input_choice_list:
+      A: "La SCNT no es un tipo diferente de reproducci\xF3n porque no existen diferencias\
+        \ moralmente relevantes entre ella y otros medios de reproducci\xF3n permitidos."
+      B: "Debido a que existe un bajo riesgo de da\xF1o para el hermanamiento natural,\
+        \ habr\xE1 un bajo riesgo de da\xF1o para la SCNT."
+      C: tanto a como B
+      D: ni a ni B
+    input_correct_responses:
+    - A
+    input_question: "Pence compara seis casos diferentes de reproducci\xF3n, desde\
+      \ la gemelaci\xF3n natural hasta la SCNT. \xBFQu\xE9 conclusi\xF3n saca de esta\
+      \ comparaci\xF3n?"
+  - input_choice_list:
+      A: "la estupidez de la mayor\xEDa de los ejemplos filos\xF3ficos tradicionales."
+      B: "una falta general de inteligencia entre las personas con t\xEDtulos avanzados."
+      C: lo incorrecto de la tortura.
+      D: "la disposici\xF3n de muchas personas inteligentes a ver la tortura como\
+        \ la mejor soluci\xF3n para hacer frente al terrorismo."
+    input_correct_responses:
+    - D
+    input_question: "Baron admite que las versiones hipot\xE9ticas de la bomba de\
+      \ tiempo que ella analiza son "sorprendentemente est\xFApidas", pero\
+      \ afirma que en realidad son evidencia de"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_moral_disputes
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_moral_disputes
+task_alias: moral_disputes

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_moral_scenarios.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Malo malo
+      B: Mal, no mal
+      C: "No est\xE1 mal, est\xE1 mal"
+      D: "No est\xE1 mal, no est\xE1 mal"
+    input_correct_responses:
+    - C
+    input_question: "\xBFEn cu\xE1l de estos dos escenarios el personaje principal\
+      \ (que usa yo/m\xED/mi) hace algo claramente moralmente incorrecto, de acuerdo\
+      \ con los est\xE1ndares morales comunes en los EE. UU. a partir de 2020? Escenario\
+      \ 1 | Realmente amaba a mi beb\xE9 reci\xE9n nacido. Escenario 2 | A la chica\
+      \ nueva le da verg\xFCenza vivir en un parque de casas rodantes, as\xED que\
+      \ invito a la clase a su casa."
+  - input_choice_list:
+      A: Malo malo
+      B: Mal, no mal
+      C: "No est\xE1 mal, est\xE1 mal"
+      D: "No est\xE1 mal, no est\xE1 mal"
+    input_correct_responses:
+    - C
+    input_question: "\xBFEn cu\xE1l de estos dos escenarios el personaje principal\
+      \ (que usa yo/m\xED/mi) hace algo claramente moralmente incorrecto, de acuerdo\
+      \ con los est\xE1ndares morales comunes en los EE. UU. a partir de 2020? Escenario\
+      \ 1 | Le ped\xED un cigarrillo al chico que estaba afuera de la tienda. Escenario\
+      \ 2 | Cuando el guardia de seguridad abandon\xF3 su puesto, me guard\xE9 una\
+      \ moneda rara."
+  - input_choice_list:
+      A: Malo malo
+      B: Mal, no mal
+      C: "No est\xE1 mal, est\xE1 mal"
+      D: "No est\xE1 mal, no est\xE1 mal"
+    input_correct_responses:
+    - D
+    input_question: "\xBFEn cu\xE1l de estos dos escenarios el personaje principal\
+      \ (que usa yo/m\xED/mi) hace algo claramente moralmente incorrecto, de acuerdo\
+      \ con los est\xE1ndares morales comunes en los EE. UU. a partir de 2020? Escenario\
+      \ 1 | Compr\xE9 una vieja camioneta para trabajar. Escenario 2 | Mir\xE9 hacia\
+      \ la hermosa cascada y le arroj\xE9 una piedra."
+  - input_choice_list:
+      A: Malo malo
+      B: Mal, no mal
+      C: "No est\xE1 mal, est\xE1 mal"
+      D: "No est\xE1 mal, no est\xE1 mal"
+    input_correct_responses:
+    - B
+    input_question: "\xBFEn cu\xE1l de estos dos escenarios el personaje principal\
+      \ (que usa yo/m\xED/mi) hace algo claramente moralmente incorrecto, de acuerdo\
+      \ con los est\xE1ndares morales comunes en los EE. UU. a partir de 2020? Escenario\
+      \ 1 | Durante la demolici\xF3n de la casa, lo empuj\xE9 contra una pared. Escenario\
+      \ 2 | Cuando elijo una ni\xF1era para mis sobrinas gemelas, no me importa su\
+      \ origen racial."
+  - input_choice_list:
+      A: Malo malo
+      B: Mal, no mal
+      C: "No est\xE1 mal, est\xE1 mal"
+      D: "No est\xE1 mal, no est\xE1 mal"
+    input_correct_responses:
+    - A
+    input_question: "\xBFEn cu\xE1l de estos dos escenarios el personaje principal\
+      \ (que usa yo/m\xED/mi) hace algo claramente moralmente incorrecto, de acuerdo\
+      \ con los est\xE1ndares morales comunes en los EE. UU. a partir de 2020? Escenario\
+      \ 1 | Le quit\xE9 la cartera despu\xE9s de que me acosara en el bar. Escenario\
+      \ 2 | Le hice el amor a mi beb\xE9 reci\xE9n nacido."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_moral_scenarios
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_moral_scenarios
+task_alias: moral_scenarios

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_nutrition.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Los bebedores de t\xE9 tienen menor riesgo de desarrollar diabetes."
+      B: "Los bebedores de t\xE9 tienen mayor riesgo de desarrollar diabetes."
+      C: "Seg\xFAn la informaci\xF3n proporcionada, no podemos decir si la diferencia\
+        \ observada en el riesgo de enfermedad es resultado del azar."
+      D: "El \xEDndice de riesgo es cercano al valor uno, por lo que no hay diferencia\
+        \ en el riesgo de enfermedad entre los dos grupos."
+    input_correct_responses:
+    - C
+    input_question: "En un estudio de cohorte, la proporci\xF3n de riesgo de desarrollar\
+      \ diabetes fue de 0,86 al comparar a los consumidores de t\xE9 (los expuestos)\
+      \ con los que no beb\xEDan t\xE9 (los no expuestos). \xBFCu\xE1l afirmaci\xF3\
+      n es correcta (seg\xFAn el conocimiento en 2020)?"
+  - input_choice_list:
+      A: Los consumidores con fenilcetonuria deben evitar el consumo del edulcorante
+        aspartamo
+      B: Los consumidores con fenilcetonuria deben evitar el consumo del edulcorante
+        sacarina
+      C: Los consumidores con fenilcetonuria deben evitar el consumo del edulcorante
+        sucralosa
+      D: Los consumidores con fenilcetonuria deben evitar el consumo del edulcorante
+        acesulfamo K
+    input_correct_responses:
+    - A
+    input_question: "\xBFCu\xE1l de las siguientes afirmaciones es correcta (seg\xFA\
+      n conocimiento en 2020)?"
+  - input_choice_list:
+      A: "El \xE1cido propi\xF3nico, formado durante la fermentaci\xF3n de la fibra\
+        \ del colon, inhibe la s\xEDntesis de \xE1cidos grasos en el h\xEDgado."
+      B: "El \xE1cido but\xEDrico, formado durante la fermentaci\xF3n de la fibra\
+        \ del colon, estimula el "silenciamiento" del gen supresor de tumores\
+        \ SLC5A8."
+      C: Ninguna de estas opciones es correcta
+      D: "El \xE1cido but\xEDrico, formado durante la fermentaci\xF3n de la fibra\
+        \ del colon, estimula las defensas antioxidantes del colon."
+    input_correct_responses:
+    - D
+    input_question: "\xBFCu\xE1l de las siguientes es la explicaci\xF3n m\xE1s plausible\
+      \ del efecto protector de la fibra diet\xE9tica contra el c\xE1ncer de colon,\
+      \ a partir de 2020?"
+  - input_choice_list:
+      A: El 50% de los adultos consume yodo en niveles inferiores al RNI
+      B: "Los productos l\xE1cteos son una mala fuente de yodo."
+      C: "El contenido de yodo de la leche org\xE1nica es generalmente menor que el\
+        \ nivel de la leche no org\xE1nica."
+      D: "Los valores de referencia diet\xE9ticos del Reino Unido recomiendan un aumento\
+        \ de la ingesta de yodo durante el embarazo"
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l de las siguientes afirmaciones sobre el yodo es correcta,\
+      \ a partir de 2020?"
+  - input_choice_list:
+      A: acarbosa
+      B: metformina
+      C: Sulfonilureas
+      D: Insulina
+    input_correct_responses:
+    - B
+    input_question: "\xBFCu\xE1l es el f\xE1rmaco de primera l\xEDnea para pacientes\
+      \ con diabetes tipo 2 y obesidad, a partir de 2020?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_nutrition
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_nutrition
+task_alias: nutrition

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_philosophy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "una teor\xEDa \xE9tica sobre c\xF3mo debemos comportarnos."
+      B: "una generalizaci\xF3n sobre la forma en que las personas tienden a comportarse."
+      C: "una afirmaci\xF3n sobre la naturaleza humana y las formas en que las personas\
+        \ son capaces de comportarse."
+      D: Ninguna de las anteriores.
+    input_correct_responses:
+    - C
+    input_question: "El ego\xEDsmo psicol\xF3gico es:"
+  - input_choice_list:
+      A: placer.
+      B: felicidad.
+      C: bien.
+      D: virtud.
+    input_correct_responses:
+    - C
+    input_question: "Seg\xFAn el \u201Cutilitarismo ideal\u201D de Moore, la acci\xF3\
+      n correcta es aquella que produce la mayor cantidad de:"
+  - input_choice_list:
+      A: elecciones libres
+      B: dictados del alma
+      C: leyes naturales necesarias
+      D: voluntad indeterminada
+    input_correct_responses:
+    - C
+    input_question: "Seg\xFAn d'Holbach, la gente siempre act\xFAa seg\xFAn _____."
+  - input_choice_list:
+      A: optimista
+      B: satisfecho
+      C: nominalmente religioso
+      D: pesimista
+    input_correct_responses:
+    - D
+    input_question: "Antes de la conversi\xF3n cristiana de Tolstoi, \xBFcu\xE1l era\
+      \ su perspectiva sobre el significado de la vida?"
+  - input_choice_list:
+      A: "metaf\xEDsica"
+      B: "epistemolog\xEDa"
+      C: "f\xEDsica cu\xE1ntica"
+      D: "axiolog\xEDa"
+    input_correct_responses:
+    - A
+    input_question: "El estudio de la realidad en el sentido m\xE1s amplio, una investigaci\xF3\
+      n de la naturaleza elemental del universo y las cosas que contiene, se conoce\
+      \ como _____."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_philosophy
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_philosophy
+task_alias: philosophy

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_prehistory.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "satisfacer a los poderosos sacerdotes astr\xF3nomos mayas."
+      B: "mostrar su generosidad hacia la gente com\xFAn, ya que se les permit\xED\
+        a vivir en los templos."
+      C: "ahuyentar a los enemigos, en particular a los espa\xF1oles."
+      D: legitimar su realeza, ya que su padre no era real.
+    input_correct_responses:
+    - D
+    input_question: "El gran rey maya Pacal construy\xF3 templos en la ciudad de Palenque\
+      \ con el fin de:"
+  - input_choice_list:
+      A: "un centro de la civilizaci\xF3n del Mississippi con condiciones similares\
+        \ al surgimiento de los primeros estados."
+      B: las limitaciones de la autoridad en una sociedad nativa americana de recolectores
+        igualitarios.
+      C: "una jefatura simple o tal vez una jefatura compleja hab\xEDa evolucionado\
+        \ hacia el a\xF1o 1500 d.C."
+      D: "un centro de la civilizaci\xF3n del Mississippi con condiciones similares\
+        \ a las sociedades de la costa noroeste de Am\xE9rica del Norte."
+    input_correct_responses:
+    - A
+    input_question: "Seg\xFAn Timothy Pauketat, la evidencia de la estratificaci\xF3\
+      n social y el poder pol\xEDtico en Cahokia sugiere:"
+  - input_choice_list:
+      A: "un cataclismo de alg\xFAn tipo, como un terremoto, un volc\xE1n o un tsunami."
+      B: "degradaci\xF3n ecol\xF3gica resultante de las t\xE9cnicas agr\xEDcolas de\
+        \ tala y quema."
+      C: guerras interminables entre ciudades-estado mayas vecinas.
+      D: "pr\xE1cticas de mestizaje que condujeron a un fuerte aumento de los trastornos\
+        \ cong\xE9nitos."
+    input_correct_responses:
+    - B
+    input_question: 'Los investigadores ahora creen que el declive de los mayas fue
+      causado principalmente por:'
+  - input_choice_list:
+      A: "una gran cantidad de diversidad de especies, o una sola especie que exhibi\xF3\
+        \ mucha diversidad."
+      B: "muy poca diversidad de especies durante este per\xEDodo y muy pocos hom\xED\
+        nidos."
+      C: "Disminuci\xF3n de la diversidad de especies debido a una prolongada edad\
+        \ de hielo seguida de una grave sequ\xEDa."
+      D: "Disminuci\xF3n de la diversidad de especies pero aumento del n\xFAmero de\
+        \ piedras de martillo y lascas, lo que indica la fabricaci\xF3n de herramientas\
+        \ de piedra."
+    input_correct_responses:
+    - A
+    input_question: "Investigaciones recientes sobre especies de hom\xEDnidos que\
+      \ datan del Plioceno Medio indican que hubo (a partir de 2020):"
+  - input_choice_list:
+      A: menos de 650 cc
+      B: alrededor de 800 cc
+      C: poco menos de 1000 cc
+      D: 1200 cc
+    input_correct_responses:
+    - C
+    input_question: "\xBFCu\xE1l es la capacidad craneal media aproximada del Homo\
+      \ erectus?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_prehistory
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_prehistory
+task_alias: prehistory

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_professional_accounting.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: $70,000
+      B: $75,000
+      C: $80,000
+      D: '100000'
+    input_correct_responses:
+    - D
+    input_question: "Box una organizaci\xF3n no gubernamental sin fines de lucro tuvo\
+      \ las siguientes transacciones durante el a\xF1o: Producto de la venta de inversiones\
+      \ $80000 Compra de propiedades, planta y equipo $10000 Producto de la deuda\
+      \ a largo plazo $100000 P\xE9rdida en la venta de la inversi\xF3n $5000 \xBF\
+      Qu\xE9 monto debe declararse como neto? \xBFEl efectivo proporcionado por las\
+      \ actividades de financiaci\xF3n en el estado de flujos de efectivo de Box?"
+  - input_choice_list:
+      A: $13,000
+      B: $600
+      C: $15,000
+      D: $28,000
+    input_correct_responses:
+    - A
+    input_question: "Hace cien a\xF1os, su tatarabuela invirti\xF3 $100 al 5% de inter\xE9\
+      s anual. \xBFCu\xE1l es el valor de la inversi\xF3n hoy?"
+  - input_choice_list:
+      A: $0
+      B: $500
+      C: $1,650
+      D: $16,500
+    input_correct_responses:
+    - A
+    input_question: "Krete es un contribuyente soltero con ingresos exclusivamente\
+      \ provenientes de salarios. Al 31 de diciembre del a\xF1o 1, el empleador de\
+      \ Krete hab\xEDa retenido $16,000 en impuestos federales sobre la renta y Krete\
+      \ no hab\xEDa realizado pagos de impuestos estimados. El 15 de abril del a\xF1\
+      o 2, Krete present\xF3 oportunamente una solicitud de extensi\xF3n para presentar\
+      \ su declaraci\xF3n de impuestos individual y pag\xF3 $300 de impuestos adicionales.\
+      \ La obligaci\xF3n tributaria del a\xF1o 1 de Krete fue de $16,500 cuando present\xF3\
+      \ oportunamente su declaraci\xF3n el 30 de abril del a\xF1o 2 y pag\xF3 el saldo\
+      \ restante de la obligaci\xF3n tributaria. \xBFA qu\xE9 monto estar\xEDa sujeto\
+      \ la sanci\xF3n por pago insuficiente de impuestos estimados?"
+  - input_choice_list:
+      A: $5,000
+      B: $13,500
+      C: $16,000
+      D: $20,000
+    input_correct_responses:
+    - B
+    input_question: "El 1 de enero del a\xF1o 1, Alpha Co. firm\xF3 un acuerdo de\
+      \ mantenimiento anual con un proveedor de software por $15 000 y el per\xED\
+      odo de mantenimiento comienza el 1 de marzo del a\xF1o 2. Alpha tambi\xE9n incurri\xF3\
+      \ en costos de $5 000 el 1 de enero del a\xF1o 1 relacionados con la modificaci\xF3\
+      n del software. solicitudes que aumentar\xE1n la funcionalidad del software.\
+      \ Alpha deprecia y amortiza sus activos inform\xE1ticos y de software en cinco\
+      \ a\xF1os utilizando el m\xE9todo de l\xEDnea recta. \xBFCu\xE1l es el gasto\
+      \ total que Alpha deber\xEDa reconocer relacionado con el acuerdo de mantenimiento\
+      \ y las modificaciones de software para el a\xF1o terminado el 31 de diciembre\
+      \ del a\xF1o 1?"
+  - input_choice_list:
+      A: "Valoraci\xF3n y asignaci\xF3n"
+      B: Lo completo
+      C: Derechos y obligaciones
+      D: "Presentaci\xF3n y divulgaci\xF3n"
+    input_correct_responses:
+    - B
+    input_question: "Un auditor rastrea los n\xFAmeros de serie de los equipos hasta\
+      \ el libro auxiliar de un no emisor. \xBFCu\xE1l de las siguientes afirmaciones\
+      \ de la gerencia est\xE1 respaldada por esta prueba?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_accounting
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_professional_accounting
+task_alias: professional_accounting

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_professional_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "el estatuto es nulo por vaguedad seg\xFAn la cl\xE1usula del debido proceso\
+        \ de la Decimocuarta Enmienda."
+      B: "el estatuto es inv\xE1lido porque viola la libertad de expresi\xF3n del\
+        \ peticionario bajo la Primera Enmienda."
+      C: "el estatuto es una limitaci\xF3n de la libertad de expresi\xF3n bajo la\
+        \ Primera Enmienda porque hay medios menos restrictivos disponibles para lograr\
+        \ el mismo prop\xF3sito."
+      D: "el estatuto es demasiado amplio y, en consecuencia, inv\xE1lido seg\xFA\
+        n las enmiendas primera y decimocuarta."
+    input_correct_responses:
+    - D
+    input_question: "Una legislatura estatal ha promulgado recientemente un estatuto\
+      \ que convierte en delito menor maldecir, injuriar o usar lenguaje obsceno u\
+      \ oprobio hacia o en referencia a un oficial de polic\xEDa que desempe\xF1a\
+      \ sus funciones. Un estudiante de una universidad estatal organiz\xF3 una manifestaci\xF3\
+      n en el campus para protestar contra la guerra. A la manifestaci\xF3n asisti\xF3\
+      \ un grupo de 50 estudiantes que gritaron mensajes contra la guerra a los coches\
+      \ que pasaban. Para mostrar su desprecio por Estados Unidos, el estudiante cosi\xF3\
+      \ la bandera estadounidense en la parte trasera de sus jeans. Cuando un oficial\
+      \ de polic\xEDa vio la bandera cosida en los jeans del estudiante, se acerc\xF3\
+      \ y le dijo que se la quitara o lo arrestar\xEDan. El estudiante se enoj\xF3\
+      \ y le grit\xF3 al oficial de polic\xEDa: "Escucha, bastardo, usar\xE9\
+      \ este trapo donde quiera". Posteriormente, el estudiante fue arrestado\
+      \ y acusado de violar el estatuto estatal. Posteriormente, el estudiante presenta\
+      \ una demanda ante un tribunal estatal impugnando la constitucionalidad del\
+      \ estatuto. El argumento constitucional m\xE1s fuerte para el estudiante es\
+      \ que"
+  - input_choice_list:
+      A: "La cl\xE1usula de comercio."
+      B: "La cl\xE1usula de igual protecci\xF3n de la Decimocuarta Enmienda."
+      C: "La cl\xE1usula de privilegios e inmunidades del Art\xEDculo IV, Secci\xF3\
+        n 2."
+      D: "La cl\xE1usula del contrato."
+    input_correct_responses:
+    - A
+    input_question: "Un estado ha promulgado recientemente un estatuto que proh\xED\
+      be la eliminaci\xF3n de desechos nucleares dentro del estado. Esta ley no contraviene\
+      \ ni entra en conflicto con ning\xFAn estatuto federal. Un hombre dirige una\
+      \ empresa en el estado que se dedica a la eliminaci\xF3n de desechos nucleares.\
+      \ Despu\xE9s de la aprobaci\xF3n del estatuto estatal, el hombre, que a\xFA\
+      n no conoc\xEDa la nueva ley, celebr\xF3 contratos con muchas empresas de fuera\
+      \ del estado para eliminar sus desechos nucleares en el estado. Sin embargo,\
+      \ a causa de esta nueva ley, el hombre no podr\xE1 cumplir estos contratos.\
+      \ Supongamos que el hombre tiene capacidad para impugnar esta ley estatal. \xBF\
+      Cu\xE1l de los siguientes presenta sus fundamentos constitucionales m\xE1s s\xF3\
+      lidos para impugnar la ley estatal que proh\xEDbe la eliminaci\xF3n de desechos\
+      \ nucleares dentro del estado?"
+  - input_choice_list:
+      A: Hechos indiscutibles.
+      B: "Hechos que han sido afirmados por organizaciones pol\xEDticas individuales."
+      C: "Hechos reconocidos como ciertos por el conocimiento com\xFAn."
+      D: "Hechos susceptibles de verificaci\xF3n cient\xEDfica."
+    input_correct_responses:
+    - B
+    input_question: "El juez tom\xF3 conocimiento judicial de algunos hechos al inicio\
+      \ del juicio. \xBFCu\xE1l de los siguientes no es un tipo de hecho apropiado\
+      \ para notificaci\xF3n judicial?"
+  - input_choice_list:
+      A: "otorgar alivio, porque la cerca violaba la restricci\xF3n de servidumbre."
+      B: "conceder alivio, porque la invasi\xF3n de la valla violaba la restricci\xF3\
+        n del plan original."
+      C: "denegar el alivio, porque el maestro no hizo cumplir la restricci\xF3n contra\
+        \ el jubilado."
+      D: "negar el alivio, porque la cerca no ser\xEDa interpretada como "una\
+        \ estructura" dentro de los t\xE9rminos de la restricci\xF3n."
+    input_correct_responses:
+    - B
+    input_question: "El 1 de octubre de 1980, un promotor inmobiliario, propietario\
+      \ de varios cientos de acres en un condado rural, redact\xF3 un plan general\
+      \ de desarrollo para la zona. El plan debidamente registrado impon\xEDa limitaciones\
+      \ y restricciones elaboradas sobre el terreno en el plan, que iba a ser desarrollado\
+      \ como un distrito residencial. Las restricciones se extender\xEDan a todas\
+      \ las personas que adquirieran cualquiera de los lotes y a sus herederos, cesionarios\
+      \ y arrendatarios. Se dispuso adem\xE1s que todos los propietarios posteriores\
+      \ recibir\xEDan la debida notificaci\xF3n de las restricciones. Entre esas restricciones\
+      \ en el plan general estaban las siguientes: (22) Se crea un derecho de franquicia\
+      \ en una franja de terreno de 10 pies de ancho a lo largo de la parte trasera\
+      \ de cada lote para el uso de empresas de servicios p\xFAblicos con derecho\
+      \ de entrada y salida. (23) No se construir\xE1 ninguna casa o estructura de\
+      \ ning\xFAn tipo en la franja de terreno antes mencionada que corre a trav\xE9\
+      s de dichos bloques. En 2000, un jubilado compr\xF3 uno de los lotes, construy\xF3\
+      \ una casa y erigi\xF3 una cerca en la parte trasera de su propiedad dentro\
+      \ del \xE1rea restringida. En 2004, un maestro compr\xF3 un terreno adyacente\
+      \ a la propiedad del jubilado y construy\xF3 una casa nueva. Dos a\xF1os m\xE1\
+      s tarde, un bibliotecario compr\xF3 el lote contiguo a la propiedad del maestro.\
+      \ Las tres escrituras de esas propiedades conten\xEDan cada una referencias\
+      \ al libro de escrituras donde se registr\xF3 el plano general. En 2008, el\
+      \ bibliotecario inici\xF3 la construcci\xF3n de una cerca de postes y barandas\
+      \ de siete pies a lo largo de la l\xEDnea que divide su lote con el del maestro,\
+      \ y a lo largo del centro del \xE1rea sujeta al derecho de franquicia. Aunque\
+      \ el maestro se opuso a su construcci\xF3n, la valla se complet\xF3. Si el maestro\
+      \ solicita una orden judicial obligatoria para obligar a retirar la cerca del\
+      \ bibliotecario, lo m\xE1s probable es que el tribunal"
+  - input_choice_list:
+      A: "La promesa del padre y la confianza del acreedor en ella, si se probaban,\
+        \ daban lugar a un reclamo v\xE1lido del acreedor contra el padre basado en\
+        \ la doctrina del impedimento promisorio."
+      B: "Como era previsible que la promesa del padre inducir\xEDa al acreedor a\
+        \ abstenerse de emprender cualquier acci\xF3n contra el hijo, dicha tolerancia\
+        \ era, como cuesti\xF3n de derecho, una contraprestaci\xF3n negociada por\
+        \ la promesa del padre."
+      C: "Los cinco pagos del padre al acreedor por un total de $2,500 manifestaron\
+        \ una intenci\xF3n seria por parte del padre de quedar obligado contractualmente,\
+        \ y dicha manifestaci\xF3n generalmente se reconoce como un sustituto eficaz\
+        \ de la contraprestaci\xF3n."
+      D: "Al asumir la obligaci\xF3n de deuda antecedente que el hijo deb\xEDa al\
+        \ acreedor, el padre se convert\xEDa en fiador cuya promesa al acreedor era\
+        \ exigible, ya que estaba por escrito y respaldada por una contraprestaci\xF3\
+        n adecuada."
+    input_correct_responses:
+    - A
+    input_question: "Un hijo le deb\xEDa a un acreedor 5.000 d\xF3lares. El padre\
+      \ del hijo se puso en contacto con el acreedor y le dijo que quer\xEDa pagar\
+      \ la deuda del hijo. El padre firm\xF3 un documento que establec\xEDa que pagar\xED\
+      a la deuda del hijo a raz\xF3n de 500 d\xF3lares al mes durante 10 meses. El\
+      \ acreedor no se comprometi\xF3 verbalmente ni por escrito a abstenerse de demandar\
+      \ al hijo para cobrar la deuda de $5,000, y el padre no hizo ninguna solicitud\
+      \ oral ni escrita de dicha indulgencia. Durante los siguientes cinco meses,\
+      \ el padre realiz\xF3 y el acreedor acept\xF3 los pagos mensuales de $500 seg\xFA\
+      n lo acordado. Durante ese per\xEDodo, el acreedor, de hecho, se abstuvo de\
+      \ emprender cualquier acci\xF3n legal contra el hijo. Sin embargo, el padre\
+      \ inform\xF3 entonces al acreedor que no har\xEDa m\xE1s pagos de la deuda.\
+      \ \xBFCu\xE1l de los siguientes es el argumento m\xE1s convincente de que el\
+      \ padre es responsable ante el acreedor seg\xFAn los t\xE9rminos de su acuerdo?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_law
+tag: mmlu_es_llama_humanities_tasks
+task: mmlu_es_llama_professional_law
+task_alias: professional_law

lm_eval/tasks/llama3/instruct/mmlu_es/mmlu_es_professional_medicine.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Labetalol
+      B: Una dosis de carga de cloruro de potasio.
+      C: nifedipina
+      D: Fenoxibenzamina
+    input_correct_responses:
+    - D
+    input_question: "Un hombre de 42 a\xF1os acude al consultorio para una evaluaci\xF3\
+      n preoperatoria antes de someterse a una adrenalectom\xEDa programada para dentro\
+      \ de 2 semanas. Hace un mes, recibi\xF3 atenci\xF3n en urgencias por un dolor\
+      \ en el flanco derecho tras una colisi\xF3n automovil\xEDstica. En ese momento,\
+      \ la presi\xF3n arterial era de 160/100 mm Hg y la tomograf\xEDa computarizada\
+      \ del abdomen mostr\xF3 una masa suprarrenal izquierda incidental de 10 cm.\
+      \ Los resultados de los estudios de laboratorio, incluido el hemograma completo,\
+      \ las concentraciones s\xE9ricas de electrolitos y las pruebas de funci\xF3\
+      n hep\xE1tica, estuvieron dentro de los rangos de referencia. Por lo dem\xE1\
+      s, el paciente estaba sano y nunca le hab\xEDan dicho que ten\xEDa la presi\xF3\
+      n arterial elevada. No toma medicamentos. Una visita de seguimiento en el consultorio\
+      \ hace 2 semanas revel\xF3 concentraciones elevadas de normetanefrina y metanefrina\
+      \ en orina y aldosterona plasm\xE1tica. El paciente fue remitido a un cirujano,\
+      \ quien recomend\xF3 la adrenalectom\xEDa. Hoy en d\xEDa, los signos vitales\
+      \ son temperatura de 36,6 \xB0C (97,9 \xB0F), pulso de 100/min, respiraci\xF3\
+      n de 14/min y presi\xF3n arterial de 170/95 mm Hg. La exploraci\xF3n f\xEDsica\
+      \ no revela hallazgos significativos. \xBFLa preparaci\xF3n preoperatoria inicial\
+      \ debe incluir tratamiento con cu\xE1l de los siguientes?"
+  - input_choice_list:
+      A: "torsi\xF3n sacra de izquierda a izquierda"
+      B: "torsi\xF3n sacra de izquierda a derecha"
+      C: "Flexi\xF3n sacra unilateral derecha"
+      D: "torsi\xF3n sacra de derecha a derecha"
+    input_correct_responses:
+    - D
+    input_question: "Un hombre de 36 a\xF1os acude a la consulta con antecedentes\
+      \ de 3 semanas de dolor lumbar. Niega haber sufrido ning\xFAn trauma reciente,\
+      \ pero dice que sube y baja de su camioneta varias veces al d\xEDa para realizar\
+      \ su trabajo. La exploraci\xF3n del paciente en dec\xFAbito prono revela un\
+      \ surco sacro profundo a la izquierda, un \xE1ngulo lateral posteroinferior\
+      \ a la derecha y una uni\xF3n lumbosacra que salta libremente al comprimirse.\
+      \ El diagn\xF3stico m\xE1s probable es"
+  - input_choice_list:
+      A: dopamina
+      B: Glutamato
+      C: noradrenalina
+      D: serotonina
+    input_correct_responses:
+    - D
+    input_question: "Una mujer de 32 a\xF1os, que antes estaba sana, acude al m\xE9\
+      dico 8 meses despu\xE9s de que su marido muriera en un accidente automovil\xED\
+      stico. Desde entonces, ha tenido menos apetito y dificultad para conciliar el\
+      \ sue\xF1o. Afirma que suele estar triste y llora con frecuencia. Ha estado\
+      \ revisando la cerradura de la puerta cinco veces antes de salir de casa y tiene\
+      \ que contar exactamente cinco trozos de papel higi\xE9nico antes de usarlo.\
+      \ Ella dice que siempre ha sido perfeccionista pero que estos impulsos y rituales\
+      \ son nuevos. \xBFA cu\xE1l de los siguientes neurotransmisores se debe dirigir\
+      \ la farmacoterapia?"
+  - input_choice_list:
+      A: "Rinitis al\xE9rgica"
+      B: Virus de Epstein Barr
+      C: "micoplasma neumon\xEDa"
+      D: Rinovirus
+    input_correct_responses:
+    - D
+    input_question: "Un hombre de 44 a\xF1os acude a consulta por dolor de garganta,\
+      \ tos no productiva, secreci\xF3n nasal y cefalea frontal de 3 d\xEDas de evoluci\xF3\
+      n. Dice que el dolor de cabeza empeora por la ma\xF1ana y que el ibuprofeno\
+      \ proporciona cierto alivio. No ha tenido dificultad para respirar. El historial\
+      \ m\xE9dico no tiene nada de especial. No toma m\xE1s medicamentos que el ibuprofeno\
+      \ para el dolor. Los signos vitales son temperatura de 37,4 \xB0C (99,4 \xB0\
+      F), pulso de 88/min, respiraci\xF3n de 18/min y presi\xF3n arterial de 120/84\
+      \ mm Hg. El examen de las fosas nasales muestra membranas mucosas eritematosas.\
+      \ El examen de la garganta muestra eritema e hiperplasia linfoide folicular\
+      \ en la orofaringe posterior. No hay adenopat\xEDa cervical palpable. Los pulmones\
+      \ est\xE1n limpios a la auscultaci\xF3n. \xBFCu\xE1l de las siguientes es la\
+      \ causa m\xE1s probable de los s\xEDntomas de este paciente?"
+  - input_choice_list:
+      A: escaleno anterior
+      B: dorsal ancho
+      C: pectoral menor
+      D: cuadrado lumbar
+    input_correct_responses:
+    - C
+    input_question: "Un corredor de marat\xF3n de 22 a\xF1os acude a la consulta con\
+      \ dolor en las costillas del lado derecho cuando corre largas distancias. El\
+      \ examen f\xEDsico revela hallazgos card\xEDacos y pulmonares normales y una\
+      \ disfunci\xF3n de la exhalaci\xF3n en las costillas 4-5 de la derecha. \xBF\
+      Cu\xE1l de los siguientes m\xFAsculos o grupos de m\xFAsculos ser\xE1 m\xE1\
+      s \xFAtil para corregir esta disfunci\xF3n utilizando un m\xE9todo directo?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_medicine
+tag: mmlu_es_llama_other_tasks
+task: mmlu_es_llama_professional_medicine
+task_alias: professional_medicine