Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_electrical_engineering.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: S=0, R=0
+      B: S=0, R=1
+      C: S = 1, R = 0
+      D: S = 1, R = 1
+    input_correct_responses:
+    - D
+    input_question: "Em uma trava SR constru\xEDda a partir de portas NOR, cuja condi\xE7\
+      \xE3o n\xE3o \xE9 permitida"
+  - input_choice_list:
+      A: "200\u03A9"
+      B: "100\u03A9"
+      C: "50\u03A9"
+      D: "10\u03A9"
+    input_correct_responses:
+    - C
+    input_question: "Em uma m\xE1quina CC com enrolamento de volta de 2 p\xF3los,\
+      \ a resist\xEAncia de um condutor \xE9 2\u03A9 e o n\xFAmero total de condutores\
+      \ \xE9 100. Encontre a resist\xEAncia total"
+  - input_choice_list:
+      A: 1mA.
+      B: 2 mA.
+      C: 3mA.
+      D: 4mA.
+    input_correct_responses:
+    - B
+    input_question: "A bobina de um medidor de bobina m\xF3vel tem 100 voltas, 40\
+      \ mm de comprimento e 30 mm de largura. O torque de controle \xE9 240*10-6 Nm\
+      \ em escala completa. Se a densidade do fluxo magn\xE9tico for 1Wb/m2, a faixa\
+      \ do medidor \xE9"
+  - input_choice_list:
+      A: 100 N.
+      B: 0,1 N.
+      C: 1N.
+      D: 0,01N.
+    input_correct_responses:
+    - B
+    input_question: "Dois longos condutores paralelos transportam 100 A. Se os condutores\
+      \ estiverem separados por 20 mm, a for\xE7a por metro de comprimento de cada\
+      \ condutor ser\xE1"
+  - input_choice_list:
+      A: 15 N.
+      B: 20 N.
+      C: 7,5 N.
+      D: 3,75 N.
+    input_correct_responses:
+    - A
+    input_question: "Um poste pontual tem uma resist\xEAncia de 4\u03C0 * 10 ^ -4\
+      \ weber. A for\xE7a em newtons em um p\xF3lo pontual de 4\u03C0 * 1,5 * 10 ^\
+      \ -4 weber colocado a uma dist\xE2ncia de 10 cm dele ser\xE1"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_electrical_engineering
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_electrical_engineering
+task_alias: electrical_engineering

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_elementary_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 5 mil
+      B: 5 centenas
+      C: 5 dezenas
+      D: 5 uns
+    input_correct_responses:
+    - A
+    input_question: "A popula\xE7\xE3o da cidade onde Michelle nasceu \xE9 de 145.826\
+      \ habitantes. Qual \xE9 o valor de 5 no n\xFAmero 145.826?"
+  - input_choice_list:
+      A: "O d\xE9cimo n\xFAmero do padr\xE3o ser\xE1 um n\xFAmero par."
+      B: "O padr\xE3o num\xE9rico nunca ter\xE1 dois n\xFAmeros pares pr\xF3ximos\
+        \ um do outro."
+      C: "Os pr\xF3ximos dois n\xFAmeros no padr\xE3o ser\xE3o um n\xFAmero par e\
+        \ depois um n\xFAmero \xEDmpar."
+      D: "Se o padr\xE3o num\xE9rico come\xE7asse com um n\xFAmero \xEDmpar, o padr\xE3\
+        o conteria apenas n\xFAmeros \xEDmpares."
+    input_correct_responses:
+    - B
+    input_question: "Olivia usou a regra "Adicionar 11" para criar o padr\xE3\
+      o num\xE9rico mostrado abaixo. 10, 21, 32, 43, 54 Qual afirma\xE7\xE3o sobre\
+      \ o padr\xE3o num\xE9rico \xE9 verdadeira?"
+  - input_choice_list:
+      A: Adicione 5 a 30 para encontrar 35 equipes.
+      B: Divida 30 por 5 para encontrar 6 equipes.
+      C: Multiplique 30 por 5 para encontrar 150 equipes.
+      D: Subtraia 5 de 30 para encontrar 25 equipes.
+    input_correct_responses:
+    - B
+    input_question: "Um total de 30 jogadores jogar\xE3o basquete em um parque. Haver\xE1\
+      \ exatamente 5 jogadores em cada equipe. Qual afirma\xE7\xE3o explica corretamente\
+      \ como encontrar o n\xFAmero de equipes necess\xE1rias?"
+  - input_choice_list:
+      A: '749'
+      B: '2.675'
+      C: '2.945'
+      D: '4.250'
+    input_correct_responses:
+    - B
+    input_question: "Uma loja vende 107 cores diferentes de tinta. Eles t\xEAm 25\
+      \ latas de cada cor armazenadas. A quantidade de latas de tinta que a loja possui\
+      \ armazenada pode ser encontrada pela express\xE3o abaixo. 107 \xD7 25. Quantas\
+      \ latas de tinta a loja tem armazenadas?"
+  - input_choice_list:
+      A: (5x4)x(6x5)
+      B: (5x5) + (5x4)
+      C: (5x5) + (5x9)
+      D: (5x9)x(6x9)
+    input_correct_responses:
+    - B
+    input_question: "Qual express\xE3o \xE9 equivalente a 5 x 9?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_elementary_mathematics
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_elementary_mathematics
+task_alias: elementary_mathematics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_formal_logic.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ~Pd
+      B: "(\u2200x)(Px \u2228 ~Dx)"
+      C: "(\u2200x)(Px \u2283 ~Dx)"
+      D: ~Dp
+    input_correct_responses:
+    - C
+    input_question: "Selecione a melhor tradu\xE7\xE3o para a l\xF3gica de predicados:\
+      \ Ningu\xE9m dirige em Marte."
+  - input_choice_list:
+      A: Blgh
+      B: Bhlg
+      C: Bglh
+      D: Bghl
+    input_correct_responses:
+    - C
+    input_question: "Selecione a melhor tradu\xE7\xE3o para a l\xF3gica de predicados.\
+      \ George pega emprestado o cortador de grama de Hector. (g: George; h: Hector;\
+      \ l: cortador de grama de Hector; Bxyx: x empresta y de z)"
+  - input_choice_list:
+      A: "Marina \xE9 dan\xE7arina. Alguns fracos n\xE3o s\xE3o dan\xE7arinos. Ou\
+        \ tudo \xE9 fraco ou a Ge\xF3rgia joga v\xF4lei. Ent\xE3o algo joga v\xF4\
+        lei."
+      B: "Marina \xE9 dan\xE7arina. Nenhum fraco \xE9 dan\xE7arino. Tudo ou \xE9 fraco\
+        \ ou joga v\xF4lei. Ent\xE3o algo joga v\xF4lei."
+      C: "Marina \xE9 dan\xE7arina. Alguns fracos n\xE3o s\xE3o dan\xE7arinos. Tudo\
+        \ ou \xE9 fraco ou joga v\xF4lei. Ent\xE3o algo joga v\xF4lei."
+      D: "Marina \xE9 dan\xE7arina. Nenhum fraco \xE9 dan\xE7arino. Ou tudo \xE9 fraco\
+        \ ou a Ge\xF3rgia joga v\xF4lei. Ent\xE3o algo joga v\xF4lei."
+    input_correct_responses:
+    - D
+    input_question: "Selecione a melhor interpreta\xE7\xE3o em ingl\xEAs dos argumentos\
+      \ fornecidos na l\xF3gica de predicados. Dm (\u2200x)(Wx \u2283 ~Dx) (\u2200\
+      x)Wx \u2228 Ag / (\u2203x)Ax"
+  - input_choice_list:
+      A: Logicamente equivalente
+      B: "Contradit\xF3rio"
+      C: "Nem logicamente equivalente nem contradit\xF3rio, mas consistente"
+      D: Inconsistente
+    input_correct_responses:
+    - C
+    input_question: "Construa uma tabela verdade completa para os seguintes pares\
+      \ de proposi\xE7\xF5es. Ent\xE3o, usando as tabelas verdade, determine se as\
+      \ afirma\xE7\xF5es s\xE3o logicamente equivalentes ou contradit\xF3rias. Se\
+      \ n\xE3o, determine se s\xE3o consistentes ou inconsistentes. Justifique suas\
+      \ respostas. E \u2283 (F \xB7 E) e ~E \xB7 F"
+  - input_choice_list:
+      A: "(L \u2022 H) \u2261 I"
+      B: "(L \u2022 H) \u2228 I"
+      C: "L \u2022 (H \u2228 I)"
+      D: "L \u2022 (H \u2283 R)"
+    input_correct_responses:
+    - B
+    input_question: "Qual das f\xF3rmulas fornecidas de PL \xE9 a melhor simboliza\xE7\
+      \xE3o da frase a seguir? As tartarugas vivem vidas longas e s\xE3o criaturas\
+      \ felizes, a menos que sejam feridas."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_formal_logic
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_formal_logic
+task_alias: formal_logic

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_global_facts.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "As pessoas tendem a ser optimistas quanto ao seu pr\xF3prio futuro e ao\
+        \ futuro da sua na\xE7\xE3o ou do mundo."
+      B: "As pessoas tendem a ser optimistas quanto ao seu pr\xF3prio futuro, mas\
+        \ pessimistas quanto ao futuro da sua na\xE7\xE3o ou do mundo."
+      C: "As pessoas tendem a ser pessimistas quanto ao seu pr\xF3prio futuro, mas\
+        \ otimistas quanto ao futuro da sua na\xE7\xE3o ou do mundo."
+      D: "As pessoas tendem a ser pessimistas quanto ao seu pr\xF3prio futuro e ao\
+        \ futuro da sua na\xE7\xE3o ou do mundo."
+    input_correct_responses:
+    - B
+    input_question: "Quais dos seguintes pares de afirma\xE7\xF5es s\xE3o verdadeiros\
+      \ (em 2019)?"
+  - input_choice_list:
+      A: 31%
+      B: 46%
+      C: 61%
+      D: 76%
+    input_correct_responses:
+    - B
+    input_question: "Em 2019, que percentagem de americanos concorda que o estado\
+      \ \xE9 administrado para o benef\xEDcio de todo o povo?"
+  - input_choice_list:
+      A: aumentou, aumentou
+      B: Aumento diminuido
+      C: diminuiu, aumentou
+      D: diminuiu, diminuiu
+    input_correct_responses:
+    - B
+    input_question: "Em 2015, desde 1990, as florestas tinham ____ na Europa e ____\
+      \ na \xC1frica e nas Am\xE9ricas."
+  - input_choice_list:
+      A: 38%
+      B: 53%
+      C: 68%
+      D: 83%
+    input_correct_responses:
+    - A
+    input_question: "Em 2019, que percentagem de russos afirma que \xE9 muito importante\
+      \ ter meios de comunica\xE7\xE3o livres no nosso pa\xEDs, sem censura governamental/estatal?"
+  - input_choice_list:
+      A: 80%
+      B: 60%
+      C: 40%
+      D: 20%
+    input_correct_responses:
+    - A
+    input_question: "Em 2017, quantas crian\xE7as de 1 ano de idade no mundo foram\
+      \ vacinadas contra alguma doen\xE7a? *"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_global_facts
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_global_facts
+task_alias: global_facts

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_biology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Tradu\xE7\xE3o"
+      B: "Conjuga\xE7\xE3o"
+      C: "Transdu\xE7\xE3o especializada"
+      D: "Transforma\xE7\xE3o"
+    input_correct_responses:
+    - A
+    input_question: "Qual das alternativas a seguir n\xE3o \xE9 uma forma de formar\
+      \ DNA recombinante?"
+  - input_choice_list:
+      A: Ao alterar o pH ideal da enzima
+      B: "Ao alterar a localiza\xE7\xE3o da enzima na c\xE9lula"
+      C: "Mudando a forma da prote\xEDna"
+      D: "Uma mudan\xE7a de amino\xE1cido longe do s\xEDtio ativo n\xE3o pode alterar\
+        \ a especificidade do substrato da enzima."
+    input_correct_responses:
+    - C
+    input_question: "Uma muta\xE7\xE3o em uma enzima bacteriana transformou um amino\xE1\
+      cido anteriormente polar em um amino\xE1cido apolar. Este amino\xE1cido estava\
+      \ localizado em um local distante do s\xEDtio ativo da enzima. Como essa muta\xE7\
+      \xE3o poderia alterar a especificidade do substrato da enzima?"
+  - input_choice_list:
+      A: "Membrana plasm\xE1tica \u2013 aparelho de Golgi \u2013 ribossomo \u2013\
+        \ ves\xEDcula secretora \u2013 RE rugoso"
+      B: "Ribossomo \u2013 aparelho de Golgi \u2013 RE rugoso \u2013 ves\xEDcula secretora\
+        \ \u2013 membrana plasm\xE1tica"
+      C: "Membrana plasm\xE1tica \u2013 aparelho de Golgi \u2013 ribossomo \u2013\
+        \ ves\xEDcula secretora \u2013 RE rugoso"
+      D: "Ribossomo \u2013 RE rugoso \u2013 aparelho de Golgi \u2013 ves\xEDcula secretora\
+        \ \u2013 membrana plasm\xE1tica"
+    input_correct_responses:
+    - D
+    input_question: "Nas c\xE9lulas animais, qual das alternativas a seguir representa\
+      \ o caminho mais prov\xE1vel que uma prote\xEDna secretora percorre ao ser sintetizada\
+      \ em uma c\xE9lula?"
+  - input_choice_list:
+      A: Ciclinas
+      B: "Prote\xEDnas quinases"
+      C: "Pontos de verifica\xE7\xE3o"
+      D: "C\xE9lulas fibrobl\xE1sticas"
+    input_correct_responses:
+    - D
+    input_question: "Qual das alternativas a seguir n\xE3o est\xE1 envolvida no controle\
+      \ da divis\xE3o celular?"
+  - input_choice_list:
+      A: "as asas de um p\xE1ssaro e as asas de um morcego"
+      B: "as nadadeiras de uma baleia e os bra\xE7os de um homem"
+      C: as barbatanas peitorais de uma toninha e as nadadeiras de uma foca
+      D: as patas dianteiras de um inseto e as patas dianteiras de um cachorro
+    input_correct_responses:
+    - D
+    input_question: "Estruturas hom\xF3logas s\xE3o frequentemente citadas como evid\xEA\
+      ncia do processo de sele\xE7\xE3o natural. Todas as alternativas a seguir s\xE3\
+      o exemplos de estruturas hom\xF3logas, EXCETO"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_biology
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_high_school_biology
+task_alias: high_school_biology

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_chemistry.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: HCl
+      B: H2SO3
+      C: SO2
+      D: Al(NO3)3
+    input_correct_responses:
+    - C
+    input_question: "Qual dos seguintes \xE9 considerado um anidrido \xE1cido?"
+  - input_choice_list:
+      A: PCl4F
+      B: BF3
+      C: CO2
+      D: Si(CH3)4
+    input_correct_responses:
+    - A
+    input_question: "Qual das alternativas a seguir \xE9 considerada uma mol\xE9cula\
+      \ polar?"
+  - input_choice_list:
+      A: "Todos os cloretos, brometos e iodetos s\xE3o sol\xFAveis"
+      B: "Todos os sulfatos s\xE3o sol\xFAveis"
+      C: "Todos os hidr\xF3xidos s\xE3o sol\xFAveis"
+      D: "Todos os compostos contendo am\xF4nio s\xE3o sol\xFAveis"
+    input_correct_responses:
+    - D
+    input_question: "A partir das regras de solubilidade, qual das afirma\xE7\xF5\
+      es a seguir \xE9 verdadeira?"
+  - input_choice_list:
+      A: 3,89
+      B: 7,78
+      C: 5,78
+      D: '2.33'
+    input_correct_responses:
+    - C
+    input_question: "Um novo composto \xE9 sintetizado e descobriu-se que \xE9 um\
+      \ \xE1cido monopr\xF3tico com massa molar de 248 g/mol. Quando 0,0050 mol deste\
+      \ \xE1cido s\xE3o dissolvidos em 0,500 L de \xE1gua, o pH \xE9 medido como 3,89.\
+      \ Qual \xE9 o pKa desse \xE1cido?"
+  - input_choice_list:
+      A: 0,500 mole
+      B: 1,00 mole
+      C: 2,00 moles
+      D: 3,00 moles
+    input_correct_responses:
+    - C
+    input_question: "Uma solu\xE7\xE3o cont\xE9m 2,00 mol de \xE1cido ac\xE9tico,\
+      \ CH3COOH, e 1,00 mol de acetato de c\xE1lcio, Ca(CH3COO)2. A solu\xE7\xE3o\
+      \ \xE9 capaz de resistir \xE0 adi\xE7\xE3o de uma pequena quantidade de \xE1\
+      cido forte ou base forte, com apenas pequenas altera\xE7\xF5es no pH da solu\xE7\
+      \xE3o. Grandes quantidades de \xE1cido forte ou base forte podem causar uma\
+      \ mudan\xE7a significativa no pH. Quantos moles de \xE1cido n\xEDtrico, HNO3,\
+      \ podem ser adicionados antes que o pH comece a mudar significativamente?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_chemistry
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_high_school_chemistry
+task_alias: high_school_chemistry

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_computer_science.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Um carro alerta um motorista que est\xE1 prestes a bater em um objeto."
+      B: "Uma caminhante usa um rel\xF3gio GPS para monitorar sua posi\xE7\xE3o."
+      C: "Uma geladeira pede leite de um servi\xE7o de entrega on-line quando o leite\
+        \ na geladeira est\xE1 quase acabando."
+      D: "Um corredor usa um rel\xF3gio com sensores \xF3pticos para monitorar sua\
+        \ frequ\xEAncia card\xEDaca."
+    input_correct_responses:
+    - C
+    input_question: "Qual das alternativas a seguir \xE9 um exemplo do uso de um dispositivo\
+      \ na Internet das Coisas (IoT)?"
+  - input_choice_list:
+      A: "As atividades de um usu\xE1rio navegando em uma janela an\xF4nima n\xE3\
+        o ser\xE3o vis\xEDveis para as pessoas que monitoram a rede do usu\xE1rio,\
+        \ como o administrador do sistema."
+      B: "Os itens colocados no carrinho de compras de uma loja virtual para compras\
+        \ futuras durante a sess\xE3o de navega\xE7\xE3o an\xF4nima n\xE3o ser\xE3\
+        o salvos no computador do usu\xE1rio."
+      C: "Um usu\xE1rio n\xE3o poder\xE1 fazer login em contas de e-mail ou de m\xED\
+        dia social durante a sess\xE3o de navega\xE7\xE3o an\xF4nima."
+      D: "Um usu\xE1rio que navega em uma janela an\xF4nima estar\xE1 protegido contra\
+        \ v\xEDrus lan\xE7ados em quaisquer sites visitados ou arquivos baixados."
+    input_correct_responses:
+    - B
+    input_question: "Muitos navegadores da Web permitem que os usu\xE1rios abram janelas\
+      \ an\xF4nimas. Durante uma sess\xE3o de navega\xE7\xE3o em uma janela an\xF4\
+      nima, o navegador n\xE3o registra um hist\xF3rico de navega\xE7\xE3o ou uma\
+      \ lista de arquivos baixados. Ao sair da janela an\xF4nima, os cookies criados\
+      \ durante a sess\xE3o s\xE3o exclu\xEDdos. Qual das seguintes afirma\xE7\xF5\
+      es sobre sess\xF5es de navega\xE7\xE3o em uma janela an\xF4nima \xE9 verdadeira?"
+  - input_choice_list:
+      A: Erro
+      B: abc
+      C: cba
+      D: c
+    input_correct_responses:
+    - C
+    input_question: "Qual \xE9 a sa\xEDda de "abc"[::-1] em Python 3?"
+  - input_choice_list:
+      A: Foxtrot
+      B: Hotel
+      C: novembro
+      D: ianque
+    input_correct_responses:
+    - C
+    input_question: "No programa abaixo, o valor inicial de x \xE9 5 e o valor inicial\
+      \ de y \xE9 10. IF (X < O) { DISPLAY ("Foxtrot") } ELSE { IF (X\
+      \ > y) { DISPLAY ("Hotel") } ELSE { IF (y > O) { DISPLAY ("November")\
+      \ } ELSE { DISPLAY ("Yankee") } } } O que \xE9 exibido como resultado\
+      \ da execu\xE7\xE3o do programa?"
+  - input_choice_list:
+      A: "Etapa 3: Aumente o valor da posi\xE7\xE3o em 1. Etapa 4: Repita as etapas\
+        \ 2 e 3 at\xE9 que o valor da contagem seja maior que 100."
+      B: "Passo 3: Aumente o valor da posi\xE7\xE3o em 1. Passo 4: Repita os passos\
+        \ 2 e 3 at\xE9 que o valor da posi\xE7\xE3o seja maior que n."
+      C: "Etapa 3: Repita a etapa 2 at\xE9 que o valor da contagem seja maior que\
+        \ 100. Etapa 4: Aumente o valor da posi\xE7\xE3o em 1."
+      D: "Etapa 3: Repita a etapa 2 at\xE9 que o valor da posi\xE7\xE3o seja maior\
+        \ que n. Etapa 4: aumente o valor da contagem em 1."
+    input_correct_responses:
+    - D
+    input_question: "Uma lista de n\xFAmeros possui n elementos, indexados de 1 a\
+      \ n. O algoritmo a seguir tem como objetivo exibir o n\xFAmero de elementos\
+      \ na lista que possuem um valor maior que 100. O algoritmo usa as vari\xE1veis\
+      \ contagem e posi\xE7\xE3o. As etapas 3 e 4 est\xE3o faltando. Etapa 1: Defina\
+      \ a contagem como 0 e a posi\xE7\xE3o como 1. Etapa 2: Se o valor do elemento\
+      \ na posi\xE7\xE3o do \xEDndice for maior que 100, aumente o valor da contagem\
+      \ em 1. Etapa 3: (etapa ausente) Etapa 4: (etapa ausente ) Etapa 5: Exiba o\
+      \ valor da contagem. Qual das alternativas a seguir poderia ser usada para substituir\
+      \ as etapas 3 e 4 para que o algoritmo funcione conforme planejado?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_computer_science
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_high_school_computer_science
+task_alias: high_school_computer_science

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_european_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Jean-Jacques Rousseau
+      B: "Bar\xE3o Montesquieu"
+      C: Mary Wollstonecraft
+      D: Adam Smith
+    input_correct_responses:
+    - B
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ O trecho a seguir \xE9 de um panfleto. Voc\xEA me far\xE1 a justi\xE7a de\
+      \ lembrar que sempre apoiei vigorosamente o direito de cada homem \xE0 sua pr\xF3\
+      pria opini\xE3o, por mais diferente que essa opini\xE3o possa ser da minha.\
+      \ Aquele que nega a outro este direito torna-se escravo de sua opini\xE3o atual,\
+      \ porque se exclui do direito de mud\xE1-la. A arma mais formid\xE1vel contra\
+      \ erros de todo tipo \xE9 a Raz\xE3o. Nunca usei nenhum outro e confio que nunca\
+      \ usarei. A circunst\xE2ncia que agora ocorreu na Fran\xE7a da aboli\xE7\xE3\
+      o total de toda a ordem nacional do sacerd\xF3cio, e de tudo o que diz respeito\
+      \ aos sistemas religiosos compulsivos e aos artigos de f\xE9 compulsivos, n\xE3\
+      o apenas precipitou a minha inten\xE7\xE3o, mas tornou uma obra desta tipo extremamente\
+      \ necess\xE1rio, para que, na destrui\xE7\xE3o geral da supersti\xE7\xE3o, dos\
+      \ falsos sistemas de governo e da falsa teologia, n\xE3o percamos de vista a\
+      \ moralidade, a humanidade e a teologia que \xE9 verdadeira. Acredito em um\
+      \ Deus e nada mais; e espero felicidade al\xE9m desta vida. Acredito na igualdade\
+      \ do homem; e acredito que os deveres religiosos consistem em fazer justi\xE7\
+      a, amar a miseric\xF3rdia e esfor\xE7ar-se para tornar felizes os nossos semelhantes.\
+      \ N\xE3o acredito no credo professado pela igreja judaica, pela igreja romana,\
+      \ pela igreja grega, pela igreja turca, pela igreja protestante, nem por qualquer\
+      \ igreja que eu conhe\xE7a. Minha pr\xF3pria mente \xE9 minha pr\xF3pria igreja.\
+      \ Todas as institui\xE7\xF5es nacionais de igrejas, sejam elas judaicas, crist\xE3\
+      s ou turcas, parecem-me nada mais do que inven\xE7\xF5es humanas, criadas para\
+      \ aterrorizar e escravizar a humanidade e monopolizar o poder e o lucro. N\xE3\
+      o pretendo com esta declara\xE7\xE3o condenar aqueles que acreditam no contr\xE1\
+      rio; eles t\xEAm o mesmo direito \xE0s suas cren\xE7as que eu tenho \xE0s minhas.\
+      \ \u2014Thomas Paine, The Age of Reason, 1794\u20131795 Qual dos seguintes fil\xF3\
+      sofos do Iluminismo projetou um sistema de freios e contrapesos para o governo,\
+      \ a fim de evitar abusos de poder?"
+  - input_choice_list:
+      A: "As ideias de liberdade pessoal e nacionalismo concebidas durante o Iluminismo\
+        \ resultaram em revolu\xE7\xF5es radicais que poderiam espalhar-se por toda\
+        \ a Europa."
+      B: "A conquista da Europa por Napole\xE3o levou \xE0 cria\xE7\xE3o de novas\
+        \ fac\xE7\xF5es e alterou o equil\xEDbrio de poder europeu."
+      C: "O poder dos monarcas cresceu a tal ponto que precisava ser controlado por\
+        \ outros poderes dentro de cada na\xE7\xE3o ou ocorreria o dom\xEDnio dos\
+        \ civis."
+      D: "O ciclo econ\xF3mico ascendente e descendente da economia capitalista emergente\
+        \ poder\xE1 levar a agita\xE7\xE3o civil que deve ser suprimida."
+    input_correct_responses:
+    - A
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ Leia o trecho a seguir. A semente revolucion\xE1ria penetrou em todos os pa\xED\
+      ses e espalhou-se mais ou menos. Desenvolveu-se grandemente sob o regime do\
+      \ despotismo militar de Bonaparte. Suas conquistas substitu\xEDram uma s\xE9\
+      rie de leis, institui\xE7\xF5es e costumes; rompeu os la\xE7os sagrados entre\
+      \ todas as na\xE7\xF5es, fortes o suficiente para resistir ao pr\xF3prio tempo;\
+      \ o que \xE9 mais do que se pode dizer de certos benef\xEDcios conferidos por\
+      \ estes inovadores. Os monarcas cumprir\xE3o os deveres que lhes s\xE3o impostos\
+      \ por Aquele que, ao confiar-lhes o poder, os encarregou de zelar pela manuten\xE7\
+      \xE3o da justi\xE7a e dos direitos de todos, de evitar os caminhos do erro e\
+      \ de trilhar com firmeza o caminho da verdade. Colocados para al\xE9m das paix\xF5\
+      es que agitam a sociedade, \xE9 principalmente nos dias de prova\xE7\xE3o que\
+      \ eles s\xE3o chamados a despojar-se da realidade das suas falsas apar\xEAncias\
+      \ e a mostrar-se como s\xE3o, pais investidos da autoridade que pertence por\
+      \ direito aos chefes de fam\xEDlia, para provar que, nos dias de luto, sabem\
+      \ ser justos, s\xE1bios e, portanto, fortes, e que n\xE3o abandonar\xE3o o povo\
+      \ que deveriam governar, tornando-o objecto de fac\xE7\xF5es, ao erro e \xE0\
+      s suas consequ\xEAncias, que devem envolver a perda da sociedade. A uni\xE3\
+      o entre os monarcas \xE9 a base da pol\xEDtica que deve agora ser seguida para\
+      \ salvar a sociedade da ru\xEDna total. . . . Que n\xE3o confundam as concess\xF5\
+      es feitas aos partidos com o bem que devem fazer ao seu povo, modificando, de\
+      \ acordo com as suas necessidades reconhecidas, os ramos da administra\xE7\xE3\
+      o que o exigem. Que sejam justos, mas fortes; ben\xE9fico, mas rigoroso. Que\
+      \ mantenham os princ\xEDpios religiosos em toda a sua pureza, e n\xE3o permitam\
+      \ que a f\xE9 seja atacada e a moralidade interpretada de acordo com o contrato\
+      \ social ou com as vis\xF5es de sect\xE1rios tolos. Deixe-os suprimir as Sociedades\
+      \ Secretas; aquela gangrena da sociedade. \u2014Klemens von Metternich, Confiss\xE3\
+      o Pol\xEDtica de F\xE9, 1820 Qual das alternativas a seguir foi a maior causa\
+      \ dos temores expressos por Metternich no documento acima?"
+  - input_choice_list:
+      A: Capitalista
+      B: "Cient\xEDfico"
+      C: Comunista
+      D: Existencialista
+    input_correct_responses:
+    - C
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ Na R\xFAssia n\xE3o havia nada de bom e [Souvarine] estava desesperado com\
+      \ as not\xEDcias que recebera. Seus antigos companheiros estavam todos se voltando\
+      \ para os pol\xEDticos; os famosos niilistas que fizeram a Europa tremer - filhos\
+      \ de padres de aldeia, da classe m\xE9dia baixa, de comerciantes - n\xE3o conseguiam\
+      \ superar a ideia de liberta\xE7\xE3o nacional e pareciam acreditar que o mundo\
+      \ seria libertado - quando matassem o seu d\xE9spota &... "Tolice!\
+      \ Eles nunca sair\xE3o dessa com suas tolices." Depois, baixando ainda\
+      \ mais a voz, em poucas palavras amargas descreveu o seu antigo sonho de fraternidade.\
+      \ Ele renunciou \xE0 sua posi\xE7\xE3o e \xE0 sua fortuna; ele havia caminhado\
+      \ entre os trabalhadores, apenas na esperan\xE7a de ver finalmente a funda\xE7\
+      \xE3o de uma nova sociedade de trabalho comum. Todos os soldos em seus bolsos\
+      \ haviam ido h\xE1 muito tempo para os moleques do assentamento; ele tinha sido\
+      \ t\xE3o terno quanto um irm\xE3o com os mineiros, sorrindo diante de suas suspeitas,\
+      \ conquistando-os por seu jeito tranquilo e trabalhador e por sua avers\xE3\
+      o a tagarelar. Mas decididamente a fus\xE3o n\xE3o ocorreu. Sua voz mudou, seus\
+      \ olhos brilharam, ele os fixou em \xC9tienne, dirigindo-se a ele diretamente:\
+      \ "Agora, voc\xEA entende isso? Esses chapeleiros de Marselha que ganharam\
+      \ o grande pr\xEAmio de cem mil francos na loteria foram imediatamente e investiram\
+      \ declarando que v\xE3o viver sem fazer nada! Sim, a id\xE9ia \xE9 sua, todos\
+      \ voc\xEAs, trabalhadores franceses; voc\xEAs querem desenterrar um tesouro\
+      \ para depois devor\xE1-lo sozinhos em algum canto pregui\xE7oso e ego\xEDsta.\
+      \ Voc\xEAs podem gritar por mais que voc\xEA queira contra os ricos, voc\xEA\
+      \ n\xE3o tem coragem suficiente para devolver aos pobres o dinheiro que a sorte\
+      \ lhe traz. Voc\xEA nunca ser\xE1 digno de felicidade enquanto possuir alguma\
+      \ coisa, e seu \xF3dio pela burguesia continuar unicamente por um desejo irado\
+      \ de serem burgueses no lugar deles." \xE9mile Zola, escritor franc\xEA\
+      s, Germinal, 1885 A passagem mostra a preocupa\xE7\xE3o direta com o bem-estar\
+      \ das classes trabalhadoras que normalmente fazia parte de qual movimento?"
+  - input_choice_list:
+      A: "Serviram como catalisadores para o crescimento da navega\xE7\xE3o inglesa\
+        \ e do com\xE9rcio exterior, mas pouco fizeram para limitar as perspectivas\
+        \ dos holandeses no s\xE9culo XVII."
+      B: "Eles trouxeram dificuldades quase imediatas para a economia holandesa, \xE0\
+        \ medida que o seu dom\xEDnio do com\xE9rcio exterior terminou rapidamente."
+      C: "Eles foram rescindidos durante a restaura\xE7\xE3o dos Stuarts, pois buscavam\
+        \ rela\xE7\xF5es diplom\xE1ticas normais com os holandeses, para n\xE3o precisarem\
+        \ do apoio financeiro do Parlamento para a guerra."
+      D: "Eles levaram a quase um s\xE9culo de guerras recorrentes entre a Inglaterra\
+        \ e a Holanda, que s\xF3 terminariam depois da independ\xEAncia americana."
+    input_correct_responses:
+    - A
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ Os trechos abaixo s\xE3o das Leis de Navega\xE7\xE3o de 1651. [A]p\xF3s o\
+      \ primeiro dia de dezembro de mil seiscentos e cinquenta e um, e da\xED em diante,\
+      \ nenhum bem ou mercadoria de qualquer tipo do crescimento, produ\xE7\xE3o ou\
+      \ manufatura da \xC1sia, \xC1frica ou Am\xE9rica, ou de qualquer parte dela;\
+      \ ou de quaisquer ilhas que lhes perten\xE7am, ou que estejam descritas ou estabelecidas\
+      \ nos mapas ou cartas habituais desses lugares, bem como das planta\xE7\xF5\
+      es inglesas como outras, ser\xE3o importadas ou trazidas para esta Comunidade\
+      \ da Inglaterra, ou para a Irlanda, ou quaisquer outras terras, ilhas, planta\xE7\
+      \xF5es ou territ\xF3rios desta Comunidade pertencentes, ou em sua posse, em\
+      \ qualquer outro navio ou navios, embarca\xE7\xE3o ou embarca\xE7\xF5es de qualquer\
+      \ natureza, mas apenas na medida em que verdadeiramente e sem fraude perten\xE7\
+      am apenas ao povo desta Comunidade , ou suas planta\xE7\xF5es, como seus propriet\xE1\
+      rios ou titulares de direitos; e dos quais o capit\xE3o e os marinheiros tamb\xE9\
+      m s\xE3o do povo desta Comunidade, sob pena de confisco e perda de todos os\
+      \ bens que ser\xE3o importados contrariamente a este ato,, [N] nenhum bem ou\
+      \ mercadoria do crescimento, produ\xE7\xE3o ou fabrica\xE7\xE3o da Europa, ou\
+      \ de qualquer parte dela, ser\xE1 importada ou trazida para esta Comunidade\
+      \ da Inglaterra, ou para quaisquer outras terras ou territ\xF3rios pertencentes\
+      \ a esta Comunidade, ap\xF3s o primeiro dia de dezembro de mil seiscentos e\
+      \ cinquenta e um, ou em sua posse, em qualquer navio ou navios, embarca\xE7\xE3\
+      o ou embarca\xE7\xF5es de qualquer natureza, mas em tais que verdadeiramente\
+      \ e sem fraude perten\xE7am apenas ao povo desta Comunidade, e em nenhum outro,\
+      \ exceto apenas os navios e embarca\xE7\xF5es estrangeiros que verdadeiramente\
+      \ e pertencem propriamente ao povo daquele pa\xEDs ou local, do qual os referidos\
+      \ bens s\xE3o o crescimento, a produ\xE7\xE3o ou a manufatura. Qual das alternativas\
+      \ a seguir descreve melhor o resultado das Leis de Navega\xE7\xE3o de 1651?"
+  - input_choice_list:
+      A: "dar ao rei ingl\xEAs uma nova posi\xE7\xE3o de autoridade"
+      B: "dar a posi\xE7\xE3o de chefe da Igreja da Inglaterra apenas a Henrique VIII\
+        \ e excluir seus herdeiros"
+      C: "estabelecer o calvinismo como a \xFAnica teologia verdadeira na Inglaterra"
+      D: "acabar com v\xE1rias formas de corrup\xE7\xE3o que assolam a Igreja na Inglaterra"
+    input_correct_responses:
+    - D
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ Embora a Majestade do rei seja e deva ser, com justi\xE7a e direito, o chefe\
+      \ supremo da Igreja da Inglaterra, e assim seja reconhecido pelo clero deste\
+      \ reino em suas convoca\xE7\xF5es, ainda assim, para corrobora\xE7\xE3o e confirma\xE7\
+      \xE3o disso, e para aumento da virtude em religi\xE3o de Cristo dentro deste\
+      \ reino da Inglaterra, e para reprimir e extirpar todos os erros, heresias e\
+      \ outras enormidades e abusos at\xE9 ent\xE3o usados no mesmo, seja decretado,\
+      \ pela autoridade deste atual Parlamento, que o rei, nosso senhor soberano,\
+      \ seus herdeiros e os sucessores, reis deste reino, ser\xE3o tomados, aceitos\
+      \ e reputados como o \xFAnico chefe supremo na terra da Igreja da Inglaterra,\
+      \ chamado Anglicanos Ecclesia; e ter\xE1 e desfrutar\xE1, anexado e unido \xE0\
+      \ coroa imperial deste reino, bem como ao t\xEDtulo e estilo do mesmo, como\
+      \ todas as honras, dignidades, preemin\xEAncias, jurisdi\xE7\xF5es, privil\xE9\
+      gios, autoridades, imunidades, lucros e mercadorias \xE0 referida dignidade\
+      \ de o chefe supremo da mesma Igreja pertencente e pertencente; e que nosso\
+      \ dito senhor soberano, seus herdeiros e sucessores, reis deste reino, ter\xE3\
+      o pleno poder e autoridade de tempos em tempos para visitar, reprimir, reparar,\
+      \ registrar, ordenar, corrigir, restringir e emendar todos esses erros, heresias,\
+      \ abusos, ofensas, desprezos e enormidades, quaisquer que sejam, que por qualquer\
+      \ forma de autoridade ou jurisdi\xE7\xE3o espiritual devem ou podem ser legalmente\
+      \ reformados, reprimidos, ordenados, reparados, corrigidos, restringidos ou\
+      \ emendados, da maneira mais agrad\xE1vel ao Deus Todo-Poderoso, o aumento da\
+      \ virtude na religi\xE3o de Cristo e para a conserva\xE7\xE3o da paz, unidade\
+      \ e tranquilidade deste reino; qualquer uso, terra estrangeira, autoridade estrangeira,\
+      \ prescri\xE7\xE3o ou qualquer outra coisa ou coisas em contr\xE1rio deste documento.\
+      \ Parlamento Ingl\xEAs, Ato de Supremacia, 1534 Da passagem, pode-se inferir\
+      \ que o Parlamento Ingl\xEAs desejava argumentar que o Ato de Supremacia"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_european_history
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_high_school_european_history
+task_alias: high_school_european_history

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_geography.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: taxa bruta de mortalidade a partir da data bruta de nascimento.
+      B: taxa bruta de natalidade da taxa bruta de mortalidade.
+      C: duplicando o tempo da taxa bruta de natalidade.
+      D: taxa de fertilidade da taxa bruta de mortalidade.
+    input_correct_responses:
+    - A
+    input_question: "A taxa de aumento natural de uma popula\xE7\xE3o \xE9 encontrada\
+      \ subtraindo o"
+  - input_choice_list:
+      A: "As taxas de natalidade aumentam e a taxa de crescimento populacional \xE9\
+        \ menos r\xE1pida."
+      B: "As taxas de natalidade diminuem e a taxa de crescimento populacional \xE9\
+        \ menos r\xE1pida."
+      C: As taxas de natalidade aumentam e a taxa de crescimento populacional aumenta.
+      D: As taxas de natalidade diminuem e a taxa de crescimento populacional aumenta.
+    input_correct_responses:
+    - B
+    input_question: "Durante a terceira fase do modelo de transi\xE7\xE3o demogr\xE1\
+      fica, qual das seguintes afirma\xE7\xF5es \xE9 verdadeira?"
+  - input_choice_list:
+      A: "A duplica\xE7\xE3o de esfor\xE7os ocorre frequentemente."
+      B: "Os problemas sociais da cidade central espalham-se pelos sub\xFArbios residenciais\
+        \ circundantes."
+      C: "A inefici\xEAncia na presta\xE7\xE3o de servi\xE7os ocorre frequentemente."
+      D: "Os esfor\xE7os de um bairro para reduzir a polui\xE7\xE3o s\xE3o sempre\
+        \ apoiados pelas comunidades vizinhas."
+    input_correct_responses:
+    - D
+    input_question: "Qual das seguintes afirma\xE7\xF5es N\xC3O \xE9 precisa em rela\xE7\
+      \xE3o aos servi\xE7os prestados pelos governos locais nos Estados Unidos?"
+  - input_choice_list:
+      A: "terceiriza\xE7\xE3o."
+      B: "terceiriza\xE7\xE3o."
+      C: maquiladoras.
+      D: "interdepend\xEAncia locacional."
+    input_correct_responses:
+    - B
+    input_question: "A pr\xE1tica de contratar um terceiro prestador de servi\xE7\
+      os estrangeiro para executar uma opera\xE7\xE3o \xE9 chamada"
+  - input_choice_list:
+      A: Sabonete pomba
+      B: Barra de chocolate pomba
+      C: "S\xEDmbolo de pomba"
+      D: "Uma pomba (p\xE1ssaro)"
+    input_correct_responses:
+    - C
+    input_question: "Qual dos itens a seguir \xE9 um exemplo de cultura imaterial?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_geography
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_high_school_geography
+task_alias: high_school_geography

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_government_and_politics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "a defini\xE7\xE3o constitucional desses poderes \xE9 ampla e inespec\xED\
+        fica"
+      B: "a maioria das pessoas concorda que a Constitui\xE7\xE3o imp\xF5e demasiados\
+        \ limites ao poder presidencial"
+      C: o Supremo Tribunal recusa-se consistentemente a decidir sobre casos relativos
+        aos poderes presidenciais
+      D: emendas constitucionais aumentaram muito os poderes presidenciais
+    input_correct_responses:
+    - A
+    input_question: "A incerteza sobre os limites do poder presidencial \xE9 causada\
+      \ principalmente pelo facto de"
+  - input_choice_list:
+      A: "aumento anual nos gastos federais com as for\xE7as armadas"
+      B: "montante dos juros sobre a d\xEDvida nacional"
+      C: "diferen\xE7a entre as propostas or\xE7ament\xE1rias iniciais feitas pelo\
+        \ presidente e pelo Congresso"
+      D: "valor que o governo gasta al\xE9m de suas receitas"
+    input_correct_responses:
+    - D
+    input_question: "O termo \u201Cd\xE9fice or\xE7amental\u201D refere-se ao"
+  - input_choice_list:
+      A: Semanas x Estados Unidos
+      B: Betts x Brady
+      C: Mapp v.
+      D: Miranda v. Arizona
+    input_correct_responses:
+    - D
+    input_question: "Qual dos seguintes casos estabeleceu o precedente de que o r\xE9\
+      u deve ser informado do direito de permanecer calado, do direito a um advogado\
+      \ e da prote\xE7\xE3o contra a autoincrimina\xE7\xE3o?"
+  - input_choice_list:
+      A: "Eles s\xE3o estabelecidos pelo Poder Legislativo."
+      B: "Os seus membros muitas vezes n\xE3o t\xEAm muita influ\xEAncia sobre as\
+        \ decis\xF5es presidenciais."
+      C: "N\xE3o podem ser todos dirigidos por l\xEDderes que perten\xE7am ao mesmo\
+        \ partido pol\xEDtico do presidente."
+      D: "Nem toda ag\xEAncia federal \xE9 um departamento de gabinete."
+    input_correct_responses:
+    - C
+    input_question: "Qual das seguintes afirma\xE7\xF5es sobre departamentos de gabinete\
+      \ \xE9 FALSA?"
+  - input_choice_list:
+      A: "Pol\xEDticos honestos podem impedir o desenvolvimento de fac\xE7\xF5es."
+      B: "\xC9 mais prov\xE1vel que ocorram fac\xE7\xF5es nas grandes rep\xFAblicas\
+        \ do que nas pequenas."
+      C: Os efeitos negativos do faccionalismo podem ser reduzidos por um governo
+        republicano.
+      D: "As elei\xE7\xF5es livres s\xE3o a melhor defesa do povo contra o partidarismo."
+    input_correct_responses:
+    - C
+    input_question: "Qual das alternativas a seguir melhor expressa um argumento apresentado\
+      \ por James Madison em The Federalist n\xFAmero 10?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_government_and_politics
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_high_school_government_and_politics
+task_alias: high_school_government_and_politics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_macroeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Os militares dos EUA abrem uma nova base em um pa\xEDs estrangeiro com 1.000\
+        \ funcion\xE1rios dos EUA."
+      B: Os consumidores japoneses compram milhares de CDs produzidos nos Estados
+        Unidos.
+      C: Uma cantora pop americana realiza um show com ingressos esgotados em Paris.
+      D: "Uma produ\xE7\xE3o teatral francesa percorre dezenas de cidades americanas."
+    input_correct_responses:
+    - C
+    input_question: "Qual dos itens a seguir n\xE3o est\xE1 inclu\xEDdo no PIB dos\
+      \ EUA?"
+  - input_choice_list:
+      A: "rela\xE7\xE3o direta entre desemprego e infla\xE7\xE3o"
+      B: "rela\xE7\xE3o direta entre pre\xE7o e quantidade demandada"
+      C: "rela\xE7\xE3o inversa entre pre\xE7o e quantidade demandada"
+      D: "rela\xE7\xE3o inversa entre desemprego e infla\xE7\xE3o"
+    input_correct_responses:
+    - D
+    input_question: A curva de Phillips de curto prazo indica uma
+  - input_choice_list:
+      A: "as exporta\xE7\xF5es excedem as importa\xE7\xF5es."
+      B: "as importa\xE7\xF5es excedem as exporta\xE7\xF5es."
+      C: "a arrecada\xE7\xE3o de impostos federais excede os gastos."
+      D: os gastos federais excedem as receitas fiscais federais.
+    input_correct_responses:
+    - D
+    input_question: "Um d\xE9ficit federal ocorre quando"
+  - input_choice_list:
+      A: Aumentando a taxa de desconto
+      B: "Aumentando o \xEDndice de reserva"
+      C: "Compra de t\xEDtulos do governo"
+      D: "Redu\xE7\xE3o de tarifas"
+    input_correct_responses:
+    - C
+    input_question: "Mantendo tudo o resto igual, qual das seguintes pol\xEDticas\
+      \ monet\xE1rias seria usada para impulsionar as exporta\xE7\xF5es dos EUA?"
+  - input_choice_list:
+      A: Um aumento na oferta de moeda
+      B: Aumento dos gastos do governo
+      C: Impostos mais baixos sobre pesquisa e desenvolvimento de novas tecnologias
+      D: Impostos mais elevados sobre a renda familiar
+    input_correct_responses:
+    - C
+    input_question: "Qual das seguintes pol\xEDticas melhor descreve a pol\xEDtica\
+      \ fiscal do lado da oferta?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_macroeconomics
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_high_school_macroeconomics
+task_alias: high_school_macroeconomics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '3'
+      B: '15'
+      C: '6'
+      D: '5'
+    input_correct_responses:
+    - B
+    input_question: "Joe estava encarregado das luzes para um baile. A luz vermelha\
+      \ pisca a cada dois segundos, a luz amarela a cada tr\xEAs segundos e a luz\
+      \ azul a cada cinco segundos. Se incluirmos o in\xEDcio e o fim da dan\xE7a,\
+      \ quantas vezes durante uma dan\xE7a de sete minutos todas as luzes acender\xE3\
+      o ao mesmo tempo? (Suponha que todas as tr\xEAs luzes pisquem simultaneamente\
+      \ no in\xEDcio da dan\xE7a.)"
+  - input_choice_list:
+      A: '12'
+      B: '1'
+      C: '30'
+      D: '5'
+    input_correct_responses:
+    - C
+    input_question: "Cinco mil d\xF3lares compostos anualmente a uma taxa de juros\
+      \ de $x\\%$ levam seis anos para dobrar. Com a mesma taxa de juros, quantos\
+      \ anos ser\xE3o necess\xE1rios $\\$300$ para crescer para $\\$9600$?"
+  - input_choice_list:
+      A: '-1'
+      B: '16'
+      C: -\frac{1}{256}
+      D: \frac{1}{16}
+    input_correct_responses:
+    - C
+    input_question: "A vari\xE1vel $x$ varia diretamente como o quadrado de $y$, e\
+      \ $y$ varia diretamente como o cubo de $z$. Se $x$ for igual a $-16$ quando\
+      \ $z$ for igual a 2, qual \xE9 o valor de $x$ quando $z$ for igual a $\\frac{1}{2}$?"
+  - input_choice_list:
+      A: \frac{3\sqrt{3}}{3}
+      B: \frac{1}{3}
+      C: \sqrt{3}
+      D: \frac{\sqrt{3}}{3}
+    input_correct_responses:
+    - D
+    input_question: 'Simplifique e escreva o resultado com um denominador racional:
+      $$\sqrt{\sqrt[3]{\sqrt{\frac{1}{729}}}}$$'
+  - input_choice_list:
+      A: '55'
+      B: '60'
+      C: '62'
+      D: '65'
+    input_correct_responses:
+    - D
+    input_question: "Dez alunos fazem um teste de biologia e recebem as seguintes\
+      \ notas: 45, 55, 50, 70, 65, 80, 40, 90, 70, 85. Qual \xE9 a m\xE9dia das notas\
+      \ dos alunos nos testes?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_mathematics
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_high_school_mathematics
+task_alias: high_school_mathematics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_microeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Um sal\xE1rio m\xEDnimo efetivo imposto a este mercado de trabalho."
+      B: "Um aumento no pre\xE7o dos gal\xF5es de tinta."
+      C: "Aumento na constru\xE7\xE3o de novas moradias."
+      D: "Um aumento no pre\xE7o dos pintores mec\xE2nicos enquanto o efeito produ\xE7\
+        \xE3o exceder o efeito substitui\xE7\xE3o."
+    input_correct_responses:
+    - C
+    input_question: "Num mercado de trabalho competitivo para pintores residenciais,\
+      \ qual das seguintes op\xE7\xF5es aumentaria a procura por pintores residenciais?"
+  - input_choice_list:
+      A: "a demanda pelo produto aumentar\xE1"
+      B: "a demanda pelo produto diminuir\xE1"
+      C: "o excedente do consumidor aumentar\xE1"
+      D: "o excedente do consumidor diminuir\xE1"
+    input_correct_responses:
+    - C
+    input_question: "Se o governo subsidiar os produtores num mercado perfeitamente\
+      \ competitivo, ent\xE3o"
+  - input_choice_list:
+      A: '0'
+      B: '5'
+      C: '10'
+      D: '100'
+    input_correct_responses:
+    - D
+    input_question: "A taxa de concentra\xE7\xE3o para um monop\xF3lio \xE9"
+  - input_choice_list:
+      A: "O pre\xE7o m\xEDnimo desloca a curva de demanda para a esquerda."
+      B: Um piso eficaz cria uma escassez do bem.
+      C: "O pre\xE7o m\xEDnimo desloca a curva de oferta do bem para a direita."
+      D: "Para ser um piso efetivo, deve ser fixado acima do pre\xE7o de equil\xED\
+        brio."
+    input_correct_responses:
+    - D
+    input_question: "Qual das afirma\xE7\xF5es a seguir \xE9 verdadeira em rela\xE7\
+      \xE3o ao pre\xE7o m\xEDnimo?"
+  - input_choice_list:
+      A: "Entrada e sa\xEDda gratuitas do mercado"
+      B: Alguns grandes produtores
+      C: "Um produtor de um bem sem substitutos pr\xF3ximos"
+      D: "Um produto homog\xEAneo"
+    input_correct_responses:
+    - B
+    input_question: "Qual das alternativas a seguir \xE9 necessariamente uma caracter\xED\
+      stica do oligop\xF3lio?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_microeconomics
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_high_school_microeconomics
+task_alias: high_school_microeconomics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Somente I e II
+      B: Somente I e III
+      C: Apenas II e III
+      D: III apenas
+    input_correct_responses:
+    - D
+    input_question: "Qual das seguintes condi\xE7\xF5es garantir\xE1 que o momento\
+      \ angular seja conservado? I. Conserva\xE7\xE3o do momento linear II. For\xE7\
+      a externa l\xEDquida zero III. Torque externo l\xEDquido zero"
+  - input_choice_list:
+      A: "A press\xE3o est\xE1 em um n\xF3, mas o deslocamento da part\xEDcula est\xE1\
+        \ em um antinodo."
+      B: "A press\xE3o est\xE1 em um antinodo, mas o deslocamento da part\xEDcula\
+        \ est\xE1 em um n\xF3."
+      C: "A press\xE3o e o deslocamento das part\xEDculas est\xE3o ambos nos n\xF3\
+        s."
+      D: "A press\xE3o e o deslocamento das part\xEDculas est\xE3o ambos nos antinodos."
+    input_correct_responses:
+    - B
+    input_question: "Um cano cheio de ar est\xE1 fechado em uma das extremidades.\
+      \ Uma onda estacion\xE1ria \xE9 produzida no tubo, fazendo com que ele emita\
+      \ uma nota. Qual das alternativas a seguir \xE9 uma afirma\xE7\xE3o correta\
+      \ sobre as propriedades da onda na extremidade fechada do tubo?"
+  - input_choice_list:
+      A: 2h00
+      B: "6:00 DA MANH\xC3"
+      C: 12h00
+      D: 24A
+    input_correct_responses:
+    - D
+    input_question: "Uma fotoc\xE9lula de fun\xE7\xE3o trabalho \u03D5 = 2eV \xE9\
+      \ conectada em s\xE9rie a um resistor. A luz de frequ\xEAncia f = 1 \xD7 10\
+      \ ^ 15 Hz atinge uma placa met\xE1lica da fotoc\xE9lula. Se a pot\xEAncia da\
+      \ luz for P = 100 W, qual \xE9 a corrente que passa pelo resistor?"
+  - input_choice_list:
+      A: 10W
+      B: 30W
+      C: 60W
+      D: 240 W
+    input_correct_responses:
+    - D
+    input_question: "Um forno de micro-ondas est\xE1 conectado a uma tomada de 120\
+      \ V e consome uma corrente de 2 amperes. A que taxa a energia est\xE1 sendo\
+      \ utilizada pelo forno de micro-ondas?"
+  - input_choice_list:
+      A: 3,5J
+      B: 6,0J
+      C: 22,5J
+      D: 40J
+    input_correct_responses:
+    - B
+    input_question: "Uma carga pontual, Q = +1 mC, est\xE1 fixada na origem. Quanto\
+      \ trabalho \xE9 necess\xE1rio para mover uma carga, Q = +8 \xB5C, do ponto (0,4\
+      \ metros) para o ponto (3 metros, 0)?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_physics
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_high_school_physics
+task_alias: high_school_physics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_psychology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: um superego forte.
+      B: baixa auto-estima.
+      C: "baixa autoefic\xE1cia."
+      D: um locus de controle interno.
+    input_correct_responses:
+    - D
+    input_question: "Ani acredita que suas atitudes e comportamento desempenham um\
+      \ papel central no que acontece com ela. \xC9 prov\xE1vel que tal cren\xE7a\
+      \ esteja associada a"
+  - input_choice_list:
+      A: "identificar as causas e solu\xE7\xF5es dos problemas apresentados pelo cliente"
+      B: identificar e eliminar as causas das dificuldades do consultado em lidar
+        com um problema
+      C: "estabelecer uma hierarquia de autoridade para permitir uma tomada de decis\xE3\
+        o eficaz"
+      D: "apresentar um curso de a\xE7\xE3o \xFAnico, bem definido e inequ\xEDvoco\
+        \ para o consultor superar d\xE9ficits de compet\xEAncias"
+    input_correct_responses:
+    - B
+    input_question: "De acordo com o modelo de consulta de caso centrada no consultado\
+      \ de Caplan, o consultor est\xE1 principalmente interessado em"
+  - input_choice_list:
+      A: "As mensagens s\xE3o enviadas do t\xE1lamo diretamente para a am\xEDgdala."
+      B: "As mensagens s\xE3o enviadas do t\xE1lamo para as vias \u201Co qu\xEA\u201D\
+        \ e \u201Conde\u201D."
+      C: "As mensagens s\xE3o enviadas do sistema nervoso parassimp\xE1tico para o\
+        \ c\xF3rtex cerebral."
+      D: "As mensagens s\xE3o enviadas dos lobos frontais para a gl\xE2ndula pituit\xE1\
+        ria."
+    input_correct_responses:
+    - A
+    input_question: "Ao nadar no oceano, Ivan se assusta com uma sombra escura na\
+      \ \xE1gua antes mesmo de ter a chance de identificar o que \xE9 essa sombra.\
+      \ As conex\xF5es sin\xE1pticas que ocorrem durante este incidente de medo s\xE3\
+      o melhor descritas por qual das seguintes op\xE7\xF5es?"
+  - input_choice_list:
+      A: "D\xEA \xE0 crian\xE7a um per\xEDodo experimental no novo ambiente"
+      B: Notifique os pais por escrito
+      C: "Obtenha a aprova\xE7\xE3o do conselho escolar"
+      D: Obtenha o consentimento dos pais
+    input_correct_responses:
+    - B
+    input_question: "De acordo com a Lei de Melhoria da Educa\xE7\xE3o de Indiv\xED\
+      duos com Defici\xEAncia, qual das seguintes op\xE7\xF5es uma ag\xEAncia educacional\
+      \ deve fazer antes de alterar a coloca\xE7\xE3o educacional de um aluno com\
+      \ defici\xEAncia?"
+  - input_choice_list:
+      A: "s\xF3cio cultural"
+      B: "cl\xEDnico"
+      C: cognitivo
+      D: behaviorista
+    input_correct_responses:
+    - C
+    input_question: "Pascale est\xE1 interessada nas estrat\xE9gias de processamento\
+      \ que as crian\xE7as usam para aprender novas informa\xE7\xF5es. Pascale seria\
+      \ melhor classificado como que tipo de psic\xF3logo?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_psychology
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_high_school_psychology
+task_alias: high_school_psychology

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_statistics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Se a inclina\xE7\xE3o da linha de regress\xE3o for exatamente 1, ent\xE3\
+        o a correla\xE7\xE3o ser\xE1 exatamente 1."
+      B: "Se a correla\xE7\xE3o for 0, ent\xE3o a inclina\xE7\xE3o da linha de regress\xE3\
+        o \xE9 indefinida."
+      C: "Mudar qual vari\xE1vel \xE9 chamada de x e qual \xE9 chamada de y altera\
+        \ o sinal da correla\xE7\xE3o."
+      D: "A correla\xE7\xE3o r \xE9 igual \xE0 inclina\xE7\xE3o da linha de regress\xE3\
+        o quando os escores z da vari\xE1vel y s\xE3o plotados em rela\xE7\xE3o aos\
+        \ escores z da vari\xE1vel x."
+    input_correct_responses:
+    - D
+    input_question: "Qual das alternativas a seguir \xE9 uma afirma\xE7\xE3o correta\
+      \ sobre correla\xE7\xE3o?"
+  - input_choice_list:
+      A: E(X + Y) = 99, var(X + Y) = 8,5
+      B: E(X + Y) = 99, var(X + Y) = 13
+      C: E(X + Y) = 99, var(X + Y) = 17
+      D: "N\xE3o h\xE1 informa\xE7\xF5es suficientes para responder a esta pergunta."
+    input_correct_responses:
+    - D
+    input_question: "Suponha que X e Y sejam vari\xE1veis aleat\xF3rias com E(X) =\
+      \ 37, var(X) = 5, E(Y) = 62 e var(Y) = 12. Quais s\xE3o o valor esperado e a\
+      \ vari\xE2ncia da vari\xE1vel aleat\xF3ria X + Sim?"
+  - input_choice_list:
+      A: "A propor\xE7\xE3o de \xE1rvores que sofreram mais de 50% de danos devido\
+        \ \xE0 geada."
+      B: "O n\xFAmero de \xE1rvores afetadas pela geada."
+      C: "O n\xFAmero de \xE1rvores amostradas no bosque."
+      D: "Para cada \xE1rvore amostrada, se ela sofreu mais de 50% de danos ou no\
+        \ m\xE1ximo 50% de danos."
+    input_correct_responses:
+    - D
+    input_question: "Depois que um alerta de geada foi emitido, o propriet\xE1rio\
+      \ de um grande laranjal pediu aos seus trabalhadores que borrifassem \xE1gua\
+      \ em todas as suas \xE1rvores. A \xE1gua deveria congelar e formar uma camada\
+      \ protetora de gelo ao redor da flor de laranjeira. No entanto, o propriet\xE1\
+      rio suspeitou que algumas \xE1rvores sofreram danos consider\xE1veis devido\
+      \ \xE0 geada. Para estimar a propor\xE7\xE3o de \xE1rvores que sofreram mais\
+      \ de 50% de danos devido \xE0 geada, ele retirou uma amostra aleat\xF3ria de\
+      \ 100 \xE1rvores do seu bosque. Qual \xE9 a vari\xE1vel de resposta neste experimento?"
+  - input_choice_list:
+      A: "M\xE9dia de 518 gramas; desvio padr\xE3o 7,0 gramas"
+      B: "M\xE9dia de 518 gramas; desvio padr\xE3o 3,5 gramas"
+      C: "M\xE9dia de 518 gramas; desvio padr\xE3o 6,1 gramas"
+      D: "M\xE9dia de 394 gramas; desvio padr\xE3o 6,1 gramas"
+    input_correct_responses:
+    - C
+    input_question: "Um novo smartwatch \xE9 fabricado em uma parte da f\xE1brica\
+      \ e depois protegido para envio em outra parte independente da f\xE1brica. O\
+      \ peso do smartwatch tem m\xE9dia de 62 gramas e desvio padr\xE3o de 1,0 gramas.\
+      \ O peso da embalagem (caixa, manual do usu\xE1rio, pl\xE1stico bolha, etc.)\
+      \ tem m\xE9dia de 456 gramas e desvio padr\xE3o de 6 gramas. Juntos, a distribui\xE7\
+      \xE3o do peso do smartwatch e sua embalagem teria a seguinte m\xE9dia e desvio\
+      \ padr\xE3o:"
+  - input_choice_list:
+      A: eu, eu
+      B: II, III
+      C: III, eu
+      D: III, II
+    input_correct_responses:
+    - D
+    input_question: "Qual dos seguintes conjuntos tem o menor desvio padr\xE3o? Qual\
+      \ tem o maior? I: {1,2,3} II: {-10,10} III: {100}"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_statistics
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_high_school_statistics
+task_alias: high_school_statistics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_us_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Resposta organizada \xE0 rebeli\xE3o de Bacon"
+      B: "Resposta federal \xE0 rebeli\xE3o de Shays"
+      C: "Resposta federal \xE0 rebeli\xE3o do u\xEDsque"
+      D: "Resposta federal \xE0 rebeli\xE3o de Pontiac"
+    input_correct_responses:
+    - C
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ \u201CA sociedade em todos os estados \xE9 uma b\xEAn\xE7\xE3o, mas o governo,\
+      \ mesmo no seu melhor estado, \xE9 apenas um mal necess\xE1rio; no seu pior\
+      \ estado, um mal intoler\xE1vel; pois quando sofremos ou somos expostos \xE0\
+      s mesmas mis\xE9rias por um governo, o que poder\xEDamos esperar num pa\xED\
+      s sem governo, a nossa calamidade \xE9 agravada ao reflectirmos que fornecemos\
+      \ os meios pelos quais sofremos. O governo, tal como o vestu\xE1rio, \xE9 o\
+      \ distintivo da inoc\xEAncia perdida; os pal\xE1cios dos reis s\xE3o constru\xED\
+      dos sobre as ru\xEDnas dos caramanch\xF5es do para\xEDso. Pois se os impulsos\
+      \ da consci\xEAncia fossem claros, uniformes e irresistivelmente obedecidos,\
+      \ o homem n\xE3o precisaria de outro legislador; mas n\xE3o sendo esse o caso,\
+      \ ele considera necess\xE1rio entregar uma parte de sua propriedade para fornecer\
+      \ meios para a prote\xE7\xE3o do resto; e isso ele \xE9 induzido a fazer pela\
+      \ mesma prud\xEAncia que em todos os outros casos o aconselha a escolher o menor\
+      \ entre dois males. Portanto, sendo a seguran\xE7a o verdadeiro des\xEDgnio\
+      \ e fim do governo, segue-se inquestionavelmente que qualquer forma dela pare\xE7\
+      a mais prov\xE1vel de garantir para n\xF3s, com o menor gasto e o maior benef\xED\
+      cio, \xE9 prefer\xEDvel a todos os outros." Thomas Paine, Common Sense,\
+      \ 1776 Quais das seguintes "mis\xE9rias" mencionadas acima foram mais\
+      \ condenadas pelos Antifederalistas da era p\xF3s-revolucion\xE1ria?"
+  - input_choice_list:
+      A: "Tens\xF5es entre as pol\xEDticas brit\xE2nicas e as aspira\xE7\xF5es dos\
+        \ colonos norte-americanos."
+      B: "Tens\xF5es entre os \xEDndios americanos aliados dos franceses e os aliados\
+        \ dos brit\xE2nicos."
+      C: "Tens\xF5es entre afro-americanos libertos e propriet\xE1rios brancos."
+      D: "Tens\xF5es entre colonos sertanejos e elites na Am\xE9rica colonial."
+    input_correct_responses:
+    - D
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ "Como nossa conduta tardia em Conestoga Manor e Lancaster ocasionou muita\
+      \ especula\xE7\xE3o e uma grande diversidade de sentimentos neste e nos governos\
+      \ vizinhos; alguns justificando-o e outros condenando-o; alguns aliviando caridosamente\
+      \ o crime, e outros pintando-o maliciosamente da forma mais odiosa e Cores detest\xE1\
+      veis, achamos que \xE9 nosso dever apresentar ao Publick todo o assunto tal\
+      \ como apareceu, e ainda aparece, para n\xF3s... "Se essas coisas n\xE3\
+      o forem suficientes para provar um apego injustific\xE1vel dos Quakers aos \xED\
+      ndios selvagens , uma resolu\xE7\xE3o fixa de fazer amizade com eles e uma total\
+      \ insensibilidade \xE0s ang\xFAstias humanas, consideremos alguns fatos mais\
+      \ recentes. Quando descobrimos, no Ver\xE3o passado, que provavelmente n\xE3\
+      o receber\xEDamos assist\xEAncia do Governo, alguns Volunt\xE1rios sa\xEDram\
+      \ \xE0s nossas pr\xF3prias custas, determinados a expulsar os nossos Inimigos\
+      \ das nossas Fronteiras; e quando nos aproximamos da grande ilha, compreendemos\
+      \ que v\xE1rios de seus guerreiros haviam sa\xEDdo contra nossas fronteiras.\
+      \ Ap\xF3s isso, voltamos e os encontramos e lutamos com eles em Munfey Hill,\
+      \ onde perdemos alguns de nossos homens e matamos alguns de seus guerreiros\
+      \ e, assim, salvamos nossas fronteiras desta hist\xF3ria em outra expedi\xE7\
+      \xE3o. Mas assim que destru\xEDmos suas provis\xF5es na grande ilha e arruinamos\
+      \ seu com\xE9rcio com o bom povo de Bel\xE9m, esses mesmos \xEDndios, que eram\
+      \ justamente suspeitos de terem assassinado nossos amigos no condado de Northampton,\
+      \ foram levados pela influ\xEAncia de alguns quacres. sob a prote\xE7\xE3o do\
+      \ governo para proteg\xEA-los dos ressentimentos dos amigos e parentes dos assassinados,\
+      \ e para apoi\xE1-los durante o inverno." \u2014 "Apology of the Paxton\
+      \ Boys" (panfleto), 1764 (Nota: "pedido de desculpas" em este\
+      \ contexto deve ser lido como uma explica\xE7\xE3o, n\xE3o como uma admiss\xE3\
+      o de culpa ou arrependimento.) Os sentimentos expressos na explica\xE7\xE3o\
+      \ acima refletem quais das tens\xF5es em curso durante o per\xEDodo colonial\
+      \ da hist\xF3ria americana?"
+  - input_choice_list:
+      A: a Emenda de Direitos Iguais
+      B: "sufr\xE1gio universal"
+      C: direitos dos estados
+      D: "proibi\xE7\xE3o"
+    input_correct_responses:
+    - B
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ "No novo C\xF3digo de Leis que suponho que ser\xE1 necess\xE1rio que\
+      \ voc\xEA fa\xE7a, desejo que voc\xEA se lembre das Senhoras e seja mais generoso\
+      \ e favor\xE1vel a elas do que seus ancestrais. N\xE3o coloque esse poder ilimitado\
+      \ nas m\xE3os dos Maridos ... Lembre-se de que todos os homens seriam tiranos\
+      \ se pudessem. Se n\xE3o for dado cuidado e aten\xE7\xE3o especial \xE0s mulheres,\
+      \ estamos determinados a fomentar uma rebeli\xE3o e n\xE3o nos manteremos vinculados\
+      \ a quaisquer leis nas quais n\xE3o tenhamos voz ou representa\xE7\xE3o. Abigail\
+      \ Adams, em uma carta a John Adams, 1776 "A legisla\xE7\xE3o especial para\
+      \ as mulheres nos colocou em uma posi\xE7\xE3o muito an\xF4mala. As mulheres\
+      \ investidas dos direitos dos cidad\xE3os em uma se\xE7\xE3o - eleitoras, jurados,\
+      \ titulares de cargos - cruzando uma linha imagin\xE1ria, s\xE3o assuntos no\
+      \ pr\xF3ximo. Em alguns Estados, uma mulher casada pode possuir propriedades\
+      \ e realizar neg\xF3cios em seu pr\xF3prio nome; em outros, seus rendimentos\
+      \ pertencem ao marido. Em alguns Estados, uma mulher pode testemunhar contra\
+      \ o marido, processar e ser processada em nos tribunais; em outros, ela n\xE3\
+      o tem repara\xE7\xE3o em caso de dano \xE0 pessoa, propriedade ou car\xE1ter.\
+      \ Em caso de div\xF3rcio por adult\xE9rio do marido, a esposa inocente \xE9\
+      \ considerada como n\xE3o possuindo nenhum direito aos filhos ou propriedade,\
+      \ a menos que por por decreto especial do tribunal. Mas em nenhum Estado da\
+      \ Uni\xE3o a esposa tem direito \xE0 sua pr\xF3pria pessoa, ou a qualquer parte\
+      \ dos rendimentos conjuntos da comparticipa\xE7\xE3o durante a vida do marido.\
+      \ Em alguns Estados as mulheres podem entrar no faculdades de direito e pr\xE1\
+      tica nos tribunais; em outras s\xE3o proibidas. Em algumas universidades, as\
+      \ raparigas desfrutam de vantagens educativas iguais \xE0s dos rapazes, enquanto\
+      \ muitas das institui\xE7\xF5es mais orgulhosas do pa\xEDs lhes negam a admiss\xE3\
+      o, embora os filhos da China, do Jap\xE3o e de \xC1frica sejam a\xED bem-vindos.\
+      \ Mas os privil\xE9gios j\xE1 concedidos nos v\xE1rios Estados n\xE3o s\xE3\
+      o de forma alguma seguros." Susan B. Anthony, "Declara\xE7\xE3o de\
+      \ Direitos para as Mulheres", 4 de julho de 1876. Os sentimentos expressos\
+      \ no segundo trecho de Susan B. Anthony s\xE3o provavelmente em apoio de"
+  - input_choice_list:
+      A: "Os americanos devem maximizar a sua vantagem tecnol\xF3gica no Vietname."
+      B: "O bombardeio americano no Vietn\xE3 est\xE1 conduzindo passo a passo ao\
+        \ progresso da guerra."
+      C: "O bombardeio americano no Vietn\xE3 \xE9 um fracasso."
+      D: "A Am\xE9rica n\xE3o deve ceder ao derrotismo em rela\xE7\xE3o \xE0 guerra\
+        \ do Vietname."
+    input_correct_responses:
+    - C
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ Os nossos l\xEDderes falam em parar a agress\xE3o vinda do Norte, mas esta\
+      \ foi uma luta entre grupos de vietnamitas at\xE9 intervirmos. Parecemos empenhados\
+      \ em salvar os vietnamitas de Ho Chi Minh, mesmo que tenhamos de mat\xE1-los\
+      \ e demolir o seu pa\xEDs para o fazer. Enquanto os povos nativos examinam aldeias\
+      \ bombardeadas, mulheres e crian\xE7as queimadas pelo napalm, planta\xE7\xF5\
+      es de arroz destru\xEDdas e cidades invadidas pelo nosso pessoal militar, est\xE3\
+      o sem d\xFAvida a dizer secretamente sobre os guerrilheiros vietcongues e sobre\
+      \ as for\xE7as americanas: "Uma praga em ambas as vossas casas. ."\
+      \ \u2026 Acabar com os bombardeamentos, a norte e a sul, acabar com as buscas\
+      \ e destruir as opera\xE7\xF5es ofensivas e limitar a nossa ac\xE7\xE3o militar\
+      \ \xE0 realiza\xE7\xE3o de opera\xE7\xF5es no terreno. O bombardeamento do Norte\
+      \ n\xE3o conseguiu parar ou controlar seriamente o fluxo de tropas para o Sul\
+      \ e pode, de facto, ter provocado um esfor\xE7o de guerra muito maior por parte\
+      \ de Han\xF3i. \u2014Senador George McGovern, "The Lessons of Vietnam",\
+      \ 25 de abril de 1967 Qual das seguintes opini\xF5es da d\xE9cada de 1960 reflete\
+      \ mais diretamente a perspectiva do discurso de George McGovern?"
+  - input_choice_list:
+      A: Abigail Adams
+      B: Clara Barton
+      C: Shirley Temple
+      D: Hillary Clinton
+    input_correct_responses:
+    - B
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ N\xE3o venho para fazer reivindica\xE7\xF5es pessoais, nem para buscar benef\xED\
+      cios individuais; Apare\xE7o como o advogado daqueles que n\xE3o podem defender\
+      \ a sua pr\xF3pria causa; Venho como amigo daqueles que est\xE3o abandonados,\
+      \ oprimidos e desolados. Na Provid\xEAncia de Deus, eu sou a voz do man\xED\
+      aco cujos gritos penetrantes das sombrias masmorras de suas pris\xF5es n\xE3\
+      o penetram em seus Sal\xF5es de Legisla\xE7\xE3o. Eu sou a Esperan\xE7a dos\
+      \ pobres seres enlouquecidos que definham nas celas, e est\xE1bulos, e jaulas,\
+      \ e quartos vazios de suas pobres casas. Eu sou a Revela\xE7\xE3o de centenas\
+      \ de criaturas chorosas e sofredoras, escondidas em suas resid\xEAncias particulares,\
+      \ e em cercados e cabanas \u2013 exclu\xEDdas, isoladas de todas as influ\xEA\
+      ncias curativas, de todos os cuidados restauradores da mente... Poderiam suas\
+      \ hist\xF3rias melanc\xF3licas ser espalhadas diante de voc\xEAs? conforme revelado\
+      \ ao meu esp\xEDrito entristecido durante os \xFAltimos tr\xEAs meses, com que\
+      \ rapidez e zelo voc\xEA procuraria os meios de al\xEDvio mais aprovados; qu\xE3\
+      o insignificantes, qu\xE3o insignificantes, em compara\xE7\xE3o, pareceriam\
+      \ os sacrif\xEDcios que voc\xEA \xE9 solicitado a fazer; como \xE9 que algumas\
+      \ moedas de dez centavos e d\xF3lares, recolhidas de cada cidad\xE3o, diminuiriam\
+      \ em valor como posse, em compara\xE7\xE3o com os certos benef\xEDcios e vasto\
+      \ bem a ser assegurado para os insanos sofredores... pela consagra\xE7\xE3o\
+      \ e aplica\xE7\xE3o de um fundo suficiente para a constru\xE7\xE3o de um hospital\
+      \ adequado.\u2026 \u2014Dorothea Dix, Memorial Solicitando um Hospital Estadual\
+      \ para a Prote\xE7\xE3o e Cura dos Insanos, apresentado \xE0 Assembleia Geral\
+      \ da Carolina do Norte, novembro de 1848 Dorothea Dix pode ser melhor comparada\
+      \ a quem?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_us_history
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_high_school_us_history
+task_alias: high_school_us_history

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_high_school_world_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Hindu\xEDsmo"
+      B: budismo
+      C: "Xinto\xEDsmo"
+      D: Zoroastrismo
+    input_correct_responses:
+    - A
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ Ele cont\xE9m todas as obras e desejos e todos os perfumes e todos os gostos.\
+      \ Ele envolve todo o universo e em sil\xEAncio \xE9 amoroso com todos. Este\
+      \ \xE9 o Esp\xEDrito que est\xE1 em meu cora\xE7\xE3o, este \xE9 Brahman. A\
+      \ ele irei quando for al\xE9m desta vida, e a ele vir\xE1 aquele que tiver f\xE9\
+      \ e n\xE3o duvidar. \u2014Os Upanishads, \xCDndia, c. 1000 aC A que religi\xE3\
+      o o orador provavelmente pertence?"
+  - input_choice_list:
+      A: "A revolu\xE7\xE3o industrial"
+      B: "Descoloniza\xE7\xE3o"
+      C: "Associa\xE7\xF5es Regionais de Livre Com\xE9rcio"
+      D: Autarquia
+    input_correct_responses:
+    - B
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ \u201CA luta contra o neocolonialismo n\xE3o visa excluir o capital do mundo\
+      \ desenvolvido de operar nos pa\xEDses menos desenvolvidos. Visa evitar que\
+      \ o poder financeiro dos pa\xEDses desenvolvidos seja utilizado de forma a empobrecer\
+      \ os menos desenvolvidos. O n\xE3o-alinhamento, tal como praticado pelo Gana\
+      \ e por muitos outros pa\xEDses, baseia-se na coopera\xE7\xE3o com todos os\
+      \ Estados, sejam eles capitalistas, socialistas ou de economia mista. Tal pol\xED\
+      tica, portanto, envolve investimento estrangeiro de pa\xEDses capitalistas,\
+      \ mas deve ser investido de acordo com um plano nacional elaborado pelo governo\
+      \ do Estado n\xE3o alinhado com os seus pr\xF3prios interesses em mente. A quest\xE3\
+      o n\xE3o \xE9 qual o retorno que o investidor estrangeiro recebe dos seus investimentos...\
+      \ A quest\xE3o \xE9 de poder. as garras do neocolonialismo n\xE3o s\xE3o donas\
+      \ do seu pr\xF3prio destino." Kwame Nkrumah, Neo-Colonialismo, 1965 Qual\
+      \ das alternativas a seguir fornece o melhor contexto para os escritos de Nkrumah?"
+  - input_choice_list:
+      A: "Aceita\xE7\xE3o social do trabalho infantil"
+      B: "Diminui\xE7\xE3o da esperan\xE7a de vida na Alemanha"
+      C: "Cr\xEDticas \xE0s tarifas comerciais alem\xE3s"
+      D: "Efeitos negativos atribu\xEDdos ao capitalismo industrial"
+    input_correct_responses:
+    - D
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ \u201CA verdadeira queixa do trabalhador \xE9 a inseguran\xE7a da sua exist\xEA\
+      ncia; ele n\xE3o tem certeza de que sempre ter\xE1 trabalho, n\xE3o tem certeza\
+      \ de que sempre ter\xE1 sa\xFAde e prev\xEA que um dia ficar\xE1 velho e incapacitado\
+      \ para trabalhar Se ele cair na pobreza, mesmo que seja apenas devido a uma\
+      \ doen\xE7a prolongada, ele ficar\xE1 completamente desamparado, por conta pr\xF3\
+      pria, e a sociedade n\xE3o reconhece atualmente qualquer obriga\xE7\xE3o real\
+      \ para com ele al\xE9m da ajuda habitual aos pobres, mesmo que ele tenha tenho\
+      \ trabalhado o tempo todo com muita fidelidade e dilig\xEAncia. A ajuda habitual\
+      \ aos pobres, por\xE9m, deixa muito a desejar, especialmente nas grandes cidades,\
+      \ onde \xE9 muito pior do que no campo." Otto von Bismarck, 1884 Otto von\
+      \ Bismarck provavelmente fez este discurso em rea\xE7\xE3o a qual das seguintes\
+      \ quest\xF5es?"
+  - input_choice_list:
+      A: "A manuten\xE7\xE3o da supremacia militar a todo custo"
+      B: "Expans\xE3o das tens\xF5es entre seitas religiosas"
+      C: "Fatores que provocaram o colapso do Imp\xE9rio Otomano"
+      D: "Esfor\xE7os de pacifica\xE7\xE3o entre os imp\xE9rios isl\xE2micos"
+    input_correct_responses:
+    - B
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ "Na verdade, como tanto as fatwas de ilustres [estudiosos] que baseiam\
+      \ as suas opini\xF5es tanto na raz\xE3o como na tradi\xE7\xE3o, e o consenso\
+      \ da comunidade sunita concordam que a antiga obriga\xE7\xE3o de extirpa\xE7\
+      \xE3o, exterm\xEDnio e expuls\xE3o da inova\xE7\xE3o maligna deve ser o objectivo\
+      \ da nossa exaltada aspira\xE7\xE3o, pois "O zelo religioso \xE9 uma vit\xF3\
+      ria para a F\xE9 de Deus, o Beneficente"; ent\xE3o, de acordo com as palavras\
+      \ do Profeta (que a paz esteja com ele!) "Todo aquele que introduz inova\xE7\
+      \xF5es malignas em nossa ordem deve ser expulso" e "Quem o faz qualquer\
+      \ coisa contra a nossa ordem deve ser expulsa," a ac\xE7\xE3o tornou-se\
+      \ necess\xE1ria e exigente\u2026" Carta do Sult\xE3o Otomano Selim I ao\
+      \ X\xE1 Saf\xE1vida Ismail I, 1514 A carta de Selim I \xE9 mais claramente um\
+      \ exemplo de qual das seguintes op\xE7\xF5es?"
+  - input_choice_list:
+      A: "Uma ruptura nas rotas comerciais atrav\xE9s do colapso da estrutura estatal\
+        \ estabelecida"
+      B: "Um aumento na popula\xE7\xE3o do mundo atrav\xE9s de suprimentos mais abundantes\
+        \ de alimentos"
+      C: "A dissemina\xE7\xE3o dos sistemas de cren\xE7as chineses e indianos em todo\
+        \ o mundo"
+      D: "Um aumento na agita\xE7\xE3o social"
+    input_correct_responses:
+    - B
+    input_question: "Esta quest\xE3o refere-se \xE0s seguintes informa\xE7\xF5es.\
+      \ "Pelo menos uma das sociedades [do mundo] teria de, de alguma forma,\
+      \ aumentar enormemente a sua produtividade [para alcan\xE7ar a hegemonia global].\
+      \ Esse salto qu\xE2ntico teria de ser dado antes das v\xE1rias revolu\xE7\xF5\
+      es cient\xEDficas, tecnol\xF3gicas, agr\xEDcolas e industriais em que o nosso\
+      \ o mundo p\xF3s-salto qu\xE2ntico repousa. Isso s\xF3 poderia ser alcan\xE7\
+      ado atrav\xE9s da explora\xE7\xE3o dos ecossistemas, recursos minerais e ativos\
+      \ humanos de continentes inteiros fora das terras da sociedade que deu o salto.\
+      \ A Europa Ocidental fez exatamente isso por meio de sua brutalidade e armas\
+      \ e , mais importante, por sorte geogr\xE1fica e ecol\xF3gica." Direitos\
+      \ autorais \xA9 2015 Cambridge University Press. Alfred Crosby, historiador,\
+      \ Imperialismo Ecol\xF3gico, 2004 O "salto qu\xE2ntico" mencionado\
+      \ na passagem contribuiu mais diretamente para qual dos seguintes desenvolvimentos\
+      \ no per\xEDodo 1450-1750 dC?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_world_history
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_high_school_world_history
+task_alias: high_school_world_history

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_human_aging.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Um homem ou mulher asi\xE1tica"
+      B: "Um homem hisp\xE2nico"
+      C: Uma mulher afro-americana
+      D: Um homem ou mulher branca
+    input_correct_responses:
+    - C
+    input_question: Qual das seguintes pessoas tem maior probabilidade de permanecer
+      sozinha em casa, a partir de 2019?
+  - input_choice_list:
+      A: "Vantagem da adolesc\xEAncia"
+      B: "Aumento de reminisc\xEAncia"
+      C: Memorial comemorativo
+      D: "Pico de recupera\xE7\xE3o quadr\xE1tica"
+    input_correct_responses:
+    - B
+    input_question: "A descoberta de que os adultos tendem a lembrar-se melhor dos\
+      \ acontecimentos da sua adolesc\xEAncia do que de outros per\xEDodos da sua\
+      \ vida \xE9 referida como a"
+  - input_choice_list:
+      A: Texas
+      B: "Calif\xF3rnia"
+      C: "Hava\xED"
+      D: Vermonte
+    input_correct_responses:
+    - A
+    input_question: "Quando os idosos se mudam para um novo estado ap\xF3s a reforma,\
+      \ qual das seguintes op\xE7\xF5es \xE9 o destino mais prov\xE1vel?"
+  - input_choice_list:
+      A: Nicotina
+      B: "Alcatr\xE3o"
+      C: "Mon\xF3xido de carbono"
+      D: "Part\xEDculas de fuma\xE7a"
+    input_correct_responses:
+    - B
+    input_question: "Qual elemento da fuma\xE7a do tabaco \xE9 respons\xE1vel pelo\
+      \ c\xE2ncer?"
+  - input_choice_list:
+      A: Uma mulher hispano-americana mais velha
+      B: Uma mulher afro-americana mais velha
+      C: "Uma mulher asi\xE1tico-americana mais velha"
+      D: Uma mulher nativa americana mais velha
+    input_correct_responses:
+    - C
+    input_question: "Mantendo todas as outras condi\xE7\xF5es iguais, qual das seguintes\
+      \ pessoas tem maior probabilidade de apresentar osteoporose?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_aging
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_human_aging
+task_alias: human_aging

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_human_sexuality.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: durante o primeiro trimestre
+      B: durante o segundo trimestre
+      C: durante o terceiro trimestre
+      D: durante toda a gravidez
+    input_correct_responses:
+    - A
+    input_question: "O enj\xF4o matinal costuma ser um problema:"
+  - input_choice_list:
+      A: um ego forte
+      B: um superego fraco
+      C: "uma identifica\xE7\xE3o fraca"
+      D: um superego forte
+    input_correct_responses:
+    - B
+    input_question: "Uma mulher que sabe que tem herpes activo e s\xEDfilis n\xE3\
+      o tratada, mas continua a ter rela\xE7\xF5es sexuais sem informar os seus parceiros\
+      \ sobre a sua condi\xE7\xE3o, tem, em termos psicanal\xEDticos:"
+  - input_choice_list:
+      A: "o fato de n\xE3o possu\xEDrem per\xEDodo refrat\xE1rio."
+      B: a resposta das camadas internas da vagina.
+      C: tendo orgasmos alternados em locais diferentes.
+      D: o ponto G.
+    input_correct_responses:
+    - A
+    input_question: "A capacidade das mulheres de ter orgasmos m\xFAltiplos se deve\
+      \ principalmente a:"
+  - input_choice_list:
+      A: "rela\xE7\xE3o sexual"
+      B: "c\xEDrculo empurr\xF5es"
+      C: exibicionismo
+      D: "tocando os \xF3rg\xE3os genitais um do outro"
+    input_correct_responses:
+    - A
+    input_question: "A natureza das atividades homossexuais que ocorrem durante a\
+      \ pr\xE9-adolesc\xEAncia inclui todas as op\xE7\xF5es a seguir, exceto qual?"
+  - input_choice_list:
+      A: "ejacula\xE7\xE3o precoce"
+      B: "ejacula\xE7\xE3o inibida"
+      C: "dist\xFArbio er\xE9til"
+      D: "dist\xFArbio ejaculat\xF3rio"
+    input_correct_responses:
+    - C
+    input_question: "O dist\xFArbio mais comum entre homens que procuram terapia sexual\
+      \ \xE9:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_sexuality
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_human_sexuality
+task_alias: human_sexuality