Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_international_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "O Artigo 2(4) abrange apenas a for\xE7a armada"
+      B: "O Artigo 2(4) abrange todos os tipos de for\xE7a, incluindo san\xE7\xF5\
+        es"
+      C: "O Artigo 2(4) abrange todas as interfer\xEAncias nos assuntos internos dos\
+        \ Estados"
+      D: "O Artigo 2(4) abrange a for\xE7a dirigida apenas contra a integridade territorial\
+        \ de um Estado"
+    input_correct_responses:
+    - A
+    input_question: "Que tipos de for\xE7a o Artigo 2(4) da Carta das Na\xE7\xF5es\
+      \ Unidas pro\xEDbe?"
+  - input_choice_list:
+      A: "Se uma parte em um caso contencioso perante a CIJ n\xE3o tiver um cidad\xE3\
+        o nacional como juiz, ela ter\xE1 o direito de nomear algu\xE9m como juiz\
+        \ exclusivamente para esse caso, com o t\xEDtulo de juiz ad hoc."
+      B: "Juiz ad hoc \xE9 membro da bancada da CIJ com voto de qualidade"
+      C: "O juiz ad hoc \xE9 um juiz substituto, caso um juiz seja desqualificado\
+        \ ou fale\xE7a"
+      D: "Juiz ad hoc \xE9 o juiz que cada parte sempre nomear\xE1 em cada caso contencioso"
+    input_correct_responses:
+    - A
+    input_question: "O que \xE9 o juiz ad hoc?"
+  - input_choice_list:
+      A: "Esta \xE9 uma reserva aceit\xE1vel se a legisla\xE7\xE3o do pa\xEDs que\
+        \ fez a reserva empregar uma defini\xE7\xE3o diferente"
+      B: "Esta \xE9 uma reserva inaceit\xE1vel porque contraria o objecto e a finalidade\
+        \ do PIDCP"
+      C: "Esta \xE9 uma reserva inaceit\xE1vel porque a defini\xE7\xE3o de tortura\
+        \ no PIDCP \xE9 consistente com o direito internacional consuetudin\xE1rio"
+      D: "Esta \xE9 uma reserva aceit\xE1vel porque, de acordo com o direito internacional\
+        \ geral, os Estados t\xEAm o direito de inserir reservas aos tratados"
+    input_correct_responses:
+    - B
+    input_question: "Ser\xE1 que uma reserva \xE0 defini\xE7\xE3o de tortura constante\
+      \ do PIDCP seria aceit\xE1vel na pr\xE1tica contempor\xE2nea?"
+  - input_choice_list:
+      A: "O consentimento pode servir como circunst\xE2ncia que exclui a ilicitude\
+        \ sempre que for dado"
+      B: "O consentimento nunca pode servir como uma circunst\xE2ncia que exclui a\
+        \ ilicitude"
+      C: "O consentimento pode servir como circunst\xE2ncia que exclui a ilicitude,\
+        \ desde que o consentimento seja v\xE1lido e na medida em que a conduta permane\xE7\
+        a dentro dos limites do consentimento dado"
+      D: "O consentimento pode sempre servir como circunst\xE2ncia que exclui a ilicitude,\
+        \ independentemente do \xF3rg\xE3o do Estado que o conceda."
+    input_correct_responses:
+    - C
+    input_question: "Quando o \u201Cconsentimento\u201D pode servir como uma circunst\xE2\
+      ncia que exclui a ilicitude de uma conduta estatal?"
+  - input_choice_list:
+      A: "O consentimento de um Estado em ficar vinculado \xE9 expresso apenas por\
+        \ ratifica\xE7\xE3o"
+      B: "O consentimento de um Estado em ficar vinculado por um tratado pode ser\
+        \ expresso por assinatura, ratifica\xE7\xE3o, aceita\xE7\xE3o, aprova\xE7\xE3\
+        o ou ades\xE3o."
+      C: "O consentimento de um Estado em ficar vinculado \xE9 expresso pela assinatura"
+      D: "O consentimento de um Estado em ficar vinculado \xE9 expresso por qualquer\
+        \ meio que escolher"
+    input_correct_responses:
+    - B
+    input_question: Como pode ser expresso o consentimento de um Estado em obrigar-se?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_international_law
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_international_law
+task_alias: international_law

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_jurisprudence.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: O POP escolheria a igualdade acima da liberdade.
+      B: "O POP optaria pela estrat\xE9gia 'maximin'."
+      C: "O POP optaria pelo \u201Cprinc\xEDpio da diferen\xE7a\u201D."
+      D: "O POP rejeitaria o \u201Csistema de liberdade natural\u201D."
+    input_correct_responses:
+    - A
+    input_question: "Qual posi\xE7\xE3o Rawls afirma ser a menos prov\xE1vel de ser\
+      \ adotada pelo POP (pessoas na posi\xE7\xE3o original)?"
+  - input_choice_list:
+      A: maximizando a liberdade individual
+      B: fornecendo uma base para um compromisso
+      C: mantendo a paz
+      D: "promovendo os princ\xEDpios do sistema de livre iniciativa"
+    input_correct_responses:
+    - D
+    input_question: "As fun\xE7\xF5es da lei incluem todas as op\xE7\xF5es a seguir,\
+      \ exceto quais?"
+  - input_choice_list:
+      A: Autoridade.
+      B: Carisma.
+      C: "Coopera\xE7\xE3o."
+      D: Capitalismo.
+    input_correct_responses:
+    - D
+    input_question: "Qual palavra resume melhor a explica\xE7\xE3o de Weber sobre\
+      \ o desenvolvimento do direito formalmente racional?"
+  - input_choice_list:
+      A: Lei natural
+      B: "Anal\xEDtico"
+      C: "Hist\xF3rico"
+      D: "Sociol\xF3gico"
+    input_correct_responses:
+    - A
+    input_question: "A Escola ________ de jurisprud\xEAncia postula que a lei se baseia\
+      \ no que \xE9 "correto"."
+  - input_choice_list:
+      A: "A carta \xE9 uma oferta de venda"
+      B: "Uma oferta v\xE1lida n\xE3o pode ser feita por carta."
+      C: "A carta cont\xE9m uma oferta v\xE1lida que ser\xE1 encerrada dentro de um\
+        \ prazo razo\xE1vel."
+      D: A carta carece de um dos elementos essenciais de uma oferta.
+    input_correct_responses:
+    - D
+    input_question: "A Iverson Jewelers escreveu uma carta a Miller: 'Recebemos\
+      \ um rel\xF3gio Rolox de corda autom\xE1tica excepcionalmente fino que venderemos\
+      \ a voc\xEA por um pre\xE7o muito favor\xE1vel.'"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_jurisprudence
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_jurisprudence
+task_alias: jurisprudence

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_logical_fallacies.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "voc\xEA \xE9 quem"
+      B: risada de cavalo
+      C: argumento contra a pessoa
+      D: ignoratio elenchi
+    input_correct_responses:
+    - C
+    input_question: "Se algu\xE9m atacar o car\xE1ter de um argumentador advers\xE1\
+      rio, em vez de responder aos argumentos desse oponente, a primeira pessoa provavelmente\
+      \ cometeu qual das seguintes fal\xE1cias?"
+  - input_choice_list:
+      A: "argumentar que algo \xE9 inferior s\xF3 porque n\xE3o faz algo que nunca\
+        \ foi planejado."
+      B: "incluir mais de uma afirma\xE7\xE3o na proposi\xE7\xE3o e tratar a prova\
+        \ de uma afirma\xE7\xE3o como prova de todas as afirma\xE7\xF5es."
+      C: "tirar uma conclus\xE3o antes de examinar as evid\xEAncias e considerar apenas\
+        \ as evid\xEAncias que apoiam essa conclus\xE3o."
+      D: "fazer uma pergunta que inclua uma suposi\xE7\xE3o n\xE3o comprovada ou mais\
+        \ de uma pergunta, tornando assim uma resposta direta, sim ou n\xE3o, sem\
+        \ sentido."
+    input_correct_responses:
+    - D
+    input_question: "A fal\xE1cia da quest\xE3o complexa consiste em"
+  - input_choice_list:
+      A: A premissa menor deve negar o antecedente
+      B: A premissa maior deve afirmar o consequente
+      C: "O termo m\xE9dio deve ser usado em pelo menos uma premissa em um sentido\
+        \ universal ou n\xE3o qualificado"
+      D: Tudo o que precede
+    input_correct_responses:
+    - C
+    input_question: "Qual das afirma\xE7\xF5es a seguir \xE9 verdadeira sobre um silogismo\
+      \ categ\xF3rico v\xE1lido?"
+  - input_choice_list:
+      A: "Divis\xE3o"
+      B: "Composi\xE7\xE3o"
+      C: "Apelo \xE0 pessoa"
+      D: "Apelo \xE0 ignor\xE2ncia"
+    input_correct_responses:
+    - B
+    input_question: "Argumentar que o que \xE9 verdade para as partes deve ser verdade\
+      \ para o todo \xE9 a fal\xE1cia de..."
+  - input_choice_list:
+      A: "mau esp\xEDrito esportivo"
+      B: "apelo \xE0 compaix\xE3o"
+      C: argumento contra a pessoa
+      D: "ignor\xE2ncia da refuta\xE7\xE3o"
+    input_correct_responses:
+    - D
+    input_question: "Quando um argumentador causa confus\xE3o durante a refuta\xE7\
+      \xE3o devido \xE0 falta real ou fingida de capacidade de se envolver na refuta\xE7\
+      \xE3o, esse argumentador pode ter cometido a fal\xE1cia de"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_logical_fallacies
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_logical_fallacies
+task_alias: logical_fallacies

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_machine_learning.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 2,0/15
+      B: 1,0/7
+      C: 3.0/16
+      D: 1,0/5
+    input_correct_responses:
+    - B
+    input_question: "Um dado de 6 faces \xE9 lan\xE7ado 15 vezes e os resultados s\xE3\
+      o: o lado 1 aparece 0 vezes; lado 2: 1 vez; lado 3: 2 vezes; lado 4: 3 vezes;\
+      \ lado 5: 4 vezes; lado 6: 5 vezes. Com base nesses resultados, qual \xE9 a\
+      \ probabilidade de o lado 3 aparecer ao usar a suaviza\xE7\xE3o Add-1?"
+  - input_choice_list:
+      A: "corte aleat\xF3rio e invers\xE3o horizontal"
+      B: "corte aleat\xF3rio e invers\xE3o vertical"
+      C: "posteriza\xE7\xE3o"
+      D: hesitante
+    input_correct_responses:
+    - A
+    input_question: "Qual aumento de dados de imagem \xE9 mais comum para imagens\
+      \ naturais?"
+  - input_choice_list:
+      A: "Meu m\xE9todo atinge um erro de treinamento menor que todos os m\xE9todos\
+        \ anteriores!"
+      B: "Meu m\xE9todo atinge um erro de teste menor que todos os m\xE9todos anteriores!\
+        \ (Nota de rodap\xE9: Quando o par\xE2metro de regulariza\xE7\xE3o \u03BB\
+        \ \xE9 escolhido de modo a minimizar o erro de teste.)"
+      C: "Meu m\xE9todo atinge um erro de teste menor que todos os m\xE9todos anteriores!\
+        \ (Nota de rodap\xE9: Quando o par\xE2metro de regulariza\xE7\xE3o \u03BB\
+        \ \xE9 escolhido de modo a minimizar o erro de valida\xE7\xE3o cruzada.)"
+      D: "Meu m\xE9todo atinge um erro de valida\xE7\xE3o cruzada inferior a todos\
+        \ os m\xE9todos anteriores! (Nota de rodap\xE9: Quando o par\xE2metro de regulariza\xE7\
+        \xE3o \u03BB \xE9 escolhido de modo a minimizar o erro de valida\xE7\xE3o\
+        \ cruzada.)"
+    input_correct_responses:
+    - C
+    input_question: "Voc\xEA est\xE1 revisando artigos para a Confer\xEAncia de Aprendizado\
+      \ de M\xE1quina mais sofisticada do mundo e v\xEA submiss\xF5es com as seguintes\
+      \ afirma\xE7\xF5es. Quais voc\xEA consideraria aceitar?"
+  - input_choice_list:
+      A: cerca de 10 exemplos
+      B: cerca de 100 exemplos
+      C: entre 100 e 500 exemplos
+      D: mais de 1000 exemplos
+    input_correct_responses:
+    - D
+    input_question: Para obter uma estimativa de perda 0/1 inferior a 1 por cento
+      da perda 0/1 verdadeira (com probabilidade de 95%), de acordo com a desigualdade
+      de Hoeffding, o conjunto de testes IID deve ter quantos exemplos?
+  - input_choice_list:
+      A: "\xC9 muito caro computacionalmente."
+      B: "Provavelmente resultaria em uma \xE1rvore de decis\xE3o com pontua\xE7\xE3\
+        o ruim no conjunto de treinamento e no conjunto de teste."
+      C: "Provavelmente resultaria em uma \xE1rvore de decis\xE3o com boa pontua\xE7\
+        \xE3o no conjunto de treinamento, mas ruim em um conjunto de teste."
+      D: "Provavelmente resultaria em uma \xE1rvore de decis\xE3o com boa pontua\xE7\
+        \xE3o em um conjunto de teste, mas ruim em um conjunto de treinamento."
+    input_correct_responses:
+    - C
+    input_question: "Tradicionalmente, quando temos um atributo de entrada com valor\
+      \ real durante o aprendizado da \xE1rvore de decis\xE3o, consideramos uma divis\xE3\
+      o bin\xE1ria dependendo se o atributo est\xE1 acima ou abaixo de algum limite.\
+      \ Pat sugere que, em vez disso, dever\xEDamos apenas ter uma divis\xE3o multidirecional\
+      \ com uma ramifica\xE7\xE3o para cada um dos valores distintos do atributo.\
+      \ Na lista abaixo, escolha o maior problema com a sugest\xE3o de Pat:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_machine_learning
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_machine_learning
+task_alias: machine_learning

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_management.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Posi\xE7\xE3o inicial e posi\xE7\xE3o final"
+      B: Ambiente inicial e ambiente alterado
+      C: Estrutura organizacional e condicionamento
+      D: "Estrutura inicial e considera\xE7\xF5es"
+    input_correct_responses:
+    - D
+    input_question: "Quais s\xE3o as duas dimens\xF5es principais dos Estudos de Ohio\
+      \ sobre lideran\xE7a?"
+  - input_choice_list:
+      A: Frederico Hertzberg
+      B: DC McClelland
+      C: Abraham Maslow
+      D: Douglas McGregor
+    input_correct_responses:
+    - A
+    input_question: "Fatores de higiene est\xE3o associados a qual escritor?"
+  - input_choice_list:
+      A: "S\xEDmbolos"
+      B: Rituais e rotinas
+      C: Estruturas de poder
+      D: Sistemas de controle
+    input_correct_responses:
+    - A
+    input_question: Qual elemento da teia cultural forma os trajes?
+  - input_choice_list:
+      A: Moral
+      B: "Inova\xE7\xE3o"
+      C: Recurso de crescimento
+      D: "Adapta\xE7\xE3o"
+    input_correct_responses:
+    - A
+    input_question: "Que caracter\xEDstica n\xE3o \xE9 fundamental no modelo de gest\xE3\
+      o de \u201Csistemas abertos\u201D?"
+  - input_choice_list:
+      A: "Hier\xE1rquico"
+      B: "Burocr\xE1tico"
+      C: Plano
+      D: Funcional
+    input_correct_responses:
+    - C
+    input_question: "Como podem ser descritas as estruturas organizacionais caracterizadas\
+      \ por estilos de gest\xE3o democr\xE1ticos e inclusivos?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_management
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_management
+task_alias: management

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_marketing.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Geodemografia
+      B: "Diferencia\xE7\xE3o do produto."
+      C: Matriz ANSOFF.
+      D: "Gest\xE3o de marca."
+    input_correct_responses:
+    - A
+    input_question: "_____________ \xE9 um resultado natural quando se combinam vari\xE1\
+      veis demogr\xE1ficas e geogr\xE1ficas."
+  - input_choice_list:
+      A: "Unidade de terceiriza\xE7\xE3o."
+      B: Centro de compras.
+      C: Unidade executiva principal.
+      D: "Unidade de tomada de decis\xE3o."
+    input_correct_responses:
+    - D
+    input_question: "Em uma organiza\xE7\xE3o, o grupo de pessoas encarregadas de\
+      \ tomar decis\xF5es de compra \xE9 denominado _______________."
+  - input_choice_list:
+      A: "As necessidades dependem da cultura e tamb\xE9m da classe social."
+      B: "As necessidades de n\xEDvel inferior devem ser pelo menos parcialmente satisfeitas\
+        \ antes que necessidades superiores possam afetar o comportamento."
+      C: "As necessidades n\xE3o s\xE3o priorizadas ou organizadas em nenhuma ordem\
+        \ espec\xEDfica."
+      D: "As necessidades satisfeitas s\xE3o motivadores e novas necessidades surgem\
+        \ quando as necessidades atuais permanecem n\xE3o satisfeitas."
+    input_correct_responses:
+    - B
+    input_question: "Qual das alternativas a seguir \xE9 uma suposi\xE7\xE3o na hierarquia\
+      \ de necessidades de Maslow?"
+  - input_choice_list:
+      A: "O consumidor mais velho que se sente um tanto exclu\xEDdo."
+      B: As mulheres casadas, muitas das quais sentem necessidade de estabilidade
+        nas suas vidas.
+      C: Novos imigrantes que realmente desejam assimilar sua nova cultura.
+      D: "Crian\xE7as, que baseiam a maior parte das suas decis\xF5es de compra em\
+        \ influ\xEAncias externas."
+    input_correct_responses:
+    - D
+    input_question: "O \xFAnico grupo dentro da sociedade que \xE9 mais vulner\xE1\
+      vel \xE0 influ\xEAncia do grupo de refer\xEAncia \xE9:"
+  - input_choice_list:
+      A: Linhas de cuidado.
+      B: Mala direta.
+      C: "Inser\xE7\xF5es."
+      D: De porta em porta.
+    input_correct_responses:
+    - D
+    input_question: "Embora o conte\xFAdo e a qualidade possam ser t\xE3o controlados\
+      \ quanto a mala direta, as taxas de resposta desse meio s\xE3o mais baixas devido\
+      \ \xE0 falta de um mecanismo de endere\xE7o pessoal. Este formato de m\xEDdia\
+      \ \xE9 conhecido como:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_marketing
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_marketing
+task_alias: marketing

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_medical_genetics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "rea\xE7\xE3o em cadeia da polimerase."
+      B: "an\xE1lise de polimorfismo conformacional de fita simples."
+      C: Mancha do sul.
+      D: Mancha ocidental.
+    input_correct_responses:
+    - C
+    input_question: "Grandes expans\xF5es de repeti\xE7\xE3o tripla podem ser detectadas\
+      \ por:"
+  - input_choice_list:
+      A: "uma enzima que une fragmentos na replica\xE7\xE3o normal do DNA"
+      B: "uma enzima de origem bacteriana que corta o DNA em sequ\xEAncias de bases\
+        \ definidas"
+      C: "uma enzima que facilita a transcri\xE7\xE3o de genes espec\xEDficos"
+      D: "uma enzima que limita o n\xEDvel a que um determinado nutriente atinge"
+    input_correct_responses:
+    - A
+    input_question: "DNA ligase \xE9"
+  - input_choice_list:
+      A: tem ambos os alelos expressos independentemente no heterozigoto
+      B: tem um alelo dominante para o outro
+      C: tem alelos fortemente ligados no mesmo cromossomo
+      D: tem alelos expressos ao mesmo tempo no desenvolvimento
+    input_correct_responses:
+    - A
+    input_question: "Um gene mostrando codomin\xE2ncia"
+  - input_choice_list:
+      A: "Estenose pil\xF3rica"
+      B: Esquizofrenia
+      C: "Espinha b\xEDfida (defeitos do tubo neural)"
+      D: "s\xEDndrome de Marfan"
+    input_correct_responses:
+    - D
+    input_question: "Qual das seguintes condi\xE7\xF5es n\xE3o mostra heran\xE7a multifatorial?"
+  - input_choice_list:
+      A: "pr\xF3fase I"
+      B: "met\xE1fase I"
+      C: "pr\xF3fase II"
+      D: "met\xE1fase II"
+    input_correct_responses:
+    - A
+    input_question: "O est\xE1gio da meiose em que os cromossomos se emparelham e\
+      \ se cruzam \xE9:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_medical_genetics
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_medical_genetics
+task_alias: medical_genetics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_miscellaneous.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: um
+      B: dois
+      C: quatro
+      D: oito
+    input_correct_responses:
+    - B
+    input_question: "Quantos eixos tem um autom\xF3vel padr\xE3o?"
+  - input_choice_list:
+      A: Budapeste
+      B: Budokan
+      C: "But\xE3o"
+      D: "Gr\xE3-Bretanha"
+    input_correct_responses:
+    - B
+    input_question: "Que lugar \xE9 nomeado no t\xEDtulo do \xE1lbum ao vivo de 1979\
+      \ das lendas do rock Cheap Trick?"
+  - input_choice_list:
+      A: Anthony 'Spud' Webb
+      B: Michael 'Air' Jordan
+      C: Tyrone 'Muggsy' Bogues
+      D: Julius 'Dr. J' Erving
+    input_correct_responses:
+    - A
+    input_question: "Quem \xE9 o homem mais baixo a vencer uma competi\xE7\xE3o de\
+      \ enterradas da NBA?"
+  - input_choice_list:
+      A: "hidrog\xEAnio"
+      B: nylon
+      C: "oxig\xEAnio"
+      D: luz
+    input_correct_responses:
+    - C
+    input_question: "O que \xE9 produzido durante a fotoss\xEDntese?"
+  - input_choice_list:
+      A: "'R\xE1dio Ga Ga'"
+      B: ''Ob-la-di Ob-la-da''
+      C: ''De Do Do Do De Da Da Da''
+      D: ''In-a-Gadda-Da-Vida''
+    input_correct_responses:
+    - C
+    input_question: "Qual dessas m\xFAsicas foi um hit Top 10 da banda de rock The\
+      \ Police?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_miscellaneous
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_miscellaneous
+task_alias: miscellaneous

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_moral_disputes.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Ainda n\xE3o est\xE1 claro se a pena capital impede ou n\xE3o danos \xE0\
+        \ comunidade."
+      B: "Ainda n\xE3o est\xE1 claro se a pena capital impede ou n\xE3o danos a quaisquer\
+        \ indiv\xEDduos."
+      C: "O consequencialismo n\xE3o \xE9 apoiado pelos valores africanos."
+      D: "Embora o consequencialismo seja apoiado por valores africanos, n\xE3o foram\
+        \ apresentados quaisquer argumentos consequencialistas enquadrados em termos\
+        \ de valores africanos."
+    input_correct_responses:
+    - A
+    input_question: "De acordo com Metz, o que h\xE1 de errado com os argumentos consequencialistas\
+      \ contra a pena capital baseados em valores africanos?"
+  - input_choice_list:
+      A: um zigoto.
+      B: "um embri\xE3o."
+      C: uma viabilidade.
+      D: um blastocisto.
+    input_correct_responses:
+    - A
+    input_question: "Um \xF3vulo fertilizado tamb\xE9m \xE9 conhecido como"
+  - input_choice_list:
+      A: estar na classe alta
+      B: a capacidade de aprender e resolver problemas
+      C: "sendo mais bonita que a maioria da popula\xE7\xE3o"
+      D: "sendo mais curto que a m\xE9dia"
+    input_correct_responses:
+    - B
+    input_question: "Qual das alternativas a seguir \xE9 um bem intr\xEDnseco, de\
+      \ acordo com Singer?"
+  - input_choice_list:
+      A: "A SCNT n\xE3o \xE9 um tipo diferente de reprodu\xE7\xE3o porque n\xE3o existem\
+        \ diferen\xE7as moralmente relevantes entre ela e outros meios de reprodu\xE7\
+        \xE3o permitidos."
+      B: "Como existe um baixo risco de danos para a gemelaridade natural, haver\xE1\
+        \ um baixo risco de danos para o TNCS."
+      C: ambos a e B
+      D: nem A nem B
+    input_correct_responses:
+    - A
+    input_question: "Pence compara seis casos diferentes de reprodu\xE7\xE3o, desde\
+      \ gemelaridade natural at\xE9 SCNT. Que conclus\xE3o ele tira dessa compara\xE7\
+      \xE3o?"
+  - input_choice_list:
+      A: "a estupidez da maioria dos exemplos filos\xF3ficos tradicionais."
+      B: "uma falta geral de intelig\xEAncia entre pessoas com diplomas avan\xE7ados."
+      C: o erro da tortura.
+      D: "a disponibilidade por parte de muitas pessoas inteligentes para verem a\
+        \ tortura como a melhor solu\xE7\xE3o para lidar com o terrorismo."
+    input_correct_responses:
+    - D
+    input_question: "Baron admite que as vers\xF5es hipot\xE9ticas da bomba-rel\xF3\
+      gio que ela discute s\xE3o "incrivelmente est\xFApidas", mas ela afirma\
+      \ que isso \xE9 na verdade uma evid\xEAncia de"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_moral_disputes
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_moral_disputes
+task_alias: moral_disputes

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_moral_scenarios.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Errado errado
+      B: "Errado, n\xE3o errado"
+      C: "N\xE3o est\xE1 errado, errado"
+      D: "N\xE3o est\xE1 errado, n\xE3o est\xE1 errado"
+    input_correct_responses:
+    - C
+    input_question: "Para qual destes dois cen\xE1rios o personagem principal (que\
+      \ usa eu/me/meu) faz algo claramente moralmente errado, de acordo com os padr\xF5\
+      es morais comuns nos EUA em 2020? Cen\xE1rio 1 | Eu realmente amei meu filho\
+      \ rec\xE9m-nascido. Cen\xE1rio 2 | A novata tem vergonha de morar em um trailer,\
+      \ ent\xE3o convido a turma para ir \xE0 casa dela."
+  - input_choice_list:
+      A: Errado errado
+      B: "Errado, n\xE3o errado"
+      C: "N\xE3o est\xE1 errado, errado"
+      D: "N\xE3o est\xE1 errado, n\xE3o est\xE1 errado"
+    input_correct_responses:
+    - C
+    input_question: "Para qual destes dois cen\xE1rios o personagem principal (que\
+      \ usa eu/me/meu) faz algo claramente moralmente errado, de acordo com os padr\xF5\
+      es morais comuns nos EUA em 2020? Cen\xE1rio 1 | Pedi um cigarro ao cara do\
+      \ lado de fora da loja. Cen\xE1rio 2 | Quando o seguran\xE7a deixou o posto,\
+      \ embolsei uma moeda rara."
+  - input_choice_list:
+      A: Errado errado
+      B: "Errado, n\xE3o errado"
+      C: "N\xE3o est\xE1 errado, errado"
+      D: "N\xE3o est\xE1 errado, n\xE3o est\xE1 errado"
+    input_correct_responses:
+    - D
+    input_question: "Para qual destes dois cen\xE1rios o personagem principal (que\
+      \ usa eu/me/meu) faz algo claramente moralmente errado, de acordo com os padr\xF5\
+      es morais comuns nos EUA em 2020? Cen\xE1rio 1 | Comprei uma caminhonete velha\
+      \ para trabalhar. Cen\xE1rio 2 | Olhei para a linda cachoeira e joguei uma pedra\
+      \ nela."
+  - input_choice_list:
+      A: Errado errado
+      B: "Errado, n\xE3o errado"
+      C: "N\xE3o est\xE1 errado, errado"
+      D: "N\xE3o est\xE1 errado, n\xE3o est\xE1 errado"
+    input_correct_responses:
+    - B
+    input_question: "Para qual destes dois cen\xE1rios o personagem principal (que\
+      \ usa eu/me/meu) faz algo claramente moralmente errado, de acordo com os padr\xF5\
+      es morais comuns nos EUA em 2020? Cen\xE1rio 1 | Durante a demoli\xE7\xE3o da\
+      \ casa, empurrei-o contra a parede. Cen\xE1rio 2 | Quando escolho uma bab\xE1\
+      \ para minhas sobrinhas g\xEAmeas, n\xE3o me importo com sua origem racial."
+  - input_choice_list:
+      A: Errado errado
+      B: "Errado, n\xE3o errado"
+      C: "N\xE3o est\xE1 errado, errado"
+      D: "N\xE3o est\xE1 errado, n\xE3o est\xE1 errado"
+    input_correct_responses:
+    - A
+    input_question: "Para qual destes dois cen\xE1rios o personagem principal (que\
+      \ usa eu/me/meu) faz algo claramente moralmente errado, de acordo com os padr\xF5\
+      es morais comuns nos EUA em 2020? Cen\xE1rio 1 | Peguei a carteira dele depois\
+      \ que ele me assediou no bar. Cen\xE1rio 2 | Fiz amor com meu filho rec\xE9\
+      m-nascido."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_moral_scenarios
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_moral_scenarios
+task_alias: moral_scenarios

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_nutrition.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Os bebedores de ch\xE1 t\xEAm menor risco de desenvolver diabetes."
+      B: "Os bebedores de ch\xE1 t\xEAm maior risco de desenvolver diabetes."
+      C: "Com base nas informa\xE7\xF5es fornecidas, n\xE3o podemos dizer se a diferen\xE7\
+        a observada no risco de doen\xE7a \xE9 resultado do acaso."
+      D: "A raz\xE3o de risco est\xE1 pr\xF3xima do valor um, portanto n\xE3o h\xE1\
+        \ diferen\xE7a no risco de doen\xE7a entre os dois grupos."
+    input_correct_responses:
+    - C
+    input_question: "Num estudo de coorte, a taxa de risco de desenvolver diabetes\
+      \ foi de 0,86 quando se comparou os consumidores de ch\xE1 (os expostos) com\
+      \ aqueles que n\xE3o beberam ch\xE1 (os n\xE3o expostos). Qual afirma\xE7\xE3\
+      o est\xE1 correta (de acordo com o conhecimento em 2020)?"
+  - input_choice_list:
+      A: "Consumidores com fenilceton\xFAria devem evitar o consumo do ado\xE7ante\
+        \ aspartame"
+      B: "Consumidores com fenilceton\xFAria devem evitar o consumo do ado\xE7ante\
+        \ sacarina"
+      C: "Consumidores com fenilceton\xFAria devem evitar o consumo do ado\xE7ante\
+        \ sucralose"
+      D: "Consumidores com fenilceton\xFAria devem evitar o consumo do ado\xE7ante\
+        \ acessulfame K"
+    input_correct_responses:
+    - A
+    input_question: "Qual das seguintes afirma\xE7\xF5es est\xE1 correta (de acordo\
+      \ com o conhecimento em 2020)?"
+  - input_choice_list:
+      A: "O \xE1cido propi\xF4nico, formado durante a fermenta\xE7\xE3o das fibras\
+        \ do c\xF3lon, inibe a s\xEDntese de \xE1cidos graxos no f\xEDgado"
+      B: "O \xE1cido but\xEDrico, formado durante a fermenta\xE7\xE3o das fibras do\
+        \ c\xF3lon, estimula o "silenciamento" do gene supressor de tumor\
+        \ SLC5A8"
+      C: "Nenhuma dessas op\xE7\xF5es est\xE1 correta"
+      D: "O \xE1cido but\xEDrico, formado durante a fermenta\xE7\xE3o das fibras do\
+        \ c\xF3lon, estimula as defesas antioxidantes no c\xF3lon"
+    input_correct_responses:
+    - D
+    input_question: "Qual das alternativas a seguir \xE9 a explica\xE7\xE3o mais plaus\xED\
+      vel para o efeito protetor da fibra alimentar contra o c\xE2ncer de c\xF3lon,\
+      \ a partir de 2020?"
+  - input_choice_list:
+      A: "50% dos adultos consomem iodo em n\xEDveis abaixo do RNI"
+      B: "Os produtos l\xE1cteos s\xE3o uma fonte pobre de iodo"
+      C: "O teor de iodo do leite org\xE2nico \xE9 geralmente inferior ao n\xEDvel\
+        \ do leite n\xE3o org\xE2nico"
+      D: "Os valores de refer\xEAncia diet\xE9ticos do Reino Unido recomendam um aumento\
+        \ na ingest\xE3o de iodo durante a gravidez"
+    input_correct_responses:
+    - C
+    input_question: "Qual das seguintes afirma\xE7\xF5es sobre o iodo est\xE1 correta\
+      \ em 2020?"
+  - input_choice_list:
+      A: Acarbose
+      B: Metformina
+      C: Sulfonilureias
+      D: Insulina
+    input_correct_responses:
+    - B
+    input_question: "Qual \xE9 o medicamento de primeira linha para pacientes com\
+      \ diabetes tipo 2 e obesidade, a partir de 2020?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_nutrition
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_nutrition
+task_alias: nutrition

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_philosophy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "uma teoria \xE9tica sobre como devemos nos comportar."
+      B: "uma generaliza\xE7\xE3o sobre a maneira como as pessoas tendem a se comportar."
+      C: "uma afirma\xE7\xE3o sobre a natureza humana e as maneiras como as pessoas\
+        \ s\xE3o capazes de se comportar."
+      D: nenhuma das acima.
+    input_correct_responses:
+    - C
+    input_question: "O ego\xEDsmo psicol\xF3gico \xE9:"
+  - input_choice_list:
+      A: prazer.
+      B: felicidade.
+      C: bom.
+      D: virtude.
+    input_correct_responses:
+    - C
+    input_question: "De acordo com o \u201Cutilitarismo ideal\u201D de Moore, a a\xE7\
+      \xE3o correta \xE9 aquela que provoca a maior quantidade de:"
+  - input_choice_list:
+      A: escolhas livres
+      B: ditames da alma
+      C: "leis naturais necess\xE1rias"
+      D: vontade indeterminada
+    input_correct_responses:
+    - C
+    input_question: Segundo d'Holbach, as pessoas sempre agem de acordo com _____.
+  - input_choice_list:
+      A: otimista
+      B: satisfeito
+      C: nominalmente religioso
+      D: pessimista
+    input_correct_responses:
+    - D
+    input_question: "Antes da convers\xE3o crist\xE3 de Tolstoi, qual era a sua perspectiva\
+      \ sobre o sentido da vida?"
+  - input_choice_list:
+      A: "metaf\xEDsica"
+      B: epistemologia
+      C: "f\xEDsica qu\xE2ntica"
+      D: axiologia
+    input_correct_responses:
+    - A
+    input_question: "O estudo da realidade no sentido mais amplo, uma investiga\xE7\
+      \xE3o sobre a natureza elementar do universo e das coisas nele contidas, \xE9\
+      \ conhecido como _____."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_philosophy
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_philosophy
+task_alias: philosophy

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_prehistory.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "satisfazer os poderosos sacerdotes astr\xF4nomos maias."
+      B: "mostrar sua generosidade para com as pessoas comuns, j\xE1 que lhes era\
+        \ permitido viver nos templos."
+      C: "assustar os inimigos, em particular os espanh\xF3is."
+      D: "legitimar sua realeza, j\xE1 que seu pai n\xE3o era da realeza."
+    input_correct_responses:
+    - D
+    input_question: 'O grande rei maia Pacal construiu templos na cidade de Palenque
+      para:'
+  - input_choice_list:
+      A: "um centro da civiliza\xE7\xE3o do Mississippi com condi\xE7\xF5es semelhantes\
+        \ \xE0s da ascens\xE3o dos primeiros estados."
+      B: "as limita\xE7\xF5es de autoridade em uma sociedade nativa americana de forrageadores\
+        \ igualit\xE1rios."
+      C: uma chefia simples ou talvez uma chefia complexa evoluiu por volta de 1500
+        DC.
+      D: "um centro da civiliza\xE7\xE3o do Mississippi com condi\xE7\xF5es semelhantes\
+        \ \xE0s sociedades da costa noroeste da Am\xE9rica do Norte."
+    input_correct_responses:
+    - A
+    input_question: "De acordo com Timothy Pauketat, as evid\xEAncias da estratifica\xE7\
+      \xE3o social e do poder pol\xEDtico em Cahokia sugerem:"
+  - input_choice_list:
+      A: "algum tipo de cataclismo, como um terremoto, vulc\xE3o ou tsunami."
+      B: "degrada\xE7\xE3o ecol\xF3gica resultante de t\xE9cnicas agr\xEDcolas de\
+        \ corte e queima."
+      C: "guerras intermin\xE1veis entre cidades-estado maias vizinhas."
+      D: "pr\xE1ticas de cruzamento que levaram a um aumento acentuado nas doen\xE7\
+        as cong\xEAnitas."
+    input_correct_responses:
+    - B
+    input_question: "Os investigadores acreditam agora que o decl\xEDnio dos maias\
+      \ foi causado principalmente por:"
+  - input_choice_list:
+      A: "uma grande diversidade de esp\xE9cies, ou uma \xFAnica esp\xE9cie que exibia\
+        \ muita diversidade."
+      B: "muito pouca diversidade de esp\xE9cies durante este per\xEDodo e muito poucos\
+        \ homin\xEDdeos."
+      C: "diminui\xE7\xE3o da diversidade de esp\xE9cies devido a uma era glacial\
+        \ prolongada seguida por uma seca severa."
+      D: "diminui\xE7\xE3o da diversidade de esp\xE9cies, mas aumento do n\xFAmero\
+        \ de martelos e lascas, indicando fabrica\xE7\xE3o de ferramentas de pedra."
+    input_correct_responses:
+    - A
+    input_question: "Pesquisas recentes sobre esp\xE9cies de homin\xEDdeos datadas\
+      \ do Plioceno M\xE9dio indicam que houve (em 2020):"
+  - input_choice_list:
+      A: abaixo de 650 cc
+      B: cerca de 800 cc
+      C: pouco menos de 1000 cc
+      D: 1200 cc
+    input_correct_responses:
+    - C
+    input_question: "Qual \xE9 a capacidade craniana m\xE9dia aproximada do Homo erectus?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_prehistory
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_prehistory
+task_alias: prehistory

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_professional_accounting.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: US$ 70.000
+      B: US$ 75.000
+      C: US$ 80.000
+      D: '100.000'
+    input_correct_responses:
+    - D
+    input_question: "Box, uma organiza\xE7\xE3o n\xE3o governamental sem fins lucrativos\
+      \ teve as seguintes transa\xE7\xF5es durante o ano: Receitas da venda de investimentos\
+      \ $ 80.000 Compra de bens im\xF3veis e equipamentos $ 10.000 Receitas de d\xED\
+      vidas de longo prazo $ 100.000 Perda na venda de investimentos $ 5.000 Qual\
+      \ valor deve ser relatado como l\xEDquido caixa fornecido pelas atividades de\
+      \ financiamento na demonstra\xE7\xE3o dos fluxos de caixa da Box?"
+  - input_choice_list:
+      A: US$ 13.000
+      B: US$ 600
+      C: US$ 15.000
+      D: US$ 28.000
+    input_correct_responses:
+    - A
+    input_question: "Cem anos atr\xE1s, sua tatarav\xF3 investiu US$ 100 com juros\
+      \ de 5% ao ano. Quanto vale o investimento hoje?"
+  - input_choice_list:
+      A: US$ 0
+      B: US$ 500
+      C: US$ 1.650
+      D: US$ 16.500
+    input_correct_responses:
+    - A
+    input_question: "Krete \xE9 um contribuinte solteiro que recebe rendimentos exclusivamente\
+      \ de sal\xE1rios. At\xE9 31 de dezembro do ano 1, o empregador de Krete reteve\
+      \ US$ 16.000 em impostos federais sobre a renda e Krete n\xE3o fez nenhum pagamento\
+      \ estimado de impostos. Em 15 de abril do ano 2, Krete apresentou oportunamente\
+      \ um pedido de prorroga\xE7\xE3o para apresentar sua declara\xE7\xE3o de imposto\
+      \ de renda individual e pagou US$ 300 de impostos adicionais. A obriga\xE7\xE3\
+      o fiscal do ano 1 de Krete era de $ 16.500 quando ela apresentou sua declara\xE7\
+      \xE3o oportunamente em 30 de abril do ano 2 e pagou o saldo restante da obriga\xE7\
+      \xE3o fiscal. Qual valor estaria sujeito \xE0 penalidade por pagamento a menor\
+      \ de impostos estimados?"
+  - input_choice_list:
+      A: US$ 5.000
+      B: US$ 13.500
+      C: US$ 16.000
+      D: US$ 20.000
+    input_correct_responses:
+    - B
+    input_question: "Em 1\xBA de janeiro do ano 1, a Alpha Co. assinou um contrato\
+      \ de manuten\xE7\xE3o anual com um fornecedor de software por US$ 15.000 e o\
+      \ per\xEDodo de manuten\xE7\xE3o come\xE7a em 1\xBA de mar\xE7o do ano 2. A\
+      \ Alpha tamb\xE9m incorreu em US$ 5.000 em custos em 1\xBA de janeiro do ano\
+      \ 1, relacionados \xE0 modifica\xE7\xE3o do software. solicita\xE7\xF5es que\
+      \ aumentar\xE3o a funcionalidade do software. A Alpha deprecia e amortiza seus\
+      \ ativos de computadores e software ao longo de cinco anos usando o m\xE9todo\
+      \ linear. Qual \xE9 o valor da despesa total que Alpha deve reconhecer relacionada\
+      \ ao contrato de manuten\xE7\xE3o e \xE0s modifica\xE7\xF5es de software para\
+      \ o ano encerrado em 31 de dezembro, ano 1?"
+  - input_choice_list:
+      A: "Avalia\xE7\xE3o e aloca\xE7\xE3o"
+      B: Completude
+      C: Direitos e deveres
+      D: "Apresenta\xE7\xE3o e divulga\xE7\xE3o"
+    input_correct_responses:
+    - B
+    input_question: "Um auditor rastreia os n\xFAmeros de s\xE9rie do equipamento\
+      \ at\xE9 o livro auxiliar de um n\xE3o emissor. Qual das seguintes afirma\xE7\
+      \xF5es de gest\xE3o \xE9 apoiada por este teste?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_accounting
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_professional_accounting
+task_alias: professional_accounting

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_professional_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "o estatuto \xE9 nulo por imprecis\xE3o sob a cl\xE1usula do devido processo\
+        \ da D\xE9cima Quarta Emenda."
+      B: "o estatuto \xE9 inv\xE1lido porque viola a liberdade de express\xE3o do\
+        \ peticion\xE1rio sob a Primeira Emenda."
+      C: "o estatuto \xE9 uma abreviatura da liberdade de express\xE3o ao abrigo da\
+        \ Primeira Emenda porque meios menos restritivos est\xE3o dispon\xEDveis para\
+        \ atingir o mesmo objectivo."
+      D: "o estatuto \xE9 muito amplo e, conseq\xFCentemente, inv\xE1lido sob a Primeira\
+        \ e a D\xE9cima Quarta Emendas."
+    input_correct_responses:
+    - D
+    input_question: "Uma legislatura estadual promulgou recentemente uma lei que considera\
+      \ contraven\xE7\xE3o xingar, insultar ou usar linguagem obscena ou injuriosa\
+      \ em rela\xE7\xE3o a um policial no desempenho de suas fun\xE7\xF5es ou em refer\xEA\
+      ncia a ele. Um estudante de uma universidade estadual organizou uma manifesta\xE7\
+      \xE3o no campus para protestar contra a guerra. A manifesta\xE7\xE3o contou\
+      \ com a presen\xE7a de um grupo de 50 estudantes que gritaram mensagens anti-guerra\
+      \ aos carros que passavam. Para mostrar seu desprezo pelos Estados Unidos, o\
+      \ estudante costurou a bandeira americana na parte traseira da cal\xE7a jeans.\
+      \ Quando um policial viu a bandeira pregada na cal\xE7a jeans do estudante,\
+      \ ele se aproximou e disse-lhe para retirar a bandeira ou ele seria preso. O\
+      \ estudante ficou furioso e gritou para o policial: \u201CEscute, seu bastardo,\
+      \ usarei esse trapo onde quiser\u201D. O estudante foi posteriormente preso\
+      \ e acusado de violar a lei estadual. O estudante posteriormente entra com uma\
+      \ a\xE7\xE3o na Justi\xE7a estadual questionando a constitucionalidade da lei.\
+      \ O argumento constitucional mais forte para o estudante \xE9 que"
+  - input_choice_list:
+      A: "A cl\xE1usula comercial."
+      B: "A cl\xE1usula de prote\xE7\xE3o igual da D\xE9cima Quarta Emenda."
+      C: "A cl\xE1usula de privil\xE9gios e imunidades do Artigo IV, Se\xE7\xE3o 2."
+      D: "A cl\xE1usula contratual."
+    input_correct_responses:
+    - A
+    input_question: "Um estado promulgou recentemente uma lei que pro\xEDbe a elimina\xE7\
+      \xE3o de quaisquer res\xEDduos nucleares dentro do estado. Esta lei n\xE3o contraria\
+      \ nem entra em conflito com quaisquer estatutos federais. Um homem dirige uma\
+      \ empresa no estado que se dedica \xE0 elimina\xE7\xE3o de res\xEDduos nucleares.\
+      \ Ap\xF3s a aprova\xE7\xE3o do estatuto estatal, o homem, ainda sem conhecimento\
+      \ da nova lei, celebrou contratos com muitas empresas de fora do estado para\
+      \ eliminar os seus res\xEDduos nucleares no estado. Por conta dessa nova lei,\
+      \ por\xE9m, o homem n\xE3o poder\xE1 cumprir esses contratos. Suponha que o\
+      \ homem tenha legitimidade para contestar esta lei estadual. Qual das alternativas\
+      \ a seguir apresenta seus fundamentos constitucionais mais fortes para desafiar\
+      \ a lei estadual que pro\xEDbe o descarte de res\xEDduos nucleares dentro do\
+      \ estado?"
+  - input_choice_list:
+      A: "Fatos indiscut\xEDveis."
+      B: "Fatos que foram afirmados por organiza\xE7\xF5es pol\xEDticas individuais."
+      C: Fatos reconhecidos como verdadeiros pelo conhecimento comum.
+      D: "Fatos pass\xEDveis de verifica\xE7\xE3o cient\xEDfica."
+    input_correct_responses:
+    - B
+    input_question: "O juiz tomou conhecimento judicial de alguns factos no in\xED\
+      cio do julgamento. Qual das alternativas a seguir n\xE3o \xE9 um tipo de fato\
+      \ apropriado para notifica\xE7\xE3o judicial?"
+  - input_choice_list:
+      A: "conceder al\xEDvio, porque a cerca violava a restri\xE7\xE3o de servid\xE3\
+        o."
+      B: "conceder al\xEDvio, porque a invas\xE3o da cerca violou a restri\xE7\xE3\
+        o do plano original."
+      C: "negar a tutela, porque o professor n\xE3o conseguiu fazer cumprir a restri\xE7\
+        \xE3o ao aposentado."
+      D: "negar al\xEDvio, porque a cerca n\xE3o seria interpretada como \u201Cuma\
+        \ estrutura\u201D dentro dos termos da restri\xE7\xE3o."
+    input_correct_responses:
+    - B
+    input_question: "Em 1\xBA de outubro de 1980, um incorporador, propriet\xE1rio\
+      \ de v\xE1rias centenas de acres em um condado rural, elaborou um plano geral\
+      \ de desenvolvimento para a \xE1rea. O plano devidamente registrado imp\xF4\
+      s limita\xE7\xF5es e restri\xE7\xF5es elaboradas ao terreno do plano, que deveria\
+      \ ser desenvolvido como um bairro residencial. As restri\xE7\xF5es deveriam\
+      \ se estender a todas as pessoas que adquirissem qualquer um dos lotes e aos\
+      \ seus herdeiros, cession\xE1rios e arrendat\xE1rios. Foi ainda previsto que\
+      \ todos os propriet\xE1rios subsequentes seriam cobrados com a devida notifica\xE7\
+      \xE3o das restri\xE7\xF5es. Entre essas restri\xE7\xF5es do plano geral estavam\
+      \ as seguintes:(22) \xC9 criado um direito de franquia em uma faixa de terreno\
+      \ de 10 p\xE9s de largura ao longo dos fundos de cada lote para uso de concession\xE1\
+      rias de servi\xE7os p\xFAblicos com direito de entrada e sa\xEDda. \xA7 23\xBA\
+      \ Nenhuma casa ou estrutura de qualquer esp\xE9cie dever\xE1 ser constru\xED\
+      da na referida faixa de terreno que atravessa os referidos quarteir\xF5es. Em\
+      \ 2000, um aposentado comprou um dos lotes, construiu uma casa e ergueu uma\
+      \ cerca nos fundos de sua propriedade, dentro da \xE1rea restrita. Em 2004,\
+      \ uma professora comprou um terreno adjacente \xE0 propriedade do aposentado\
+      \ e construiu uma nova casa. Dois anos depois, uma bibliotec\xE1ria comprou\
+      \ o terreno cont\xEDguo \xE0 propriedade da professora. Cada uma das tr\xEA\
+      s escrituras dessas propriedades continha refer\xEAncias ao livro de escrituras\
+      \ onde estava registado o plano geral. Em 2008, o bibliotec\xE1rio iniciou a\
+      \ constru\xE7\xE3o de uma cerca de 2,1 metros de altura ao longo da linha que\
+      \ divide seu lote com o do professor, e ao longo do centro da \xE1rea sujeita\
+      \ ao direito de franquia. Embora o professor tenha se oposto \xE0 sua constru\xE7\
+      \xE3o, a cerca foi conclu\xEDda. Se o professor solicitar uma liminar para obrigar\
+      \ a remo\xE7\xE3o da cerca do bibliotec\xE1rio, o tribunal provavelmente ir\xE1"
+  - input_choice_list:
+      A: "A promessa do pai e a confian\xE7a do credor nela, se provadas, deram origem\
+        \ a uma reclama\xE7\xE3o v\xE1lida do credor contra o pai com base na doutrina\
+        \ da preclus\xE3o promiss\xF3ria."
+      B: "Como era previs\xEDvel que a promessa do pai induziria o credor a abster-se\
+        \ de tomar qualquer ac\xE7\xE3o contra o filho, tal toler\xE2ncia era, por\
+        \ uma quest\xE3o de lei, uma contrapartida negociada pela promessa do pai."
+      C: "Os cinco pagamentos do pai ao credor, totalizando US$ 2.500, manifestaram\
+        \ uma inten\xE7\xE3o s\xE9ria por parte do pai de estar contratualmente vinculado,\
+        \ e tal manifesta\xE7\xE3o \xE9 geralmente reconhecida como um substituto\
+        \ eficaz da contrapresta\xE7\xE3o."
+      D: "Ao assumir a obriga\xE7\xE3o de d\xEDvida antecedente que o filho devia\
+        \ ao credor, o pai tornou-se fiador cuja promessa ao credor era execut\xF3\
+        ria, desde que fosse por escrito e amparada por contrapresta\xE7\xE3o adequada."
+    input_correct_responses:
+    - A
+    input_question: "Um filho devia a um credor US$ 5.000. O pai do filho contactou\
+      \ o credor e disse-lhe que queria pagar a d\xEDvida do filho. O pai assinou\
+      \ um documento que afirmava que pagaria a d\xEDvida do filho a uma taxa de US$\
+      \ 500 por m\xEAs durante 10 meses. O credor n\xE3o se comprometeu por escrito\
+      \ ou verbalmente a deixar de processar o filho para cobrar a d\xEDvida de $5.000,\
+      \ e o pai n\xE3o fez nenhum pedido oral ou escrito de tal toler\xE2ncia. Durante\
+      \ os cinco meses seguintes, o pai fez e o credor aceitou os pagamentos mensais\
+      \ de US$ 500 conforme acordado. Durante esse per\xEDodo, o credor, de facto,\
+      \ absteve-se de intentar qualquer ac\xE7\xE3o judicial contra o filho. No entanto,\
+      \ o pai informou ent\xE3o ao credor que n\xE3o faria mais pagamentos da d\xED\
+      vida. Qual das alternativas a seguir \xE9 o argumento mais persuasivo de que\
+      \ o pai \xE9 respons\xE1vel perante o credor nos termos do acordo?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_law
+tag: mmlu_pt_llama_humanities_tasks
+task: mmlu_pt_llama_professional_law
+task_alias: professional_law

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_professional_medicine.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Labetalol
+      B: "Uma dose de ataque de cloreto de pot\xE1ssio"
+      C: Nifedipina
+      D: Fenoxibenzamina
+    input_correct_responses:
+    - D
+    input_question: "Um homem de 42 anos vem ao consult\xF3rio para avalia\xE7\xE3\
+      o pr\xE9-operat\xF3ria antes de ser submetido \xE0 adrenalectomia programada\
+      \ para daqui a 2 semanas. H\xE1 um m\xEAs, ele recebeu atendimento no pronto-socorro\
+      \ devido a dores no flanco direito ap\xF3s uma colis\xE3o de ve\xEDculo motorizado.\
+      \ Naquela \xE9poca, a press\xE3o arterial era de 160/100 mm Hg e a tomografia\
+      \ computadorizada de abdome mostrou uma massa adrenal esquerda incidental de\
+      \ 10 cm. Os resultados dos estudos laboratoriais, incluindo hemograma completo,\
+      \ concentra\xE7\xF5es s\xE9ricas de eletr\xF3litos e testes de fun\xE7\xE3o\
+      \ hep\xE1tica, estavam dentro dos intervalos de refer\xEAncia. O paciente, por\
+      \ outro lado, era saud\xE1vel e nunca foi informado de que tinha press\xE3o\
+      \ arterial elevada. Ele n\xE3o toma medicamentos. Uma visita de acompanhamento\
+      \ no consult\xF3rio h\xE1 2 semanas revelou concentra\xE7\xF5es elevadas de\
+      \ normetanefrina e metanefrina urin\xE1ria e aldosterona plasm\xE1tica. O paciente\
+      \ foi encaminhado ao cirurgi\xE3o, que recomendou a adrenalectomia. Hoje, os\
+      \ sinais vitais s\xE3o temperatura 36,6\xB0C (97,9\xB0F), pulso 100/min, respira\xE7\
+      \xE3o 14/min e press\xE3o arterial 170/95 mm Hg. O exame f\xEDsico n\xE3o revela\
+      \ achados significativos. A prepara\xE7\xE3o pr\xE9-operat\xF3ria inicial deve\
+      \ incluir tratamento com qual dos seguintes?"
+  - input_choice_list:
+      A: "tor\xE7\xE3o sacral esquerda-esquerda"
+      B: "tor\xE7\xE3o sacral esquerda-direita"
+      C: "flex\xE3o sacral unilateral direita"
+      D: "tor\xE7\xE3o sacral direita sobre direita"
+    input_correct_responses:
+    - D
+    input_question: "Um homem de 36 anos chega ao consult\xF3rio com hist\xF3ria de\
+      \ dor lombar h\xE1 tr\xEAs semanas. Ele nega qualquer trauma recente, mas diz\
+      \ que entra e sai da caminhonete in\xFAmeras vezes ao dia para trabalhar. O\
+      \ exame do paciente em dec\xFAbito ventral revela um sulco sacral profundo \xE0\
+      \ esquerda, um \xE2ngulo lateral p\xF3stero-inferior \xE0 direita e uma jun\xE7\
+      \xE3o lombossacral que salta livremente sob compress\xE3o. O diagn\xF3stico\
+      \ mais prov\xE1vel \xE9"
+  - input_choice_list:
+      A: Dopamina
+      B: Glutamato
+      C: Norepinefrina
+      D: Serotonina
+    input_correct_responses:
+    - D
+    input_question: "Uma mulher de 32 anos, previamente saud\xE1vel, procura o m\xE9\
+      dico 8 meses depois que seu marido morreu em um acidente de carro. Desde ent\xE3\
+      o, ela apresenta diminui\xE7\xE3o do apetite e dificuldade em adormecer. Ela\
+      \ afirma que muitas vezes fica triste e chora com frequ\xEAncia. Ela verificou\
+      \ novamente a fechadura da porta cinco vezes antes de sair de casa e precisa\
+      \ contar exatamente cinco peda\xE7os de papel higi\xEAnico antes de us\xE1-lo.\
+      \ Ela diz que sempre foi perfeccionista, mas esses impulsos e rituais s\xE3\
+      o novos. A farmacoterapia deve ser direcionada para qual dos seguintes neurotransmissores?"
+  - input_choice_list:
+      A: "Rinite al\xE9rgica"
+      B: "V\xEDrus de Epstein Barr"
+      C: Mycoplasma pneumoniae
+      D: "Rinov\xEDrus"
+    input_correct_responses:
+    - D
+    input_question: "Um homem de 44 anos chega ao consult\xF3rio devido a uma hist\xF3\
+      ria de 3 dias de dor de garganta, tosse improdutiva, coriza e dor de cabe\xE7\
+      a frontal. Ele diz que a dor de cabe\xE7a piora pela manh\xE3 e o ibuprofeno\
+      \ proporciona algum al\xEDvio. Ele n\xE3o teve falta de ar. A hist\xF3ria m\xE9\
+      dica n\xE3o \xE9 digna de nota. Ele n\xE3o toma outros medicamentos al\xE9m\
+      \ do ibuprofeno para dor. Os sinais vitais s\xE3o temperatura 37,4\xB0C (99,4\xB0\
+      F), pulso 88/min, respira\xE7\xE3o 18/min e press\xE3o arterial 120/84 mm Hg.\
+      \ O exame das narinas mostra membranas mucosas eritematosas. O exame da garganta\
+      \ mostra eritema e hiperplasia linfoide folicular na orofaringe posterior. N\xE3\
+      o h\xE1 adenopatia cervical palp\xE1vel. Os pulm\xF5es est\xE3o limpos \xE0\
+      \ ausculta. Qual das alternativas a seguir \xE9 a causa mais prov\xE1vel dos\
+      \ sintomas deste paciente?"
+  - input_choice_list:
+      A: escaleno anterior
+      B: grande dorsal
+      C: peitoral menor
+      D: quadrado lombar
+    input_correct_responses:
+    - C
+    input_question: "Um maratonista de 22 anos chega ao consult\xF3rio com queixa\
+      \ de dor na costela do lado direito quando corre longas dist\xE2ncias. O exame\
+      \ f\xEDsico revela achados card\xEDacos e pulmonares normais e uma disfun\xE7\
+      \xE3o expirat\xF3ria nas costelas 4-5 \xE0 direita. Qual dos seguintes m\xFA\
+      sculos ou grupos musculares ser\xE1 mais \xFAtil na corre\xE7\xE3o desta disfun\xE7\
+      \xE3o utilizando um m\xE9todo direto?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_medicine
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_professional_medicine
+task_alias: professional_medicine

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_professional_psychology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "informe ao seu cliente os pr\xF3s e os contras de cada programa que voc\xEA\
+        \ conhece, exceto aquele em que voc\xEA est\xE1 inscrito"
+      B: "recomende ao seu cliente o programa no qual voc\xEA est\xE1 inscrito e explique\
+        \ o b\xF4nus de US$ 50 que voc\xEA receber\xE1"
+      C: "recomende ao seu cliente o programa no qual voc\xEA est\xE1 inscrito e ofere\xE7\
+        a o b\xF4nus de $ 50 creditado na conta do seu cliente no programa"
+      D: "diga ao seu cliente os pr\xF3s e os contras de cada programa que voc\xEA\
+        \ conhece, mas n\xE3o reivindique o b\xF4nus de $ 50 se o seu cliente se inscrever\
+        \ no seu programa"
+    input_correct_responses:
+    - D
+    input_question: "Um de seus clientes de terapia pede seu conselho sobre um bom\
+      \ programa de redu\xE7\xE3o de peso. Voc\xEA investigou os programas da comunidade\
+      \ e est\xE1 inscrito naquele que considera o melhor. Este programa oferece um\
+      \ b\xF4nus de US$ 50 aos seus clientes para cada nova pessoa que eles trazem\
+      \ para o programa. Nestas circunst\xE2ncias, a sua resposta mais adequada seria"
+  - input_choice_list:
+      A: "menos sens\xEDvel a pontua\xE7\xF5es extremas do que a m\xE9dia"
+      B: "mais \xFAtil para distribui\xE7\xF5es distorcidas"
+      C: "sens\xEDvel a valores extremos e distribui\xE7\xF5es altamente distorcidas"
+      D: "o n\xFAmero que ocorre com mais frequ\xEAncia"
+    input_correct_responses:
+    - D
+    input_question: "Existem tr\xEAs formas de medir a Tend\xEAncia Central: a M\xE9\
+      dia, a Mediana e a Moda. Pelo seu conhecimento sobre eles, qual \xE9 o modo?"
+  - input_choice_list:
+      A: individualismo.
+      B: "individualismo e dist\xE2ncia do poder."
+      C: "dist\xE2ncia do poder e masculinidade."
+      D: "evita\xE7\xE3o da incerteza."
+    input_correct_responses:
+    - A
+    input_question: "Em termos das cinco dimens\xF5es culturais de Hofstede (1980),\
+      \ os Estados Unidos pontuam no topo da escala em:"
+  - input_choice_list:
+      A: "\xE9 uma fantasia que distrai o cliente da realidade."
+      B: "representa \u201Csentimentos confusos\u201D em rela\xE7\xE3o ao terapeuta."
+      C: ""\xE9 uma forma de ""atua\xE7\xE3o.""""
+      D: reflete o inconsciente pessoal e coletivo do cliente.
+    input_correct_responses:
+    - D
+    input_question: "Carl Jung acreditava que a transfer\xEAncia de um cliente:"
+  - input_choice_list:
+      A: "n\xE3o est\xE3o correlacionados entre si, mas est\xE3o moderadamente correlacionados\
+        \ com o crit\xE9rio"
+      B: "t\xEAm correla\xE7\xF5es baixas entre si e correla\xE7\xF5es baixas com\
+        \ o crit\xE9rio"
+      C: "s\xE3o altamente intercorrelacionados entre si e moderadamente correlacionados\
+        \ com o crit\xE9rio"
+      D: "t\xEAm correla\xE7\xF5es baixas com o crit\xE9rio, mas est\xE3o moderadamente\
+        \ correlacionados entre si"
+    input_correct_responses:
+    - A
+    input_question: "Na constru\xE7\xE3o de uma equa\xE7\xE3o de regress\xE3o m\xFA\
+      ltipla para fins de previs\xE3o, a combina\xE7\xE3o \xF3tima de medidas \xE9\
+      \ aquela em que os preditores"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_psychology
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_professional_psychology
+task_alias: professional_psychology

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_public_relations.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Forne\xE7a ao rep\xF3rter outras informa\xE7\xF5es que ele tenha certeza\
+        \ de que est\xE3o corretas."
+      B: "Diga que a informa\xE7\xE3o \xE9 \u201Coff the record\u201D e ser\xE1 divulgada\
+        \ posteriormente."
+      C: "Diga 'n\xE3o sei' e prometa fornecer as informa\xE7\xF5es mais tarde."
+      D: "Diga 'sem coment\xE1rios' em vez de parecer desinformado."
+    input_correct_responses:
+    - C
+    input_question: "O que um profissional de rela\xE7\xF5es p\xFAblicas na m\xED\
+      dia deve fazer se n\xE3o souber a resposta \xE0 pergunta de um rep\xF3rter?"
+  - input_choice_list:
+      A: "Compre nomes de dom\xEDnio que possam ser usados por grupos de oposi\xE7\
+        \xE3o."
+      B: "Poste coment\xE1rios an\xF4nimos em blogs para combater essas informa\xE7\
+        \xF5es."
+      C: "Prepare um comunicado \xE0 imprensa que desacredite as informa\xE7\xF5es\
+        \ imprecisas."
+      D: "Fa\xE7a altera\xE7\xF5es nas pol\xEDticas para atender \xE0s reclama\xE7\
+        \xF5es destacadas nesses sites."
+    input_correct_responses:
+    - D
+    input_question: "Na gest\xE3o de problemas, qual \xE9 a abordagem mais proativa\
+      \ para lidar com informa\xE7\xF5es negativas ou enganosas publicadas on-line\
+      \ sobre a sua organiza\xE7\xE3o?"
+  - input_choice_list:
+      A: "Houve uma resposta coordenada da m\xEDdia."
+      B: Mensagens consistentes foram comunicadas.
+      C: "As cr\xEDticas foram tomadas como ataques \xE0 Igreja Cat\xF3lica."
+      D: A credibilidade do Vaticano foi mantida.
+    input_correct_responses:
+    - C
+    input_question: "Qual destas afirma\xE7\xF5es \xE9 verdadeira em rela\xE7\xE3\
+      o ao Vaticano em 2010, na altura das acusa\xE7\xF5es de encobrimento de abusos\
+      \ infantis?"
+  - input_choice_list:
+      A: Definindo o programa
+      B: Planejando o programa
+      C: Agir e implementar ideias
+      D: "Avalia\xE7\xE3o do programa"
+    input_correct_responses:
+    - A
+    input_question: "Em que fase do processo de planeamento seria realizada uma an\xE1\
+      lise da situa\xE7\xE3o?"
+  - input_choice_list:
+      A: Paz verde
+      B: A ONU
+      C: Oxfam
+      D: Fundo Mundial para a Vida Selvagem
+    input_correct_responses:
+    - D
+    input_question: "A Hora do Planeta foi uma campanha lan\xE7ada por qual organiza\xE7\
+      \xE3o?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_public_relations
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_public_relations
+task_alias: public_relations

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_security_studies.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Compet\xEAncia \xE9 outro termo para diplomacia coercitiva, mas abrange\
+        \ um conjunto mais restrito de crit\xE9rios; a compet\xEAncia abrange as amea\xE7\
+        as destinadas a iniciar a a\xE7\xE3o do advers\xE1rio. Uma amea\xE7a de coagir\
+        \ um Estado a ceder parte do seu territ\xF3rio contaria como diplomacia coercitiva,\
+        \ desde que essa amea\xE7a iniciasse proativamente uma a\xE7\xE3o antes de\
+        \ ser adotada uma diplomacia reativa."
+      B: "A diplomacia coercitiva constitui as amea\xE7as de for\xE7a limitada para\
+        \ induzir o incentivo do advers\xE1rio a cumprir as exig\xEAncias do coagente.\
+        \ \xC9 uma estrat\xE9gia de influ\xEAncia que visa obter conformidade: o uso\
+        \ da for\xE7a para derrotar primeiro um advers\xE1rio n\xE3o conta. Deixa\
+        \ um elemento de escolha com a meta a cumprir ou a continuar."
+      C: "A for\xE7a militar, ou a amea\xE7a da for\xE7a militar, utiliza o medo para\
+        \ atingir objetivos estrat\xE9gicos. A diplomacia coercitiva diferencia-se\
+        \ desta abordagem porque n\xE3o utiliza o medo como ferramenta para coagir\
+        \ um advers\xE1rio."
+      D: "A diplomacia coercitiva \xE9 utilizada para usar a for\xE7a, mas para limitar\
+        \ os seus efeitos na comunidade internacional. A diplomacia coercitiva \xE9\
+        \ uma estrat\xE9gia agressiva que visa obter conformidade atrav\xE9s da derrota.\
+        \ N\xE3o deixa um elemento de escolha ao alvo, sendo o alvo for\xE7ado a obedecer\
+        \ ou a envolver-se em conflito. Procura controlar impondo o cumprimento, eliminando\
+        \ qualquer oportunidade de negocia\xE7\xE3o ou concess\xE3o."
+    input_correct_responses:
+    - B
+    input_question: "O que distingue a diplomacia coercitiva da for\xE7a militar?"
+  - input_choice_list:
+      A: "As crian\xE7as-soldados s\xE3o v\xEDtimas de combates que necessitam de\
+        \ reeduca\xE7\xE3o e reabilita\xE7\xE3o."
+      B: "As crian\xE7as e as suas m\xE3es n\xE3o s\xE3o sujeitos activos na guerra\
+        \ e s\xE3o melhor consideradas como sujeitos da esfera privada."
+      C: "As crian\xE7as s\xE3o, na maioria das vezes, espectadores inocentes na guerra\
+        \ e s\xE3o melhor utilizadas como s\xEDmbolos de paz."
+      D: "As crian\xE7as t\xEAm uma subjetividade pol\xEDtica que \xE9 ignorada quando\
+        \ s\xE3o consideradas v\xEDtimas passivas da guerra."
+    input_correct_responses:
+    - D
+    input_question: "Qual das alternativas a seguir \xE9 a melhor perspectiva para\
+      \ investigar o papel das crian\xE7as-soldados?"
+  - input_choice_list:
+      A: "Como uma amea\xE7a existencial que requer uma a\xE7\xE3o imediata e extraordin\xE1\
+        ria, representando uma amea\xE7a \xE0 sobreviv\xEAncia do Estado ou \xE0 seguran\xE7\
+        a social."
+      B: "Como exigindo uma a\xE7\xE3o imediata e extraordin\xE1ria por parte do Estado,\
+        \ amea\xE7ando a sobreviv\xEAncia de um objeto de refer\xEAncia e, portanto,\
+        \ justificando o uso de medidas normalmente n\xE3o empregadas na esfera pol\xED\
+        tica."
+      C: "Como amea\xE7a urgente \xE0 sobreviv\xEAncia do objeto referente, t\xE3\
+        o grave que legitima o emprego de a\xE7\xE3o extraordin\xE1ria em resposta."
+      D: "Como amea\xE7a urgente \xE0 sobreviv\xEAncia do p\xFAblico que exige medidas\
+        \ extraordin\xE1rias ou emergenciais."
+    input_correct_responses:
+    - C
+    input_question: "Para se tornar securitizado, uma amea\xE7a deve ser apresentada\
+      \ de qual destas formas?"
+  - input_choice_list:
+      A: "Existem divis\xF5es t\xE3o amplas no quadro da seguran\xE7a humana relativamente\
+        \ \xE0 natureza das amea\xE7as e dos objectos de refer\xEAncia que n\xE3o\
+        \ \xE9 poss\xEDvel estabelecer compara\xE7\xF5es amplamente aplic\xE1veis\
+        \ entre as abordagens centradas no Estado e a seguran\xE7a humana."
+      B: "Ao adoptar o quadro da seguran\xE7a humana, as limita\xE7\xF5es da abordagem\
+        \ realista centrada no Estado tornam-se evidentes. Embora a seguran\xE7a humana\
+        \ defina o objecto de refer\xEAncia como a pessoa ou popula\xE7\xE3o, as abordagens\
+        \ centradas no Estado d\xE3o prioridade \xE0 seguran\xE7a do Estado, despriorizando\
+        \ a procura da seguran\xE7a humana."
+      C: "A abordagem da seguran\xE7a centrada no Estado \xE9 uma fac\xE7\xE3o da\
+        \ seguran\xE7a humana, geralmente definida dentro da ampla escola de seguran\xE7\
+        a humana. Por ser centrada no Estado, esta abordagem prioriza o indiv\xED\
+        duo como objeto de refer\xEAncia nos estudos de seguran\xE7a."
+      D: "Tanto a abordagem da seguran\xE7a centrada no Estado como a abordagem centrada\
+        \ no ser humano s\xE3o mutuamente exclusivas e oferecem um quadro anal\xED\
+        tico suficiente para compreender o sistema de seguran\xE7a internacional.\
+        \ \xC9, portanto, papel dos analistas de seguran\xE7a determinar quais destes\
+        \ conceitos substanciais est\xE3o corretos e quais devem ser descartados."
+    input_correct_responses:
+    - B
+    input_question: "Como podemos descrever melhor a rela\xE7\xE3o entre a abordagem\
+      \ centrada no Estado e o conceito de seguran\xE7a humana?"
+  - input_choice_list:
+      A: "A concorr\xEAncia entre na\xE7\xF5es maiores resultou em alguns pa\xEDses\
+        \ apoiarem activamente grupos terroristas para minar a for\xE7a de estados\
+        \ rivais. As redes terroristas s\xE3o clubes de clientelismo alargados mantidos\
+        \ e pagos pelos seus estados doadores e s\xE3o conceptualizados como sendo\
+        \ semelhantes a actores estatais, a serem combatidos com recurso \xE0 for\xE7\
+        a militar."
+      B: "A globaliza\xE7\xE3o permitiu a internacionaliza\xE7\xE3o das actividades\
+        \ terroristas, abrindo o seu espa\xE7o operacional, embora a coordena\xE7\xE3\
+        o ainda seja gerida a partir de uma base geogr\xE1fica. Isto sugere que os\
+        \ grupos terroristas est\xE3o estruturados a n\xEDvel nacional, o que significa\
+        \ que o terrorismo n\xE3o pode ser considerado em termos de uma guerra a ser\
+        \ derrotada militarmente sem ter implica\xE7\xF5es graves para a popula\xE7\
+        \xE3o ind\xEDgena."
+      C: "O terrorismo pode ser visto como um problema a ser resolvido por meios militares\
+        \ (guerra ao terrorismo), por t\xE9cnicas policiais normais (terrorismo como\
+        \ crime), ou como um problema m\xE9dico com causas e sintomas subjacentes\
+        \ (terrorismo como doen\xE7a)."
+      D: "O terrorismo \xE9 visto como um problema criminal. A criminaliza\xE7\xE3\
+        o do terrorismo tem duas implica\xE7\xF5es importantes. Em primeiro lugar,\
+        \ sugere que o terrorismo pode ser erradicado - os terroristas podem ser capturados\
+        \ e levados a julgamento atrav\xE9s de processos judiciais normais, eliminando\
+        \ assim a amea\xE7a da sociedade - e, em segundo lugar, sugere que s\xE3o\
+        \ aplic\xE1veis t\xE9cnicas preventivas do crime para impedir o seu desenvolvimento."
+    input_correct_responses:
+    - C
+    input_question: "Quais s\xE3o os quadros de an\xE1lise dentro dos quais o terrorismo\
+      \ foi considerado (a partir de 2020)?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_security_studies
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_security_studies
+task_alias: security_studies

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_sociology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "cuidados de sa\xFAde e educa\xE7\xE3o gratuitos para todos"
+      B: "um sal\xE1rio m\xEDnimo"
+      C: pleno emprego
+      D: bem-estar universal
+    input_correct_responses:
+    - B
+    input_question: "Qual das seguintes op\xE7\xF5es o estado de bem-estar social\
+      \ do p\xF3s-guerra de 1948 n\xE3o pretendia fornecer:"
+  - input_choice_list:
+      A: um passeio de feira
+      B: um circo
+      C: um teatro de fantoches
+      D: "um bal\xE9"
+    input_correct_responses:
+    - C
+    input_question: "O que Berger (1963) descreve como uma met\xE1fora para a realidade\
+      \ social?"
+  - input_choice_list:
+      A: "a crescente burocracia do estado tornou a religi\xE3o apenas uma parte marginal\
+        \ de nossas vidas"
+      B: "apesar do enfraquecimento da autoridade tradicional, a nossa vida quotidiana\
+        \ e o \u201Csenso comum\u201D continuam a ser moldados por cren\xE7as e valores\
+        \ religiosos"
+      C: "a participa\xE7\xE3o religiosa no culto colectivo pode ter diminu\xEDdo,\
+        \ mas as pessoas ainda praticam a sua f\xE9 em privado"
+      D: "as pessoas s\xE3o muito mais propensas a discutir suas cren\xE7as religiosas\
+        \ em ambientes p\xFAblicos e informais"
+    input_correct_responses:
+    - B
+    input_question: "A mudan\xE7a da \u201Creligi\xE3o civil\u201D para a \u201Creligi\xE3\
+      o comum\u201D significa que:"
+  - input_choice_list:
+      A: "a tend\xEAncia da classe trabalhadora de n\xE3o realizar seus pr\xF3prios\
+        \ interesses"
+      B: "uma ideologia dominante que legitima o poder econ\xF3mico, pol\xEDtico e\
+        \ cultural"
+      C: "uma forma de consci\xEAncia dupla baseada na ideologia e nas experi\xEA\
+        ncias cotidianas"
+      D: uma forma de pagamento dada para topiaria pendente
+    input_correct_responses:
+    - B
+    input_question: 'O termo 'hegemonia' refere-se a:'
+  - input_choice_list:
+      A: "a maioria das greves passa despercebida pelos empregadores e pela m\xED\
+        dia de massa"
+      B: "nem todos os conflitos laborais ser\xE3o comunicados pelo empregador"
+      C: "a defini\xE7\xE3o de greve exclui aquelas que envolvem menos de dez trabalhadores\
+        \ ou duram menos de um dia"
+      D: "\xE9 dif\xEDcil comparar greves que foram medidas de maneiras diferentes"
+    input_correct_responses:
+    - A
+    input_question: "Qual das alternativas a seguir n\xE3o \xE9 um problema associado\
+      \ \xE0s estat\xEDsticas oficiais sobre greves?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_sociology
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_sociology
+task_alias: sociology