Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_pt/_continuation_template_yaml

+dataset_path: meta-llama/Llama-3.1-8B-Instruct-evals
+dataset_name: Llama-3.1-8B-Instruct-evals__multilingual_mmlu_pt__details
+output_type: generate_until
+test_split: latest
+doc_to_text: "Given the following question and four candidate answers (A, B, C and D), choose the best answer.\nQuestion: {{input_question.strip()}}\nA. {{input_choice_list.A}}\nB. {{input_choice_list.B}}\nC. {{input_choice_list.C}}\nD. {{input_choice_list.D}}\nYour response should end with \"The best answer is [the_answer_letter]\" where the [the_answer_letter] is one of A, B, C or D."
+gen_prefix: "The best answer is"
+doc_to_target: "{{input_correct_responses[0]}}."
+num_fewshot: 5
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+    regexes_to_ignore:
+      - "\\$"
+      - "\\.$"
+generation_kwargs:
+  do_sample: false
+  temperature: 0
+  until:
+    - "."
+  max_gen_toks: 10
+filter_list:
+  - name: strict_match
+    filter:
+      - function: remove_whitespace
+      - function: take_first
+metadata:
+  version: 1.0
+dataset_kwargs:
+  trust_remote_code: true

lm_eval/tasks/llama3/instruct/mmlu_pt/_mmlu_pt_humanities.yaml

+group: mmlu_pt_llama_humanities
+group_alias: humanities
+task:
+  - mmlu_pt_llama_humanities_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_pt/_mmlu_pt_llama.yaml

+group: mmlu_pt_llama
+task:
+  - mmlu_pt_llama_stem
+  - mmlu_pt_llama_other
+  - mmlu_pt_llama_social_sciences
+  - mmlu_pt_llama_humanities
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_pt/_mmlu_pt_other.yaml

+group: mmlu_pt_llama_other
+group_alias: other
+task:
+  - mmlu_pt_llama_other_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_pt/_mmlu_pt_social_sciences.yaml

+group: mmlu_pt_llama_social_sciences
+group_alias: social sciences
+task:
+  - mmlu_pt_llama_social_sciences_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_pt/_mmlu_pt_stem.yaml

+group: mmlu_pt_llama_stem
+group_alias: stem
+task:
+  - mmlu_pt_llama_stem_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_abstract_algebra.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '0'
+      B: '1'
+      C: '2'
+      D: '3'
+    input_correct_responses:
+    - B
+    input_question: Encontre todo c em Z_3 tal que Z_3[x]/(x^2 + c) seja um corpo.
+  - input_choice_list:
+      A: Verdade verdade
+      B: Falso, Falso
+      C: Verdadeiro falso
+      D: Falso verdadeiro
+    input_correct_responses:
+    - B
+    input_question: "Declara\xE7\xE3o 1 | Se aH \xE9 um elemento de um grupo de fatores,\
+      \ ent\xE3o |aH| divide |a|. Declara\xE7\xE3o 2 | Se H e K s\xE3o subgrupos de\
+      \ G, ent\xE3o HK \xE9 um subgrupo de G."
+  - input_choice_list:
+      A: Verdade verdade
+      B: Falso, Falso
+      C: Verdadeiro falso
+      D: Falso verdadeiro
+    input_correct_responses:
+    - C
+    input_question: "Declara\xE7\xE3o 1 | Cada elemento de um grupo gera um subgrupo\
+      \ c\xEDclico do grupo. Declara\xE7\xE3o 2 | O grupo sim\xE9trico S_10 possui\
+      \ 10 elementos."
+  - input_choice_list:
+      A: Verdade verdade
+      B: Falso, Falso
+      C: Verdadeiro falso
+      D: Falso verdadeiro
+    input_correct_responses:
+    - A
+    input_question: "Declara\xE7\xE3o 1| Toda fun\xE7\xE3o de um conjunto finito sobre\
+      \ si mesma deve ser injetora. Declara\xE7\xE3o 2 | Todo subgrupo de um grupo\
+      \ abeliano \xE9 abeliano."
+  - input_choice_list:
+      A: '0'
+      B: '3'
+      C: '12'
+      D: '30'
+    input_correct_responses:
+    - A
+    input_question: "Encontre a caracter\xEDstica do anel 2Z."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_abstract_algebra
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_abstract_algebra
+task_alias: abstract_algebra

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_anatomy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "O primeiro arco far\xEDngeo"
+      B: "O primeiro e segundo arcos far\xEDngeos"
+      C: "O segundo arco far\xEDngeo"
+      D: "O segundo e terceiro arcos far\xEDngeos"
+    input_correct_responses:
+    - D
+    input_question: "Qual \xE9 a origem embriol\xF3gica do osso hi\xF3ide?"
+  - input_choice_list:
+      A: O nervo supraorbital
+      B: O nervo infraorbital
+      C: O nervo mental
+      D: Nenhuma das acima
+    input_correct_responses:
+    - D
+    input_question: "Qual desses ramos do nervo trig\xEAmeo cont\xE9m processos motores\
+      \ som\xE1ticos?"
+  - input_choice_list:
+      A: "n\xE3o t\xEAm inerva\xE7\xE3o sensorial."
+      B: "est\xE3o separados por um espa\xE7o de 2 mm."
+      C: "estender-se at\xE9 o pesco\xE7o."
+      D: "s\xE3o compostos por epit\xE9lio respirat\xF3rio."
+    input_correct_responses:
+    - C
+    input_question: A pleura
+  - input_choice_list:
+      A: sobremordida excessiva dos incisivos laterais superiores.
+      B: overjet negativo dos incisivos centrais superiores.
+      C: overjet excessivo dos incisivos laterais superiores.
+      D: overjet excessivo dos incisivos centrais superiores.
+    input_correct_responses:
+    - C
+    input_question: "Na oclus\xE3o Classe II Div 2 de Angle h\xE1"
+  - input_choice_list:
+      A: Abdominal
+      B: Craniano
+      C: Pleural
+      D: Espinhal
+    input_correct_responses:
+    - B
+    input_question: "Qual das alternativas a seguir \xE9 a cavidade corporal que cont\xE9\
+      m a gl\xE2ndula pituit\xE1ria?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_anatomy
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_anatomy
+task_alias: anatomy

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_astronomy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Seria mais dif\xEDcil j\xE1 que o caminh\xE3o \xE9 mais pesado em Marte."
+      B: "Seria mais f\xE1cil j\xE1 que o caminh\xE3o \xE9 mais leve em Marte."
+      C: "Seria mais dif\xEDcil j\xE1 que o caminh\xE3o \xE9 mais leve em Marte."
+      D: "Seria o mesmo, n\xE3o importa onde voc\xEA esteja."
+    input_correct_responses:
+    - D
+    input_question: "Voc\xEA est\xE1 empurrando um caminh\xE3o por uma estrada. Seria\
+      \ mais f\xE1cil acelerar este caminh\xE3o em Marte? Por que? (Suponha que n\xE3\
+      o haja atrito)"
+  - input_choice_list:
+      A: "O cintur\xE3o de Kuiper; cometas de curto per\xEDodo tendem a estar no plano\
+        \ do sistema solar, assim como o cintur\xE3o de Kuiper."
+      B: "O cintur\xE3o de Kuiper; cometas de curto per\xEDodo tendem a vir de dire\xE7\
+        \xF5es aleat\xF3rias, indicando uma distribui\xE7\xE3o esf\xE9rica de cometas\
+        \ chamada cintur\xE3o de Kuiper."
+      C: "O cintur\xE3o de aster\xF3ides; cometas de per\xEDodo curto t\xEAm per\xED\
+        odos orbitais semelhantes aos de aster\xF3ides como Vesta e s\xE3o encontrados\
+        \ no plano do sistema solar, assim como o cintur\xE3o de aster\xF3ides."
+      D: "A nuvem de Oort; cometas de curto per\xEDodo tendem a estar no plano do\
+        \ sistema solar, assim como a nuvem de Oort."
+    input_correct_responses:
+    - A
+    input_question: "De onde vem a maioria dos cometas de curto per\xEDodo e como\
+      \ sabemos?"
+  - input_choice_list:
+      A: 10.000 vezes mais
+      B: 100 vezes mais
+      C: 1000 vezes mais
+      D: 10 vezes mais
+    input_correct_responses:
+    - A
+    input_question: "Digamos que a pupila do seu olho tenha um di\xE2metro de 5 mm\
+      \ e voc\xEA tenha um telesc\xF3pio com abertura de 50 cm. Quanta luz a mais\
+      \ o telesc\xF3pio pode captar do que o seu olho?"
+  - input_choice_list:
+      A: "Um planeta j\xE1 se formou aqui, mas foi destru\xEDdo por uma colis\xE3\
+        o catastr\xF3fica."
+      B: "N\xE3o havia material suficiente nesta parte da nebulosa solar para formar\
+        \ um planeta."
+      C: "Havia muito material rochoso para formar um planeta terrestre, mas n\xE3\
+        o material gasoso suficiente para formar um planeta joviano."
+      D: "A resson\xE2ncia com J\xFApiter impediu que o material se reunisse para\
+        \ formar um planeta."
+    input_correct_responses:
+    - D
+    input_question: "Por que n\xE3o existe um planeta onde o cintur\xE3o de aster\xF3\
+      ides esteja localizado?"
+  - input_choice_list:
+      A: "Porque a superf\xEDcie est\xE1 coberta por minerais fortemente oxidados\
+        \ ("enferrujados")."
+      B: Porque a atmosfera espalha mais luz em comprimentos de onda mais azuis, transmitindo
+        principalmente luz vermelha.
+      C: "Porque Marte est\xE1 coberto por antigos fluxos de lava de cor vermelha."
+      D: "Porque a \xE1gua corrente na superf\xEDcie de Marte alterou os minerais\
+        \ da superf\xEDcie h\xE1 v\xE1rios bilh\xF5es de anos."
+    input_correct_responses:
+    - A
+    input_question: "Por que Marte \xE9 vermelho?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_astronomy
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_astronomy
+task_alias: astronomy

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_business_ethics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Externalidades, Poder, Independ\xEAncia"
+      B: "Publicidade, Recursos insubstanciais, Depend\xEAncia m\xFAtua"
+      C: "Publicidade, Poder, Independ\xEAncia"
+      D: "Externalidades, Poder, Depend\xEAncia M\xFAtua"
+    input_correct_responses:
+    - D
+    input_question: "Al\xE9m do argumento comercial para o envolvimento na RSE, h\xE1\
+      \ uma s\xE9rie de argumentos morais relacionados com: _______ negativo, o _______que\
+      \ as empresas possuem e o ________ dos neg\xF3cios e da sociedade."
+  - input_choice_list:
+      A: Responsabilidade social corporativa
+      B: "Gest\xE3o de \xE9tica empresarial"
+      C: Sustentabilidade
+      D: "Gest\xE3o ambiental"
+    input_correct_responses:
+    - B
+    input_question: "_______ \xE9 a tentativa direta de gerir formal ou informalmente\
+      \ quest\xF5es ou problemas \xE9ticos, atrav\xE9s de pol\xEDticas, pr\xE1ticas\
+      \ e programas espec\xEDficos."
+  - input_choice_list:
+      A: Fora, limitado, independente
+      B: Dentro, Limitado, Intermitentemente
+      C: Fora, Ilimitado, Intermitentemente
+      D: Dentro, Ilimitado, Independentemente
+    input_correct_responses:
+    - A
+    input_question: "Para garantir a independ\xEAncia dos administradores n\xE3o executivos,\
+      \ h\xE1 uma s\xE9rie de medidas que podem ser tomadas, que incluem a sele\xE7\
+      \xE3o de n\xE3o executivos de _______ da sociedade, a nomea\xE7\xE3o por um\
+      \ per\xEDodo de _________, bem como a nomea\xE7\xE3o de _________."
+  - input_choice_list:
+      A: "A\xE7\xE3o direta n\xE3o violenta, A\xE7\xE3o direta violenta, A\xE7\xE3\
+        o indireta, Boicote"
+      B: "A\xE7\xE3o indireta, A\xE7\xE3o instrumental, A\xE7\xE3o direta n\xE3o violenta,\
+        \ Campanha de informa\xE7\xE3o"
+      C: "A\xE7\xE3o indireta, a\xE7\xE3o direta violenta, boicote de a\xE7\xE3o direta\
+        \ n\xE3o violenta"
+      D: "A\xE7\xE3o direta n\xE3o violenta, A\xE7\xE3o instrumental, A\xE7\xE3o indireta,\
+        \ Campanha de informa\xE7\xE3o"
+    input_correct_responses:
+    - C
+    input_question: "Tr\xEAs t\xE1ticas contrastantes que os OSCs podem adotar para\
+      \ atingir seus objetivos s\xE3o ________, que normalmente envolve pesquisa e\
+      \ comunica\xE7\xE3o, ________, que pode envolver atacar fisicamente as opera\xE7\
+      \xF5es de uma empresa, ou ________, muitas vezes envolvendo alguma forma de\
+      \ _______."
+  - input_choice_list:
+      A: "Buycotts, boicotes, tecnologia Blockchain, doa\xE7\xF5es de caridade"
+      B: Compras, boicotes, tecnologia digital, aumento de vendas
+      C: "Boicotes, Buyalls, tecnologia Blockchain, doa\xE7\xF5es de caridade"
+      D: Boicotes, Buycotts, Tecnologia Digital, Aumento de Vendas
+    input_correct_responses:
+    - D
+    input_question: "Em contraste com _______, _______ visam recompensar o comportamento\
+      \ favor\xE1vel das empresas. O sucesso de tais campanhas foi aumentado atrav\xE9\
+      s do uso de ___________, que permite campanhas para facilitar a empresa a alcan\xE7\
+      ar _________."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_business_ethics
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_business_ethics
+task_alias: business_ethics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_clinical_knowledge.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ATP.
+      B: ADP.
+      C: fosfocreatina.
+      D: "fosforila\xE7\xE3o oxidativa."
+    input_correct_responses:
+    - A
+    input_question: "A energia para todas as formas de contra\xE7\xE3o muscular \xE9\
+      \ fornecida por:"
+  - input_choice_list:
+      A: "Os cateteres masculinos e femininos s\xE3o de cores diferentes."
+      B: "Os cateteres masculinos s\xE3o mais longos que os cateteres femininos."
+      C: "Os cateteres masculinos s\xE3o maiores que os cateteres femininos."
+      D: "Os cateteres femininos s\xE3o mais longos que os masculinos."
+    input_correct_responses:
+    - B
+    input_question: "Qual \xE9 a diferen\xE7a entre um cateter masculino e um cateter\
+      \ feminino?"
+  - input_choice_list:
+      A: "A abdu\xE7\xE3o do polegar \xE9 suprida pela raiz espinhal T2"
+      B: "A oposi\xE7\xE3o do polegar pelo oponente pol\xEDtico \xE9 suprida pela\
+        \ raiz espinhal T1"
+      C: "A adu\xE7\xE3o do dedo \xE9 suprida pelo nervo mediano"
+      D: "A abdu\xE7\xE3o dos dedos \xE9 mediada pelos inter\xF3sseos palmares"
+    input_correct_responses:
+    - B
+    input_question: "Na avalia\xE7\xE3o da fun\xE7\xE3o da m\xE3o, qual das afirma\xE7\
+      \xF5es a seguir \xE9 verdadeira?"
+  - input_choice_list:
+      A: '4'
+      B: '3'
+      C: '2'
+      D: '1'
+    input_correct_responses:
+    - C
+    input_question: "Quantas tentativas voc\xEA deve fazer para canular um paciente\
+      \ antes de passar o trabalho para um colega s\xEAnior, de acordo com o conhecimento\
+      \ m\xE9dico de 2020?"
+  - input_choice_list:
+      A: "glicog\xEAnio em glicose-1-fosfato."
+      B: "glicog\xEAnio ou glicose em frutose."
+      C: "glicog\xEAnio ou glicose em piruvato ou lactato."
+      D: "glicog\xEAnio ou glicose em piruvato ou acetil CoA."
+    input_correct_responses:
+    - C
+    input_question: "Glic\xF3lise \xE9 o nome dado \xE0 via que envolve a convers\xE3\
+      o de:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_clinical_knowledge
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_clinical_knowledge
+task_alias: clinical_knowledge

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_college_biology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Eles possuem um exoesqueleto composto principalmente de peptidoglicano.
+      B: "Possuem sistema circulat\xF3rio aberto com cora\xE7\xE3o dorsal."
+      C: "Eles s\xE3o membros de um filo biologicamente malsucedido, incapaz de explorar\
+        \ diversos habitats e fontes de nutri\xE7\xE3o."
+      D: "Eles n\xE3o possuem ap\xEAndices emparelhados e articulados."
+    input_correct_responses:
+    - B
+    input_question: "Qual das alternativas a seguir representa uma afirma\xE7\xE3\
+      o precisa sobre os artr\xF3podes?"
+  - input_choice_list:
+      A: 1/400
+      B: 19/400
+      C: 20/400
+      D: 38/400
+    input_correct_responses:
+    - D
+    input_question: "Numa determinada popula\xE7\xE3o, 1 em cada 400 pessoas tem um\
+      \ cancro causado por um alelo completamente recessivo, b. Supondo que a popula\xE7\
+      \xE3o esteja em equil\xEDbrio de Hardy-Weinberg, qual das alternativas a seguir\
+      \ \xE9 a propor\xE7\xE3o esperada de indiv\xEDduos que carregam o alelo b, mas\
+      \ n\xE3o se espera que desenvolvam o c\xE2ncer?"
+  - input_choice_list:
+      A: "o humano e o p\xE1ssaro s\xE3o esp\xE9cies polifil\xE9ticas"
+      B: "a evolu\xE7\xE3o de um ser humano e de um p\xE1ssaro \xE9 convergente"
+      C: "o humano e o p\xE1ssaro pertencem a um clado"
+      D: "o humano e o p\xE1ssaro desenvolvidos por analogia"
+    input_correct_responses:
+    - C
+    input_question: "A presen\xE7a de estruturas hom\xF3logas em dois organismos diferentes,\
+      \ como o \xFAmero no membro anterior de um ser humano e de uma ave, indica que"
+  - input_choice_list:
+      A: "uma bomba de fluxo de press\xE3o dependente de ATP"
+      B: "um gradiente de potencial de press\xE3o da \xE1gua"
+      C: "transpira\xE7\xE3o"
+      D: "difus\xE3o apopl\xE1stica"
+    input_correct_responses:
+    - B
+    input_question: "De acordo com o modelo de fluxo de press\xE3o do movimento do\
+      \ conte\xFAdo do floema, o movimento do fotossintato da fonte ao sumidouro \xE9\
+      \ impulsionado por"
+  - input_choice_list:
+      A: "Tel\xF4meros"
+      B: "Centr\xF4meros"
+      C: Nucleossomos
+      D: Spliceossomas
+    input_correct_responses:
+    - B
+    input_question: "Qual das alternativas a seguir cont\xE9m sequ\xEAncias de DNA\
+      \ necess\xE1rias para a segrega\xE7\xE3o dos cromossomos na mitose e na meiose?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_biology
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_college_biology
+task_alias: college_biology

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_college_chemistry.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "O estado de oxida\xE7\xE3o mais comum para os elementos lantan\xEDdeos \xE9\
+        \ +3."
+      B: "Os complexos de lantan\xEDdeos geralmente apresentam n\xFAmeros de coordena\xE7\
+        \xE3o elevados (> 6)."
+      C: "Todos os elementos lantan\xEDdeos reagem com \xE1cido aquoso para liberar\
+        \ hidrog\xEAnio."
+      D: "Os raios at\xF4micos dos elementos lantan\xEDdeos aumentam ao longo do per\xED\
+        odo de La a Lu."
+    input_correct_responses:
+    - D
+    input_question: "Qual das seguintes afirma\xE7\xF5es sobre os elementos lantan\xED\
+      deos N\xC3O \xE9 verdadeira?"
+  - input_choice_list:
+      A: 1,0 mL
+      B: 10ml
+      C: 20ml
+      D: 50ml
+    input_correct_responses:
+    - C
+    input_question: "Uma amostra de 0,217 g de HgO (massa molar = 217 g) reage com\
+      \ excesso de \xEDons iodeto de acordo com a rea\xE7\xE3o mostrada acima. A titula\xE7\
+      \xE3o da solu\xE7\xE3o resultante requer quantos mL de HCl 0,10 M para atingir\
+      \ o ponto de equival\xEAncia?"
+  - input_choice_list:
+      A: '4'
+      B: '3'
+      C: '6'
+      D: '24'
+    input_correct_responses:
+    - A
+    input_question: "Preveja o n\xFAmero de linhas no espectro EPR de uma solu\xE7\
+      \xE3o de radical metila marcado com 13C (13CH3\u2022), assumindo que as linhas\
+      \ n\xE3o se sobrep\xF5em."
+  - input_choice_list:
+      A: "um \xE1cido"
+      B: humilhar
+      C: um catalisador
+      D: um agente redutor
+    input_correct_responses:
+    - D
+    input_question: "3 Cl\u2212(aq) + 4 CrO_4^2\u2212(aq) + 23 H+(aq) \u2192 3 HClO2(aq)\
+      \ + 4 Cr3+(aq) + 10 H2O(l). Na rea\xE7\xE3o mostrada acima, Cl\u2212(aq) se\
+      \ comporta como"
+  - input_choice_list:
+      A: PbH4 <SnH4 <GeH4 <SiH4 <CH4
+      B: PbH4 <SnH4 <CH4 <GeH4 <SiH4
+      C: CH4 <SiH4 <GeH4 <SnH4 <PbH4
+      D: CH4 <PbH4 <GeH4 <SnH4 <SiH4
+    input_correct_responses:
+    - A
+    input_question: "Qual das alternativas a seguir lista os hidretos dos elementos\
+      \ do grupo 14 em ordem de estabilidade t\xE9rmica, do menor para o maior?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_chemistry
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_college_chemistry
+task_alias: college_chemistry

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_college_computer_science.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: uma*(c + d)+ b(c + d)
+      B: uma*(c + d)* + b(c + d)*
+      C: uma*(c + d)+ b*(c + d)
+      D: (a + b)*c +(a + b)*d
+    input_correct_responses:
+    - D
+    input_question: "Qual das seguintes express\xF5es regulares \xE9 equivalente a\
+      \ (descreve o mesmo conjunto de strings que) (a* + b)*(c + d)?"
+  - input_choice_list:
+      A: '5'
+      B: '6'
+      C: '7'
+      D: '8'
+    input_correct_responses:
+    - B
+    input_question: "Uma certa m\xE1quina RISC em pipeline possui 8 registradores\
+      \ de uso geral R0, R1,. . . , R7 e suporta as seguintes opera\xE7\xF5es. ADD\
+      \ Rs1, Rs2, Rd Adicione Rs1 a Rs2 e coloque a soma em Rd MUL Rs1, Rs2, Rd Multiplique\
+      \ Rs1 por Rs2 e coloque o produto em Rd Uma opera\xE7\xE3o normalmente leva\
+      \ um ciclo; entretanto, uma opera\xE7\xE3o leva dois ciclos se produzir um resultado\
+      \ exigido pela opera\xE7\xE3o imediatamente seguinte em uma sequ\xEAncia de\
+      \ opera\xE7\xF5es. Considere a express\xE3o AB + ABC + BC, onde as vari\xE1\
+      veis A, B, C est\xE3o localizadas nos registradores R0, R1, R2. Se o conte\xFA\
+      do desses tr\xEAs registradores n\xE3o deve ser modificado, qual \xE9 o n\xFA\
+      mero m\xEDnimo de ciclos de clock necess\xE1rios para uma sequ\xEAncia de opera\xE7\
+      \xF5es que calcule o valor de AB + ABC + BC?"
+  - input_choice_list:
+      A: eu apenas
+      B: II apenas
+      C: III apenas
+      D: I, II e III
+    input_correct_responses:
+    - D
+    input_question: "O padr\xE3o de design Singleton \xE9 usado para garantir que\
+      \ apenas uma \xFAnica inst\xE2ncia de uma classe possa ser instanciada. Qual\
+      \ das afirma\xE7\xF5es a seguir \xE9 (s\xE3o) verdadeira para esse padr\xE3\
+      o de design? I. A classe Singleton possui um m\xE9todo de f\xE1brica est\xE1\
+      tico para fornecer sua inst\xE2ncia. II. A classe Singleton pode ser uma subclasse\
+      \ de outra classe. III. A classe Singleton possui um construtor privado."
+  - input_choice_list:
+      A: '5'
+      B: '6'
+      C: '7'
+      D: '9'
+    input_correct_responses:
+    - D
+    input_question: "Um compilador gera c\xF3digo para a seguinte instru\xE7\xE3o\
+      \ de atribui\xE7\xE3o. G := (A + B) * C - (D + E) * F A m\xE1quina alvo possui\
+      \ um \xFAnico acumulador e um conjunto de instru\xE7\xF5es de endere\xE7o \xFA\
+      nico que consiste em instru\xE7\xF5es de carga, armazenamento, adi\xE7\xE3o,\
+      \ subtra\xE7\xE3o e multiplica\xE7\xE3o. Para as opera\xE7\xF5es aritm\xE9ticas,\
+      \ o operando esquerdo \xE9 retirado do acumulador e o resultado aparece no acumulador.\
+      \ O menor n\xFAmero poss\xEDvel de instru\xE7\xF5es no c\xF3digo resultante\
+      \ \xE9"
+  - input_choice_list:
+      A: 1/50
+      B: 27/01
+      C: 25/01
+      D: 27/02
+    input_correct_responses:
+    - B
+    input_question: "Considere um projeto de computador no qual v\xE1rios processadores,\
+      \ cada um com uma mem\xF3ria cache privada, compartilham mem\xF3ria global usando\
+      \ um \xFAnico barramento. Este barramento \xE9 o recurso cr\xEDtico do sistema.\
+      \ Cada processador pode executar uma instru\xE7\xE3o a cada 500 nanossegundos,\
+      \ desde que as refer\xEAncias de mem\xF3ria sejam satisfeitas pelo seu cache\
+      \ local. Quando ocorre uma falta de cache, o processador \xE9 atrasado por mais\
+      \ 2.000 nanossegundos. Durante metade desse atraso adicional, o barramento \xE9\
+      \ dedicado a atender a perda de cache. Durante a outra metade, o processador\
+      \ n\xE3o pode continuar, mas o barramento fica livre para atender solicita\xE7\
+      \xF5es de outros processadores. Em m\xE9dia, cada instru\xE7\xE3o requer 2 refer\xEA\
+      ncias de mem\xF3ria. Em m\xE9dia, as perdas de cache ocorrem em 1% das refer\xEA\
+      ncias. Que propor\xE7\xE3o da capacidade do barramento um \xFAnico processador\
+      \ consumiria, ignorando os atrasos devidos \xE0 concorr\xEAncia de outros processadores?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_computer_science
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_college_computer_science
+task_alias: college_computer_science

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_college_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ST = 0
+      B: ST = T
+      C: ST = TS
+      D: "ST - TS \xE9 o mapa de identidade de V sobre si mesmo."
+    input_correct_responses:
+    - D
+    input_question: "Seja V o conjunto de todos os polin\xF4mios reais p(x). Deixe\
+      \ as transforma\xE7\xF5es T, S serem definidas em V por T:p(x) -> xp(x) e\
+      \ S:p(x) -> p'(x) = d/dx p(x), e interprete (ST) (p(x)) como S(T(p(x))).\
+      \ Qual dos seguintes \xE9 verdadeiro?"
+  - input_choice_list:
+      A: '2'
+      B: 2-e^-2
+      C: 2 + e^-2
+      D: 2 + e^-4
+    input_correct_responses:
+    - D
+    input_question: "Um tanque cont\xE9m inicialmente uma solu\xE7\xE3o salina de\
+      \ 3 gramas de sal dissolvidos em 100 litros de \xE1gua. Uma solu\xE7\xE3o salina\
+      \ contendo 0,02 gramas de sal por litro de \xE1gua \xE9 pulverizada no tanque\
+      \ a uma taxa de 4 litros por minuto. A solu\xE7\xE3o pulverizada \xE9 continuamente\
+      \ misturada com a solu\xE7\xE3o salina no tanque, e a mistura flui para fora\
+      \ do tanque a uma taxa de 4 litros por minuto. Se a mistura for instant\xE2\
+      nea, quantos gramas de sal h\xE1 no tanque ap\xF3s decorridos 100 minutos?"
+  - input_choice_list:
+      A: eu apenas
+      B: II apenas
+      C: III apenas
+      D: Apenas II e III
+    input_correct_responses:
+    - B
+    input_question: "Seja A uma matriz 2x2 real. Qual das seguintes afirma\xE7\xF5\
+      es deve ser verdadeira? I. Todas as entradas de A^2 s\xE3o n\xE3o negativas.\
+      \ II. O determinante de A ^ 2 n\xE3o \xE9 negativo. III. Se A tem dois autovalores\
+      \ distintos, ent\xE3o A^2 tem dois autovalores distintos."
+  - input_choice_list:
+      A: '-11'
+      B: '0'
+      C: '11'
+      D: 33/2
+    input_correct_responses:
+    - C
+    input_question: "Suponha que f(1 + x) = f(x) para todo x real. Se f \xE9 um polin\xF4\
+      mio e f(5) = 11, ent\xE3o f(15/2)"
+  - input_choice_list:
+      A: '-5'
+      B: '-4'
+      C: '-3'
+      D: '-2'
+    input_correct_responses:
+    - B
+    input_question: "Seja A o conjunto de todos os pares ordenados de inteiros (m,\
+      \ n) tais que 7m + 12n = 22. Qual \xE9 o maior n\xFAmero negativo no conjunto\
+      \ B = {m + n : (m, n) \\in A}?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_mathematics
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_college_mathematics
+task_alias: college_mathematics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_college_medicine.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "atrav\xE9s de transportadores de prote\xEDnas chamados GLUT4."
+      B: "apenas na presen\xE7a de insulina."
+      C: via hexoquinase.
+      D: "atrav\xE9s de transportadores de \xE1cido monocarb\xEDlico."
+    input_correct_responses:
+    - A
+    input_question: "A glicose \xE9 transportada para a c\xE9lula muscular:"
+  - input_choice_list:
+      A: "O glicog\xEAnio muscular \xE9 decomposto enzimaticamente em glicose-1-fosfato"
+      B: "Corredores de resist\xEAncia de elite t\xEAm uma alta propor\xE7\xE3o de\
+        \ fibras do Tipo I nos m\xFAsculos das pernas"
+      C: "O glicog\xEAnio hep\xE1tico \xE9 importante na manuten\xE7\xE3o da concentra\xE7\
+        \xE3o de glicose no sangue"
+      D: "A insulina promove a capta\xE7\xE3o de glicose por todos os tecidos do corpo"
+    input_correct_responses:
+    - D
+    input_question: "Qual das alternativas a seguir n\xE3o \xE9 uma afirma\xE7\xE3\
+      o verdadeira?"
+  - input_choice_list:
+      A: "Todos os descendentes do lado materno ter\xE3o o transtorno."
+      B: "As mulheres ser\xE3o aproximadamente duas vezes mais afetadas que os homens\
+        \ nesta fam\xEDlia."
+      C: "Todas as filhas de um homem afetado ser\xE3o afetadas."
+      D: "Haver\xE1 distribui\xE7\xE3o igual de homens e mulheres afetados."
+    input_correct_responses:
+    - C
+    input_question: "Em um teste gen\xE9tico de um rec\xE9m-nascido, \xE9 encontrada\
+      \ uma doen\xE7a gen\xE9tica rara que tem transmiss\xE3o recessiva ligada ao\
+      \ X. Qual das seguintes afirma\xE7\xF5es \xE9 provavelmente verdadeira em rela\xE7\
+      \xE3o ao pedigree deste transtorno?"
+  - input_choice_list:
+      A: "Aumentando a temperatura, aumentando o n\xFAmero de moles de g\xE1s"
+      B: Aumentando a temperatura, aumentando o volume
+      C: Diminuindo o volume, diminuindo a temperatura
+      D: "Diminuindo moles de g\xE1s, aumentando o volume"
+    input_correct_responses:
+    - A
+    input_question: "Um professor de ci\xEAncias do ensino m\xE9dio enche uma garrafa\
+      \ de 1 litro com nitrog\xEAnio puro e fecha a tampa. A press\xE3o \xE9 1,70\
+      \ atm e a temperatura ambiente \xE9 25\xB0C. Quais s\xE3o as duas vari\xE1veis\
+      \ que aumentar\xE3o a press\xE3o do sistema, se todas as outras vari\xE1veis\
+      \ forem mantidas constantes?"
+  - input_choice_list:
+      A: fraqueza muscular.
+      B: ganho de massa corporal.
+      C: "c\xE3ibras musculares."
+      D: "perda de eletr\xF3litos."
+    input_correct_responses:
+    - B
+    input_question: "Um efeito colateral esperado da suplementa\xE7\xE3o de creatina\
+      \ \xE9:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_medicine
+tag: mmlu_pt_llama_other_tasks
+task: mmlu_pt_llama_college_medicine
+task_alias: college_medicine

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_college_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '4'
+      B: '5'
+      C: '6'
+      D: '20'
+    input_correct_responses:
+    - A
+    input_question: "Um telesc\xF3pio refrator consiste em duas lentes convergentes\
+      \ separadas por 100 cm. A lente ocular tem uma dist\xE2ncia focal de 20 cm.\
+      \ A amplia\xE7\xE3o angular do telesc\xF3pio \xE9"
+  - input_choice_list:
+      A: Temperatura constante
+      B: Volume constante
+      C: "Press\xE3o constante"
+      D: "Adiab\xE1tico"
+    input_correct_responses:
+    - B
+    input_question: "Para qual dos seguintes processos termodin\xE2micos o aumento\
+      \ na energia interna de um g\xE1s ideal \xE9 igual ao calor adicionado ao g\xE1\
+      s?"
+  - input_choice_list:
+      A: 2,4V
+      B: 3,3V
+      C: 4,5V
+      D: 5,7V
+    input_correct_responses:
+    - A
+    input_question: "Uma extremidade de um fio de nicromo de comprimento 2L e \xE1\
+      rea de se\xE7\xE3o transversal A est\xE1 presa a uma extremidade de outro fio\
+      \ de nicromo de comprimento L e \xE1rea de se\xE7\xE3o transversal 2A. Se a\
+      \ extremidade livre do fio mais longo estiver com um potencial el\xE9trico de\
+      \ 8,0 volts, e a extremidade livre do fio mais curto estiver com um potencial\
+      \ el\xE9trico de 1,0 volt, o potencial na jun\xE7\xE3o dos dois fios ser\xE1\
+      \ quase igual a"
+  - input_choice_list:
+      A: '4'
+      B: '5'
+      C: '6'
+      D: '20'
+    input_correct_responses:
+    - A
+    input_question: "Um telesc\xF3pio refrator consiste em duas lentes convergentes\
+      \ separadas por 100 cm. A lente ocular tem uma dist\xE2ncia focal de 20 cm.\
+      \ A amplia\xE7\xE3o angular do telesc\xF3pio \xE9"
+  - input_choice_list:
+      A: cobrar
+      B: massa
+      C: energia e impulso
+      D: "n\xFAmero lept\xF4nico"
+    input_correct_responses:
+    - D
+    input_question: "O m\xFAon decai com um tempo de vida caracter\xEDstico de cerca\
+      \ de 10 ^ -6 segundos em um el\xE9tron, um neutrino do m\xFAon e um antineutrino\
+      \ do el\xE9tron. O m\xFAon est\xE1 proibido de decair em um el\xE9tron e em\
+      \ apenas um \xFAnico neutrino pela lei da conserva\xE7\xE3o de"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_physics
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_college_physics
+task_alias: college_physics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_computer_security.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 160 bits
+      B: 512 bits
+      C: 628 bits
+      D: 820 bits
+    input_correct_responses:
+    - A
+    input_question: SHA-1 tem um resumo da mensagem de
+  - input_choice_list:
+      A: "IM \u2013 Trojans"
+      B: Trojans de backdoor
+      C: Downloader de Trojan
+      D: Trojan de resgate
+    input_correct_responses:
+    - D
+    input_question: "_____________ pode modificar dados em seu sistema \u2013 para\
+      \ que seu sistema n\xE3o funcione corretamente ou voc\xEA n\xE3o possa mais\
+      \ acessar dados espec\xEDficos, ou pode at\xE9 pedir resgate para conceder seu\
+      \ acesso."
+  - input_choice_list:
+      A: "\xC9tica de \u201Chacking\u201D para justificar comportamento ego\xEDsta\
+        \ n\xE3o intencional"
+      B: "Hackear sistemas (por exemplo, durante testes de penetra\xE7\xE3o) para\
+        \ expor vulnerabilidades para que possam ser corrigidas, em vez de exploradas"
+      C: "Invadir sistemas administrados por pessoas cuja \xE9tica voc\xEA discorda"
+      D: "Uma g\xEDria para desenvolvimento r\xE1pido de software, por exemplo, como\
+        \ parte de hackathons"
+    input_correct_responses:
+    - B
+    input_question: "O que \xE9 hacking \xE9tico?"
+  - input_choice_list:
+      A: "sobrescrevendo chaves criptogr\xE1ficas na mem\xF3ria"
+      B: "uma esp\xE9cie de inje\xE7\xE3o de c\xF3digo"
+      C: uma leitura fora dos limites de um buffer
+      D: um ataque de string de formato
+    input_correct_responses:
+    - C
+    input_question: "A explora\xE7\xE3o do bug Heartbleed permite"
+  - input_choice_list:
+      A: Teia assombrada
+      B: Rede mundial de computadores
+      C: "Superf\xEDcie da web"
+      D: Rede profunda
+    input_correct_responses:
+    - D
+    input_question: "O ____________ \xE9 qualquer coisa que seu mecanismo de pesquisa\
+      \ n\xE3o consegue pesquisar."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_computer_security
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_computer_security
+task_alias: computer_security

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_conceptual_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: menos
+      B: mais
+      C: o mesmo
+      D: zero
+    input_correct_responses:
+    - A
+    input_question: "Comparadas com a massa de um \xE1tomo de ur\xE2nio em fiss\xE3\
+      o, as massas combinadas dos produtos ap\xF3s a fiss\xE3o s\xE3o"
+  - input_choice_list:
+      A: "espa\xE7o e tempo."
+      B: "um g\xEAmeo viajante e um g\xEAmeo que fica em casa."
+      C: "gravidade e acelera\xE7\xE3o."
+      D: massa e energia.
+    input_correct_responses:
+    - C
+    input_question: "Coisas que s\xE3o equivalentes de acordo com o princ\xEDpio da\
+      \ equival\xEAncia s\xE3o"
+  - input_choice_list:
+      A: "convertido para uma frequ\xEAncia diferente"
+      B: "deflex\xE3o"
+      C: "interfer\xEAncia"
+      D: "polariza\xE7\xE3o"
+    input_correct_responses:
+    - C
+    input_question: "As cores em uma bolha de sab\xE3o resultam da luz"
+  - input_choice_list:
+      A: o mesmo
+      B: maior
+      C: menos
+      D: maior ou menor dependendo da velocidade do vento
+    input_correct_responses:
+    - B
+    input_question: "Um aeromodelo voa mais devagar quando voa contra o vento e mais\
+      \ r\xE1pido com o vento nas costas. Quando lan\xE7ado em \xE2ngulo reto com\
+      \ o vento, em um vento cruzado, sua velocidade no solo, em compara\xE7\xE3o\
+      \ com o v\xF4o no ar parado, \xE9"
+  - input_choice_list:
+      A: "Hidrog\xEAnio"
+      B: Ferro
+      C: "Ur\xE2nio"
+      D: Igual em cada
+    input_correct_responses:
+    - A
+    input_question: "Qual desses tr\xEAs elementos tem mais massa por n\xFAcleon?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_conceptual_physics
+tag: mmlu_pt_llama_stem_tasks
+task: mmlu_pt_llama_conceptual_physics
+task_alias: conceptual_physics

lm_eval/tasks/llama3/instruct/mmlu_pt/mmlu_pt_econometrics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Eventualmente morrer
+      B: Persistir indefinidamente
+      C: Crescer exponencialmente
+      D: Nunca ocorre
+    input_correct_responses:
+    - A
+    input_question: "Para um processo autorregressivo estacion\xE1rio, os choques"
+  - input_choice_list:
+      A: 0,2
+      B: 0,4
+      C: 0,5
+      D: 0,33
+    input_correct_responses:
+    - D
+    input_question: "Considere o seguinte modelo AR(1) com os dist\xFArbios tendo\
+      \ m\xE9dia zero e vari\xE2ncia unit\xE1ria yt = 0,2 + 0,4 yt-1 + ut A m\xE9\
+      dia (incondicional) de y ser\xE1 dada por"
+  - input_choice_list:
+      A: (ii) e (iv) apenas
+      B: (i) e (iii) apenas
+      C: (i), (ii) e (iii) apenas
+      D: (i), (ii), (iii) e (iv)
+    input_correct_responses:
+    - C
+    input_question: "Suponha que uma estat\xEDstica de teste tenha associado a ela\
+      \ um valor p de 0,08. Qual das seguintes afirma\xE7\xF5es \xE9 verdadeira? (i)\
+      \ Se o tamanho do teste fosse exatamente 8%, ser\xEDamos indiferentes entre\
+      \ rejeitar ou n\xE3o rejeitar a hip\xF3tese nula (ii) O nulo seria rejeitado\
+      \ se um tamanho de teste de 10% fosse usado (iii) O nulo n\xE3o seria seria\
+      \ rejeitado se um tamanho de teste de 1% fosse usado (iv) O valor nulo seria\
+      \ rejeitado se um tamanho de teste de 5% fosse usado."
+  - input_choice_list:
+      A: "Ser\xE1 tendencioso"
+      B: "Ser\xE1 inconsistente"
+      C: "Ser\xE1 ineficiente"
+      D: "Todos os itens (a), (b) e (c) ser\xE3o verdadeiros."
+    input_correct_responses:
+    - C
+    input_question: "Quais seriam ent\xE3o as consequ\xEAncias para o estimador OLS\
+      \ se a heterocedasticidade estivesse presente em um modelo de regress\xE3o,\
+      \ mas fosse ignorada?"
+  - input_choice_list:
+      A: 1 atraso
+      B: 2 atrasos
+      C: 3 atrasos
+      D: 4 atrasos
+    input_correct_responses:
+    - C
+    input_question: "Suponha agora que um pesquisador deseja usar crit\xE9rios de\
+      \ informa\xE7\xE3o para determinar a dura\xE7\xE3o ideal da defasagem para um\
+      \ VAR. 500 observa\xE7\xF5es est\xE3o dispon\xEDveis para o VAR bivariado, e\
+      \ os valores do determinante da matriz de vari\xE2ncia-covari\xE2ncia dos res\xED\
+      duos s\xE3o 0,0336, 0,0169, 0,0084 e 0,0062 para 1, 2, 3 e 4 defasagens, respectivamente.\
+      \ Qual \xE9 a ordem ideal do modelo de acordo com o crit\xE9rio de informa\xE7\
+      \xE3o de Akaike?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_econometrics
+tag: mmlu_pt_llama_social_sciences_tasks
+task: mmlu_pt_llama_econometrics
+task_alias: econometrics