Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_college_chemistry.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "L'\xE9tat d'oxydation le plus courant pour les \xE9l\xE9ments lanthanides\
+        \ est +3."
+      B: "Les complexes de lanthanides ont souvent des nombres de coordination \xE9\
+        lev\xE9s (> 6)."
+      C: "Tous les \xE9l\xE9ments lanthanides r\xE9agissent avec l'acide aqueux\
+        \ pour lib\xE9rer de l'hydrog\xE8ne."
+      D: "Les rayons atomiques des \xE9l\xE9ments lanthanides augmentent au cours\
+        \ de la p\xE9riode de La \xE0 Lu."
+    input_correct_responses:
+    - D
+    input_question: "Laquelle des affirmations suivantes concernant les \xE9l\xE9\
+      ments lanthanides n'est PAS vraie\_?"
+  - input_choice_list:
+      A: 1,0 ml
+      B: 10 ml
+      C: 20 ml
+      D: 50 ml
+    input_correct_responses:
+    - C
+    input_question: "Un \xE9chantillon de 0,217 g de HgO (masse molaire = 217 g) r\xE9\
+      agit avec l'exc\xE8s d'ions iodure selon la r\xE9action indiqu\xE9e\
+      \ ci-dessus. Le titrage de la solution r\xE9sultante n\xE9cessite combien de\
+      \ ml de HCl 0,10 M pour atteindre le point d'\xE9quivalence\_?"
+  - input_choice_list:
+      A: '4'
+      B: '3'
+      C: '6'
+      D: '24'
+    input_correct_responses:
+    - A
+    input_question: "Pr\xE9disez le nombre de raies dans le spectre RPE d'une\
+      \ solution de radical m\xE9thyle marqu\xE9 au 13C (13CH3\u2022), en supposant\
+      \ que les raies ne se chevauchent pas."
+  - input_choice_list:
+      A: un acide
+      B: une base
+      C: un catalyseur
+      D: "un r\xE9ducteur"
+    input_correct_responses:
+    - D
+    input_question: "3 Cl\u2212(aq) + 4 CrO_4^2\u2212(aq) + 23 H+(aq) \u2192 3 HClO2(aq)\
+      \ + 4 Cr3+(aq) + 10 H2O(l). Dans la r\xE9action ci-dessus, Cl\u2212(aq) se comporte\
+      \ comme"
+  - input_choice_list:
+      A: PbH4 < SnH4 < GeH4 < SiH4 < CH4
+      B: PbH4 < SnH4 < CH4 < GeH4 < SiH4
+      C: CH4 < SiH4 < GeH4 < SnH4 < PbH4
+      D: CH4 < PbH4 < GeH4 < SnH4 < SiH4
+    input_correct_responses:
+    - A
+    input_question: "Lequel des \xE9nonc\xE9s suivants \xE9num\xE8re les hydrures\
+      \ des \xE9l\xE9ments du groupe 14 par ordre de stabilit\xE9 thermique, du plus\
+      \ bas au plus \xE9lev\xE9\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_chemistry
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_college_chemistry
+task_alias: college_chemistry

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_college_computer_science.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: a*(c + d)+ b(c + d)
+      B: "a*(c + r\xE9)* + b(c + r\xE9)*"
+      C: a*(c + d)+ b*(c + d)
+      D: (a + b)*c +(a + b)*d
+    input_correct_responses:
+    - D
+    input_question: "Laquelle des expressions r\xE9guli\xE8res suivantes est \xE9\
+      quivalente \xE0 (d\xE9crit le m\xEAme ensemble de cha\xEEnes que) (a* + b)*(c\
+      \ + d)\_?"
+  - input_choice_list:
+      A: '5'
+      B: '6'
+      C: '7'
+      D: '8'
+    input_correct_responses:
+    - B
+    input_question: "Une certaine machine RISC en pipeline a 8 registres \xE0 usage\
+      \ g\xE9n\xE9ral R0, R1, . . . , R7 et prend en charge les op\xE9rations suivantes.\
+      \ AJOUTER Rs1, Rs2, Rd Ajouter Rs1 \xE0 Rs2 et mettre la somme dans Rd MUL Rs1,\
+      \ Rs2, Rd Multiplier Rs1 par Rs2 et mettre le produit dans Rd Une op\xE9ration\
+      \ prend normalement un cycle ; cependant, une op\xE9ration prend deux cycles\
+      \ si elle produit un r\xE9sultat requis par l'op\xE9ration imm\xE9diatement\
+      \ suivante dans une s\xE9quence d'op\xE9rations. Consid\xE9rons l'expression\
+      \ AB + ABC + BC, o\xF9 les variables A, B, C sont situ\xE9es dans les registres\
+      \ R0, R1, R2. Si le contenu de ces trois registres ne doit pas \xEAtre modifi\xE9\
+      , quel est le nombre minimum de cycles d'horloge requis pour une s\xE9quence\
+      \ d'op\xE9rations qui calcule la valeur de AB + ABC + BC ?"
+  - input_choice_list:
+      A: moi seulement
+      B: II seulement
+      C: III seulement
+      D: I, II et III
+    input_correct_responses:
+    - D
+    input_question: "Le mod\xE8le de conception Singleton est utilis\xE9 pour garantir\
+      \ qu'une seule instance d'une classe peut \xEAtre instanci\xE9e. Laquelle\
+      \ des affirmations suivantes est (sont) vraie(s) pour ce mod\xE8le de conception\_\
+      ? I. La classe Singleton a une m\xE9thode de fabrique statique pour fournir\
+      \ son instance. II. La classe Singleton peut \xEAtre une sous-classe d'une\
+      \ autre classe. III. La classe Singleton a un constructeur priv\xE9."
+  - input_choice_list:
+      A: '5'
+      B: '6'
+      C: '7'
+      D: '9'
+    input_correct_responses:
+    - D
+    input_question: "Un compilateur g\xE9n\xE8re du code pour l'instruction d'affectation\
+      \ suivante. G := (A + B) * C - (D + E) * F La machine cible a un seul accumulateur\
+      \ et un jeu d'instructions \xE0 adresse unique compos\xE9 d'instructions\
+      \ de chargement, de stockage, d'addition, de soustraction et de multiplication.\
+      \ Pour les op\xE9rations arithm\xE9tiques, l'op\xE9rande de gauche est extrait\
+      \ de l'accumulateur et le r\xE9sultat appara\xEEt dans l'accumulateur.\
+      \ Le plus petit nombre d'instructions possible dans le code r\xE9sultant\
+      \ est"
+  - input_choice_list:
+      A: 1/50
+      B: 1/27
+      C: 1/25
+      D: 2/27
+    input_correct_responses:
+    - B
+    input_question: "Consid\xE9rez une conception d'ordinateur dans laquelle plusieurs\
+      \ processeurs, chacun avec une m\xE9moire cache priv\xE9e, partagent la m\xE9\
+      moire globale \xE0 l'aide d'un seul bus. Ce bus est la ressource syst\xE8\
+      me critique. Chaque processeur peut ex\xE9cuter une instruction toutes les 500\
+      \ nanosecondes tant que les r\xE9f\xE9rences m\xE9moire sont satisfaites par\
+      \ son cache local. Lorsqu'un manque de cache se produit, le processeur est\
+      \ retard\xE9 de 2 000 nanosecondes suppl\xE9mentaires. Pendant la moiti\xE9\
+      \ de ce d\xE9lai suppl\xE9mentaire, le bus est d\xE9di\xE9 \xE0 servir le manque\
+      \ de cache. Pendant l'autre moiti\xE9, le processeur ne peut pas continuer,\
+      \ mais le bus est libre de r\xE9pondre aux demandes des autres processeurs.\
+      \ En moyenne, chaque instruction n\xE9cessite 2 r\xE9f\xE9rences m\xE9moire.\
+      \ En moyenne, les \xE9checs de cache se produisent sur 1\_% des r\xE9f\xE9rences.\
+      \ Quelle proportion de la capacit\xE9 du bus un seul processeur consommerait-il,\
+      \ sans tenir compte des retards dus \xE0 la concurrence des autres processeurs\_\
+      ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_computer_science
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_college_computer_science
+task_alias: college_computer_science

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_college_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ST = 0
+      B: ST = T
+      C: ST = TS
+      D: "ST - TS est la carte identit\xE9 de V sur lui-m\xEAme."
+    input_correct_responses:
+    - D
+    input_question: "Soit V l'ensemble de tous les polyn\xF4mes r\xE9els p(x).\
+      \ Soit les transformations T, S d\xE9finies sur V par T:p(x) -> xp(x) et\
+      \ S:p(x) -> p'(x) = d/dx p(x), et interpr\xE9tons (ST) (p(x)) comme S(T(p(x))).\
+      \ Lequel des \xE9nonc\xE9s suivants est vrai?"
+  - input_choice_list:
+      A: '2'
+      B: 2 - e^-2
+      C: 2 + e^-2
+      D: 2 + e^-4
+    input_correct_responses:
+    - D
+    input_question: "Un r\xE9servoir contient initialement une solution saline de\
+      \ 3 grammes de sel dissous dans 100 litres d'eau. Une solution saline contenant\
+      \ 0,02 gramme de sel par litre d'eau est pulv\xE9ris\xE9e dans le r\xE9\
+      servoir \xE0 un d\xE9bit de 4 litres par minute. La solution pulv\xE9ris\xE9\
+      e est continuellement m\xE9lang\xE9e avec la solution saline dans le r\xE9servoir,\
+      \ et le m\xE9lange s'\xE9coule du r\xE9servoir \xE0 un d\xE9bit de 4 litres\
+      \ par minute. Si le m\xE9lange est instantan\xE9, combien de grammes de sel\
+      \ reste-t-il dans le r\xE9servoir au bout de 100 minutes ?"
+  - input_choice_list:
+      A: moi seulement
+      B: II seulement
+      C: III seulement
+      D: II et III seulement
+    input_correct_responses:
+    - B
+    input_question: "Soit A une vraie matrice 2x2. Laquelle des affirmations suivantes\
+      \ doit \xEAtre vraie\_? I. Toutes les entr\xE9es de A^2 sont non n\xE9gatives.\
+      \ II. Le d\xE9terminant de A^2 est non n\xE9gatif. III. Si A a deux valeurs\
+      \ propres distinctes, alors A^2 a deux valeurs propres distinctes."
+  - input_choice_list:
+      A: '-11'
+      B: '0'
+      C: '11'
+      D: 33/2
+    input_correct_responses:
+    - C
+    input_question: "Supposons que f(1 + x) = f(x) pour tout r\xE9el x. Si f est un\
+      \ polyn\xF4me et f(5) = 11, alors f(15/2)"
+  - input_choice_list:
+      A: '-5'
+      B: '-4'
+      C: '-3'
+      D: '-2'
+    input_correct_responses:
+    - B
+    input_question: "Soit A l'ensemble de toutes les paires ordonn\xE9es d'entiers\
+      \ (m, n) tels que 7m + 12n = 22. Quel est le plus grand nombre n\xE9gatif de\
+      \ l'ensemble B = {m + n : (m, n) \\in A}\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_mathematics
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_college_mathematics
+task_alias: college_mathematics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_college_medicine.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "via des transporteurs de prot\xE9ines appel\xE9s GLUT4."
+      B: "uniquement en pr\xE9sence d'insuline."
+      C: via l'hexokinase.
+      D: via des transporteurs d'acide monocarbylique.
+    input_correct_responses:
+    - A
+    input_question: "Le glucose est transport\xE9 dans la cellule musculaire :"
+  - input_choice_list:
+      A: "Le glycog\xE8ne musculaire est d\xE9compos\xE9 enzymatiquement en glucose-1-phosphate"
+      B: "Les coureurs d'endurance d'\xE9lite ont une forte proportion de\
+        \ fibres de type I dans les muscles de leurs jambes"
+      C: "Le glycog\xE8ne h\xE9patique est important dans le maintien de la glyc\xE9\
+        mie"
+      D: L'insuline favorise l'absorption du glucose par tous les tissus du
+        corps
+    input_correct_responses:
+    - D
+    input_question: "Lequel des \xE9nonc\xE9s suivants n'est pas une affirmation\
+      \ vraie\_?"
+  - input_choice_list:
+      A: "Tous les descendants du c\xF4t\xE9 maternel auront la maladie."
+      B: "Les femmes seront environ deux fois plus touch\xE9es que les hommes dans\
+        \ cette famille."
+      C: "Toutes les filles d'un m\xE2le affect\xE9 seront affect\xE9es."
+      D: "Il y aura une r\xE9partition \xE9gale des hommes et des femmes touch\xE9\
+        s."
+    input_correct_responses:
+    - C
+    input_question: "Dans un test g\xE9n\xE9tique d'un nouveau-n\xE9, on d\xE9\
+      couvre une maladie g\xE9n\xE9tique rare qui a une transmission r\xE9cessive\
+      \ li\xE9e \xE0 l'X. Laquelle des affirmations suivantes est probablement\
+      \ vraie concernant le pedigree de ce trouble\_?"
+  - input_choice_list:
+      A: "Augmentation de la temp\xE9rature, augmentation des moles de gaz"
+      B: "Augmentation de la temp\xE9rature, augmentation du volume"
+      C: "Volume d\xE9croissant, temp\xE9rature d\xE9croissante"
+      D: Diminution des moles de gaz, augmentation du volume
+    input_correct_responses:
+    - A
+    input_question: "Un professeur de sciences au lyc\xE9e remplit une bouteille d'un\
+      \ litre d'azote pur et scelle le couvercle. La pression est de 1,70 atm\
+      \ et la temp\xE9rature ambiante est de 25\xB0C. Quelles sont les deux variables\
+      \ qui augmenteront toutes les deux la pression du syst\xE8me, si toutes les\
+      \ autres variables sont maintenues constantes\_?"
+  - input_choice_list:
+      A: faiblesse musculaire.
+      B: gain de masse corporelle.
+      C: crampes musculaires.
+      D: "perte d'\xE9lectrolytes."
+    input_correct_responses:
+    - B
+    input_question: "Un effet secondaire attendu de la suppl\xE9mentation en cr\xE9\
+      atine est\_:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_medicine
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_college_medicine
+task_alias: college_medicine

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_college_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '4'
+      B: '5'
+      C: '6'
+      D: '20'
+    input_correct_responses:
+    - A
+    input_question: "Une lunette astronomique est constitu\xE9e de deux lentilles\
+      \ convergentes distantes de 100 cm. La lentille oculaire a une distance focale\
+      \ de 20 cm. Le grossissement angulaire du t\xE9lescope est"
+  - input_choice_list:
+      A: "Temp\xE9rature constante"
+      B: Volume constant
+      C: Pression constante
+      D: Adiabatique
+    input_correct_responses:
+    - B
+    input_question: "Pour lequel des processus thermodynamiques suivants l'augmentation\
+      \ de l'\xE9nergie interne d'un gaz parfait est-elle \xE9gale \xE0 la\
+      \ chaleur ajout\xE9e au gaz\_?"
+  - input_choice_list:
+      A: 2,4 V
+      B: 3,3 V
+      C: 4,5 V
+      D: 5,7 V
+    input_correct_responses:
+    - A
+    input_question: "Une extr\xE9mit\xE9 d'un fil de nichrome de longueur 2L et\
+      \ de section transversale A est fix\xE9e \xE0 une extr\xE9mit\xE9 d'un autre\
+      \ fil de nichrome de longueur L et de section transversale 2A. Si l'extr\xE9\
+      mit\xE9 libre du fil le plus long est \xE0 un potentiel \xE9lectrique de 8,0\
+      \ volts et que l'extr\xE9mit\xE9 libre du fil le plus court est \xE0 un\
+      \ potentiel \xE9lectrique de 1,0 volt, le potentiel \xE0 la jonction des deux\
+      \ fils est presque \xE9gal \xE0"
+  - input_choice_list:
+      A: '4'
+      B: '5'
+      C: '6'
+      D: '20'
+    input_correct_responses:
+    - A
+    input_question: "Une lunette astronomique est constitu\xE9e de deux lentilles\
+      \ convergentes distantes de 100 cm. La lentille oculaire a une distance focale\
+      \ de 20 cm. Le grossissement angulaire du t\xE9lescope est"
+  - input_choice_list:
+      A: charge
+      B: masse
+      C: "\xE9nergie et dynamisme"
+      D: nombre de leptons
+    input_correct_responses:
+    - D
+    input_question: "Le muon se d\xE9sint\xE8gre avec une dur\xE9e de vie caract\xE9\
+      ristique d'environ 10^-6 seconde en un \xE9lectron, un neutrino muonique\
+      \ et un antineutrino \xE9lectronique. Il est interdit au muon de se d\xE9sint\xE9\
+      grer en un \xE9lectron et un seul neutrino par la loi de conservation de"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_physics
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_college_physics
+task_alias: college_physics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_computer_security.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 160 bits
+      B: 512 bits
+      C: 628 bits
+      D: 820 bits
+    input_correct_responses:
+    - A
+    input_question: "SHA-1 a un r\xE9sum\xE9 de message de"
+  - input_choice_list:
+      A: "IM \u2013 chevaux de Troie"
+      B: "Chevaux de Troie de porte d\xE9rob\xE9e"
+      C: Trojan-Downloader
+      D: "Cheval de Troie ran\xE7on"
+    input_correct_responses:
+    - D
+    input_question: "_____________ peut modifier les donn\xE9es de votre syst\xE8\
+      me - afin que votre syst\xE8me ne fonctionne pas correctement ou que vous ne\
+      \ puissiez plus acc\xE9der \xE0 des donn\xE9es sp\xE9cifiques, ou il peut m\xEA\
+      me demander une ran\xE7on afin de vous donner l'acc\xE8s."
+  - input_choice_list:
+      A: ""Pirater" l'\xE9thique pour justifier un comportement \xE9\
+        go\xEFste involontaire"
+      B: "Piratage de syst\xE8mes (par exemple, lors de tests d'intrusion) pour\
+        \ exposer les vuln\xE9rabilit\xE9s afin qu'elles puissent \xEAtre corrig\xE9\
+        es plut\xF4t qu'exploit\xE9es"
+      C: "Le piratage des syst\xE8mes g\xE9r\xE9s par ceux dont vous n'\xEAtes\
+        \ pas d'accord avec l'\xE9thique"
+      D: "Un terme d'argot pour le d\xE9veloppement rapide de logiciels, par exemple,\
+        \ dans le cadre de hackathons"
+    input_correct_responses:
+    - B
+    input_question: "Qu'est-ce que le piratage \xE9thique ?"
+  - input_choice_list:
+      A: "\xE9craser les cl\xE9s cryptographiques en m\xE9moire"
+      B: une sorte d'injection de code
+      C: une lecture en dehors des limites d'un tampon
+      D: "une attaque par cha\xEEne de format"
+    input_correct_responses:
+    - C
+    input_question: L'exploitation du bug Heartbleed permet
+  - input_choice_list:
+      A: "Toile hant\xE9e"
+      B: World Wide Web
+      C: Toile de surface
+      D: Web profond
+    input_correct_responses:
+    - D
+    input_question: Le ____________ est tout ce que votre moteur de recherche ne peut
+      pas rechercher.
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_computer_security
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_computer_security
+task_alias: computer_security

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_conceptual_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: moins
+      B: plus
+      C: "le m\xEAme"
+      D: "z\xE9ro"
+    input_correct_responses:
+    - A
+    input_question: "Compar\xE9es \xE0 la masse d'un atome d'uranium subissant\
+      \ une fission, les masses combin\xE9es des produits apr\xE8s fission sont"
+  - input_choice_list:
+      A: l'espace et le temps.
+      B: un jumeau voyageur et un jumeau au foyer.
+      C: "gravit\xE9 et acc\xE9l\xE9ration."
+      D: "masse et \xE9nergie."
+    input_correct_responses:
+    - C
+    input_question: "Les choses qui sont \xE9quivalentes selon le principe d'\xE9\
+      quivalence sont"
+  - input_choice_list:
+      A: "converti \xE0 une autre fr\xE9quence"
+      B: "d\xE9viation"
+      C: "ing\xE9rence"
+      D: polarisation
+    input_correct_responses:
+    - C
+    input_question: "Les couleurs d'une bulle de savon r\xE9sultent de la lumi\xE8\
+      re"
+  - input_choice_list:
+      A: "le m\xEAme"
+      B: plus grand
+      C: moins
+      D: plus ou moins selon la vitesse du vent
+    input_correct_responses:
+    - B
+    input_question: "Un mod\xE8le r\xE9duit d'avion vole plus lentement lorsqu'il\
+      \ vole face au vent et plus vite avec le vent dans le dos. Lorsqu'il est\
+      \ lanc\xE9 perpendiculairement au vent par vent de travers, sa vitesse au sol\
+      \ par rapport au vol en air calme est"
+  - input_choice_list:
+      A: "Hydrog\xE8ne"
+      B: Fer
+      C: Uranium
+      D: Idem dans chaque
+    input_correct_responses:
+    - A
+    input_question: "Lequel de ces trois \xE9l\xE9ments a le plus de masse par nucl\xE9\
+      on ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_conceptual_physics
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_conceptual_physics
+task_alias: conceptual_physics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_econometrics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Finalement mourir
+      B: "Persister ind\xE9finiment"
+      C: Croissance exponentielle
+      D: Ne se produit jamais
+    input_correct_responses:
+    - A
+    input_question: "Pour un processus autor\xE9gressif stationnaire, les chocs"
+  - input_choice_list:
+      A: 0,2
+      B: 0,4
+      C: 0,5
+      D: 0,33
+    input_correct_responses:
+    - D
+    input_question: "Consid\xE9rons le mod\xE8le AR(1) suivant avec les perturbations\
+      \ ayant une moyenne nulle et une variance unitaire yt = 0,2 + 0,4 yt-1 + ut\
+      \ La moyenne (inconditionnelle) de y sera donn\xE9e par"
+  - input_choice_list:
+      A: (ii) et (iv) uniquement
+      B: (i) et (iii) uniquement
+      C: (i), (ii) et (iii) uniquement
+      D: (i), (ii), (iii) et (iv)
+    input_correct_responses:
+    - C
+    input_question: "Supposons qu'une statistique de test soit associ\xE9e \xE0\
+      \ une valeur p de 0,08. Laquelle des affirmations suivantes est vraie\_? (i)\
+      \ Si la taille du test \xE9tait exactement de 8\_%, nous serions indiff\xE9\
+      rents entre rejeter et ne pas rejeter l'hypoth\xE8se nulle (ii) Le nul serait\
+      \ rejet\xE9 si une taille de test de 10\_% \xE9tait utilis\xE9e (iii) Le nul\
+      \ ne serait pas \xEAtre rejet\xE9e si une taille de test de 1 % \xE9tait utilis\xE9\
+      e (iv) La valeur nulle serait rejet\xE9e si une taille de test de 5 % \xE9tait\
+      \ utilis\xE9e."
+  - input_choice_list:
+      A: "ce sera biais\xE9"
+      B: "Ce sera incoh\xE9rent"
+      C: Ce sera inefficace
+      D: Tous (a), (b) et (c) seront vrais.
+    input_correct_responses:
+    - C
+    input_question: "Quelles seraient alors les cons\xE9quences pour l'estimateur\
+      \ MCO si l'h\xE9t\xE9rosc\xE9dasticit\xE9 est pr\xE9sente dans un mod\xE8\
+      le de r\xE9gression mais ignor\xE9e\_?"
+  - input_choice_list:
+      A: "1 d\xE9calage"
+      B: "2 d\xE9calages"
+      C: "3 d\xE9calages"
+      D: "4 d\xE9calages"
+    input_correct_responses:
+    - C
+    input_question: "Supposons maintenant qu'un chercheur souhaite utiliser des\
+      \ crit\xE8res d'information pour d\xE9terminer la longueur de d\xE9calage\
+      \ optimale pour un VAR. 500 observations sont disponibles pour le VAR bivari\xE9\
+      , et les valeurs du d\xE9terminant de la matrice variance-covariance des r\xE9\
+      sidus sont 0,0336, 0,0169, 0,0084 et 0,0062 pour 1, 2, 3 et 4 retards respectivement.\
+      \ Quel est l'ordre optimal du mod\xE8le selon le crit\xE8re d'information\
+      \ d'Akaike ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_econometrics
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_econometrics
+task_alias: econometrics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_electrical_engineering.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: S=0, R=0
+      B: S=0, R=1
+      C: S=1, R=0
+      D: S=1, R=1
+    input_correct_responses:
+    - D
+    input_question: "Dans un verrou SR construit \xE0 partir de portes NOR, quelle\
+      \ condition n'est pas autoris\xE9e"
+  - input_choice_list:
+      A: "200\u03A9"
+      B: "100\u03A9"
+      C: "50\u03A9"
+      D: "10\u03A9"
+    input_correct_responses:
+    - C
+    input_question: "Dans une machine \xE0 courant continu \xE0 enroulement par recouvrement\
+      \ \xE0 2 p\xF4les, la r\xE9sistance d'un conducteur est de 2 \u03A9 et le\
+      \ nombre total de conducteurs est de 100. Trouvez la r\xE9sistance totale"
+  - input_choice_list:
+      A: 1 mA.
+      B: 2 mA.
+      C: 3 mA.
+      D: 4 mA.
+    input_correct_responses:
+    - B
+    input_question: "La bobine d'un compteur \xE0 bobine mobile a 100 tours, une\
+      \ longueur de 40 mm et une largeur de 30 mm. Le couple de commande est de 240*10-6\
+      \ Nm \xE0 pleine \xE9chelle. Si la densit\xE9 de flux magn\xE9tique est de 1\_\
+      Wb/m2, la plage de mesure est"
+  - input_choice_list:
+      A: 100N
+      B: 0,1N.
+      C: 1N.
+      D: 0,01N.
+    input_correct_responses:
+    - B
+    input_question: "Deux longs conducteurs parall\xE8les supportent 100 A. Si les\
+      \ conducteurs sont s\xE9par\xE9s de 20 mm, la force par m\xE8tre de longueur\
+      \ de chaque conducteur sera"
+  - input_choice_list:
+      A: 15 n.
+      B: 20 n.
+      C: 7,5N.
+      D: 3,75 N.
+    input_correct_responses:
+    - A
+    input_question: "Un p\xF4le ponctuel a une force de 4\u03C0 * 10^-4 weber. La\
+      \ force en newtons sur un p\xF4le ponctuel de 4\u03C0 * 1,5 * 10^-4 weber plac\xE9\
+      \ \xE0 une distance de 10 cm de celui-ci sera"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_electrical_engineering
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_electrical_engineering
+task_alias: electrical_engineering

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_elementary_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 5 milliers
+      B: 5 centaines
+      C: 5 dizaines
+      D: 5 ceux
+    input_correct_responses:
+    - A
+    input_question: "La population de la ville o\xF9 Michelle est n\xE9e est de 145\
+      \ 826 habitants. Quelle est la valeur du 5 dans le nombre 145 826 ?"
+  - input_choice_list:
+      A: "Le 10e num\xE9ro du motif sera un nombre pair."
+      B: "Le mod\xE8le de nombre n'aura jamais deux nombres pairs l'un \xE0\
+        \ c\xF4t\xE9 de l'autre."
+      C: "Les deux nombres suivants dans le mod\xE8le seront un nombre pair puis un\
+        \ nombre impair."
+      D: "Si le mod\xE8le de nombre commen\xE7ait par un nombre impair, le mod\xE8\
+        le ne contiendrait que des nombres impairs."
+    input_correct_responses:
+    - B
+    input_question: "Olivia a utilis\xE9 la r\xE8gle "Ajouter 11" pour cr\xE9\
+      er le mod\xE8le de nombre illustr\xE9 ci-dessous. 10, 21, 32, 43, 54 Quelle\
+      \ affirmation sur la r\xE9gularit\xE9 num\xE9rique est vraie\_?"
+  - input_choice_list:
+      A: "Ajoutez 5 \xE0 30 pour trouver 35 \xE9quipes."
+      B: "Divisez 30 par 5 pour trouver 6 \xE9quipes."
+      C: "Multipliez 30 et 5 pour trouver 150 \xE9quipes."
+      D: "Soustrayez 5 de 30 pour trouver 25 \xE9quipes."
+    input_correct_responses:
+    - B
+    input_question: "Au total, 30 joueurs joueront au basket dans un parc. Il y aura\
+      \ exactement 5 joueurs dans chaque \xE9quipe. Quelle affirmation explique correctement\
+      \ comment trouver le nombre d'\xE9quipes n\xE9cessaires\_?"
+  - input_choice_list:
+      A: '749'
+      B: 2 675
+      C: "2\_945"
+      D: 4 250
+    input_correct_responses:
+    - B
+    input_question: "Un magasin vend 107 couleurs de peinture diff\xE9rentes. Ils\
+      \ ont 25 canettes de chaque couleur en stock. Le nombre de pots de peinture\
+      \ que le magasin a en stock peut \xEAtre trouv\xE9 \xE0 l'aide de l'expression\
+      \ ci-dessous. 107 \xD7 25. Combien de pots de peinture le magasin a-t-il en\
+      \ stock\_?"
+  - input_choice_list:
+      A: (5 x 4) x (6 x 5)
+      B: (5 x 5) + (5 x 4)
+      C: (5 x 5) + (5 x 9)
+      D: (5 x 9) x (6 x 9)
+    input_correct_responses:
+    - B
+    input_question: "Quelle expression \xE9quivaut \xE0 5 x 9 ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_elementary_mathematics
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_elementary_mathematics
+task_alias: elementary_mathematics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_formal_logic.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ~Pd
+      B: "(\u2200x)(Px \u2228 ~Dx)"
+      C: "(\u2200x)(Px \u2283 ~Dx)"
+      D: ~Dp
+    input_correct_responses:
+    - C
+    input_question: "S\xE9lectionnez la meilleure traduction en logique de pr\xE9\
+      dicat\_: personne ne conduit sur Mars."
+  - input_choice_list:
+      A: Blgh
+      B: Bhlg
+      C: Bglh
+      D: Bghl
+    input_correct_responses:
+    - C
+    input_question: "S\xE9lectionnez la meilleure traduction en logique de pr\xE9\
+      dicat. George emprunte la tondeuse \xE0 gazon d'Hector. (g : George ; h\
+      \ : Hector ; l : la tondeuse \xE0 gazon d'Hector ; Bxyx : x emprunte y \xE0\
+      \ z)"
+  - input_choice_list:
+      A: Marina est danseuse. Certains faibles ne sont pas des danseurs. Soit tout
+        est faible, soit Georgia joue au volley. Alors quelque chose joue au volley-ball.
+      B: Marina est danseuse. Aucun faible n'est un danseur. Tout est soit un
+        faible ou joue au volley-ball. Alors quelque chose joue au volley-ball.
+      C: Marina est danseuse. Certains faibles ne sont pas des danseurs. Tout est
+        soit un faible ou joue au volley-ball. Alors quelque chose joue au volley-ball.
+      D: Marina est danseuse. Aucun faible n'est un danseur. Soit tout est faible,
+        soit Georgia joue au volley. Alors quelque chose joue au volley-ball.
+    input_correct_responses:
+    - D
+    input_question: "S\xE9lectionnez la meilleure interpr\xE9tation anglaise des arguments\
+      \ donn\xE9s dans la logique des pr\xE9dicats. Dm (\u2200x)(Wx \u2283 ~Dx) (\u2200\
+      x)Wx \u2228 Ag / (\u2203x)Ax"
+  - input_choice_list:
+      A: "Logiquement \xE9quivalent"
+      B: Contradictoire
+      C: "Ni logiquement \xE9quivalent ni contradictoire, mais coh\xE9rent"
+      D: Inconsistant
+    input_correct_responses:
+    - C
+    input_question: "Construire une table de v\xE9rit\xE9 compl\xE8te pour les paires\
+      \ de propositions suivantes. Ensuite, \xE0 l'aide des tables de v\xE9rit\xE9\
+      , d\xE9terminez si les \xE9nonc\xE9s sont logiquement \xE9quivalents ou contradictoires.\
+      \ Si ni l'un ni l'autre, d\xE9terminez s'ils sont coh\xE9rents ou\
+      \ incoh\xE9rents. Justifiez vos r\xE9ponses. E \u2283 (F \xB7 E) et ~E \xB7\
+      \ F"
+  - input_choice_list:
+      A: "(L \u2022 H) \u2261 je"
+      B: "(L \u2022 H) \u2228 je"
+      C: "L \u2022 (H \u2228 I)"
+      D: "L \u2022 (H \u2283 R)"
+    input_correct_responses:
+    - B
+    input_question: "Laquelle des formules donn\xE9es de PL est la meilleure symbolisation\
+      \ de la phrase suivante\_? Les tortues vivent longtemps et sont des cr\xE9atures\
+      \ heureuses, \xE0 moins qu'elles ne soient bless\xE9es."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_formal_logic
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_formal_logic
+task_alias: formal_logic

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_global_facts.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Les gens ont tendance \xE0 \xEAtre optimistes quant \xE0 leur propre avenir\
+        \ et \xE0 l'avenir de leur nation ou du monde."
+      B: "Les gens ont tendance \xE0 \xEAtre optimistes quant \xE0 leur propre avenir,\
+        \ mais pessimistes quant \xE0 l'avenir de leur nation ou du monde."
+      C: "Les gens ont tendance \xE0 \xEAtre pessimistes quant \xE0 leur propre avenir,\
+        \ mais optimistes quant \xE0 l'avenir de leur nation ou du monde."
+      D: "Les gens ont tendance \xE0 \xEAtre pessimistes quant \xE0 leur propre avenir\
+        \ et \xE0 l'avenir de leur nation ou du monde."
+    input_correct_responses:
+    - B
+    input_question: "Parmi les paires d'\xE9nonc\xE9s suivants, lesquels sont\
+      \ tous les deux vrais (\xE0 partir de 2019)\_?"
+  - input_choice_list:
+      A: 31%
+      B: 46%
+      C: 61%
+      D: 76%
+    input_correct_responses:
+    - B
+    input_question: "En 2019, environ quel pourcentage d'Am\xE9ricains est d'accord\
+      \ pour dire que l'\xC9tat est g\xE9r\xE9 au profit de tout le monde\_?"
+  - input_choice_list:
+      A: "augment\xE9, augment\xE9"
+      B: "augment\xE9 diminu\xE9"
+      C: "diminu\xE9, augment\xE9"
+      D: "diminu\xE9, diminu\xE9"
+    input_correct_responses:
+    - B
+    input_question: "Depuis 2015, depuis 1990, les for\xEAts ont ____ en Europe et\
+      \ ont ____ en Afrique et dans les Am\xE9riques."
+  - input_choice_list:
+      A: 38%
+      B: 53%
+      C: 68%
+      D: 83%
+    input_correct_responses:
+    - A
+    input_question: "En 2019, environ quel pourcentage de Russes disent qu'il\
+      \ est tr\xE8s important d'avoir des m\xE9dias libres dans notre pays sans\
+      \ censure gouvernementale/\xE9tatique\_?"
+  - input_choice_list:
+      A: 80%
+      B: 60%
+      C: 40%
+      D: 20%
+    input_correct_responses:
+    - A
+    input_question: "En 2017, combien d'enfants d'un an dans le monde ont\
+      \ \xE9t\xE9 vaccin\xE9s contre une maladie\_? *"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_global_facts
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_global_facts
+task_alias: global_facts

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_biology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Traduction
+      B: Conjugaison
+      C: "Transduction sp\xE9cialis\xE9e"
+      D: Transformation
+    input_correct_responses:
+    - A
+    input_question: "Lequel des \xE9l\xE9ments suivants n'est pas un moyen de\
+      \ former de l'ADN recombinant\_?"
+  - input_choice_list:
+      A: En modifiant le pH optimal de l'enzyme
+      B: En changeant l'emplacement de l'enzyme dans la cellule
+      C: "En changeant la forme de la prot\xE9ine"
+      D: "Un changement d'acide amin\xE9 loin du site actif ne peut pas modifier\
+        \ la sp\xE9cificit\xE9 du substrat de l'enzyme."
+    input_correct_responses:
+    - C
+    input_question: "Une mutation dans une enzyme bact\xE9rienne a chang\xE9 un acide\
+      \ amin\xE9 pr\xE9c\xE9demment polaire en un acide amin\xE9 non polaire. Cet\
+      \ acide amin\xE9 \xE9tait situ\xE9 \xE0 un site \xE9loign\xE9 du site actif\
+      \ de l'enzyme. Comment cette mutation pourrait-elle modifier la sp\xE9cificit\xE9\
+      \ du substrat de l'enzyme ?"
+  - input_choice_list:
+      A: "Membrane plasmique\u2013Appareil de Golgi\u2013ribosome\u2013v\xE9sicule\
+        \ s\xE9cr\xE9toire\u2013ER rugueux"
+      B: "Ribosome\u2013appareil de Golgi\u2013ER rugueux\u2013v\xE9sicule s\xE9cr\xE9\
+        toire\u2013membrane plasmique"
+      C: "Membrane plasmique\u2013Appareil de Golgi\u2013ribosome\u2013v\xE9sicule\
+        \ s\xE9cr\xE9toire\u2013ER rugueux"
+      D: "Ribosome\u2013ER rugueux\u2013appareil de Golgi\u2013v\xE9sicule s\xE9cr\xE9\
+        toire\u2013membrane plasmique"
+    input_correct_responses:
+    - D
+    input_question: "Dans les cellules animales, laquelle des propositions suivantes\
+      \ repr\xE9sente la voie la plus probable qu'une prot\xE9ine s\xE9cr\xE9\
+      toire emprunte lorsqu'elle est synth\xE9tis\xE9e dans une cellule\_?"
+  - input_choice_list:
+      A: Cyclines
+      B: "Prot\xE9ines kinases"
+      C: "Points de contr\xF4le"
+      D: Cellules fibroblastes
+    input_correct_responses:
+    - D
+    input_question: "Lequel des \xE9l\xE9ments suivants n'est pas connu pour \xEA\
+      tre impliqu\xE9 dans le contr\xF4le de la division cellulaire\_?"
+  - input_choice_list:
+      A: les ailes d'un oiseau et les ailes d'une chauve-souris
+      B: les nageoires d'une baleine et les bras d'un homme
+      C: les nageoires pectorales d'un marsouin et les nageoires d'un phoque
+      D: "les pattes ant\xE9rieures d'un insecte et les pattes ant\xE9rieures\
+        \ d'un chien"
+    input_correct_responses:
+    - D
+    input_question: "Les structures homologues sont souvent cit\xE9es comme preuve\
+      \ du processus de s\xE9lection naturelle. Tous les \xE9l\xE9ments suivants sont\
+      \ des exemples de structures homologues SAUF"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_biology
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_high_school_biology
+task_alias: high_school_biology

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_chemistry.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: HCl
+      B: H2SO3
+      C: SO2
+      D: Al(NO3)3
+    input_correct_responses:
+    - C
+    input_question: "Lequel des \xE9l\xE9ments suivants est consid\xE9r\xE9 comme\
+      \ un anhydride d'acide\_?"
+  - input_choice_list:
+      A: PCl4F
+      B: BF3
+      C: CO2
+      D: Si(CH3)4
+    input_correct_responses:
+    - A
+    input_question: "Laquelle des mol\xE9cules suivantes devrait \xEAtre une mol\xE9\
+      cule polaire\_?"
+  - input_choice_list:
+      A: Tous les chlorures, bromures et iodures sont solubles
+      B: Tous les sulfates sont solubles
+      C: Tous les hydroxydes sont solubles
+      D: "Tous les compos\xE9s contenant de l'ammonium sont solubles"
+    input_correct_responses:
+    - D
+    input_question: "D'apr\xE8s les r\xE8gles de solubilit\xE9, laquelle des affirmations\
+      \ suivantes est vraie\_?"
+  - input_choice_list:
+      A: 3,89
+      B: 7,78
+      C: 5,78
+      D: '2.33'
+    input_correct_responses:
+    - C
+    input_question: "Un nouveau compos\xE9 est synth\xE9tis\xE9 et s'av\xE8re\
+      \ \xEAtre un acide monoprotique avec une masse molaire de 248 g/mol. Lorsque\
+      \ 0,0050 mol de cet acide sont dissous dans 0,500 L d'eau, le pH est mesur\xE9\
+      \ \xE0 3,89. Quel est le pKa de cet acide ?"
+  - input_choice_list:
+      A: 0,500 mole
+      B: 1,00 mole
+      C: 2,00 mole
+      D: 3,00 mole
+    input_correct_responses:
+    - C
+    input_question: "Une solution contient 2,00 moles d'acide ac\xE9tique, CH3COOH,\
+      \ et 1,00 mole d'ac\xE9tate de calcium, Ca(CH3COO)2. La solution est capable\
+      \ de r\xE9sister \xE0 l'ajout d'une petite quantit\xE9 d'acide fort\
+      \ ou de base forte avec seulement des modifications mineures du pH de la solution.\
+      \ De plus grandes quantit\xE9s d'acide fort ou de base forte peuvent provoquer\
+      \ un changement significatif du pH. Combien de moles d'acide nitrique, HNO3,\
+      \ peuvent \xEAtre ajout\xE9es avant que le pH ne commence \xE0 changer de mani\xE8\
+      re significative\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_chemistry
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_high_school_chemistry
+task_alias: high_school_chemistry

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_computer_science.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Une voiture avertit un conducteur qu'elle est sur le point de heurter
+        un objet.
+      B: Une randonneuse utilise une montre GPS pour suivre sa position.
+      C: "Un r\xE9frig\xE9rateur commande du lait \xE0 un service de livraison en\
+        \ ligne alors qu'il n'y a presque plus de lait dans le r\xE9frig\xE9\
+        rateur."
+      D: "Un coureur utilise une montre avec des capteurs optiques pour surveiller\
+        \ sa fr\xE9quence cardiaque."
+    input_correct_responses:
+    - C
+    input_question: "Lequel des \xE9l\xE9ments suivants est un exemple d'utilisation\
+      \ d'un appareil sur l'Internet des objets (IoT)\_?"
+  - input_choice_list:
+      A: "Les activit\xE9s d'un utilisateur naviguant dans une fen\xEAtre anonyme\
+        \ ne seront pas visibles par les personnes qui surveillent le r\xE9seau de\
+        \ l'utilisateur, telles que l'administrateur syst\xE8me."
+      B: "Les articles plac\xE9s dans le panier d'achat d'une boutique Web\
+        \ pour un achat futur au cours de la session de navigation anonyme ne seront\
+        \ pas enregistr\xE9s sur l'ordinateur de l'utilisateur."
+      C: "Un utilisateur ne pourra pas se connecter \xE0 des comptes de courrier \xE9\
+        lectronique ou de m\xE9dias sociaux pendant la session de navigation anonyme."
+      D: "Un utilisateur naviguant dans une fen\xEAtre anonyme sera prot\xE9g\xE9\
+        \ contre les virus lanc\xE9s \xE0 partir des sites Web visit\xE9s ou des fichiers\
+        \ t\xE9l\xE9charg\xE9s."
+    input_correct_responses:
+    - B
+    input_question: "De nombreux navigateurs Web permettent aux utilisateurs d'ouvrir\
+      \ des fen\xEAtres anonymes. Lors d'une session de navigation dans une fen\xEA\
+      tre anonyme, le navigateur n'enregistre pas d'historique de navigation\
+      \ ni de liste de fichiers t\xE9l\xE9charg\xE9s. Lorsque la fen\xEAtre anonyme\
+      \ est ferm\xE9e, les cookies cr\xE9\xE9s pendant la session sont supprim\xE9\
+      s. Laquelle des affirmations suivantes concernant les sessions de navigation\
+      \ dans une fen\xEAtre anonyme est vraie\_?"
+  - input_choice_list:
+      A: Erreur
+      B: abc
+      C: ABC
+      D: c
+    input_correct_responses:
+    - C
+    input_question: "Quelle est la sortie de "abc"[::-1] en Python\_3\_?"
+  - input_choice_list:
+      A: Fox-trot
+      B: "H\xF4tel"
+      C: Novembre
+      D: Yankee
+    input_correct_responses:
+    - C
+    input_question: "Dans le programme ci-dessous, la valeur initiale de x est 5 et\
+      \ la valeur initiale de y est 10. IF (X < O) { DISPLAY ("Foxtrot")\
+      \ } ELSE { IF (X > y) { DISPLAY ("Hotel") } SINON { SI (y >\
+      \ O) { AFFICHAGE ("Novembre") } SINON { AFFICHAGE ("Yankee")\
+      \ } } } Qu'est-ce qui s'affiche \xE0 la suite de l'ex\xE9cution\
+      \ du programme\_?"
+  - input_choice_list:
+      A: "\xC9tape 3 : Augmentez la valeur de position de 1. \xC9tape 4 : R\xE9p\xE9\
+        tez les \xE9tapes 2 et 3 jusqu'\xE0 ce que la valeur de count soit sup\xE9\
+        rieure \xE0 100."
+      B: "\xC9tape 3 : Augmentez la valeur de position de 1. \xC9tape 4 : R\xE9p\xE9\
+        tez les \xE9tapes 2 et 3 jusqu'\xE0 ce que la valeur de position soit\
+        \ sup\xE9rieure \xE0 n."
+      C: "\xC9tape 3 : R\xE9p\xE9tez l'\xE9tape 2 jusqu'\xE0 ce que la valeur\
+        \ de count soit sup\xE9rieure \xE0 100. \xC9tape 4 : Augmentez la valeur de\
+        \ position de 1."
+      D: "\xC9tape 3 : r\xE9p\xE9tez l'\xE9tape 2 jusqu'\xE0 ce que la valeur\
+        \ de position soit sup\xE9rieure \xE0 n. \xC9tape 4 : Augmentez la valeur\
+        \ de count de 1."
+    input_correct_responses:
+    - D
+    input_question: "Une liste de nombres comporte n \xE9l\xE9ments, index\xE9s de\
+      \ 1 \xE0 n. L'algorithme suivant est destin\xE9 \xE0 afficher le nombre\
+      \ d'\xE9l\xE9ments de la liste qui ont une valeur sup\xE9rieure \xE0 100.\
+      \ L'algorithme utilise les variables count et position. Les \xE9tapes 3\
+      \ et 4 manquent. \xC9tape 1 : d\xE9finissez count sur 0 et position sur 1. \xC9\
+      tape 2 : si la valeur de l'\xE9l\xE9ment \xE0 la position d'index est\
+      \ sup\xE9rieure \xE0 100, augmentez la valeur de count de 1. \xC9tape 3 : (\xE9\
+      tape manquante) \xC9tape 4 : (\xE9tape manquante ) \xC9tape 5 : Affichez la\
+      \ valeur de comptage. Lequel des \xE9l\xE9ments suivants pourrait \xEAtre utilis\xE9\
+      \ pour remplacer les \xE9tapes 3 et 4 afin que l'algorithme fonctionne comme\
+      \ pr\xE9vu\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_computer_science
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_high_school_computer_science
+task_alias: high_school_computer_science

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_european_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Jean-Jacques Rousseau
+      B: Baron de Montesquieu
+      C: Marie Wolstonecraft
+      D: Adam Smith
+    input_correct_responses:
+    - B
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ L'extrait suivant est tir\xE9 d'une brochure. Vous me ferez la justice\
+      \ de me rappeler que j'ai toujours vigoureusement soutenu le droit de chacun\
+      \ \xE0 sa propre opinion, si diff\xE9rente que cette opinion puisse \xEAtre\
+      \ de la mienne. Celui qui refuse \xE0 un autre ce droit, se rend esclave de\
+      \ son opinion pr\xE9sente, parce qu'il s'interdit le droit de la changer.\
+      \ L'arme la plus redoutable contre les erreurs de toutes sortes est la Raison.\
+      \ Je n'en ai jamais utilis\xE9 d'autre et j'esp\xE8re que je ne\
+      \ le ferai jamais. La circonstance qui a eu lieu maintenant en France de l'abolition\
+      \ totale de tout l'ordre national du sacerdoce, et de tout ce qui appartient\
+      \ aux syst\xE8mes compulsifs de religion et aux articles de foi compulsifs,\
+      \ a non seulement pr\xE9cipit\xE9 mon intention, mais rendu une \u0153uvre de\
+      \ ce genre extr\xEAmement n\xE9cessaire, de peur que dans le naufrage g\xE9\
+      n\xE9ral de la superstition, des faux syst\xE8mes de gouvernement et de la fausse\
+      \ th\xE9ologie, nous perdions de vue la moralit\xE9, l'humanit\xE9 et la\
+      \ th\xE9ologie qui est vraie. Je crois en un seul Dieu, et rien de plus ; et\
+      \ j'esp\xE8re le bonheur au-del\xE0 de cette vie. Je crois \xE0 l'\xE9\
+      galit\xE9 de l'homme ; et je crois que les devoirs religieux consistent\
+      \ \xE0 faire justice, \xE0 aimer la mis\xE9ricorde et \xE0 s'efforcer de\
+      \ rendre nos semblables heureux. Je ne crois pas au credo profess\xE9 par l'\xE9\
+      glise juive, par l'\xE9glise romaine, par l'\xE9glise grecque, par l'\xE9\
+      glise turque, par l'\xE9glise protestante, ni par aucune \xE9glise que je\
+      \ connaisse. Mon propre esprit est ma propre \xE9glise. Toutes les institutions\
+      \ nationales des \xE9glises, qu'elles soient juives, chr\xE9tiennes ou turques,\
+      \ ne me paraissent que des inventions humaines, mises en place pour terrifier\
+      \ et asservir l'humanit\xE9, et monopoliser le pouvoir et le profit. Je\
+      \ n'entends pas par cette d\xE9claration condamner ceux qui croient le contraire\
+      \ ; ils ont le m\xEAme droit \xE0 leur croyance que moi \xE0 la mienne. \u2014\
+      Thomas Paine, The Age of Reason, 1794\u20131795 Lequel des philosophes des Lumi\xE8\
+      res suivants a con\xE7u un syst\xE8me de freins et contrepoids pour que le gouvernement\
+      \ \xE9vite les abus de pouvoir\_?"
+  - input_choice_list:
+      A: "Les id\xE9es de libert\xE9 individuelle et de nationalisme con\xE7ues au\
+        \ si\xE8cle des Lumi\xE8res ont entra\xEEn\xE9 des r\xE9volutions radicales\
+        \ qui ont pu se propager dans toute l'Europe."
+      B: "La conqu\xEAte de l'Europe par Napol\xE9on a conduit \xE0 la cr\xE9\
+        ation de nouvelles factions et a modifi\xE9 l'\xE9quilibre europ\xE9en\
+        \ des pouvoirs."
+      C: "Le pouvoir des monarques avait grandi au point o\xF9 il devait \xEAtre contr\xF4\
+        l\xE9 par d'autres pouvoirs au sein de chaque nation ou la domination\
+        \ des civils se produirait."
+      D: "Le cycle \xE9conomique ascendant et descendant de la nouvelle \xE9conomie\
+        \ capitaliste \xE9mergente pourrait conduire \xE0 des troubles civils qui\
+        \ doivent \xEAtre r\xE9prim\xE9s."
+    input_correct_responses:
+    - A
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ Lisez l'extrait suivant. La semence r\xE9volutionnaire avait p\xE9n\xE9\
+      tr\xE9 dans tous les pays et s'\xE9tait plus ou moins r\xE9pandue. Elle\
+      \ s'est beaucoup d\xE9velopp\xE9e sous le r\xE9gime du despotisme militaire\
+      \ de Bonaparte. Ses conqu\xEAtes ont d\xE9plac\xE9 nombre de lois, d'institutions\
+      \ et de coutumes ; rompu les liens sacr\xE9s entre toutes les nations, assez\
+      \ forts pour r\xE9sister au temps lui-m\xEAme ; ce qui est plus que ce que l'on\
+      \ peut dire de certains avantages conf\xE9r\xE9s par ces innovateurs. Les monarques\
+      \ rempliront les devoirs qui leur sont impos\xE9s par Celui qui, en leur confiant\
+      \ le pouvoir, les a charg\xE9s de veiller au maintien de la justice et des droits\
+      \ de tous, d'\xE9viter les voies de l'erreur et de s'engager r\xE9\
+      solument dans la voie de v\xE9rit\xE9. Plac\xE9s au-del\xE0 des passions qui\
+      \ agitent la soci\xE9t\xE9, c'est dans les jours d'\xE9preuve surtout\
+      \ qu'ils sont appel\xE9s \xE0 d\xE9pouiller les r\xE9alit\xE9s de leurs\
+      \ fausses apparences, et \xE0 se montrer tels qu'ils sont, p\xE8res investis\
+      \ de l'autorit\xE9 appartenant de droit aux chefs de famille, prouver qu'aux\
+      \ jours de deuil, ils savent \xEAtre justes, sages, donc forts, et qu'ils\
+      \ n'abandonneront pas le peuple qu'ils doivent gouverner pour \xEAtre\
+      \ le jouet des factions, \xE0 l'erreur et \xE0 ses cons\xE9quences, qui\
+      \ doivent impliquent la perte de la soci\xE9t\xE9. L'union entre les monarques\
+      \ est la base de la politique qui doit maintenant \xEAtre suivie pour sauver\
+      \ la soci\xE9t\xE9 de la ruine totale. . . . Qu'ils ne confondent pas les\
+      \ concessions faites aux partis avec le bien qu'ils doivent faire \xE0 leur\
+      \ peuple, en modifiant, selon leurs besoins reconnus, les branches de l'administration\
+      \ qui l'exigent. Qu'ils soient justes, mais forts ; bienfaisant, mais\
+      \ strict. Qu'ils maintiennent les principes religieux dans toute leur puret\xE9\
+      , et ne permettent pas que la foi soit attaqu\xE9e et la morale interpr\xE9\
+      t\xE9e selon le contrat social ou les visions de sectaires insens\xE9s. Qu'ils\
+      \ suppriment les Soci\xE9t\xE9s Secr\xE8tes ; cette gangr\xE8ne de la soci\xE9\
+      t\xE9. \u2014Klemens von Metternich, Confession de foi politique, 1820 Laquelle\
+      \ des affirmations suivantes a \xE9t\xE9 la plus grande cause des craintes exprim\xE9\
+      es par Metternich dans le document ci-dessus\_?"
+  - input_choice_list:
+      A: Capitaliste
+      B: Scientifique
+      C: communiste
+      D: Existentialiste
+    input_correct_responses:
+    - C
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ En Russie, rien n'allait bien, et [Souvarine] \xE9tait d\xE9sesp\xE9r\xE9\
+      \ des nouvelles qu'il avait re\xE7ues. Ses anciens compagnons se tournaient\
+      \ tous vers les politiciens ; les fameux nihilistes qui faisaient trembler l'Europe\
+      \ - fils de cur\xE9s de village, de petits bourgeois, de commer\xE7ants - ne\
+      \ pouvaient s'\xE9lever au-dessus de l'id\xE9e de lib\xE9ration nationale,\
+      \ et semblaient croire que le monde serait d\xE9livr\xE9 - lorsqu'ils avaient\
+      \ tu\xE9 leur despote... "Sottises! Ils ne s'en tireront jamais avec\
+      \ leurs sottises." Puis, baissant encore la voix, il d\xE9crivait en quelques\
+      \ mots amers son vieux r\xEAve de fraternit\xE9. Il avait renonc\xE9 \xE0 son\
+      \ rang et \xE0 sa fortune ; il n'\xE9tait all\xE9 parmi les ouvriers que\
+      \ dans l'espoir de voir enfin la fondation d'une nouvelle soci\xE9t\xE9\
+      \ de travail en commun. Tous les sous de ses poches \xE9taient depuis longtemps\
+      \ all\xE9s aux gamins du coron ; il avait \xE9t\xE9 aussi tendre qu'un fr\xE8\
+      re avec les charbonniers, souriant \xE0 leurs soup\xE7ons, les conqu\xE9rant\
+      \ par ses mani\xE8res tranquilles d'ouvrier et son aversion pour le bavardage.\
+      \ Mais d\xE9cid\xE9ment la fusion n'avait pas eu lieu. Sa voix changea,\
+      \ ses yeux s'\xE9claircirent, il les fixa sur Etienne en s'adressant\
+      \ directement \xE0 lui : \xAB Maintenant, comprends-tu cela ? en d\xE9clarant\
+      \ qu'ils vont vivre sans rien faire !... Oui, c'est votre id\xE9e, vous\
+      \ tous les ouvriers fran\xE7ais, vous voulez d\xE9nicher un tr\xE9sor pour le\
+      \ d\xE9vorer seul ensuite dans quelque coin paresseux et \xE9go\xEFste. autant\
+      \ que tu aimes contre les riches, tu n'as pas le courage de rendre aux pauvres\
+      \ l'argent que la chance te rapporte. Tu ne seras jamais digne du bonheur\
+      \ tant que tu poss\xE9deras quelque chose, et ta haine des bourgeois uniquement\
+      \ par un d\xE9sir furieux d'\xEAtre vous-m\xEAmes bourgeois \xE0 leur place."\
+      \ \xE9mile Zola, \xE9crivain fran\xE7ais, Germinal, 1885 Le passage montre la\
+      \ pr\xE9occupation directe pour le bien-\xEAtre des classes ouvri\xE8res qui\
+      \ faisait typiquement partie de quel mouvement ?"
+  - input_choice_list:
+      A: "Ils ont servi de catalyseur \xE0 la croissance de la navigation anglaise\
+        \ et du commerce outre-mer, mais n'ont gu\xE8re limit\xE9 les perspectives\
+        \ des N\xE9erlandais au XVIIe si\xE8cle."
+      B: "Ils ont provoqu\xE9 des difficult\xE9s presque imm\xE9diates pour l'\xE9\
+        conomie n\xE9erlandaise car leur domination du commerce ext\xE9rieur a rapidement\
+        \ pris fin."
+      C: "Ils ont \xE9t\xE9 annul\xE9s lors de la restauration des Stuarts alors qu'ils\
+        \ recherchaient des relations diplomatiques normales avec les N\xE9erlandais\
+        \ afin de ne pas avoir besoin du soutien financier du Parlement pour la guerre."
+      D: "Ils ont conduit \xE0 pr\xE8s d'un si\xE8cle de guerre r\xE9currente\
+        \ entre l'Angleterre et les Pays-Bas, qui ne s'est termin\xE9e qu'apr\xE8\
+        s l'ind\xE9pendance am\xE9ricaine."
+    input_correct_responses:
+    - A
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ Les extraits ci-dessous sont tir\xE9s des actes de navigation de 1651. [A]pr\xE8\
+      s le premier jour de d\xE9cembre mil six cent cinquante et un, et \xE0 partir\
+      \ de l\xE0, aucun bien ou marchandise de la croissance, de la production ou\
+      \ de la fabrication de l'Asie, de l'Afrique ou l'Am\xE9rique, ou\
+      \ d'une partie de celle-ci\_; ou de toutes \xEEles leur appartenant, ou\
+      \ qui sont d\xE9crites ou indiqu\xE9es sur les cartes ou cartes habituelles\
+      \ de ces lieux, ainsi que des plantations anglaises comme d'autres, seront\
+      \ import\xE9es ou introduites dans ce Commonwealth d'Angleterre, ou en Irlande,\
+      \ ou toutes autres terres, \xEEles, plantations ou territoires appartenant \xE0\
+      \ ce Commonwealth, ou en leur possession, sur tout autre navire ou navires,\
+      \ navire ou navires que ce soit, mais uniquement dans ceux qui appartiennent\
+      \ v\xE9ritablement et sans fraude au seul peuple de ce Commonwealth , ou leurs\
+      \ plantations, en tant que propri\xE9taires ou ayants droit; et dont le capitaine\
+      \ et les marins sont \xE9galement du peuple de ce Commonwealth, sous peine de\
+      \ confiscation et de perte de toutes les marchandises qui seront import\xE9\
+      es contrairement \xE0 la pr\xE9sente loi, , , , [A]ucune marchandise ou marchandise\
+      \ de la croissance, la production ou la fabrication de l'Europe, ou d'une\
+      \ partie de celle-ci, sera, apr\xE8s le premier jour de d\xE9cembre mil six\
+      \ cent cinquante et un, import\xE9e ou introduite dans ce Commonwealth d'Angleterre,\
+      \ ou dans tout autre pays ou territoire appartenant \xE0 ce Commonwealth, ou\
+      \ en leur possession, dans n'importe quel navire ou navires, navire ou navires\
+      \ que ce soit, mais dans ceux qui appartiennent vraiment et sans fraude uniquement\
+      \ au peuple de ce Commonwealth, et dans aucun autre, \xE0 l'exception seulement\
+      \ des navires et navires \xE9trangers qui le font v\xE9ritablement et sans fraude.\
+      \ appartiennent en propre au peuple de ce pays ou de ce lieu, dont lesdits biens\
+      \ sont la croissance, la production ou la fabrication. Lequel des \xE9nonc\xE9\
+      s suivants d\xE9crit le mieux le r\xE9sultat des actes de navigation de 1651\_\
+      ?"
+  - input_choice_list:
+      A: "donner au roi d'Angleterre une nouvelle position d'autorit\xE9"
+      B: "donner le poste de chef de l'\xC9glise d'Angleterre \xE0 Henri VIII\
+        \ seul et exclure ses h\xE9ritiers"
+      C: "\xE9tablir le calvinisme comme la seule vraie th\xE9ologie en Angleterre"
+      D: "mettre fin \xE0 diverses formes de corruption qui affligent l'\xC9glise\
+        \ en Angleterre"
+    input_correct_responses:
+    - D
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ Bien que la majest\xE9 du roi soit et doive \xEAtre \xE0 juste titre et \xE0\
+      \ juste titre le chef supr\xEAme de l'\xC9glise d'Angleterre, et qu'elle\
+      \ soit ainsi reconnue par le clerg\xE9 de ce royaume dans leurs convocations,\
+      \ n\xE9anmoins, pour la corroboration et la confirmation de celle-ci, et pour\
+      \ l'augmentation de la vertu dans la religion du Christ dans ce royaume\
+      \ d'Angleterre, et de r\xE9primer et d'extirper toutes les erreurs,\
+      \ h\xE9r\xE9sies et autres \xE9normit\xE9s et abus utilis\xE9s jusqu'ici\
+      \ dans le m\xEAme, qu'il soit d\xE9cr\xE9t\xE9, par l'autorit\xE9 de\
+      \ ce Parlement actuel, que le roi, notre seigneur souverain, ses h\xE9ritiers\
+      \ et les successeurs, rois de ce royaume, seront pris, accept\xE9s et r\xE9\
+      put\xE9s le seul chef supr\xEAme sur la terre de l'\xC9glise d'Angleterre,\
+      \ appel\xE9s Anglicans Ecclesia; et aura et jouira, annex\xE9 et uni \xE0 la\
+      \ couronne imp\xE9riale de ce royaume, ainsi que le titre et le style de celle-ci,\
+      \ ainsi que tous les honneurs, dignit\xE9s, pr\xE9\xE9minences, juridictions,\
+      \ privil\xE8ges, autorit\xE9s, immunit\xE9s, profits, et commodit\xE9s \xE0\
+      \ ladite dignit\xE9 de le chef supr\xEAme de la m\xEAme \xC9glise appartenant\
+      \ et relevant; et que notre dit seigneur souverain, ses h\xE9ritiers et successeurs,\
+      \ rois de ce royaume, auront plein pouvoir et autorit\xE9 de temps en temps\
+      \ pour visiter, r\xE9primer, redresser, enregistrer, ordonner, corriger, restreindre\
+      \ et amender toutes ces erreurs, h\xE9r\xE9sies, les abus, les offenses, les\
+      \ outrages et les \xE9normit\xE9s, quels qu'ils soient, qui, par quelque\
+      \ autorit\xE9 ou juridiction spirituelle que ce soit, doivent ou peuvent l\xE9\
+      galement \xEAtre r\xE9form\xE9s, r\xE9prim\xE9s, ordonn\xE9s, redress\xE9s,\
+      \ corrig\xE9s, restreints ou amend\xE9s, au plus grand plaisir de Dieu Tout-Puissant,\
+      \ l'accroissement de la vertu dans la religion du Christ, et pour la conservation\
+      \ de la paix, de l'unit\xE9 et de la tranquillit\xE9 de ce royaume ; nonobstant\
+      \ tout usage, terrain \xE9tranger, autorit\xE9 \xE9trang\xE8re, prescription\
+      \ ou toute autre chose ou choses contraires aux pr\xE9sentes. Parlement anglais,\
+      \ Acte de supr\xE9matie, 1534 D'apr\xE8s ce passage, on peut d\xE9duire\
+      \ que le Parlement anglais souhaitait faire valoir que l'Acte de supr\xE9\
+      matie serait"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_european_history
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_high_school_european_history
+task_alias: high_school_european_history

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_geography.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "taux de mortalit\xE9 brut \xE0 partir de la date de naissance brute."
+      B: "taux brut de natalit\xE9 \xE0 partir du taux brut de mortalit\xE9."
+      C: "temps de doublement du taux brut de natalit\xE9."
+      D: "taux de f\xE9condit\xE9 \xE0 partir du taux brut de mortalit\xE9."
+    input_correct_responses:
+    - A
+    input_question: Le taux d'accroissement naturel d'une population s'obtient
+      en soustrayant
+  - input_choice_list:
+      A: "Les taux de natalit\xE9 augmentent et le taux de croissance d\xE9mographique\
+        \ est moins rapide."
+      B: "Les taux de natalit\xE9 diminuent et le taux de croissance d\xE9mographique\
+        \ est moins rapide."
+      C: "Les taux de natalit\xE9 augmentent et le taux de croissance d\xE9mographique\
+        \ augmente."
+      D: "Les taux de natalit\xE9 diminuent et le taux de croissance d\xE9mographique\
+        \ augmente."
+    input_correct_responses:
+    - B
+    input_question: "Au cours de la troisi\xE8me \xE9tape du mod\xE8le de transition\
+      \ d\xE9mographique, laquelle des affirmations suivantes est vraie\_?"
+  - input_choice_list:
+      A: La duplication des efforts se produit souvent.
+      B: "Les probl\xE8mes sociaux de la ville centrale d\xE9bordent sur les banlieues\
+        \ r\xE9sidentielles environnantes."
+      C: "L'inefficacit\xE9 dans la prestation de services se produit souvent."
+      D: "Les efforts d'un quartier pour r\xE9duire la pollution sont toujours\
+        \ soutenus par les communaut\xE9s voisines."
+    input_correct_responses:
+    - D
+    input_question: "Laquelle des affirmations suivantes n'est PAS exacte concernant\
+      \ les services fournis par les gouvernements locaux aux \xC9tats-Unis\_?"
+  - input_choice_list:
+      A: externalisation.
+      B: "d\xE9localisation."
+      C: maquiladoras.
+      D: "interd\xE9pendance g\xE9ographique."
+    input_correct_responses:
+    - B
+    input_question: "La pratique consistant \xE0 embaucher un fournisseur de services\
+      \ tiers \xE9tranger pour g\xE9rer une op\xE9ration est appel\xE9e"
+  - input_choice_list:
+      A: Savon colombe
+      B: Barre de chocolat colombe
+      C: Symbole de la colombe
+      D: Une colombe (oiseau)
+    input_correct_responses:
+    - C
+    input_question: "Lequel des \xE9l\xE9ments suivants est un exemple de culture\
+      \ immat\xE9rielle\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_geography
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_high_school_geography
+task_alias: high_school_geography

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_government_and_politics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "la d\xE9finition constitutionnelle de ces pouvoirs est large et impr\xE9\
+        cise"
+      B: "la plupart des gens conviennent que la Constitution impose trop de limites\
+        \ au pouvoir pr\xE9sidentiel"
+      C: "la Cour supr\xEAme refuse syst\xE9matiquement de statuer sur les affaires\
+        \ concernant les pouvoirs pr\xE9sidentiels"
+      D: "les amendements constitutionnels ont consid\xE9rablement accru les pouvoirs\
+        \ pr\xE9sidentiels"
+    input_correct_responses:
+    - A
+    input_question: "L'incertitude sur les limites du pouvoir pr\xE9sidentiel\
+      \ tient avant tout au fait que"
+  - input_choice_list:
+      A: "augmentation annuelle des d\xE9penses f\xE9d\xE9rales pour l'arm\xE9\
+        e"
+      B: "montant des int\xE9r\xEAts sur la dette nationale"
+      C: "diff\xE9rence entre les propositions budg\xE9taires initiales faites par\
+        \ le pr\xE9sident et le Congr\xE8s"
+      D: "montant que le gouvernement d\xE9pense en exc\xE9dent de ses revenus"
+    input_correct_responses:
+    - D
+    input_question: "Le terme "d\xE9ficit budg\xE9taire" d\xE9signe le"
+  - input_choice_list:
+      A: "Weeks contre \xC9tats-Unis"
+      B: Betts contre Brady
+      C: Mapp contre Ohio
+      D: Miranda contre Arizona
+    input_correct_responses:
+    - D
+    input_question: "Lequel des cas suivants a \xE9tabli le pr\xE9c\xE9dent selon\
+      \ lequel un accus\xE9 doit \xEAtre inform\xE9 du droit de garder le silence,\
+      \ du droit \xE0 un avocat et de la protection contre l'auto-incrimination\_\
+      ?"
+  - input_choice_list:
+      A: "Ils sont \xE9tablis par le pouvoir l\xE9gislatif."
+      B: "Leurs membres n'ont souvent pas beaucoup d'influence sur les d\xE9\
+        cisions pr\xE9sidentielles."
+      C: "Ils ne peuvent pas tous \xEAtre dirig\xE9s par des dirigeants appartenant\
+        \ au m\xEAme parti politique que le pr\xE9sident."
+      D: "Tous les organismes f\xE9d\xE9raux ne sont pas des minist\xE8res du Cabinet."
+    input_correct_responses:
+    - C
+    input_question: "Laquelle des affirmations suivantes concernant les d\xE9partements\
+      \ minist\xE9riels est FAUX\_?"
+  - input_choice_list:
+      A: "Les politiciens honn\xEAtes peuvent emp\xEAcher les factions de se d\xE9\
+        velopper."
+      B: "Les factions sont plus susceptibles de se produire dans les grandes r\xE9\
+        publiques que dans les petites."
+      C: "Les effets n\xE9gatifs du factionnalisme peuvent \xEAtre r\xE9duits par\
+        \ un gouvernement r\xE9publicain."
+      D: "Des \xE9lections libres sont la meilleure d\xE9fense du peuple contre le\
+        \ factionnalisme."
+    input_correct_responses:
+    - C
+    input_question: "Lequel des \xE9nonc\xE9s suivants \xE9nonce le mieux un argument\
+      \ avanc\xE9 par James Madison dans The Federalist num\xE9ro 10\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_government_and_politics
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_high_school_government_and_politics
+task_alias: high_school_government_and_politics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_macroeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "L'arm\xE9e am\xE9ricaine ouvre une nouvelle base dans un pays \xE9tranger\
+        \ avec 1000 militaires am\xE9ricains."
+      B: "Les consommateurs japonais ach\xE8tent des milliers de CD produits aux \xC9\
+        tats-Unis."
+      C: "Une chanteuse pop am\xE9ricaine donne un concert \xE0 guichets ferm\xE9\
+        s \xE0 Paris."
+      D: "Une production th\xE9\xE2trale fran\xE7aise tourne dans des dizaines de\
+        \ villes am\xE9ricaines."
+    input_correct_responses:
+    - C
+    input_question: "Lequel des \xE9l\xE9ments suivants n'est pas inclus dans\
+      \ le PIB am\xE9ricain\_?"
+  - input_choice_list:
+      A: "relation directe entre le ch\xF4mage et l'inflation"
+      B: "relation directe entre le prix et la quantit\xE9 demand\xE9e"
+      C: "relation inverse entre le prix et la quantit\xE9 demand\xE9e"
+      D: "relation inverse entre le ch\xF4mage et l'inflation"
+    input_correct_responses:
+    - D
+    input_question: "La courbe de Phillips \xE0 court terme indique une"
+  - input_choice_list:
+      A: "les exportations d\xE9passent les importations."
+      B: "les importations d\xE9passent les exportations."
+      C: "les recettes fiscales f\xE9d\xE9rales d\xE9passent les d\xE9penses."
+      D: "les d\xE9penses f\xE9d\xE9rales d\xE9passent les recettes fiscales f\xE9\
+        d\xE9rales."
+    input_correct_responses:
+    - D
+    input_question: "Un d\xE9ficit f\xE9d\xE9ral se produit lorsque"
+  - input_choice_list:
+      A: Augmenter le taux d'actualisation
+      B: "Augmentation du taux de r\xE9serve"
+      C: Acheter des titres publics
+      D: Abaissement des tarifs
+    input_correct_responses:
+    - C
+    input_question: "Toutes choses \xE9gales par ailleurs, laquelle des politiques\
+      \ mon\xE9taires suivantes serait utilis\xE9e pour stimuler les exportations\
+      \ am\xE9ricaines\_?"
+  - input_choice_list:
+      A: "Une augmentation de la masse mon\xE9taire"
+      B: "Augmentation des d\xE9penses publiques"
+      C: "R\xE9duction des imp\xF4ts sur la recherche et le d\xE9veloppement de nouvelles\
+        \ technologies"
+      D: "Hausse des imp\xF4ts sur le revenu des m\xE9nages"
+    input_correct_responses:
+    - C
+    input_question: "Laquelle des politiques suivantes d\xE9crit le mieux la politique\
+      \ budg\xE9taire de l'offre\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_macroeconomics
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_high_school_macroeconomics
+task_alias: high_school_macroeconomics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '3'
+      B: '15'
+      C: '6'
+      D: '5'
+    input_correct_responses:
+    - B
+    input_question: "Joe \xE9tait responsable des lumi\xE8res pour une danse. Le voyant\
+      \ rouge clignote toutes les deux secondes, le voyant jaune toutes les trois\
+      \ secondes et le voyant bleu toutes les cinq secondes. Si nous incluons le tout\
+      \ d\xE9but et la toute fin de la danse, combien de fois pendant une danse de\
+      \ sept minutes toutes les lumi\xE8res s'allumeront-elles en m\xEAme temps\_\
+      ? (Supposons que les trois lumi\xE8res clignotent simultan\xE9ment au tout d\xE9\
+      but de la danse.)"
+  - input_choice_list:
+      A: '12'
+      B: '1'
+      C: '30'
+      D: '5'
+    input_correct_responses:
+    - C
+    input_question: "Cinq mille dollars compos\xE9s annuellement \xE0 un taux d'int\xE9\
+      r\xEAt de x\\%$ mettent six ans \xE0 doubler. Au m\xEAme taux d'int\xE9\
+      r\xEAt, combien d'ann\xE9es faudra-t-il \xE0 $\\$300$ pour atteindre $\\\
+      $9600$\_?"
+  - input_choice_list:
+      A: '-1'
+      B: '16'
+      C: -\frac{1}{256}
+      D: \frac{1}{16}
+    input_correct_responses:
+    - C
+    input_question: "La variable $x$ varie directement comme le carr\xE9 de $y$, et\
+      \ $y$ varie directement comme le cube de $z$. Si $x$ est \xE9gal \xE0 $-16$\
+      \ lorsque $z$ est \xE9gal \xE0 2, quelle est la valeur de $x$ lorsque $z$ est\
+      \ \xE9gal \xE0 $\\frac{1}{2}$\_?"
+  - input_choice_list:
+      A: \frac{3\sqrt{3}}{3}
+      B: \frac{1}{3}
+      C: \sqrt{3}
+      D: \frac{\sqrt{3}}{3}
+    input_correct_responses:
+    - D
+    input_question: "Simplifiez et \xE9crivez le r\xE9sultat avec un d\xE9nominateur\
+      \ rationnel\_: $$\\sqrt{\\sqrt[3]{\\sqrt{\\frac{1}{729}}}}$$"
+  - input_choice_list:
+      A: '55'
+      B: '60'
+      C: '62'
+      D: '65'
+    input_correct_responses:
+    - D
+    input_question: "Dix \xE9tudiants passent un test de biologie et re\xE7oivent\
+      \ les notes suivantes\_: 45, 55, 50, 70, 65, 80, 40, 90, 70, 85. Quelle est\
+      \ la moyenne des notes des tests des \xE9tudiants\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_mathematics
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_high_school_mathematics
+task_alias: high_school_mathematics