Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_microeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Un salaire minimum effectif impos\xE9 sur ce march\xE9 du travail."
+      B: Une augmentation du prix des gallons de peinture.
+      C: Une augmentation de la construction de nouvelles maisons.
+      D: "Une augmentation du prix des peintres m\xE9caniques tant que l'effet\
+        \ de production d\xE9passe l'effet de substitution."
+    input_correct_responses:
+    - C
+    input_question: "Dans un march\xE9 du travail concurrentiel pour les peintres\
+      \ en b\xE2timent, lequel des \xE9l\xE9ments suivants augmenterait la demande\
+      \ de peintres en b\xE2timent\_?"
+  - input_choice_list:
+      A: la demande pour le produit augmentera
+      B: la demande pour le produit diminuera
+      C: le surplus du consommateur augmentera
+      D: le surplus du consommateur diminuera
+    input_correct_responses:
+    - C
+    input_question: "Si le gouvernement subventionne les producteurs sur un march\xE9\
+      \ parfaitement concurrentiel, alors"
+  - input_choice_list:
+      A: '0'
+      B: '5'
+      C: dix
+      D: '100'
+    input_correct_responses:
+    - D
+    input_question: Le rapport de concentration pour un monopole est
+  - input_choice_list:
+      A: "Le prix plancher d\xE9place la courbe de demande vers la gauche."
+      B: "Un plancher efficace cr\xE9e une p\xE9nurie de bien."
+      C: "Le prix plancher d\xE9place la courbe d'offre du bien vers la droite."
+      D: "Pour \xEAtre un plancher efficace, il doit \xEAtre fix\xE9 au-dessus du\
+        \ prix d'\xE9quilibre."
+    input_correct_responses:
+    - D
+    input_question: "Lequel des \xE9nonc\xE9s suivants est vrai d'un prix plancher\_\
+      ?"
+  - input_choice_list:
+      A: "Libre entr\xE9e et sortie du march\xE9"
+      B: Quelques grands producteurs
+      C: Un producteur d'un bien sans substituts proches
+      D: "Un produit homog\xE8ne"
+    input_correct_responses:
+    - B
+    input_question: "Laquelle des caract\xE9ristiques suivantes est n\xE9cessairement\
+      \ une caract\xE9ristique de l'oligopole\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_microeconomics
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_high_school_microeconomics
+task_alias: high_school_microeconomics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: I et II seulement
+      B: I et III seulement
+      C: II et III uniquement
+      D: III seulement
+    input_correct_responses:
+    - D
+    input_question: "Laquelle des conditions suivantes garantira la conservation du\
+      \ moment cin\xE9tique\_? I. Conservation de la quantit\xE9 de mouvement lin\xE9\
+      aire II. Force externe nette nulle III. Couple externe net nul"
+  - input_choice_list:
+      A: "La pression est \xE0 un n\u0153ud, mais le d\xE9placement des particules\
+        \ est \xE0 un ventre."
+      B: "La pression est \xE0 un ventre, mais le d\xE9placement des particules est\
+        \ \xE0 un n\u0153ud."
+      C: "La pression et le d\xE9placement des particules sont tous les deux aux n\u0153\
+        uds."
+      D: "La pression et le d\xE9placement des particules sont tous les deux aux ventres."
+    input_correct_responses:
+    - B
+    input_question: "Un tuyau plein d'air est ferm\xE9 \xE0 une extr\xE9mit\xE9\
+      . Une onde stationnaire est produite dans le tuyau, ce qui fait que le tuyau\
+      \ \xE9met une note. Lequel des \xE9nonc\xE9s suivants est une affirmation correcte\
+      \ concernant les propri\xE9t\xE9s de l'onde \xE0 l'extr\xE9mit\xE9 ferm\xE9\
+      e du tuyau\_?"
+  - input_choice_list:
+      A: 02H00
+      B: 06H00
+      C: 00h00
+      D: 24 A
+    input_correct_responses:
+    - D
+    input_question: "Une cellule photo\xE9lectrique de fonction de travail \u03D5\
+      \ = 2eV est connect\xE9e \xE0 une r\xE9sistance en s\xE9rie. La lumi\xE8re de\
+      \ fr\xE9quence f = 1 \xD7 10^15 Hz frappe une plaque m\xE9tallique de la cellule\
+      \ photo\xE9lectrique. Si la puissance de la lumi\xE8re est P = 100 W, quel est\
+      \ le courant traversant la r\xE9sistance ?"
+  - input_choice_list:
+      A: 10W
+      B: 30W
+      C: 60W
+      D: 240W
+    input_correct_responses:
+    - D
+    input_question: "Un four \xE0 micro-ondes est branch\xE9 sur une prise 120 V et\
+      \ consomme un courant de 2 amp\xE8res. \xC0 quelle vitesse l'\xE9nergie\
+      \ est-elle utilis\xE9e par le four \xE0 micro-ondes\_?"
+  - input_choice_list:
+      A: 3,5 J
+      B: 6,0 J
+      C: 22,5 J
+      D: 40J
+    input_correct_responses:
+    - B
+    input_question: "Une charge ponctuelle, Q = +1 mC, est fix\xE9e \xE0 l'origine.\
+      \ Combien de travail faut-il pour d\xE9placer une charge, Q = +8 \xB5C, du point\
+      \ (0, 4 m\xE8tres) au point (3 m\xE8tres, 0)\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_physics
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_high_school_physics
+task_alias: high_school_physics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_psychology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: un surmoi fort.
+      B: faible estime de soi.
+      C: "faible auto-efficacit\xE9."
+      D: "un lieu de contr\xF4le interne."
+    input_correct_responses:
+    - D
+    input_question: "Ani pense que ses attitudes et son comportement jouent un r\xF4\
+      le central dans ce qui lui arrive. Une telle croyance est susceptible d'\xEA\
+      tre associ\xE9e \xE0"
+  - input_choice_list:
+      A: "identifier les causes et les solutions des probl\xE8mes pr\xE9sent\xE9s\
+        \ par le client"
+      B: "identifier et \xE9liminer les causes des difficult\xE9s de la personne consult\xE9\
+        e \xE0 g\xE9rer un probl\xE8me"
+      C: "\xE9tablir une hi\xE9rarchie d'autorit\xE9 pour permettre une prise\
+        \ de d\xE9cision efficace"
+      D: "pr\xE9senter un plan d'action unique, bien d\xE9fini et sans ambigu\xEF\
+        t\xE9 au consultant pour surmonter les d\xE9ficits de comp\xE9tences"
+    input_correct_responses:
+    - B
+    input_question: "Selon le mod\xE8le de consultation de cas centr\xE9 sur le consultant\
+      \ de Caplan, le consultant s'int\xE9resse principalement \xE0"
+  - input_choice_list:
+      A: "Les messages sont envoy\xE9s du thalamus directement \xE0 l'amygdale."
+      B: "Les messages sont envoy\xE9s du thalamus aux voies "quoi" et "o\xF9\
+        "."
+      C: "Les messages sont envoy\xE9s du syst\xE8me nerveux parasympathique au cortex\
+        \ c\xE9r\xE9bral."
+      D: "Les messages sont envoy\xE9s des lobes frontaux \xE0 l'hypophyse."
+    input_correct_responses:
+    - A
+    input_question: "En nageant dans l'oc\xE9an, Ivan est effray\xE9 par une ombre\
+      \ sombre dans l'eau avant m\xEAme d'avoir la chance d'identifier\
+      \ ce qu'est l'ombre. Les connexions synaptiques qui se produisent au\
+      \ cours de cet incident de peur sont mieux d\xE9crites par lequel des \xE9l\xE9\
+      ments suivants\_?"
+  - input_choice_list:
+      A: "Donner \xE0 l'enfant une p\xE9riode d'essai dans le nouvel environnement"
+      B: "Informer les parents par \xE9crit"
+      C: Obtenir l'approbation du conseil scolaire
+      D: Obtenir le consentement parental
+    input_correct_responses:
+    - B
+    input_question: "Selon la loi sur l'am\xE9lioration de l'\xE9ducation\
+      \ des personnes handicap\xE9es, laquelle des actions suivantes un organisme\
+      \ d'enseignement doit-il effectuer avant de modifier le placement scolaire\
+      \ d'un \xE9l\xE8ve handicap\xE9\_?"
+  - input_choice_list:
+      A: socioculturel
+      B: clinique
+      C: cognitif
+      D: comportementaliste
+    input_correct_responses:
+    - C
+    input_question: "Pascale s'int\xE9resse aux strat\xE9gies de traitement que\
+      \ les enfants utilisent pour apprendre de nouvelles informations. Pascale serait\
+      \ mieux class\xE9e dans quel type de psychologue\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_psychology
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_high_school_psychology
+task_alias: high_school_psychology

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_statistics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Si la pente de la droite de r\xE9gression est exactement de 1, alors la\
+        \ corr\xE9lation est exactement de 1."
+      B: "Si la corr\xE9lation est de 0, alors la pente de la droite de r\xE9gression\
+        \ est ind\xE9finie."
+      C: "Changer quelle variable est appel\xE9e x et laquelle est appel\xE9e y change\
+        \ le signe de la corr\xE9lation."
+      D: "La corr\xE9lation r est \xE9gale \xE0 la pente de la droite de r\xE9gression\
+        \ lorsque les scores z de la variable y sont trac\xE9s par rapport aux scores\
+        \ z de la variable x."
+    input_correct_responses:
+    - D
+    input_question: "Lequel des \xE9nonc\xE9s suivants est une affirmation correcte\
+      \ sur la corr\xE9lation\_?"
+  - input_choice_list:
+      A: E(X + Y) = 99, var(X + Y) = 8,5
+      B: E(X + Y) = 99, var(X + Y) = 13
+      C: E(X + Y) = 99, var(X + Y) = 17
+      D: "Les informations sont insuffisantes pour r\xE9pondre \xE0 cette question."
+    input_correct_responses:
+    - D
+    input_question: "Supposons que X et Y sont des variables al\xE9atoires avec E(X)\
+      \ = 37, var(X) = 5, E(Y) = 62 et var(Y) = 12. Quelles sont la valeur attendue\
+      \ et la variance de la variable al\xE9atoire X + Y\_?"
+  - input_choice_list:
+      A: La proportion d'arbres qui ont subi plus de 50 % de dommages dus au gel.
+      B: "Le nombre d'arbres touch\xE9s par le gel."
+      C: "Le nombre d'arbres \xE9chantillonn\xE9s dans le bosquet."
+      D: "Pour chaque arbre \xE9chantillonn\xE9, s'il a subi plus de 50 % de dommages\
+        \ ou au plus 50 % de dommages."
+    input_correct_responses:
+    - D
+    input_question: "Apr\xE8s qu'un avertissement de gel a \xE9t\xE9 \xE9mis,\
+      \ le propri\xE9taire d'une grande orangeraie a demand\xE9 \xE0 ses ouvriers\
+      \ d'arroser tous ses arbres avec de l'eau. L'eau \xE9tait cens\xE9\
+      e geler et former une couche protectrice de glace autour de la fleur d'oranger.\
+      \ N\xE9anmoins, le propri\xE9taire soup\xE7onne que certains arbres ont subi\
+      \ des dommages consid\xE9rables \xE0 cause du gel. Pour estimer la proportion\
+      \ d'arbres qui ont subi plus de 50 % de dommages dus au gel, il a pr\xE9\
+      lev\xE9 un \xE9chantillon al\xE9atoire de 100 arbres de son bosquet. Quelle\
+      \ est la variable de r\xE9ponse dans cette exp\xE9rience\_?"
+  - input_choice_list:
+      A: "Moyenne 518 grammes; \xE9cart type 7,0 grammes"
+      B: "Moyenne 518 grammes ; \xE9cart type 3,5 grammes"
+      C: "Moyenne 518 grammes ; \xE9cart type 6,1 grammes"
+      D: "Moyenne 394 grammes; \xE9cart type 6,1 grammes"
+    input_correct_responses:
+    - C
+    input_question: "Une nouvelle smartwatch est fabriqu\xE9e dans une partie d'une\
+      \ usine, puis s\xE9curis\xE9e pour l'exp\xE9dition dans une autre partie\
+      \ ind\xE9pendante de l'usine. Le poids de la smartwatch a une moyenne de\
+      \ 62 grammes et un \xE9cart type de 1,0 gramme. Le poids de l'emballage\
+      \ (bo\xEEte, notice d'utilisation, papier bulle...) a une moyenne de 456\
+      \ grammes et un \xE9cart type de 6 grammes. Ensemble, la distribution du poids\
+      \ de la montre connect\xE9e et de son emballage aurait la moyenne et l'\xE9\
+      cart type suivants\_:"
+  - input_choice_list:
+      A: je, je
+      B: II, III
+      C: III, je
+      D: III, II
+    input_correct_responses:
+    - D
+    input_question: "Lequel des ensembles suivants a le plus petit \xE9cart-type\_\
+      ? Lequel a le plus gros ? Je\_: {1,2,3} II\_: {-10,10} III\_: {100}"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_statistics
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_high_school_statistics
+task_alias: high_school_statistics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_us_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "R\xE9ponse organis\xE9e \xE0 la r\xE9bellion de Bacon"
+      B: "R\xE9ponse f\xE9d\xE9rale \xE0 la r\xE9bellion de Shays"
+      C: "R\xE9ponse f\xE9d\xE9rale \xE0 la r\xE9bellion du whisky"
+      D: "R\xE9ponse f\xE9d\xE9rale \xE0 la r\xE9bellion de Pontiac"
+    input_correct_responses:
+    - C
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ "La soci\xE9t\xE9 dans chaque \xE9tat est une b\xE9n\xE9diction, mais\
+      \ le gouvernement, m\xEAme dans son meilleur \xE9tat, n'est qu'un mal\
+      \ n\xE9cessaire ; dans son pire \xE9tat, un mal intol\xE9rable ; car lorsque\
+      \ nous souffrons ou sommes expos\xE9s aux m\xEAmes mis\xE8res par un gouvernement,\
+      \ ce \xE0 quoi nous pourrions nous attendre dans un pays sans gouvernement,\
+      \ notre calamit\xE9 s'aggrave en songeant que nous fournissons les moyens\
+      \ par lesquels nous souffrons. Le gouvernement, comme l'habillement, est\
+      \ l'insigne de l'innocence perdue ; les palais des rois sont b\xE2tis\
+      \ sur les ruines des berceaux du paradis. si les impulsions de la conscience\
+      \ \xE9taient claires, uniformes et irr\xE9sistiblement ob\xE9ies, l'homme\
+      \ n'aurait besoin d'aucun autre l\xE9gislateur\_; mais cela n'\xE9\
+      tant pas le cas, il trouve n\xE9cessaire de c\xE9der une partie de ses biens\
+      \ pour fournir les moyens de prot\xE9ger le reste\_; et c'est ce qu'il\
+      \ est amen\xE9 \xE0 faire par la m\xEAme prudence qui, dans tous les autres\
+      \ cas, lui conseille, entre deux maux, de choisir le moindre. pour nous, avec\
+      \ le moins de frais et le plus grand b\xE9n\xE9fice, est pr\xE9f\xE9rable \xE0\
+      \ tous les autres." Thomas Paine, Common Sense, 1776 Laquelle des "mis\xE8\
+      res" suivantes auxquelles il est fait allusion ci-dessus a \xE9t\xE9 la\
+      \ plus condamn\xE9e par les anti-f\xE9d\xE9ralistes de l'\xE8re post-r\xE9\
+      volutionnaire\_?"
+  - input_choice_list:
+      A: "Tensions entre la politique britannique et les aspirations des colons nord-am\xE9\
+        ricains."
+      B: "Tensions entre les Am\xE9rindiens alli\xE9s des Fran\xE7ais et ceux alli\xE9\
+        s des Britanniques."
+      C: "Tensions entre Afro-Am\xE9ricains lib\xE9r\xE9s et planteurs blancs."
+      D: "Tensions entre les colons de l'arri\xE8re-pays et les \xE9lites de l'Am\xE9\
+        rique coloniale."
+    input_correct_responses:
+    - D
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ "Comme notre derni\xE8re conduite au manoir Conestoga et \xE0 Lancaster\
+      \ a occasionn\xE9 beaucoup de sp\xE9culations et une grande diversit\xE9 de\
+      \ sentiments dans ce gouvernement et dans les gouvernements voisins\_; certains\
+      \ le justifiant et d'autres le condamnant\_; certains att\xE9nuant charitablement\
+      \ le crime, et d'autres le peignant malicieusement dans les termes les plus\
+      \ odieux et les plus odieux. Couleurs d\xE9testables, nous pensons qu'il\
+      \ est de notre devoir de mettre devant le Publick, toute la mati\xE8re telle\
+      \ qu'elle nous est apparue et nous appara\xEEt encore... "Si ces choses\
+      \ ne suffisent pas \xE0 prouver un attachement injustifiable des Quakers aux\
+      \ Indiens sauvages , une r\xE9solution fixe de se lier d'amiti\xE9 avec\
+      \ eux et une insensibilit\xE9 totale aux d\xE9tresses humaines, consid\xE9rons\
+      \ quelques faits plus r\xE9cents. Lorsque nous avons d\xE9couvert l'\xE9\
+      t\xE9 dernier que nous ne recevions probablement aucune aide du gouvernement,\
+      \ certains volontaires sont sortis \xE0 nos propres frais, d\xE9termin\xE9s\
+      \ \xE0 chasser nos ennemis de nos fronti\xE8res\_; & quand nous approch\xE2\
+      mes de la grande \xEEle, nous compr\xEEmes qu'un certain nombre de leurs\
+      \ guerriers \xE9taient sortis contre nos fronti\xE8res. Sur cela, nous sommes\
+      \ revenus et sommes venus avec eux et nous nous sommes battus avec eux \xE0\
+      \ Munfey Hill o\xF9 nous avons perdu certains de nos hommes et tu\xE9 certains\
+      \ de leurs guerriers et ainsi sauv\xE9 nos fronti\xE8res de cette histoire dans\
+      \ une autre exp\xE9dition. Mais \xE0 peine avions-nous d\xE9truit leurs provisions\
+      \ sur la grande \xEEle et ruin\xE9 leur commerce avec le bon peuple \xE0 Bethl\xE9\
+      em, mais ces m\xEAmes Indiens, qui \xE9taient \xE0 juste titre soup\xE7onn\xE9\
+      s d'avoir assassin\xE9 nos amis dans le comt\xE9 de Northampton, \xE9taient\
+      \ par l'influence de certains quakers pris sous la protection du gouvernement\
+      \ pour les prot\xE9ger des ressentiments des amis et des parents des assassin\xE9\
+      s, et pour les soutenir tout au long de l'hiver. " - "Apology\
+      \ of the Paxton Boys" (pamphlet), 1764 ce contexte doit \xEAtre lu comme\
+      \ une explication, et non comme un aveu de culpabilit\xE9 ou de regret.) Les\
+      \ sentiments exprim\xE9s dans l'explication ci-dessus refl\xE8tent lesquelles\
+      \ des tensions en cours pendant la p\xE9riode coloniale de l'histoire am\xE9\
+      ricaine\_?"
+  - input_choice_list:
+      A: "l'amendement sur l'\xE9galit\xE9 des droits"
+      B: suffrage universel
+      C: "droits des \xC9tats"
+      D: interdiction
+    input_correct_responses:
+    - B
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ "Dans le nouveau code des lois que je suppose qu'il vous sera n\xE9\
+      cessaire de faire, je d\xE9sire que vous vous souveniez des dames et que vous\
+      \ leur soyez plus g\xE9n\xE9reux et plus favorable que vos anc\xEAtres. Ne mettez\
+      \ pas un tel pouvoir illimit\xE9 entre les mains des maris . Rappelez-vous que\
+      \ tous les hommes seraient des tyrans s'ils le pouvaient. Si un soin et\
+      \ une attention particuliers ne sont pas accord\xE9s aux dames, nous sommes\
+      \ d\xE9termin\xE9s \xE0 fomenter une r\xE9bellion et nous ne nous tiendrons\
+      \ pas li\xE9s par des lois dans lesquelles nous n'avons ni voix ni repr\xE9\
+      sentation. Abigail Adams, dans une lettre \xE0 John Adams, 1776 "La l\xE9\
+      gislation sp\xE9ciale pour la femme nous a plac\xE9s dans une position des plus\
+      \ anormales. Les femmes investies des droits des citoyens dans une section -\
+      \ \xE9lecteurs, jur\xE9s, titulaires de charge - franchissant une ligne imaginaire,\
+      \ sont Dans certains \xC9tats, une femme mari\xE9e peut d\xE9tenir des biens\
+      \ et faire des affaires en son propre nom\_; dans d'autres, ses revenus\
+      \ appartiennent \xE0 son mari. Dans certains \xC9tats, une femme peut t\xE9\
+      moigner contre son mari, poursuivre et \xEAtre poursuivie en justice dans d'autres,\
+      \ elle n'a aucun recours en cas d'atteinte \xE0 la personne, aux biens\
+      \ ou \xE0 la moralit\xE9. En cas de divorce pour cause d'adult\xE8re du\
+      \ mari, l'\xE9pouse innocente est tenue de n'avoir aucun droit sur les\
+      \ enfants ou les biens, \xE0 moins que par d\xE9cret sp\xE9cial du tribunal.\
+      \ Mais dans aucun \xC9tat de l'Union, la femme n'a droit \xE0 sa propre\
+      \ personne, ni \xE0 aucune partie des revenus communs de la co-partenariat pendant\
+      \ la vie de son mari. Dans certains \xC9tats, les femmes peuvent entrer dans\
+      \ la les \xE9coles de droit et la pratique devant les tribunaux ; dans d'autres,\
+      \ elles sont interdites. Dans certaines universit\xE9s, les filles b\xE9n\xE9\
+      ficient d'avantages \xE9ducatifs \xE9gaux \xE0 ceux des gar\xE7ons, tandis\
+      \ que de nombreuses institutions parmi les plus fi\xE8res du pays leur refusent\
+      \ l'admission, bien que les fils de Chine, du Japon et d'Afrique y soient\
+      \ les bienvenus. Mais les privil\xE8ges d\xE9j\xE0 accord\xE9s dans les diff\xE9\
+      rents \xC9tats ne sont en aucun cas s\xFBrs." Susan B. Anthony, "D\xE9\
+      claration des droits des femmes", 4 juillet 1876 Les sentiments exprim\xE9\
+      s dans le deuxi\xE8me extrait par Susan B. Anthony sont tr\xE8s probablement\
+      \ \xE0 l'appui de"
+  - input_choice_list:
+      A: "Les Am\xE9ricains doivent maximiser leur avantage technologique au Vietnam."
+      B: "Les bombardements am\xE9ricains au Vietnam conduisent \xE9tape par \xE9\
+        tape \xE0 des progr\xE8s dans la guerre."
+      C: "Les bombardements am\xE9ricains au Vietnam sont un \xE9chec."
+      D: "L'Am\xE9rique ne doit pas c\xE9der au d\xE9faitisme face \xE0 la guerre\
+        \ du Vietnam."
+    input_correct_responses:
+    - C
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ Nos dirigeants parlent d'arr\xEAter l'agression du nord, mais c'\xE9\
+      tait une lutte entre des groupes de Vietnamiens jusqu'\xE0 ce que nous intervenions.\
+      \ Nous semblons d\xE9termin\xE9s \xE0 sauver les Vietnamiens de Ho Chi Minh\
+      \ m\xEAme si nous devons les tuer et d\xE9molir leur pays pour le faire. Alors\
+      \ que les indig\xE8nes arpentent les villages bombard\xE9s, les femmes et les\
+      \ enfants br\xFBl\xE9s par le napalm, les rizi\xE8res d\xE9truites et les villes\
+      \ envahies par nos militaires, ils disent sans doute en secret des gu\xE9rilleros\
+      \ vietcongs et des forces am\xE9ricaines : \xAB Une peste sur vos deux maisons\
+      \ ." \u2026 Arr\xEAtez les bombardements, au nord et au sud, arr\xEAtez\
+      \ les balayages offensifs de recherche et de destruction, et limitez notre action\
+      \ militaire \xE0 la tenue d'op\xE9rations sur le terrain. Le bombardement\
+      \ du nord n'a pas r\xE9ussi \xE0 arr\xEAter ou \xE0 freiner s\xE9rieusement\
+      \ le flux de troupes vers le sud et pourrait, en fait, avoir d\xE9clench\xE9\
+      \ un effort de guerre beaucoup plus important de la part de Hano\xEF. \u2014\
+      S\xE9nateur George McGovern, \xAB\_Les le\xE7ons du Vietnam\_\xBB, 25 avril\
+      \ 1967 Laquelle des opinions suivantes des ann\xE9es 1960 refl\xE8te le plus\
+      \ directement la perspective du discours de George McGovern\_?"
+  - input_choice_list:
+      A: "Abiga\xEFl Adams"
+      B: Clara Barton
+      C: Temple de Shirley
+      D: Hillary Clinton
+    input_correct_responses:
+    - B
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ Je ne viens pas pour presser des r\xE9clamations personnelles, ni pour rechercher\
+      \ des avantages individuels ; J'apparais comme l'avocat de ceux qui\
+      \ ne peuvent plaider leur propre cause ; Je viens comme l'ami de ceux qui\
+      \ sont abandonn\xE9s, opprim\xE9s et d\xE9sol\xE9s. Dans la Providence de Dieu,\
+      \ je suis la voix du maniaque dont les cris per\xE7ants des sombres cachots\
+      \ de vos prisons ne p\xE9n\xE8trent pas dans vos salles de l\xE9gislation. Je\
+      \ suis l'Espoir des pauvres fous qui se languissent dans les cellules, et\
+      \ les stalles, et les cages, et les salles \xE0 d\xE9chets de vos hospices.\
+      \ Je suis la R\xE9v\xE9lation de centaines de cr\xE9atures g\xE9missantes et\
+      \ souffrantes, cach\xE9es dans vos habitations priv\xE9es, et dans des enclos\
+      \ et des cabanes - ferm\xE9es, coup\xE9es de toutes les influences curatives,\
+      \ de tous les soins qui restaurent l'esprit.\u2026 Leurs histoires m\xE9\
+      lancoliques pourraient-elles se r\xE9pandre devant vous ? comme cela a \xE9\
+      t\xE9 r\xE9v\xE9l\xE9 \xE0 mon esprit afflig\xE9 au cours des trois derniers\
+      \ mois, avec quelle rapidit\xE9, avec quel s\xE9rieux chercheriez-vous les moyens\
+      \ de soulagement les plus approuv\xE9s\_; combien insignifiants, combien insignifiants,\
+      \ en comparaison, para\xEEtraient les sacrifices qu'on vous demande de faire\
+      \ ; comment quelques centimes et dollars, recueillis aupr\xE8s de chaque citoyen,\
+      \ diminueraient-ils en valeur en tant que possession, par rapport aux certains\
+      \ avantages et au vaste bien \xE0 garantir aux ali\xE9n\xE9s souffrants ...\
+      \ par la cons\xE9cration et l'application d'un fonds suffisant \xE0\
+      \ la construction d'un h\xF4pital convenable.\u2026 \u2014 Dorothea Dix,\
+      \ M\xE9morial sollicitant un h\xF4pital d'\xC9tat pour la protection et\
+      \ la gu\xE9rison des ali\xE9n\xE9s, soumis \xE0 l'Assembl\xE9e g\xE9n\xE9\
+      rale de la Caroline du Nord, novembre 1848 Dorothea Dix peut \xEAtre compar\xE9\
+      e au mieux \xE0 qui ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_us_history
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_high_school_us_history
+task_alias: high_school_us_history

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_high_school_world_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: hindouisme
+      B: bouddhisme
+      C: "shinto\xEFsme"
+      D: Zoroastrisme
+    input_correct_responses:
+    - A
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ Il contient toutes les \u0153uvres et tous les d\xE9sirs et tous les parfums\
+      \ et tous les go\xFBts. Il enveloppe tout l'univers et dans le silence il\
+      \ aime tous. C'est l'Esprit qui est dans mon c\u0153ur, c'est Brahman.\
+      \ A lui je viendrai quand j'irai au-del\xE0 de cette vie, et \xE0 lui viendra\
+      \ celui qui a la foi et ne doute pas. \u2014Les Upanishads, Inde, v. 1000 avant\
+      \ notre \xE8re \xC0 quelle religion le locuteur appartient-il le plus probablement\_\
+      ?"
+  - input_choice_list:
+      A: "La r\xE9volution industrielle"
+      B: "D\xE9colonisation"
+      C: "Associations r\xE9gionales de libre-\xE9change"
+      D: Autarcie
+    input_correct_responses:
+    - B
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ "La lutte contre le n\xE9o-colonialisme ne vise pas \xE0 emp\xEAcher\
+      \ le capital du monde d\xE9velopp\xE9 d'op\xE9rer dans les pays moins d\xE9\
+      velopp\xE9s. Elle vise \xE0 emp\xEAcher que le pouvoir financier des pays d\xE9\
+      velopp\xE9s ne soit utilis\xE9 de mani\xE8re \xE0 appauvrir les moins d\xE9\
+      velopp\xE9s. Le non-alignement, tel qu'il est pratiqu\xE9 par le Ghana et\
+      \ de nombreux autres pays, repose sur la coop\xE9ration avec tous les \xC9tats,\
+      \ qu'ils soient capitalistes, socialistes ou \xE0 \xE9conomie mixte. Une\
+      \ telle politique implique donc des investissements \xE9trangers en provenance\
+      \ des pays capitalistes, mais elle doit \xEAtre investi conform\xE9ment \xE0\
+      \ un plan national \xE9labor\xE9 par le gouvernement de l'\xC9tat non align\xE9\
+      \ en fonction de ses propres int\xE9r\xEAts. La question n'est pas de savoir\
+      \ quel retour l'investisseur \xE9tranger re\xE7oit sur ses investissements...\
+      \ La question est une question de pouvoir. Un \xC9tat en l'emprise du n\xE9\
+      o-colonialisme n'est pas ma\xEEtre de son destin." Kwame Nkrumah, Neo-Colonialism,\
+      \ 1965 Lequel des \xE9nonc\xE9s suivants fournit le meilleur contexte pour les\
+      \ \xE9crits de Nkrumah\_?"
+  - input_choice_list:
+      A: Acceptation sociale du travail des enfants
+      B: "Baisse de l'esp\xE9rance de vie en Allemagne"
+      C: Critiques des tarifs commerciaux allemands
+      D: "Effets n\xE9gatifs attribu\xE9s au capitalisme industriel"
+    input_correct_responses:
+    - D
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ \xAB Le vrai grief du travailleur est l'ins\xE9curit\xE9 de son existence\
+      \ ; il n'est pas s\xFBr d'avoir toujours du travail, il n'est pas\
+      \ s\xFBr d'\xEAtre toujours en bonne sant\xE9, et il pr\xE9voit qu'il\
+      \ sera un jour vieux et inapte au travail. S'il tombe dans la pauvret\xE9\
+      , ne serait-ce qu'\xE0 cause d'une maladie prolong\xE9e, il est alors\
+      \ compl\xE8tement d\xE9muni, examin\xE9 par lui-m\xEAme, et la soci\xE9t\xE9\
+      \ ne lui reconna\xEEt actuellement aucune obligation r\xE9elle au-del\xE0 de\
+      \ l'aide habituelle aux pauvres, m\xEAme s'il a travaill\xE9 tout le\
+      \ temps avec tant de fid\xE9lit\xE9 et de diligence. L'aide habituelle pour\
+      \ les pauvres, cependant, laisse beaucoup \xE0 d\xE9sirer, surtout dans les\
+      \ grandes villes, o\xF9 elle est bien pire qu'\xE0 la campagne. Otto von\
+      \ Bismarck, 1884 Otto von Bismarck a probablement prononc\xE9 ce discours en\
+      \ r\xE9action \xE0 laquelle des questions suivantes\_?"
+  - input_choice_list:
+      A: "Le maintien de la supr\xE9matie militaire \xE0 tout prix"
+      B: Les tensions croissantes entre les sectes religieuses
+      C: "Facteurs qui ont provoqu\xE9 l'effondrement de l'Empire ottoman"
+      D: Efforts de paix entre les empires islamiques
+    input_correct_responses:
+    - B
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ "En effet, comme les fatwas d'\xE9minents [\xE9rudits] qui fondent\
+      \ leur opinion sur la raison et la tradition et le consensus de la communaut\xE9\
+      \ sunnite conviennent que l'ancienne obligation d'extirpation, d'extermination\
+      \ et d'expulsion de l'innovation mal\xE9fique doit \xEAtre l'objectif\
+      \ de notre exalt\xE9 aspiration, car "le z\xE8le religieux est une victoire\
+      \ pour la Foi de Dieu le Bienfaiteur"\_; puis, conform\xE9ment aux paroles\
+      \ du Proph\xE8te (paix sur lui\_!) "Quiconque introduit une innovation\
+      \ mauvaise dans notre ordre doit \xEAtre expuls\xE9" et "Quiconque\
+      \ fait tout ce qui est contraire \xE0 notre ordre doit \xEAtre expuls\xE9",\
+      \ l'action est devenue n\xE9cessaire et exigeante\u2026" Lettre du\
+      \ sultan ottoman Selim Ier au safavide Shah Ismail Ier, 1514 La lettre de Selim\
+      \ Ier est le plus clairement un exemple de laquelle des r\xE9ponses suivantes\_\
+      ?"
+  - input_choice_list:
+      A: "Une rupture des routes commerciales par l'effondrement de la structure\
+        \ \xE9tatique \xE9tablie"
+      B: "Une augmentation de la population mondiale gr\xE2ce \xE0 des approvisionnements\
+        \ alimentaires plus abondants"
+      C: "La propagation des syst\xE8mes de croyances chinois et indiens \xE0 travers\
+        \ le monde"
+      D: Une augmentation des troubles sociaux
+    input_correct_responses:
+    - B
+    input_question: "Cette question fait r\xE9f\xE9rence aux informations suivantes.\
+      \ "Au moins une des soci\xE9t\xE9s [du monde] devrait en quelque sorte\
+      \ augmenter \xE9norm\xE9ment sa productivit\xE9 [afin d'atteindre l'h\xE9\
+      g\xE9monie mondiale]. Ce saut quantique devrait \xEAtre fait avant les diverses\
+      \ r\xE9volutions scientifiques, technologiques, agricoles et industrielles sur\
+      \ lesquelles notre monde post-saut quantique. Cela ne pouvait \xEAtre accompli\
+      \ qu'en exploitant les \xE9cosyst\xE8mes, les ressources min\xE9rales et\
+      \ les ressources humaines de continents entiers en dehors des terres de la soci\xE9\
+      t\xE9 effectuant le saut. C'est exactement ce que l'Europe occidentale\
+      \ a fait au moyen de sa brutalit\xE9, de ses armes et de ses , plus important,\
+      \ par chance g\xE9ographique et \xE9cologique." Copyright \xA9 2015 Cambridge\
+      \ University Press. Alfred Crosby, historien, Ecological Imperialism, 2004 Le\
+      \ "saut quantique" mentionn\xE9 dans le passage a le plus directement\
+      \ contribu\xE9 \xE0 lequel des d\xE9veloppements suivants dans la p\xE9riode\
+      \ 1450\u20131750 CE\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_world_history
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_high_school_world_history
+task_alias: high_school_world_history

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_human_aging.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Un homme ou une femme asiatique
+      B: Un homme hispanique
+      C: "Une femme afro-am\xE9ricaine"
+      D: Un homme ou une femme blanche
+    input_correct_responses:
+    - C
+    input_question: "Laquelle des personnes suivantes est la plus susceptible de rester\
+      \ seule \xE0 la maison, \xE0 partir de 2019\_?"
+  - input_choice_list:
+      A: "Avantage \xE0 l'adolescence"
+      B: "Bosse de r\xE9miniscence"
+      C: "M\xE9morial M\xE9morial"
+      D: "Pointe de r\xE9cup\xE9ration quadratique"
+    input_correct_responses:
+    - B
+    input_question: "La d\xE9couverte selon laquelle les adultes ont tendance \xE0\
+      \ mieux se souvenir des \xE9v\xE9nements de leur adolescence que des autres\
+      \ p\xE9riodes de leur vie est appel\xE9e la"
+  - input_choice_list:
+      A: Texas
+      B: Californie
+      C: Hawaii
+      D: Vermont
+    input_correct_responses:
+    - A
+    input_question: "Lorsque des personnes \xE2g\xE9es d\xE9m\xE9nagent dans un nouvel\
+      \ \xC9tat apr\xE8s leur retraite, laquelle des destinations suivantes est la\
+      \ destination la plus probable\_?"
+  - input_choice_list:
+      A: Nicotine
+      B: Le goudron
+      C: Monoxyde de carbone
+      D: "Particules de fum\xE9e"
+    input_correct_responses:
+    - B
+    input_question: "Quel \xE9l\xE9ment de la fum\xE9e de tabac est responsable des\
+      \ cancers ?"
+  - input_choice_list:
+      A: "Une femme hispano-am\xE9ricaine plus \xE2g\xE9e"
+      B: "Une femme afro-am\xE9ricaine plus \xE2g\xE9e"
+      C: "Une femme am\xE9ricaine d'origine asiatique plus \xE2g\xE9e"
+      D: "Une femme am\xE9rindienne plus \xE2g\xE9e"
+    input_correct_responses:
+    - C
+    input_question: "Toutes choses \xE9tant \xE9gales par ailleurs, laquelle des personnes\
+      \ suivantes est la plus susceptible d'\xEAtre atteinte d'ost\xE9oporose\_\
+      ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_aging
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_human_aging
+task_alias: human_aging

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_human_sexuality.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: au cours du premier trimestre
+      B: "au cours du deuxi\xE8me trimestre"
+      C: "au cours du troisi\xE8me trimestre"
+      D: tout au long de la grossesse
+    input_correct_responses:
+    - A
+    input_question: "Les naus\xE9es matinales sont g\xE9n\xE9ralement un probl\xE8\
+      me\_:"
+  - input_choice_list:
+      A: un ego fort
+      B: un surmoi faible
+      C: un identifiant faible
+      D: un surmoi fort
+    input_correct_responses:
+    - B
+    input_question: "Une femme qui sait qu'elle a un herp\xE8s actif et une syphilis\
+      \ non trait\xE9e mais qui continue \xE0 avoir des relations sexuelles sans informer\
+      \ ses partenaires de son \xE9tat a, en termes psychanalytiques :"
+  - input_choice_list:
+      A: "le fait qu'ils n'ont pas de p\xE9riode r\xE9fractaire."
+      B: "la r\xE9ponse des couches internes du vagin."
+      C: "avoir des orgasmes altern\xE9s \xE0 diff\xE9rents endroits."
+      D: le point G.
+    input_correct_responses:
+    - A
+    input_question: "La capacit\xE9 des femmes \xE0 avoir des orgasmes multiples est\
+      \ principalement due \xE0\_:"
+  - input_choice_list:
+      A: rapport sexuel
+      B: secousses de cercle
+      C: exhibitionnisme
+      D: "toucher les parties g\xE9nitales de l'autre"
+    input_correct_responses:
+    - A
+    input_question: "La nature des activit\xE9s homosexuelles qui se produisent pendant\
+      \ la pr\xE9adolescence comprend tout mais lequel des \xE9l\xE9ments suivants\_\
+      ?"
+  - input_choice_list:
+      A: "\xE9jaculation pr\xE9coce"
+      B: "\xE9jaculation inhib\xE9e"
+      C: "trouble \xE9rectile"
+      D: "trouble de l'\xE9jaculation"
+    input_correct_responses:
+    - C
+    input_question: "Le trouble le plus courant chez les hommes qui consultent une\
+      \ th\xE9rapie sexuelle est\_:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_sexuality
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_human_sexuality
+task_alias: human_sexuality

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_international_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "L'article 2(4) ne couvre que la force arm\xE9e"
+      B: L'article 2, paragraphe 4, englobe tous les types de force, y compris
+        les sanctions
+      C: "L'article 2(4) englobe toute ing\xE9rence dans les affaires int\xE9\
+        rieures des \xC9tats"
+      D: "L'article 2(4) englobe la force dirig\xE9e uniquement contre l'int\xE9\
+        grit\xE9 territoriale d'un \xC9tat"
+    input_correct_responses:
+    - A
+    input_question: Quels types de force l'article 2(4) de la Charte des Nations
+      Unies interdit-il ?
+  - input_choice_list:
+      A: "Si une partie \xE0 une affaire contentieuse devant la CIJ n'a pas de\
+        \ si\xE8ge national en tant que juge, elle a le droit de nommer quelqu'un\
+        \ comme juge uniquement pour cette affaire, avec le titre de juge ad hoc"
+      B: "Le juge ad hoc est le membre du si\xE8ge de la CIJ avec une voix pr\xE9\
+        pond\xE9rante"
+      C: "Le juge ad hoc est un juge suppl\xE9ant, en cas de disqualification ou de\
+        \ d\xE9c\xE8s d'un juge"
+      D: Le juge ad hoc est le juge que chaque partie nommera toujours dans chaque
+        affaire contentieuse
+    input_correct_responses:
+    - A
+    input_question: Qu'est-ce que le juge ad hoc ?
+  - input_choice_list:
+      A: "Il s'agit d'une r\xE9serve acceptable si la l\xE9gislation du pays\
+        \ r\xE9servataire emploie une d\xE9finition diff\xE9rente"
+      B: "Il s'agit d'une r\xE9serve inacceptable car elle contrevient \xE0\
+        \ l'objet et au but du PIDCP"
+      C: "Il s'agit d'une r\xE9serve inacceptable car la d\xE9finition de\
+        \ la torture dans le PIDCP est conforme au droit international coutumier"
+      D: "Il s'agit d'une r\xE9serve acceptable car, en vertu du droit international\
+        \ g\xE9n\xE9ral, les \xC9tats ont le droit de formuler des r\xE9serves aux\
+        \ trait\xE9s"
+    input_correct_responses:
+    - B
+    input_question: "Une r\xE9serve \xE0 la d\xE9finition de la torture dans le PIDCP\
+      \ serait-elle acceptable dans la pratique contemporaine ?"
+  - input_choice_list:
+      A: "Le consentement peut servir de circonstance excluant l'illic\xE9it\xE9\
+        \ chaque fois qu'il est donn\xE9"
+      B: "Le consentement ne peut jamais servir de circonstance excluant l'illic\xE9\
+        it\xE9"
+      C: "Le consentement peut servir de circonstance excluant l'illic\xE9it\xE9\
+        , \xE0 condition que le consentement soit valable et dans la mesure o\xF9\
+        \ le comportement reste dans les limites du consentement donn\xE9"
+      D: "Le consentement peut toujours servir de circonstance excluant l'illic\xE9\
+        it\xE9, quel que soit l'organe de l'\xC9tat qui le donne"
+    input_correct_responses:
+    - C
+    input_question: "Quand le \xAB consentement \xBB peut-il servir de circonstance\
+      \ excluant l'illic\xE9it\xE9 d'un comportement \xE9tatique ?"
+  - input_choice_list:
+      A: "Le consentement d'un \xC9tat \xE0 \xEAtre li\xE9 ne s'exprime que\
+        \ par la ratification"
+      B: "Le consentement d'un \xC9tat \xE0 \xEAtre li\xE9 par un trait\xE9 peut\
+        \ \xEAtre exprim\xE9 par la signature, la ratification, l'acceptation,\
+        \ l'approbation ou l'adh\xE9sion"
+      C: "Le consentement d'un \xC9tat \xE0 \xEAtre li\xE9 s'exprime par la\
+        \ signature"
+      D: "Le consentement d'un \xC9tat \xE0 \xEAtre li\xE9 s'exprime par le\
+        \ moyen de son choix"
+    input_correct_responses:
+    - B
+    input_question: "Comment le consentement \xE0 \xEAtre li\xE9 d'un Etat peut-il\
+      \ \xEAtre exprim\xE9 ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_international_law
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_international_law
+task_alias: international_law

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_jurisprudence.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Le POP choisirait l'\xE9galit\xE9 plut\xF4t que la libert\xE9."
+      B: "Le POP opterait pour la strat\xE9gie du 'maximin'."
+      C: "Le POP opterait pour le "principe de diff\xE9rence"."
+      D: "Le POP rejetterait le \xAB syst\xE8me de libert\xE9 naturelle \xBB."
+    input_correct_responses:
+    - A
+    input_question: "Selon Rawls, quelle position est la moins susceptible d'\xEA\
+      tre adopt\xE9e par le POP (personnes dans la position d'origine)\_?"
+  - input_choice_list:
+      A: "maximiser la libert\xE9 individuelle"
+      B: fournir une base de compromis
+      C: maintenir la paix
+      D: "promouvoir les principes du syst\xE8me de la libre entreprise"
+    input_correct_responses:
+    - D
+    input_question: "Les fonctions de la loi incluent tout mais lequel des \xE9l\xE9\
+      ments suivants\_?"
+  - input_choice_list:
+      A: "Autorit\xE9."
+      B: Charisme.
+      C: "Coop\xE9ration."
+      D: Capitalisme.
+    input_correct_responses:
+    - D
+    input_question: "Quel mot r\xE9sume le mieux l'explication de Weber du d\xE9\
+      veloppement du droit formellement rationnel ?"
+  - input_choice_list:
+      A: Loi naturelle
+      B: Analytique
+      C: Historique
+      D: sociologique
+    input_correct_responses:
+    - A
+    input_question: "L'\xC9cole de jurisprudence ________ postule que la loi est\
+      \ fond\xE9e sur ce qui est \xAB\_correct\_\xBB."
+  - input_choice_list:
+      A: La lettre est une offre de vente
+      B: "Une offre valable ne peut \xEAtre faite par lettre."
+      C: "La lettre contient une offre valable qui prendra fin dans un d\xE9lai raisonnable."
+      D: "Il manque \xE0 la lettre l'un des \xE9l\xE9ments essentiels d'une\
+        \ offre."
+    input_correct_responses:
+    - D
+    input_question: "Iverson Jewelers a \xE9crit une lettre \xE0 Miller : \xAB Nous\
+      \ avons re\xE7u une montre Rolox \xE0 remontage automatique d'une qualit\xE9\
+      \ exceptionnelle que nous vous vendrons \xE0 un prix tr\xE8s avantageux."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_jurisprudence
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_jurisprudence
+task_alias: jurisprudence

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_logical_fallacies.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: tu quoque
+      B: rire de cheval
+      C: argument contre la personne
+      D: Ignoratio Elenchi
+    input_correct_responses:
+    - C
+    input_question: "Si quelqu'un attaque le caract\xE8re d'un argumentateur\
+      \ adverse, au lieu de r\xE9pondre aux arguments de cet adversaire, la premi\xE8\
+      re personne a probablement commis laquelle des erreurs suivantes\_?"
+  - input_choice_list:
+      A: "faire valoir que quelque chose est inf\xE9rieur simplement parce qu'il\
+        \ ne fait pas quelque chose qu'il n'a jamais \xE9t\xE9 destin\xE9\
+        \ \xE0 faire."
+      B: inclure plus d'une revendication dans la proposition et traiter la preuve
+        d'une revendication comme la preuve de toutes les revendications.
+      C: "tirer une conclusion avant d'examiner les preuves, et ne consid\xE9\
+        rer que les preuves qui \xE9tayent cette conclusion."
+      D: "poser une question qui comprend soit une hypoth\xE8se non prouv\xE9e, soit\
+        \ plus d'une question, rendant ainsi une r\xE9ponse simple oui ou non\
+        \ sans signification."
+    input_correct_responses:
+    - D
+    input_question: "Le sophisme de la question complexe consiste \xE0"
+  - input_choice_list:
+      A: "La pr\xE9misse mineure doit nier l'ant\xE9c\xE9dent"
+      B: "La pr\xE9misse majeure doit affirmer la cons\xE9quence"
+      C: "Le moyen terme doit \xEAtre utilis\xE9 dans au moins une pr\xE9misse dans\
+        \ un sens universel ou non qualifi\xE9"
+      D: "Tout ce qui pr\xE9c\xE8de"
+    input_correct_responses:
+    - C
+    input_question: "Lequel des \xE9nonc\xE9s suivants est vrai d'un syllogisme\
+      \ cat\xE9gorique valide\_?"
+  - input_choice_list:
+      A: Division
+      B: Composition
+      C: "Appel \xE0 la personne"
+      D: "Appel \xE0 l'ignorance"
+    input_correct_responses:
+    - B
+    input_question: "Pr\xE9tendre que ce qui est vrai des parties doit \xEAtre vrai\
+      \ du tout est le sophisme de..."
+  - input_choice_list:
+      A: manque d'esprit sportif
+      B: "appel \xE0 la compassion"
+      C: argument contre la personne
+      D: "ignorance de la r\xE9futation"
+    input_correct_responses:
+    - D
+    input_question: "Lorsqu'un argumentateur cause de la confusion pendant la\
+      \ r\xE9futation en raison d'un manque r\xE9el ou simul\xE9 de capacit\xE9\
+      \ \xE0 s'engager dans la r\xE9futation, cet argumentateur peut avoir commis\
+      \ l'erreur de"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_logical_fallacies
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_logical_fallacies
+task_alias: logical_fallacies

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_machine_learning.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 2.0/15
+      B: 1.0/7
+      C: 3.0/16
+      D: 1.0/5
+    input_correct_responses:
+    - B
+    input_question: "Un d\xE9 \xE0 6 faces est lanc\xE9 15 fois et les r\xE9sultats\
+      \ sont : la face 1 appara\xEEt 0 fois ; face 2\_: 1 fois ; face 3\_: 2 fois\
+      \ ; face 4\_: 3 fois ; face 5\_: 4 fois ; face 6\_: 5 fois. Sur la base de ces\
+      \ r\xE9sultats, quelle est la probabilit\xE9 que le c\xF4t\xE9 3 apparaisse\
+      \ lors de l'utilisation du lissage Add-1\_?"
+  - input_choice_list:
+      A: "recadrage al\xE9atoire et retournement horizontal"
+      B: "recadrage al\xE9atoire et retournement vertical"
+      C: "post\xE9risation"
+      D: tramage
+    input_correct_responses:
+    - A
+    input_question: "Quelle augmentation de donn\xE9es d'image est la plus courante\
+      \ pour les images naturelles\_?"
+  - input_choice_list:
+      A: "Ma m\xE9thode permet d'obtenir une erreur d'apprentissage inf\xE9\
+        rieure \xE0 toutes les m\xE9thodes pr\xE9c\xE9dentes\_!"
+      B: "Ma m\xE9thode obtient une erreur de test inf\xE9rieure \xE0 toutes les m\xE9\
+        thodes pr\xE9c\xE9dentes\_! (Note de bas de page\_: Lorsque le param\xE8tre\
+        \ de r\xE9gularisation \u03BB est choisi de mani\xE8re \xE0 minimiser l'erreur\
+        \ de test.)"
+      C: "Ma m\xE9thode obtient une erreur de test inf\xE9rieure \xE0 toutes les m\xE9\
+        thodes pr\xE9c\xE9dentes\_! (Note de bas de page\_: Lorsque le param\xE8tre\
+        \ de r\xE9gularisation \u03BB est choisi de mani\xE8re \xE0 minimiser l'erreur\
+        \ de validation crois\xE9e.)"
+      D: "Ma m\xE9thode obtient une erreur de validation crois\xE9e inf\xE9rieure\
+        \ \xE0 toutes les m\xE9thodes pr\xE9c\xE9dentes\_! (Note de bas de page\_\
+        : Lorsque le param\xE8tre de r\xE9gularisation \u03BB est choisi de mani\xE8\
+        re \xE0 minimiser l'erreur de validation crois\xE9e.)"
+    input_correct_responses:
+    - C
+    input_question: "Vous r\xE9visez des articles pour la World's Fanciest Machine\
+      \ Learning Conference, et vous voyez des soumissions avec les affirmations suivantes.\
+      \ Lesquelles envisageriez-vous d'accepter\_?"
+  - input_choice_list:
+      A: environ 10 exemples
+      B: environ 100 exemples
+      C: entre 100 et 500 exemplaires
+      D: plus de 1000 exemples
+    input_correct_responses:
+    - D
+    input_question: "Pour obtenir une estimation de perte 0/1 inf\xE9rieure \xE0 1\_\
+      % de la v\xE9ritable perte 0/1 (avec une probabilit\xE9 de 95\_%), selon l'in\xE9\
+      galit\xE9 de Hoeffding, l'ensemble de tests IID doit avoir combien d'exemples\_\
+      ?"
+  - input_choice_list:
+      A: "C'est trop co\xFBteux en calcul."
+      B: "Cela se traduirait probablement par un arbre de d\xE9cision qui obtiendrait\
+        \ de mauvais r\xE9sultats sur l'ensemble d'apprentissage et sur un\
+        \ ensemble de tests."
+      C: "Cela se traduirait probablement par un arbre de d\xE9cision qui obtiendrait\
+        \ de bons r\xE9sultats sur l'ensemble d'apprentissage, mais de mauvais\
+        \ r\xE9sultats sur un ensemble de tests."
+      D: "Cela se traduirait probablement par un arbre de d\xE9cision qui obtient\
+        \ de bons r\xE9sultats sur un ensemble de tests, mais de mauvais r\xE9sultats\
+        \ sur un ensemble d'apprentissage."
+    input_correct_responses:
+    - C
+    input_question: "Traditionnellement, lorsque nous avons un attribut d'entr\xE9\
+      e \xE0 valeur r\xE9elle lors de l'apprentissage de l'arbre de d\xE9\
+      cision, nous consid\xE9rons une division binaire selon que l'attribut est\
+      \ sup\xE9rieur ou inf\xE9rieur \xE0 un certain seuil. Pat sugg\xE8re qu'\xE0\
+      \ la place, nous devrions simplement avoir une division multivoie avec une branche\
+      \ pour chacune des valeurs distinctes de l'attribut. Dans la liste ci-dessous,\
+      \ choisissez le plus gros probl\xE8me avec la suggestion de Pat\_:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_machine_learning
+tag: mmlu_fr_llama_stem_tasks
+task: mmlu_fr_llama_machine_learning
+task_alias: machine_learning

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_management.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Position de d\xE9part et position finale"
+      B: "Environnement initial et environnement modifi\xE9"
+      C: Structure organisationnelle et conditionnement
+      D: "Structure initiale et consid\xE9rations"
+    input_correct_responses:
+    - D
+    input_question: "Quelles sont les deux principales dimensions des \xE9tudes de\
+      \ l'Ohio sur le leadership\_?"
+  - input_choice_list:
+      A: "Fr\xE9d\xE9rick Hertzberg"
+      B: DC McClelland
+      C: Abraham Maslow
+      D: Douglas Mc Gregor
+    input_correct_responses:
+    - A
+    input_question: "Les facteurs d'hygi\xE8ne sont associ\xE9s \xE0 quel \xE9\
+      crivain\_?"
+  - input_choice_list:
+      A: Symboles
+      B: Rituels et routines
+      C: Structures de pouvoir
+      D: "Syst\xE8mes de contr\xF4le"
+    input_correct_responses:
+    - A
+    input_question: "Quel \xE9l\xE9ment du web culturel forme des insignes ?"
+  - input_choice_list:
+      A: Moral
+      B: Innovation
+      C: Ressource de croissance
+      D: Adaptation
+    input_correct_responses:
+    - A
+    input_question: "Quelle caract\xE9ristique n'est pas un \xE9l\xE9ment cl\xE9\
+      \ du mod\xE8le de gestion des \xAB syst\xE8mes ouverts \xBB ?"
+  - input_choice_list:
+      A: "Hi\xE9rarchique"
+      B: Bureaucratique
+      C: Plat
+      D: Fonctionnel
+    input_correct_responses:
+    - C
+    input_question: "Comment d\xE9crire des structures organisationnelles caract\xE9\
+      ris\xE9es par des styles de gestion d\xE9mocratiques et inclusifs ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_management
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_management
+task_alias: management

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_marketing.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "G\xE9od\xE9mographie"
+      B: "Diff\xE9renciation de produit."
+      C: Matrice ANSOFF.
+      D: Gestion de la marque.
+    input_correct_responses:
+    - A
+    input_question: "_____________ est un r\xE9sultat naturel lorsque l'on combine\
+      \ des variables d\xE9mographiques et g\xE9ographiques."
+  - input_choice_list:
+      A: "Unit\xE9 d'externalisation."
+      B: Centre d'approvisionnement.
+      C: "Unit\xE9 de direction g\xE9n\xE9rale."
+      D: "Unit\xE9 d\xE9cisionnelle."
+    input_correct_responses:
+    - D
+    input_question: "Dans une organisation, le groupe de personnes charg\xE9es des\
+      \ d\xE9cisions d'achat est appel\xE9 _______________."
+  - input_choice_list:
+      A: "Les besoins d\xE9pendent de la culture et aussi de la classe sociale."
+      B: "Les besoins de niveau inf\xE9rieur doivent \xEAtre au moins partiellement\
+        \ satisfaits avant que des besoins plus \xE9lev\xE9s puissent affecter le\
+        \ comportement."
+      C: "Les besoins ne sont pas hi\xE9rarchis\xE9s ni class\xE9s dans un ordre particulier."
+      D: "Les besoins satisfaits sont des facteurs de motivation et de nouveaux besoins\
+        \ \xE9mergent lorsque les besoins actuels ne sont pas satisfaits."
+    input_correct_responses:
+    - B
+    input_question: "Lequel des \xE9nonc\xE9s suivants est une hypoth\xE8se dans la\
+      \ hi\xE9rarchie des besoins de Maslow\_?"
+  - input_choice_list:
+      A: "Le consommateur plus \xE2g\xE9 qui se sent quelque peu exclu."
+      B: "Les femmes mari\xE9es, dont beaucoup ressentent un besoin de stabilit\xE9\
+        \ dans leur vie."
+      C: "Les nouveaux immigrants qui veulent vraiment s'assimiler \xE0 leur nouvelle\
+        \ culture."
+      D: "Les enfants, qui fondent la plupart de leurs d\xE9cisions d'achat sur\
+        \ des influences ext\xE9rieures."
+    input_correct_responses:
+    - D
+    input_question: "Le seul groupe au sein de la soci\xE9t\xE9 qui est le plus vuln\xE9\
+      rable \xE0 l'influence du groupe de r\xE9f\xE9rence est\_:"
+  - input_choice_list:
+      A: Lignes de soins.
+      B: Courrier direct.
+      C: Insertions.
+      D: "Porte \xE0 porte."
+    input_correct_responses:
+    - D
+    input_question: "Bien que le contenu et la qualit\xE9 puissent \xEAtre aussi contr\xF4\
+      l\xE9s que le publipostage, les taux de r\xE9ponse de ce m\xE9dia sont plus\
+      \ faibles en raison de l'absence d'un m\xE9canisme d'adresse personnelle.\
+      \ Ce format de m\xE9dia est connu sous le nom de\_:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_marketing
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_marketing
+task_alias: marketing

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_medical_genetics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "r\xE9action en cha\xEEne par polym\xE9rase."
+      B: analyse du polymorphisme conformationnel simple brin.
+      C: Southern Blot.
+      D: Western blot.
+    input_correct_responses:
+    - C
+    input_question: "Les grandes expansions r\xE9p\xE9t\xE9es de triplets peuvent\
+      \ \xEAtre d\xE9tect\xE9es par\_:"
+  - input_choice_list:
+      A: "une enzyme qui joint des fragments dans la r\xE9plication normale de l'ADN"
+      B: "une enzyme d'origine bact\xE9rienne qui coupe l'ADN \xE0 des s\xE9\
+        quences de bases d\xE9finies"
+      C: "une enzyme qui facilite la transcription de g\xE8nes sp\xE9cifiques"
+      D: une enzyme qui limite le niveau auquel un nutriment particulier atteint
+    input_correct_responses:
+    - A
+    input_question: L'ADN ligase est
+  - input_choice_list:
+      A: "a les deux all\xE8les exprim\xE9s ind\xE9pendamment chez l'h\xE9t\xE9\
+        rozygote"
+      B: "a un all\xE8le dominant l'autre"
+      C: "a des all\xE8les \xE9troitement li\xE9s sur le m\xEAme chromosome"
+      D: "a des all\xE8les exprim\xE9s en m\xEAme temps dans le d\xE9veloppement"
+    input_correct_responses:
+    - A
+    input_question: "Un g\xE8ne montrant la codominance"
+  - input_choice_list:
+      A: "St\xE9nose pylorique"
+      B: "Schizophr\xE9nie"
+      C: Spina bifida (malformations du tube neural)
+      D: Le syndrome de Marfan
+    input_correct_responses:
+    - D
+    input_question: "Laquelle des conditions suivantes ne montre pas l'h\xE9ritage\
+      \ multifactoriel\_?"
+  - input_choice_list:
+      A: prophase I
+      B: "m\xE9taphase I"
+      C: prophase II
+      D: "m\xE9taphase II"
+    input_correct_responses:
+    - A
+    input_question: "Le stade de la m\xE9iose au cours duquel les chromosomes s'apparient\
+      \ et se croisent est\_:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_medical_genetics
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_medical_genetics
+task_alias: medical_genetics

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_miscellaneous.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: un
+      B: deux
+      C: quatre
+      D: huit
+    input_correct_responses:
+    - B
+    input_question: "Combien d'essieux une automobile standard a-t-elle\_?"
+  - input_choice_list:
+      A: Budapest
+      B: "Bud\u014Dkan"
+      C: Bhoutan
+      D: Grande-Bretagne
+    input_correct_responses:
+    - B
+    input_question: "Quel endroit est nomm\xE9 dans le titre de l'album live de\
+      \ 1979 des l\xE9gendes du rock Cheap Trick\_?"
+  - input_choice_list:
+      A: Anthony "Spud" Webb
+      B: Michael "Air" Jordan
+      C: Tyrone "Muggsy" Bogues
+      D: Julius 'Dr J' Erving
+    input_correct_responses:
+    - A
+    input_question: "Qui est l'homme le plus petit \xE0 avoir remport\xE9 une\
+      \ comp\xE9tition de slam dunk de la NBA ?"
+  - input_choice_list:
+      A: "hydrog\xE8ne"
+      B: nylon
+      C: "oxyg\xE8ne"
+      D: "lumi\xE8re"
+    input_correct_responses:
+    - C
+    input_question: "Que produit-on lors de la photosynth\xE8se ?"
+  - input_choice_list:
+      A: ''Radio Gaga''
+      B: ''Ob-la-di Ob-la-da''
+      C: ''De Do Do Do De Da Da Da''
+      D: ''In-a-Gadda-Da-Vida''
+    input_correct_responses:
+    - C
+    input_question: "Laquelle de ces chansons figurait dans le Top 10 du groupe de\
+      \ rock The Police\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_miscellaneous
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_miscellaneous
+task_alias: miscellaneous

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_moral_disputes.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "On ne sait pas encore si la peine capitale dissuade ou non de nuire \xE0\
+        \ la communaut\xE9."
+      B: "On ne sait pas encore si la peine capitale dissuade ou non de nuire \xE0\
+        \ des individus."
+      C: "Le cons\xE9quentialisme n'est pas soutenu par les valeurs africaines."
+      D: "M\xEAme si le cons\xE9quentialisme est soutenu par les valeurs africaines,\
+        \ aucun argument cons\xE9quentialiste formul\xE9 en termes de valeurs africaines\
+        \ n'a \xE9t\xE9 propos\xE9."
+    input_correct_responses:
+    - A
+    input_question: "Selon Metz, qu'est-ce qui ne va pas avec les arguments cons\xE9\
+      quentialistes contre la peine capitale bas\xE9s sur les valeurs africaines ?"
+  - input_choice_list:
+      A: un zygote.
+      B: un embryon.
+      C: "une viabilit\xE9."
+      D: un blastocyste.
+    input_correct_responses:
+    - A
+    input_question: "Un ovule f\xE9cond\xE9 est \xE9galement appel\xE9"
+  - input_choice_list:
+      A: "\xEAtre dans la classe sup\xE9rieure"
+      B: "la capacit\xE9 d'apprendre et de r\xE9soudre des probl\xE8mes"
+      C: "\xEAtre plus belle que la plupart de la population"
+      D: "\xEAtre plus petit que la moyenne"
+    input_correct_responses:
+    - B
+    input_question: "Lequel des \xE9l\xE9ments suivants est un bien intrins\xE8que,\
+      \ selon Singer\_?"
+  - input_choice_list:
+      A: "Le SCNT n'est pas un type de reproduction diff\xE9rent car il n'y\
+        \ a pas de diff\xE9rences moralement pertinentes entre celui-ci et d'autres\
+        \ moyens de reproduction autoris\xE9s."
+      B: "Parce qu'il y a un faible risque de pr\xE9judice pour le jumelage naturel,\
+        \ il y aura un faible risque de pr\xE9judice pour le SCNT."
+      C: les deux, A et B
+      D: ni A ni B
+    input_correct_responses:
+    - A
+    input_question: "Pence compare six cas diff\xE9rents de reproduction, du jumelage\
+      \ naturel au SCNT. Quelle conclusion tire-t-il de cette comparaison ?"
+  - input_choice_list:
+      A: "la stupidit\xE9 de la plupart des exemples philosophiques traditionnels."
+      B: "un manque g\xE9n\xE9ral d'intelligence chez les personnes ayant des\
+        \ dipl\xF4mes sup\xE9rieurs."
+      C: le mal de la torture.
+      D: "la volont\xE9 de nombreuses personnes intelligentes de consid\xE9rer la\
+        \ torture comme la meilleure solution pour faire face au terrorisme."
+    input_correct_responses:
+    - D
+    input_question: "Baron admet que les versions de la bombe \xE0 retardement hypoth\xE9\
+      tique dont elle parle sont "incroyablement stupides", mais elle affirme\
+      \ que c'est en fait la preuve de"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_moral_disputes
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_moral_disputes
+task_alias: moral_disputes

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_moral_scenarios.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Faux faux
+      B: Faux, pas faux
+      C: Pas faux, faux
+      D: Pas mal, pas mal
+    input_correct_responses:
+    - C
+    input_question: "Pour lequel de ces deux sc\xE9narios le personnage principal\
+      \ (qui utilise I/me/my) fait-il quelque chose de clairement moralement r\xE9\
+      pr\xE9hensible, selon les normes morales ordinaires aux \xC9tats-Unis en 2020\_\
+      ? Sc\xE9nario 1 | J'ai vraiment aim\xE9 mon petit gar\xE7on nouveau-n\xE9\
+      . Sc\xE9nario 2 | La nouvelle fille est g\xEAn\xE9e de vivre dans un parc \xE0\
+      \ roulottes, alors j'invite la classe chez elle."
+  - input_choice_list:
+      A: Faux faux
+      B: Faux, pas faux
+      C: Pas faux, faux
+      D: Pas mal, pas mal
+    input_correct_responses:
+    - C
+    input_question: "Pour lequel de ces deux sc\xE9narios le personnage principal\
+      \ (qui utilise I/me/my) fait-il quelque chose de clairement moralement r\xE9\
+      pr\xE9hensible, selon les normes morales ordinaires aux \xC9tats-Unis en 2020\_\
+      ? Sc\xE9nario 1 | J'ai demand\xE9 une cigarette au gars \xE0 l'ext\xE9\
+      rieur du magasin. Sc\xE9nario 2 | Lorsque l'agent de s\xE9curit\xE9 a quitt\xE9\
+      \ son poste, j'ai empoch\xE9 une pi\xE8ce rare."
+  - input_choice_list:
+      A: Faux faux
+      B: Faux, pas faux
+      C: Pas faux, faux
+      D: Pas mal, pas mal
+    input_correct_responses:
+    - D
+    input_question: "Pour lequel de ces deux sc\xE9narios le personnage principal\
+      \ (qui utilise I/me/my) fait-il quelque chose de clairement moralement r\xE9\
+      pr\xE9hensible, selon les normes morales ordinaires aux \xC9tats-Unis en 2020\_\
+      ? Sc\xE9nario 1 | J'ai achet\xE9 une vieille camionnette pour le travail.\
+      \ Sc\xE9nario 2 | J'ai lev\xE9 les yeux vers la magnifique cascade et j'ai\
+      \ lanc\xE9 une pierre dessus."
+  - input_choice_list:
+      A: Faux faux
+      B: Faux, pas faux
+      C: Pas faux, faux
+      D: Pas mal, pas mal
+    input_correct_responses:
+    - B
+    input_question: "Pour lequel de ces deux sc\xE9narios le personnage principal\
+      \ (qui utilise I/me/my) fait-il quelque chose de clairement moralement r\xE9\
+      pr\xE9hensible, selon les normes morales ordinaires aux \xC9tats-Unis en 2020\_\
+      ? Sc\xE9nario 1 | Pendant la d\xE9molition de la maison, je l'ai pouss\xE9\
+      \ contre un mur. Sc\xE9nario 2 | Quand je choisis une baby-sitter pour mes ni\xE8\
+      ces jumelles, je me fiche de son origine raciale."
+  - input_choice_list:
+      A: Faux faux
+      B: Faux, pas faux
+      C: Pas faux, faux
+      D: Pas mal, pas mal
+    input_correct_responses:
+    - A
+    input_question: "Pour lequel de ces deux sc\xE9narios le personnage principal\
+      \ (qui utilise I/me/my) fait-il quelque chose de clairement moralement r\xE9\
+      pr\xE9hensible, selon les normes morales ordinaires aux \xC9tats-Unis en 2020\_\
+      ? Sc\xE9nario 1 | J'ai pris son portefeuille apr\xE8s qu'il m'ait\
+      \ harcel\xE9 au bar. Sc\xE9nario 2 | J'ai fait l'amour avec mon nouveau-n\xE9\
+      ."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_moral_scenarios
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_moral_scenarios
+task_alias: moral_scenarios

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_nutrition.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Les buveurs de th\xE9 ont moins de risque de d\xE9velopper un diab\xE8te."
+      B: "Les buveurs de th\xE9 ont un risque plus \xE9lev\xE9 de d\xE9velopper un\
+        \ diab\xE8te."
+      C: "Sur la base des informations fournies, nous ne pouvons pas dire si la diff\xE9\
+        rence observ\xE9e dans le risque de maladie est le r\xE9sultat du hasard."
+      D: "Le risque relatif est proche de la valeur un, il n'y a donc pas de diff\xE9\
+        rence de risque de maladie entre les deux groupes."
+    input_correct_responses:
+    - C
+    input_question: "Dans une \xE9tude de cohorte, le risque relatif de d\xE9velopper\
+      \ un diab\xE8te \xE9tait de 0,86 en comparant les consommateurs de th\xE9 (les\
+      \ expos\xE9s) \xE0 ceux qui ne buvaient pas de th\xE9 (les non expos\xE9s).\
+      \ Laquelle des affirmations est correcte (selon les connaissances en 2020)\_\
+      ?"
+  - input_choice_list:
+      A: "Les consommateurs atteints de ph\xE9nylc\xE9tonurie doivent \xE9viter la\
+        \ consommation de l'\xE9dulcorant aspartame"
+      B: "Les consommateurs atteints de ph\xE9nylc\xE9tonurie doivent \xE9viter la\
+        \ consommation de l'\xE9dulcorant saccharine"
+      C: "Les consommateurs atteints de ph\xE9nylc\xE9tonurie doivent \xE9viter la\
+        \ consommation de l'\xE9dulcorant sucralose"
+      D: "Les consommateurs atteints de ph\xE9nylc\xE9tonurie doivent \xE9viter la\
+        \ consommation de l'\xE9dulcorant ac\xE9sulfame K"
+    input_correct_responses:
+    - A
+    input_question: "Laquelle des affirmations suivantes est correcte (selon les connaissances\
+      \ en 2020)\_?"
+  - input_choice_list:
+      A: "L'acide propionique, form\xE9 pendant la fermentation des fibres du\
+        \ c\xF4lon, inhibe la synth\xE8se des acides gras du foie"
+      B: "L'acide butyrique, form\xE9 lors de la fermentation des fibres du c\xF4\
+        lon, stimule le "silence" du g\xE8ne suppresseur de tumeur SLC5A8"
+      C: Aucune de ces options n'est correcte
+      D: "L'acide butyrique, form\xE9 lors de la fermentation des fibres coliques,\
+        \ stimule les d\xE9fenses anti-oxydantes du c\xF4lon"
+    input_correct_responses:
+    - D
+    input_question: "Laquelle des affirmations suivantes est l'explication la\
+      \ plus plausible de l'effet protecteur des fibres alimentaires contre le\
+      \ cancer du c\xF4lon, \xE0 partir de 2020\_?"
+  - input_choice_list:
+      A: "50% des adultes consomment de l'iode \xE0 des niveaux inf\xE9rieurs\
+        \ au RNI"
+      B: Les produits laitiers sont une mauvaise source d'iode
+      C: "La teneur en iode du lait biologique est g\xE9n\xE9ralement inf\xE9rieure\
+        \ \xE0 celle du lait non biologique"
+      D: "Les valeurs nutritionnelles de r\xE9f\xE9rence du Royaume-Uni recommandent\
+        \ une augmentation de l'apport en iode pendant la grossesse"
+    input_correct_responses:
+    - C
+    input_question: "Laquelle des affirmations suivantes sur l'iode est correcte,\
+      \ \xE0 partir de 2020\_?"
+  - input_choice_list:
+      A: Acarbose
+      B: Metformine
+      C: "Sulfonylur\xE9es"
+      D: Insuline
+    input_correct_responses:
+    - B
+    input_question: "Quel est le m\xE9dicament de premi\xE8re ligne pour les patients\
+      \ atteints de diab\xE8te de type 2 et d'ob\xE9sit\xE9, \xE0 partir de 2020\_\
+      ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_nutrition
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_nutrition
+task_alias: nutrition

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_philosophy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "une th\xE9orie \xE9thique sur la fa\xE7on dont nous devrions nous comporter."
+      B: "une g\xE9n\xE9ralisation concernant la fa\xE7on dont les gens ont tendance\
+        \ \xE0 se comporter."
+      C: "une revendication sur la nature humaine et les fa\xE7ons dont les gens sont\
+        \ capables de se comporter."
+      D: "Aucune de ces r\xE9ponses."
+    input_correct_responses:
+    - C
+    input_question: "L'\xE9go\xEFsme psychologique est :"
+  - input_choice_list:
+      A: plaisir.
+      B: bonheur.
+      C: bien.
+      D: vertu.
+    input_correct_responses:
+    - C
+    input_question: "Selon \xAB l'utilitarisme id\xE9al \xBB de Moore, la bonne\
+      \ action est celle qui produit le plus de :"
+  - input_choice_list:
+      A: choix libres
+      B: "diktat de l'\xE2me"
+      C: "lois naturelles n\xE9cessaires"
+      D: "volont\xE9 ind\xE9termin\xE9e"
+    input_correct_responses:
+    - C
+    input_question: Selon d'Holbach, les gens agissent toujours selon _____.
+  - input_choice_list:
+      A: optimiste
+      B: satisfait
+      C: nominalement religieux
+      D: pessimiste
+    input_correct_responses:
+    - D
+    input_question: "Avant la conversion chr\xE9tienne de Tolsto\xEF, quelle \xE9\
+      tait sa perspective sur le sens de la vie ?"
+  - input_choice_list:
+      A: "m\xE9taphysique"
+      B: "\xE9pist\xE9mologie"
+      C: la physique quantique
+      D: axiologie
+    input_correct_responses:
+    - A
+    input_question: "L'\xE9tude de la r\xE9alit\xE9 au sens le plus large, une\
+      \ enqu\xEAte sur la nature \xE9l\xE9mentaire de l'univers et des choses\
+      \ qu'il contient, est connue sous le nom de _____."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_philosophy
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_philosophy
+task_alias: philosophy