Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_prehistory.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "satisfaire les puissants pr\xEAtres astronomes mayas."
+      B: "montrer sa g\xE9n\xE9rosit\xE9 envers les gens du commun, puisqu'ils\
+        \ ont \xE9t\xE9 autoris\xE9s \xE0 vivre dans les temples."
+      C: effrayer les ennemis, en particulier les Espagnols.
+      D: "l\xE9gitimer sa royaut\xE9, puisque son p\xE8re n'\xE9tait pas royal."
+    input_correct_responses:
+    - D
+    input_question: 'Le grand roi maya Pacal a construit des temples dans la ville
+      de Palenque afin de :'
+  - input_choice_list:
+      A: "un centre de la civilisation du Mississippien avec des conditions similaires\
+        \ \xE0 la mont\xE9e des premiers \xC9tats."
+      B: "les limites de l'autorit\xE9 dans une soci\xE9t\xE9 am\xE9rindienne\
+        \ de butineurs \xE9galitaires."
+      C: "une chefferie simple ou peut-\xEAtre une chefferie complexe avait \xE9volu\xE9\
+        \ vers 1500 apr\xE8s JC."
+      D: "un centre de la civilisation du Mississippien avec des conditions similaires\
+        \ aux soci\xE9t\xE9s de la c\xF4te nord-ouest de l'Am\xE9rique du Nord."
+    input_correct_responses:
+    - A
+    input_question: "Selon Timothy Pauketat, les preuves de la stratification sociale\
+      \ et du pouvoir politique \xE0 Cahokia sugg\xE8rent\_:"
+  - input_choice_list:
+      A: un cataclysme quelconque, tel qu'un tremblement de terre, un volcan ou
+        un tsunami.
+      B: "d\xE9gradation \xE9cologique r\xE9sultant des techniques d'agriculture\
+        \ itin\xE9rante sur br\xFBlis."
+      C: "des guerres interminables entre cit\xE9s-\xC9tats mayas voisines."
+      D: "pratiques de m\xE9tissage qui ont conduit \xE0 une forte augmentation des\
+        \ maladies cong\xE9nitales."
+    input_correct_responses:
+    - B
+    input_question: "Les chercheurs pensent maintenant que le d\xE9clin des Mayas\
+      \ a \xE9t\xE9 caus\xE9 principalement par :"
+  - input_choice_list:
+      A: "une grande diversit\xE9 d'esp\xE8ces, ou une seule esp\xE8ce qui pr\xE9\
+        sentait une grande diversit\xE9."
+      B: "tr\xE8s peu de diversit\xE9 d'esp\xE8ces durant cette p\xE9riode et\
+        \ tr\xE8s peu d'hominid\xE9s."
+      C: "diminution de la diversit\xE9 des esp\xE8ces due \xE0 une p\xE9riode glaciaire\
+        \ prolong\xE9e suivie d'une grave s\xE9cheresse."
+      D: "diminution de la diversit\xE9 des esp\xE8ces mais augmentation du nombre\
+        \ de percuteurs et d'\xE9clats, indiquant la fabrication d'outils\
+        \ en pierre."
+    input_correct_responses:
+    - A
+    input_question: "Des recherches r\xE9centes sur des esp\xE8ces d'hominid\xE9\
+      s datant du Plioc\xE8ne moyen indiquent qu'il y avait (en 2020):"
+  - input_choice_list:
+      A: moins de 650 cm3
+      B: environ 800 cm3
+      C: un peu moins de 1000 cm3
+      D: 1200 cm3
+    input_correct_responses:
+    - C
+    input_question: "Quelle est la capacit\xE9 cr\xE2nienne moyenne approximative\
+      \ de l'Homo erectus ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_prehistory
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_prehistory
+task_alias: prehistory

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_professional_accounting.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 70 000 $
+      B: 75 000 $
+      C: 80 000 $
+      D: '100000'
+    input_correct_responses:
+    - D
+    input_question: "Encadr\xE9 une organisation non gouvernementale \xE0 but non\
+      \ lucratif a effectu\xE9 les transactions suivantes au cours de l'ann\xE9\
+      e : Produit de la vente de placements 80 000 $ Achat d'immobilisations corporelles\
+      \ 10 000 $ Produit de la dette \xE0 long terme 100 000 $ Perte sur la vente\
+      \ d'un placement 5 000 $ Quel montant doit \xEAtre d\xE9clar\xE9 comme net\
+      \ les liquidit\xE9s fournies par les activit\xE9s de financement dans l'\xE9\
+      tat des flux de tr\xE9sorerie de Box\_?"
+  - input_choice_list:
+      A: 13 000 $
+      B: 600 $
+      C: 15 000 $
+      D: 28 000 $
+    input_correct_responses:
+    - A
+    input_question: "Il y a cent ans, votre arri\xE8re-arri\xE8re-grand-m\xE8re a\
+      \ investi 100 $ \xE0 5 % d'int\xE9r\xEAt annuel. Que vaut l'investissement\
+      \ aujourd'hui ?"
+  - input_choice_list:
+      A: 0 $
+      B: 500 $
+      C: 1 650 $
+      D: 16 500 $
+    input_correct_responses:
+    - A
+    input_question: "Krete est un contribuable c\xE9libataire dont les revenus proviennent\
+      \ exclusivement des salaires. Au 31 d\xE9cembre, ann\xE9e 1, l'employeur\
+      \ de Krete a retenu 16 000 $ d'imp\xF4t f\xE9d\xE9ral sur le revenu et Krete\
+      \ n'a effectu\xE9 aucun paiement d'imp\xF4t estim\xE9. Le 15 avril de\
+      \ l'ann\xE9e 2, Krete a d\xE9pos\xE9 en temps opportun une demande de prolongation\
+      \ pour d\xE9poser sa d\xE9claration de revenus individuelle et a pay\xE9 300\_\
+      $ d'imp\xF4ts suppl\xE9mentaires. La dette fiscale de Krete pour la premi\xE8\
+      re ann\xE9e \xE9tait de 16 500 $ lorsqu'elle a d\xE9pos\xE9 sa d\xE9claration\
+      \ dans les d\xE9lais le 30 avril de la deuxi\xE8me ann\xE9e et a pay\xE9 le\
+      \ solde de la dette fiscale restante. Quel montant serait soumis \xE0 la p\xE9\
+      nalit\xE9 pour sous-paiement des imp\xF4ts estim\xE9s\_?"
+  - input_choice_list:
+      A: 5 000 $
+      B: 13 500 $
+      C: 16 000 $
+      D: 20 000 $
+    input_correct_responses:
+    - B
+    input_question: "Le 1er janvier de l'ann\xE9e 1, Alpha Co. a sign\xE9 un contrat\
+      \ de maintenance annuel avec un fournisseur de logiciels pour 15 000 $ et la\
+      \ p\xE9riode de maintenance commence le 1er mars de l'ann\xE9e 2. Alpha\
+      \ a \xE9galement engag\xE9 5 000 $ de co\xFBts le 1er janvier de l'ann\xE9\
+      e 1 li\xE9s \xE0 la modification du logiciel. demandes qui augmenteront la fonctionnalit\xE9\
+      \ du logiciel. Alpha d\xE9pr\xE9cie et amortit ses actifs informatiques et logiciels\
+      \ sur cinq ans selon la m\xE9thode de l'amortissement lin\xE9aire. Quel\
+      \ est le montant total des d\xE9penses qu'Alpha devrait comptabiliser relativement\
+      \ au contrat de maintenance et aux modifications logicielles pour l'exercice\
+      \ clos le 31 d\xE9cembre, ann\xE9e 1\_?"
+  - input_choice_list:
+      A: Valorisation et allocation
+      B: "Compl\xE9tude"
+      C: Droits et obligations
+      D: "Pr\xE9sentation et divulgation"
+    input_correct_responses:
+    - B
+    input_question: "Un auditeur trace les num\xE9ros de s\xE9rie sur l'\xE9quipement\
+      \ jusqu'au registre auxiliaire d'un non-\xE9metteur. Laquelle des assertions\
+      \ de gestion suivantes est prise en charge par ce test\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_accounting
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_professional_accounting
+task_alias: professional_accounting

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_professional_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "la loi est nulle pour impr\xE9cision en vertu de la clause de proc\xE9dure\
+        \ r\xE9guli\xE8re du quatorzi\xE8me amendement."
+      B: "la loi est invalide car elle viole la libert\xE9 d'expression du p\xE9\
+        titionnaire en vertu du premier amendement."
+      C: "le statut est un raccourcissement de la libert\xE9 d'expression en vertu\
+        \ du premier amendement parce que des moyens moins restrictifs sont disponibles\
+        \ pour atteindre le m\xEAme objectif."
+      D: "la loi est trop large et par cons\xE9quent invalide en vertu des premier\
+        \ et quatorzi\xE8me amendements."
+    input_correct_responses:
+    - D
+    input_question: "Une l\xE9gislature d'\xC9tat a r\xE9cemment promulgu\xE9\
+      \ une loi qui consid\xE8re comme un d\xE9lit le fait d'insulter ou d'injurier\
+      \ ou d'utiliser un langage obsc\xE8ne ou opprobre envers ou en r\xE9f\xE9\
+      rence \xE0 un policier dans l'exercice de ses fonctions. Un \xE9tudiant\
+      \ d'une universit\xE9 d'\xC9tat a organis\xE9 une manifestation sur\
+      \ le campus pour protester contre la guerre. Le rassemblement a \xE9t\xE9 suivi\
+      \ par un groupe de 50 \xE9tudiants qui ont cri\xE9 des messages anti-guerre\
+      \ aux voitures qui passaient. Pour montrer son m\xE9pris pour les \xC9tats-Unis,\
+      \ l'\xE9tudiant a cousu le drapeau am\xE9ricain \xE0 l'arri\xE8re de\
+      \ son jean. Lorsqu'un policier a vu le drapeau sem\xE9 sur le jean de l'\xE9\
+      tudiant, il s'est approch\xE9 et lui a dit d'enlever le drapeau ou il\
+      \ serait plac\xE9 en \xE9tat d'arrestation. L'\xE9tudiant s'est\
+      \ mis en col\xE8re et a cri\xE9 au policier : \xAB \xC9coute, salaud, je porterai\
+      \ ce chiffon partout o\xF9 je veux. \xBB L'\xE9tudiant a ensuite \xE9t\xE9\
+      \ arr\xEAt\xE9 et accus\xE9 d'avoir enfreint la loi de l'\xC9tat. L'\xE9\
+      tudiant intente ensuite une action devant un tribunal d'\xC9tat pour contester\
+      \ la constitutionnalit\xE9 de la loi. L'argument constitutionnel le plus\
+      \ fort pour l'\xE9tudiant est que"
+  - input_choice_list:
+      A: La clause commerciale.
+      B: "La clause de protection \xE9gale du quatorzi\xE8me amendement."
+      C: "La clause de privil\xE8ges et immunit\xE9s de l'article IV, section\
+        \ 2."
+      D: La clause contractuelle.
+    input_correct_responses:
+    - A
+    input_question: "Un \xC9tat a r\xE9cemment promulgu\xE9 une loi interdisant l'\xE9\
+      limination de tout d\xE9chet nucl\xE9aire dans l'\xC9tat. Cette loi ne contrevient\
+      \ ni n'entre en conflit avec aucune loi f\xE9d\xE9rale. Un homme exploite\
+      \ une entreprise dans l'\xC9tat qui se consacre \xE0 l'\xE9limination\
+      \ des d\xE9chets nucl\xE9aires. \xC0 la suite de l'adoption de la loi de\
+      \ l'\xC9tat, l'homme, qui n'\xE9tait pas encore au courant de la\
+      \ nouvelle loi, a conclu des contrats avec de nombreuses entreprises ext\xE9\
+      rieures \xE0 l'\xC9tat pour \xE9liminer leurs d\xE9chets nucl\xE9aires dans\
+      \ l'\xC9tat. En raison de cette nouvelle loi, cependant, l'homme sera\
+      \ incapable d'ex\xE9cuter ces contrats. Supposons que l'homme a qualit\xE9\
+      \ pour contester cette loi de l'\xC9tat. Lequel des \xE9nonc\xE9s suivants\
+      \ pr\xE9sente ses motifs constitutionnels les plus solides pour contester la\
+      \ loi de l'\xC9tat interdisant l'\xE9limination des d\xE9chets nucl\xE9\
+      aires dans l'\xC9tat\_?"
+  - input_choice_list:
+      A: Des faits incontestables.
+      B: "Des faits qui ont \xE9t\xE9 affirm\xE9s par des organisations politiques\
+        \ individuelles."
+      C: "Faits reconnus vrais de notori\xE9t\xE9 publique."
+      D: "Faits susceptibles de v\xE9rification scientifique."
+    input_correct_responses:
+    - B
+    input_question: "Le juge a pris connaissance d'office de certains faits au\
+      \ d\xE9but du proc\xE8s. Lequel des \xE9l\xE9ments suivants n'est pas un\
+      \ type de fait appropri\xE9 pour le constat judiciaire\_?"
+  - input_choice_list:
+      A: "accorder un all\xE9gement, parce que la cl\xF4ture contrevenait \xE0 la\
+        \ restriction de servitude."
+      B: "accorder un all\xE9gement, parce que l'empi\xE9tement de la cl\xF4ture\
+        \ a viol\xE9 la restriction du plan initial."
+      C: "refuser l'aide, parce que l'enseignant n'a pas fait appliquer\
+        \ la restriction \xE0 l'encontre du retrait\xE9."
+      D: "refuser l'all\xE9gement, car la cl\xF4ture ne serait pas interpr\xE9\
+        t\xE9e comme "une structure" au sens de la restriction."
+    input_correct_responses:
+    - B
+    input_question: "Le 1er octobre 1980, un promoteur, propri\xE9taire de plusieurs\
+      \ centaines d'acres dans un comt\xE9 rural, a r\xE9dig\xE9 un plan d'am\xE9\
+      nagement g\xE9n\xE9ral pour la r\xE9gion. Le plan d\xFBment enregistr\xE9 imposait\
+      \ des limites et des restrictions \xE9labor\xE9es sur le terrain du plan, qui\
+      \ devait \xEAtre d\xE9velopp\xE9 en tant que quartier r\xE9sidentiel. Les restrictions\
+      \ devaient s'\xE9tendre \xE0 toutes les personnes acqu\xE9rant l'un\
+      \ des lots et \xE0 leurs h\xE9ritiers, ayants droit et locataires. Il \xE9tait\
+      \ en outre pr\xE9vu que tous les propri\xE9taires ult\xE9rieurs seraient d\xFB\
+      ment inform\xE9s des restrictions. Parmi ces restrictions au plan g\xE9n\xE9\
+      ral figuraient les suivantes :(22) Un droit de franchise est cr\xE9\xE9 dans\
+      \ une bande de terrain de 10 pieds de largeur le long de l'arri\xE8re de\
+      \ chaque lot \xE0 l'usage des entreprises de services publics avec droit\
+      \ d'entr\xE9e et de sortie. (23) Aucune maison ou construction de quelque\
+      \ nature que ce soit ne peut \xEAtre construite sur la bande de terrain susmentionn\xE9\
+      e traversant lesdits blocs. En 2000, un retrait\xE9 a achet\xE9 l'un des\
+      \ lots, construit une maison et \xE9rig\xE9 une cl\xF4ture \xE0 l'arri\xE8\
+      re de sa propri\xE9t\xE9 dans la zone r\xE9glement\xE9e. En 2004, un enseignant\
+      \ ach\xE8te un terrain adjacent \xE0 la propri\xE9t\xE9 du retrait\xE9 et y\
+      \ construit une nouvelle maison. Deux ans plus tard, un biblioth\xE9caire ach\xE8\
+      te le terrain qui jouxte la propri\xE9t\xE9 de l'enseignant. Les trois actes\
+      \ de ces propri\xE9t\xE9s contenaient chacun des r\xE9f\xE9rences au livre des\
+      \ actes o\xF9 le plan g\xE9n\xE9ral a \xE9t\xE9 enregistr\xE9. En 2008, le biblioth\xE9\
+      caire a commenc\xE9 la construction d'une cl\xF4ture de poteaux et de rails\
+      \ de sept pieds le long de la ligne s\xE9parant son terrain de celui de l'enseignant\
+      \ et le long du centre de la zone soumise au droit de franchise. Bien que l'enseignant\
+      \ se soit oppos\xE9 \xE0 sa construction, la cl\xF4ture a \xE9t\xE9 achev\xE9\
+      e. Si l'enseignant demande une injonction obligatoire pour forcer l'enl\xE8\
+      vement de la cl\xF4ture du biblioth\xE9caire, le tribunal sera tr\xE8s probablement"
+  - input_choice_list:
+      A: "La promesse du p\xE8re et la confiance du cr\xE9ancier dans celle-ci, si\
+        \ elles \xE9taient prouv\xE9es, donnaient naissance \xE0 une r\xE9clamation\
+        \ valide du cr\xE9ancier contre le p\xE8re fond\xE9e sur la doctrine de la\
+        \ pr\xE9clusion promissoire."
+      B: "Puisqu'il \xE9tait pr\xE9visible que la promesse du p\xE8re inciterait\
+        \ le cr\xE9ancier \xE0 s'abstenir d'entreprendre toute action contre\
+        \ le fils, une telle abstention \xE9tait, en droit, une contrepartie n\xE9\
+        goci\xE9e pour la promesse du p\xE8re."
+      C: "Les cinq paiements du p\xE8re au cr\xE9ancier totalisant 2 500 $ ont manifest\xE9\
+        \ une intention s\xE9rieuse de la part du p\xE8re d'\xEAtre li\xE9 contractuellement,\
+        \ et une telle manifestation est g\xE9n\xE9ralement reconnue comme un substitut\
+        \ efficace \xE0 la contrepartie."
+      D: "En assumant la dette ant\xE9rieure que le fils devait au cr\xE9ancier, le\
+        \ p\xE8re devenait une caution dont la promesse au cr\xE9ancier \xE9tait ex\xE9\
+        cutoire, puisqu'elle \xE9tait \xE9crite et appuy\xE9e d'une contrepartie\
+        \ ad\xE9quate."
+    input_correct_responses:
+    - A
+    input_question: "Un fils devait 5 000 $ \xE0 un cr\xE9ancier. Le p\xE8re du fils\
+      \ a contact\xE9 le cr\xE9ancier et lui a dit qu'il voulait payer la dette\
+      \ du fils. Le p\xE8re a sign\xE9 un document indiquant que le p\xE8re paierait\
+      \ la dette du fils \xE0 raison de 500 $ par mois pendant 10 mois. Le cr\xE9\
+      ancier n'a pris aucun engagement \xE9crit ou oral de s'abstenir de poursuivre\
+      \ le fils pour recouvrer la dette de 5 000 $, et le p\xE8re n'a fait aucune\
+      \ demande orale ou \xE9crite pour une telle abstention. Pendant les cinq mois\
+      \ suivants, le p\xE8re a effectu\xE9 et le cr\xE9ancier a accept\xE9 les paiements\
+      \ mensuels de 500\_$ comme convenu. Pendant cette p\xE9riode, le cr\xE9ancier\
+      \ s'est en effet abstenu d'intenter une action en justice contre le\
+      \ fils. Cependant, le p\xE8re a alors inform\xE9 le cr\xE9ancier qu'il ne\
+      \ ferait plus aucun paiement sur la dette. Lequel des arguments suivants est\
+      \ l'argument le plus convaincant selon lequel le p\xE8re est responsable\
+      \ envers le cr\xE9ancier aux termes de leur accord\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_law
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_professional_law
+task_alias: professional_law

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_professional_medicine.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Lab\xE9talol"
+      B: Une dose de charge de chlorure de potassium
+      C: "Nif\xE9dipine"
+      D: "Ph\xE9noxybenzamine"
+    input_correct_responses:
+    - D
+    input_question: "Un homme de 42 ans se pr\xE9sente au cabinet pour une \xE9valuation\
+      \ pr\xE9op\xE9ratoire avant de subir une surr\xE9nalectomie pr\xE9vue dans 2\
+      \ semaines. Il y a un mois, il a re\xE7u des soins aux urgences pour des douleurs\
+      \ au flanc droit suite \xE0 une collision automobile. \xC0 ce moment-l\xE0,\
+      \ la pression art\xE9rielle \xE9tait de 160/100 mm Hg et la tomodensitom\xE9\
+      trie de l'abdomen a montr\xE9 une masse surr\xE9nalienne gauche accidentelle\
+      \ de 10 cm. Les r\xE9sultats des \xE9tudes de laboratoire, y compris la num\xE9\
+      ration globulaire compl\xE8te, les concentrations d'\xE9lectrolytes s\xE9\
+      riques et les tests de la fonction h\xE9patique, se situaient dans les plages\
+      \ de r\xE9f\xE9rence. Par ailleurs, le patient \xE9tait en bonne sant\xE9 et\
+      \ on ne lui avait jamais dit qu'il avait une tension art\xE9rielle \xE9\
+      lev\xE9e. Il ne prend aucun m\xE9dicament. Une visite de suivi au bureau il\
+      \ y a 2 semaines a r\xE9v\xE9l\xE9 des concentrations urinaires \xE9lev\xE9\
+      es de norm\xE9tan\xE9phrine et de m\xE9tan\xE9phrine et d'aldost\xE9rone\
+      \ plasmatique. Le patient a \xE9t\xE9 r\xE9f\xE9r\xE9 \xE0 un chirurgien, qui\
+      \ a recommand\xE9 la surr\xE9nalectomie. Aujourd'hui, les signes vitaux\
+      \ sont une temp\xE9rature de 36,6\_\xB0C (97,9\_\xB0F), un pouls de 100/min,\
+      \ une respiration de 14/min et une tension art\xE9rielle de 170/95\_mm Hg. L'examen\
+      \ physique ne r\xE9v\xE8le aucune d\xE9couverte significative. La pr\xE9paration\
+      \ pr\xE9op\xE9ratoire initiale doit inclure un traitement avec lequel des \xE9\
+      l\xE9ments suivants\_?"
+  - input_choice_list:
+      A: "torsion sacr\xE9e gauche \xE0 gauche"
+      B: "torsion sacr\xE9e gauche-droite"
+      C: "flexion sacr\xE9e unilat\xE9rale droite"
+      D: "torsion sacr\xE9e droite \xE0 droite"
+    input_correct_responses:
+    - D
+    input_question: "Un homme de 36 ans se pr\xE9sente au cabinet avec des ant\xE9\
+      c\xE9dents de lombalgie depuis 3 semaines. Il nie tout traumatisme r\xE9cent,\
+      \ mais dit qu'il monte et descend de son camion plusieurs fois par jour\
+      \ pour son travail. L'examen du patient en d\xE9cubitus ventral r\xE9v\xE8\
+      le un profond sillon sacr\xE9 \xE0 gauche, un angle lat\xE9ral post\xE9ro-inf\xE9\
+      rieur \xE0 droite et une jonction lombo-sacr\xE9e qui ressort librement \xE0\
+      \ la compression. Le diagnostic le plus probable est"
+  - input_choice_list:
+      A: Dopamine
+      B: Glutamate
+      C: "Nor\xE9pin\xE9phrine"
+      D: "S\xE9rotonine"
+    input_correct_responses:
+    - D
+    input_question: "Une femme de 32 ans, auparavant en bonne sant\xE9, se rend chez\
+      \ le m\xE9decin 8 mois apr\xE8s que son mari a \xE9t\xE9 tu\xE9 dans un accident\
+      \ de voiture. Depuis ce temps, elle a un app\xE9tit diminu\xE9 et des difficult\xE9\
+      s \xE0 s'endormir. Elle d\xE9clare qu'elle est souvent triste et pleure\
+      \ fr\xE9quemment. Elle a rev\xE9rifi\xE9 la serrure de la porte cinq fois avant\
+      \ de quitter sa maison et doit compter exactement cinq morceaux de papier toilette\
+      \ avant de l'utiliser. Elle dit avoir toujours \xE9t\xE9 perfectionniste\
+      \ mais ces envies et rituels sont nouveaux. La pharmacoth\xE9rapie doit \xEA\
+      tre cibl\xE9e sur lequel des neurotransmetteurs suivants\_?"
+  - input_choice_list:
+      A: Rhinite allergique
+      B: Virus d'Epstein-Barr
+      C: Mycoplasme pneumoniae
+      D: Rhinovirus
+    input_correct_responses:
+    - D
+    input_question: "Un homme de 44 ans se pr\xE9sente au bureau en raison d'une\
+      \ histoire de 3 jours de maux de gorge, de toux non productive, d'\xE9coulement\
+      \ nasal et de maux de t\xEAte frontaux. Il dit que le mal de t\xEAte est pire\
+      \ le matin et que l'ibuprof\xE8ne procure un certain soulagement. Il n'a\
+      \ pas eu d'essoufflement. Les ant\xE9c\xE9dents m\xE9dicaux sont sans particularit\xE9\
+      . Il ne prend aucun autre m\xE9dicament que l'ibuprof\xE8ne contre la douleur.\
+      \ Les signes vitaux sont une temp\xE9rature de 37,4 \xB0C (99,4 \xB0F), un pouls\
+      \ de 88/min, une respiration de 18/min et une tension art\xE9rielle de 120/84\
+      \ mm Hg. L'examen des narines montre des muqueuses \xE9ryth\xE9mateuses.\
+      \ L'examen de la gorge montre un \xE9ryth\xE8me et une hyperplasie lympho\xEF\
+      de folliculaire sur l'oropharynx post\xE9rieur. Il n'y a pas d'ad\xE9\
+      nopathie cervicale palpable. Les poumons sont d\xE9gag\xE9s \xE0 l'auscultation.\
+      \ Lequel des \xE9l\xE9ments suivants est la cause la plus probable des sympt\xF4\
+      mes de ce patient\_?"
+  - input_choice_list:
+      A: "scal\xE8ne ant\xE9rieur"
+      B: grand dorsal
+      C: petit pectoral
+      D: "carr\xE9 des lombes"
+    input_correct_responses:
+    - C
+    input_question: "Un coureur de marathon masculin de 22 ans se pr\xE9sente au bureau\
+      \ avec une plainte de douleur aux c\xF4tes droites lorsqu'il parcourt de\
+      \ longues distances. L'examen physique r\xE9v\xE8le des signes cardiaques\
+      \ et pulmonaires normaux et un dysfonctionnement de l'expiration au niveau\
+      \ des c\xF4tes 4-5 \xE0 droite. Lequel des muscles ou groupes de muscles suivants\
+      \ sera le plus utile pour corriger ce dysfonctionnement en utilisant une m\xE9\
+      thode directe\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_medicine
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_professional_medicine
+task_alias: professional_medicine

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_professional_psychology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "expliquez \xE0 votre client les avantages et les inconv\xE9nients de chaque\
+        \ programme que vous connaissez, \xE0 l'exception de celui auquel vous\
+        \ \xEAtes inscrit"
+      B: "recommander \xE0 votre client le programme auquel vous \xEAtes inscrit et\
+        \ expliquer la prime de 50 $ que vous recevrez"
+      C: "recommander \xE0 votre client le programme auquel vous \xEAtes inscrit et\
+        \ offrir que la prime de 50 $ soit cr\xE9dit\xE9e au compte de votre client\
+        \ dans le programme"
+      D: "expliquez \xE0 votre client les avantages et les inconv\xE9nients de chaque\
+        \ programme que vous connaissez, mais ne r\xE9clamez pas la prime de 50\_\
+        $ si votre client s'inscrit \xE0 votre programme"
+    input_correct_responses:
+    - D
+    input_question: "Un de vos clients en th\xE9rapie vous demande conseil sur un\
+      \ bon programme de perte de poids. Vous avez enqu\xEAt\xE9 sur les programmes\
+      \ de la communaut\xE9 et \xEAtes inscrit \xE0 celui que vous consid\xE9rez comme\
+      \ le meilleur. Ce programme offre un bonus de 50\_$ \xE0 ses clients pour chaque\
+      \ nouvelle personne qu'ils int\xE8grent au programme. Dans ces circonstances,\
+      \ votre r\xE9ponse la plus appropri\xE9e serait de"
+  - input_choice_list:
+      A: "moins sensible aux scores extr\xEAmes que la moyenne"
+      B: "plus utile pour les distributions asym\xE9triques"
+      C: "sensible aux valeurs extr\xEAmes et aux distributions fortement asym\xE9\
+        triques"
+      D: "le nombre le plus fr\xE9quent"
+    input_correct_responses:
+    - D
+    input_question: "Il existe trois fa\xE7ons de mesurer la tendance centrale\_:\
+      \ la moyenne, la m\xE9diane et le mode. D'apr\xE8s vos connaissances \xE0\
+      \ leur sujet, quel est le mode\_?"
+  - input_choice_list:
+      A: individualisme.
+      B: "individualisme et distance hi\xE9rarchique."
+      C: "distance de pouvoir et masculinit\xE9."
+      D: "\xE9vitement de l'incertitude."
+    input_correct_responses:
+    - A
+    input_question: "En ce qui concerne les cinq dimensions culturelles de Hofstede\
+      \ (1980), les \xC9tats-Unis se classent en t\xEAte de l'\xE9chelle pour\_\
+      :"
+  - input_choice_list:
+      A: "est un fantasme qui d\xE9tourne le client de la r\xE9alit\xE9."
+      B: "repr\xE9sente des \xAB\_sentiments mitig\xE9s\_\xBB envers le th\xE9rapeute."
+      C: ""est une forme de "" passage \xE0 l'acte """"
+      D: "refl\xE8te l'inconscient personnel et collectif du client."
+    input_correct_responses:
+    - D
+    input_question: "Carl Jung pensait que le transfert d'un client\_:"
+  - input_choice_list:
+      A: "ne sont pas corr\xE9l\xE9s entre eux mais sont mod\xE9r\xE9ment corr\xE9\
+        l\xE9s avec le crit\xE8re"
+      B: "ont de faibles corr\xE9lations entre eux et de faibles corr\xE9lations avec\
+        \ le crit\xE8re"
+      C: "sont fortement intercorr\xE9l\xE9s entre eux et mod\xE9r\xE9ment corr\xE9\
+        l\xE9s avec le crit\xE8re"
+      D: "ont de faibles corr\xE9lations avec le crit\xE8re mais sont mod\xE9r\xE9\
+        ment corr\xE9l\xE9s entre eux"
+    input_correct_responses:
+    - A
+    input_question: "Dans la construction d'une \xE9quation de r\xE9gression multiple\
+      \ \xE0 des fins de pr\xE9diction, la combinaison optimale de mesures est celle\
+      \ dans laquelle les pr\xE9dicteurs"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_psychology
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_professional_psychology
+task_alias: professional_psychology

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_public_relations.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Donnez au journaliste d'autres informations dont elle est certaine qu'elles
+        sont correctes.
+      B: "Dites que l'information est "off the record" et sera diffus\xE9\
+        e plus tard."
+      C: "Dites \xAB Je ne sais pas \xBB et promettez de fournir les informations\
+        \ plus tard."
+      D: "Dites "pas de commentaire" plut\xF4t que d'avoir l'air\
+        \ mal inform\xE9."
+    input_correct_responses:
+    - C
+    input_question: "Que doit faire une professionnelle des relations publiques dans\
+      \ les m\xE9dias si elle ne conna\xEEt pas la r\xE9ponse \xE0 la question d'un\
+      \ journaliste\_?"
+  - input_choice_list:
+      A: "Achetez des noms de domaine qui pourraient \xEAtre utilis\xE9s par des groupes\
+        \ d'opposition."
+      B: Postez des commentaires anonymes sur les blogs pour lutter contre ces informations.
+      C: "Pr\xE9parez un communiqu\xE9 de presse qui discr\xE9dite les informations\
+        \ inexactes."
+      D: "Apportez des modifications \xE0 la politique pour traiter les plaintes mises\
+        \ en \xE9vidence sur ces sites."
+    input_correct_responses:
+    - D
+    input_question: "Dans la gestion des probl\xE8mes, quelle est l'approche la\
+      \ plus proactive pour traiter les informations n\xE9gatives ou trompeuses publi\xE9\
+      es en ligne sur votre organisation\_?"
+  - input_choice_list:
+      A: "Il y a eu une r\xE9ponse m\xE9diatique coordonn\xE9e."
+      B: "Des messages coh\xE9rents ont \xE9t\xE9 communiqu\xE9s."
+      C: "Les critiques ont \xE9t\xE9 consid\xE9r\xE9es comme des attaques contre\
+        \ l'\xC9glise catholique."
+      D: "La cr\xE9dibilit\xE9 du Vatican a \xE9t\xE9 maintenue."
+    input_correct_responses:
+    - C
+    input_question: "Laquelle de ces d\xE9clarations est vraie du Vatican en 2010\
+      \ au moment des accusations de dissimulation de maltraitance d'enfants\_\
+      ?"
+  - input_choice_list:
+      A: "D\xE9finir le programme"
+      B: Planification du programme
+      C: "Prendre des mesures et mettre en \u0153uvre des id\xE9es"
+      D: "\xC9valuation du programme"
+    input_correct_responses:
+    - A
+    input_question: "\xC0 quelle \xE9tape du processus de planification une analyse\
+      \ de la situation serait-elle effectu\xE9e\_?"
+  - input_choice_list:
+      A: Paix verte
+      B: L'ONU
+      C: Oxfam
+      D: Fonds mondial pour la nature
+    input_correct_responses:
+    - D
+    input_question: "Earth Hour \xE9tait une campagne lanc\xE9e par quelle organisation\_\
+      ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_public_relations
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_public_relations
+task_alias: public_relations

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_security_studies.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "La contrainte est un autre terme pour la diplomatie coercitive, mais couvrant\
+        \ un ensemble plus restreint de crit\xE8res ; la contrainte couvre les menaces\
+        \ visant \xE0 d\xE9clencher une action adverse. Une menace de contraindre\
+        \ un \xC9tat \xE0 c\xE9der une partie de son territoire compterait comme une\
+        \ diplomatie coercitive, tant que cette menace initie de mani\xE8re proactive\
+        \ une action avant que la diplomatie r\xE9active ne soit entreprise."
+      B: "La diplomatie coercitive constitue les menaces d'une force limit\xE9\
+        e pour inciter l'adversaire \xE0 se conformer aux exigences de l'auteur\
+        \ de la coercition. Il s'agit d'une strat\xE9gie d'influence qui\
+        \ vise \xE0 obtenir la conformit\xE9 : l'usage de la force pour vaincre\
+        \ un adversaire en premier ne compte pas. Il laisse un \xE9l\xE9ment de choix\
+        \ \xE0 l'objectif de se conformer ou de continuer."
+      C: "La force militaire, ou la menace de la force militaire, utilise la peur\
+        \ pour atteindre des objectifs strat\xE9giques. La diplomatie coercitive se\
+        \ diff\xE9rencie de cette approche, car elle n'utilise pas la peur comme\
+        \ outil pour contraindre un adversaire."
+      D: "La diplomatie coercitive est employ\xE9e pour utiliser la force mais pour\
+        \ limiter ses effets sur la communaut\xE9 internationale. La diplomatie coercitive\
+        \ est une strat\xE9gie agressive qui vise \xE0 obtenir la conformit\xE9 par\
+        \ la d\xE9faite. Il ne laisse aucun \xE9l\xE9ment de choix \xE0 la cible,\
+        \ la cible \xE9tant soit forc\xE9e de se conformer, soit de s'engager\
+        \ dans un conflit. Il cherche \xE0 contr\xF4ler en imposant le respect en\
+        \ supprimant toute possibilit\xE9 de n\xE9gociation ou de concession."
+    input_correct_responses:
+    - B
+    input_question: Qu'est-ce qui distingue la diplomatie coercitive de la force
+      militaire ?
+  - input_choice_list:
+      A: "Les enfants soldats sont des victimes de combat qui ont besoin de r\xE9\xE9\
+        ducation et de r\xE9habilitation."
+      B: "Les enfants et leurs m\xE8res ne sont pas des sujets actifs dans la guerre\
+        \ et sont mieux consid\xE9r\xE9s comme des sujets de la sph\xE8re priv\xE9\
+        e."
+      C: "Les enfants sont le plus souvent des spectateurs innocents de la guerre\
+        \ et sont mieux utilis\xE9s comme signifiants de paix."
+      D: "Les enfants ont une subjectivit\xE9 politique qui leur manque lorsqu'ils\
+        \ sont consid\xE9r\xE9s comme des victimes passives de la guerre."
+    input_correct_responses:
+    - D
+    input_question: "Lequel des \xE9l\xE9ments suivants est le meilleur objectif \xE0\
+      \ travers lequel enqu\xEAter sur le r\xF4le des enfants soldats\_?"
+  - input_choice_list:
+      A: "Comme une menace existentielle qui n\xE9cessite une action imm\xE9diate\
+        \ et extraordinaire, posant une menace \xE0 la survie de l'\xC9tat ou\
+        \ \xE0 la s\xE9curit\xE9 de la soci\xE9t\xE9."
+      B: "Comme exigeant une action imm\xE9diate et extraordinaire de l'\xC9tat,\
+        \ mena\xE7ant la survie d'un objet r\xE9f\xE9rent et justifiant ainsi\
+        \ l'utilisation de mesures qui ne sont pas normalement employ\xE9es dans\
+        \ le domaine politique."
+      C: "Comme une menace urgente \xE0 la survie de l'objet r\xE9f\xE9rent, si\
+        \ grave qu'elle l\xE9gitime l'emploi d'une action extraordinaire\
+        \ en r\xE9ponse."
+      D: "Comme une menace urgente pour la survie du public qui n\xE9cessite des mesures\
+        \ extraordinaires ou d'urgence."
+    input_correct_responses:
+    - C
+    input_question: "Pour \xEAtre titris\xE9e, une menace doit \xEAtre pr\xE9sent\xE9\
+      e de quelle mani\xE8re\_?"
+  - input_choice_list:
+      A: "Il existe de telles divisions au sein du cadre de la s\xE9curit\xE9 humaine\
+        \ concernant la nature des menaces et des objets de r\xE9f\xE9rence qu'aucune\
+        \ comparaison largement applicable entre les approches centr\xE9es sur l'\xC9\
+        tat et la s\xE9curit\xE9 humaine ne peut \xEAtre \xE9tablie."
+      B: "En adoptant le cadre de la s\xE9curit\xE9 humaine, les limites de l'approche\
+        \ r\xE9aliste centr\xE9e sur l'\xC9tat deviennent \xE9videntes. Alors\
+        \ que la s\xE9curit\xE9 humaine d\xE9finit l'objet r\xE9f\xE9rent comme\
+        \ la personne ou la population, les approches centr\xE9es sur l'\xC9tat\
+        \ donnent la priorit\xE9 \xE0 la s\xE9curit\xE9 de l'\xC9tat, d\xE9valorisant\
+        \ la poursuite de la s\xE9curit\xE9 humaine."
+      C: "L'approche de la s\xE9curit\xE9 centr\xE9e sur l'\xC9tat est une\
+        \ faction de la s\xE9curit\xE9 humaine, g\xE9n\xE9ralement d\xE9finie au sein\
+        \ de l'\xE9cole g\xE9n\xE9rale de la s\xE9curit\xE9 humaine. En \xE9tant\
+        \ centr\xE9e sur l'\xE9tat, cette approche donne la priorit\xE9 \xE0 l'individu\
+        \ comme objet de r\xE9f\xE9rence dans les \xE9tudes de s\xE9curit\xE9."
+      D: "Les approches de la s\xE9curit\xE9 centr\xE9es sur l'\xC9tat et centr\xE9\
+        es sur l'humain s'excluent mutuellement et offrent un cadre analytique\
+        \ suffisant pour comprendre le syst\xE8me de s\xE9curit\xE9 international.\
+        \ C'est donc le r\xF4le des analystes de s\xE9curit\xE9 de d\xE9terminer\
+        \ lequel de ces concepts substantiels est correct et lequel doit \xEAtre \xE9\
+        cart\xE9."
+    input_correct_responses:
+    - B
+    input_question: "Comment d\xE9crire au mieux la relation entre l'approche\
+      \ centr\xE9e sur l'\xC9tat et le concept de s\xE9curit\xE9 humaine ?"
+  - input_choice_list:
+      A: "La concurrence entre les grandes nations a conduit certains pays \xE0 soutenir\
+        \ activement des groupes terroristes pour saper la force des \xC9tats rivaux.\
+        \ Les r\xE9seaux terroristes sont des clubs de patronage \xE9tendus entretenus\
+        \ et financ\xE9s par leurs \xC9tats donateurs et sont conceptualis\xE9s comme\
+        \ \xE9tant comme des acteurs \xE9tatiques, devant \xEAtre trait\xE9s par la\
+        \ force militaire."
+      B: "La mondialisation a permis l'internationalisation des activit\xE9s terroristes\
+        \ en ouvrant leur espace op\xE9rationnel, bien que la coordination soit encore\
+        \ g\xE9r\xE9e \xE0 partir d'une base g\xE9ographique. Cela sugg\xE8re\
+        \ que les groupes terroristes sont structur\xE9s au niveau national, ce qui\
+        \ signifie que le terrorisme ne peut \xEAtre consid\xE9r\xE9 comme une guerre\
+        \ \xE0 vaincre militairement sans avoir de graves implications sur la population\
+        \ indig\xE8ne."
+      C: "Le terrorisme peut \xEAtre consid\xE9r\xE9 comme un probl\xE8me \xE0 r\xE9\
+        soudre par des moyens militaires (guerre contre le terrorisme), par des techniques\
+        \ polici\xE8res normales (le terrorisme en tant que crime) ou comme un probl\xE8\
+        me m\xE9dical avec des causes et des sympt\xF4mes sous-jacents (le terrorisme\
+        \ en tant que maladie)."
+      D: "Le terrorisme est consid\xE9r\xE9 comme un probl\xE8me criminel. La criminalisation\
+        \ du terrorisme a deux implications importantes. Premi\xE8rement, cela sugg\xE8\
+        re que le terrorisme peut \xEAtre \xE9radiqu\xE9 - les terroristes peuvent\
+        \ \xEAtre arr\xEAt\xE9s et traduits en justice par des proc\xE9dures judiciaires\
+        \ normales, \xE9liminant ainsi la menace de la soci\xE9t\xE9 - et deuxi\xE8\
+        mement, cela sugg\xE8re que des techniques de pr\xE9vention de la criminalit\xE9\
+        \ sont applicables pour emp\xEAcher son d\xE9veloppement."
+    input_correct_responses:
+    - C
+    input_question: "Quels sont les cadres d'analyse dans lesquels le terrorisme\
+      \ a \xE9t\xE9 consid\xE9r\xE9 (\xE0 partir de 2020) ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_security_studies
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_security_studies
+task_alias: security_studies

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_sociology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "soins de sant\xE9 et \xE9ducation gratuits pour tous"
+      B: un salaire minimum
+      C: le plein emploi
+      D: "bien-\xEAtre universel"
+    input_correct_responses:
+    - B
+    input_question: "Lequel des \xE9l\xE9ments suivants l'\xC9tat-providence d'apr\xE8\
+      s-guerre de 1948 n'a-t-il pas vis\xE9 \xE0 fournir\_:"
+  - input_choice_list:
+      A: "un man\xE8ge forain"
+      B: un cirque
+      C: "un th\xE9\xE2tre de marionnettes"
+      D: un ballet
+    input_correct_responses:
+    - C
+    input_question: "Que d\xE9crit Berger (1963) comme m\xE9taphore de la r\xE9alit\xE9\
+      \ sociale ?"
+  - input_choice_list:
+      A: "la bureaucratie croissante de l'\xC9tat a fait de la religion une partie\
+        \ marginale de nos vies"
+      B: "malgr\xE9 l'affaiblissement de l'autorit\xE9 traditionnelle, nos\
+        \ vies quotidiennes et notre \xAB\_bon sens\_\xBB restent fa\xE7onn\xE9s par\
+        \ les croyances et les valeurs religieuses"
+      C: "la participation religieuse au culte collectif a peut-\xEAtre diminu\xE9\
+        , mais les gens pratiquent toujours leur religion en priv\xE9"
+      D: les gens sont beaucoup plus susceptibles de discuter de leurs croyances religieuses
+        dans des cadres publics et informels
+    input_correct_responses:
+    - B
+    input_question: "Le passage de la \xAB\_religion civile\_\xBB \xE0 la \xAB\_religion\
+      \ commune\_\xBB signifie que\_:"
+  - input_choice_list:
+      A: "la tendance de la classe ouvri\xE8re \xE0 ne pas r\xE9aliser ses propres\
+        \ int\xE9r\xEAts"
+      B: "une id\xE9ologie dominante qui l\xE9gitime le pouvoir \xE9conomique, politique\
+        \ et culturel"
+      C: "une forme de double conscience bas\xE9e sur l'id\xE9ologie et les exp\xE9\
+        riences quotidiennes"
+      D: "un mode de paiement donn\xE9 pour les topiaires en circulation"
+    input_correct_responses:
+    - B
+    input_question: "Le terme \xAB h\xE9g\xE9monie \xBB d\xE9signe :"
+  - input_choice_list:
+      A: "la plupart des gr\xE8ves passent inaper\xE7ues des employeurs et des m\xE9\
+        dias"
+      B: "tous les conflits du travail ne seront pas signal\xE9s par l'employeur"
+      C: "la d\xE9finition des gr\xE8ves exclut celles qui impliquent moins de dix\
+        \ travailleurs ou qui durent moins d'un jour"
+      D: "il est difficile de comparer des gr\xE8ves qui ont \xE9t\xE9 mesur\xE9es\
+        \ de diff\xE9rentes mani\xE8res"
+    input_correct_responses:
+    - A
+    input_question: "Lequel des \xE9l\xE9ments suivants n'est pas un probl\xE8\
+      me associ\xE9 aux statistiques officielles sur les gr\xE8ves\_?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_sociology
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_sociology
+task_alias: sociology

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_us_foreign_policy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Il a endommag\xE9 le soutien au mod\xE8le am\xE9ricain d'\xE9conomie\
+        \ politique et de capitalisme"
+      B: "Cela a provoqu\xE9 la col\xE8re des \xC9tats-Unis pour avoir exag\xE9r\xE9\
+        \ la crise"
+      C: "Il a accru le soutien au leadership mondial am\xE9ricain sous le pr\xE9\
+        sident Obama"
+      D: "Il a r\xE9duit l'utilisation mondiale du dollar am\xE9ricain"
+    input_correct_responses:
+    - A
+    input_question: "Comment la crise financi\xE8re de 2008 a-t-elle affect\xE9 la\
+      \ r\xE9putation internationale de l'Am\xE9rique ?"
+  - input_choice_list:
+      A: "Il a mondialis\xE9 le confinement."
+      B: "Il a militaris\xE9 le confinement."
+      C: "Il appelait au d\xE9veloppement de la bombe \xE0 hydrog\xE8ne."
+      D: "Tout ce qui pr\xE9c\xE8de"
+    input_correct_responses:
+    - D
+    input_question: "Comment le NSC-68 a-t-il chang\xE9 la strat\xE9gie am\xE9ricaine\_\
+      ?"
+  - input_choice_list:
+      A: politique antiterroriste.
+      B: "politique \xE9conomique."
+      C: "police \xE9trang\xE8re."
+      D: politique internationale.
+    input_correct_responses:
+    - C
+    input_question: "Le domaine des d\xE9cisions politiques concernant principalement\
+      \ les relations entre les \xC9tats-Unis et le reste du monde est connu sous\
+      \ le nom de"
+  - input_choice_list:
+      A: "Les r\xE9alistes d\xE9fensifs mettent davantage l'accent sur le r\xF4\
+        le des institutions internationales"
+      B: "Les r\xE9alistes d\xE9fensifs accordent moins d'importance aux facteurs\
+        \ g\xE9ographiques"
+      C: "Les r\xE9alistes offensifs accordent plus de priorit\xE9 \xE0 l'int\xE9\
+        r\xEAt national que les r\xE9alistes d\xE9fensifs."
+      D: "Les r\xE9alistes d\xE9fensifs pensent que les \xC9tats maximisent la s\xE9\
+        curit\xE9, tandis que les r\xE9alistes offensifs pensent que les \xC9tats\
+        \ maximisent le pouvoir"
+    input_correct_responses:
+    - D
+    input_question: "En quoi le r\xE9alisme d\xE9fensif et le r\xE9alisme offensif\
+      \ diff\xE8rent-ils dans leur explication du comportement de l'\xC9tat\_?"
+  - input_choice_list:
+      A: La mondialisation avait rendu les hommes comme lui trop riches
+      B: "La mondialisation n'a profit\xE9 qu'\xE0 certains \xC9tats am\xE9\
+        ricains, comme New York"
+      C: "Les \xE9lites lib\xE9rales avaient encourag\xE9 la mondialisation, tandis\
+        \ que les "Am\xE9ricains ordinaires" perdaient des emplois \xE0\
+        \ cause d'elle"
+      D: "La mondialisation a encourag\xE9 des guerres commerciales dommageables"
+    input_correct_responses:
+    - C
+    input_question: "Comment Donald Trump a-t-il attaqu\xE9 la mondialisation lors\
+      \ de la campagne de 2016 ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_us_foreign_policy
+tag: mmlu_fr_llama_social_sciences_tasks
+task: mmlu_fr_llama_us_foreign_policy
+task_alias: us_foreign_policy

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_virology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Parce qu'ils n'ont pas d'acide nucl\xE9ique"
+      B: Ils ont besoin d'un virus auxiliaire
+      C: "R\xE9pliquer uniquement dans les cellules en division"
+      D: "Peut s'int\xE9grer dans les chromosomes de l'h\xF4te"
+    input_correct_responses:
+    - A
+    input_question: "Pourquoi les parvovirus sont-ils un parasite tr\xE8s impactant\
+      \ ?"
+  - input_choice_list:
+      A: "Virus fragiles souvent visualis\xE9s avec de l'ARN crachant de l'int\xE9\
+        rieur"
+      B: "Virus allong\xE9s"
+      C: "Virus icosa\xE9driques avec enveloppe"
+      D: "Tr\xE8s gros virus"
+    input_correct_responses:
+    - A
+    input_question: "Laquelle des caract\xE9ristiques suivantes est une caract\xE9\
+      ristique morphologique des paramyxovirus."
+  - input_choice_list:
+      A: "Collecte de donn\xE9es"
+      B: "Mise en place d'un r\xE9f\xE9rentiel d'\xE9chantillons biologiques"
+      C: "Int\xE9r\xEAt des participants"
+      D: Administration du questionnaire par le personnel
+    input_correct_responses:
+    - B
+    input_question: "Un facteur cl\xE9 facilitant l'application des \xE9tudes\
+      \ cas-t\xE9moins embo\xEEt\xE9es du MACS \xE9tait\_:"
+  - input_choice_list:
+      A: Changement de comportement
+      B: "Couverture compl\xE8te"
+      C: "Utilisation efficace de la th\xE9orie comportementale"
+      D: Changement de comportement durable
+    input_correct_responses:
+    - D
+    input_question: "L'objectif le plus important d'une intervention comportementale\
+      \ est\_:"
+  - input_choice_list:
+      A: "Personnes infect\xE9es par le VIH s\xE9ropr\xE9valentes"
+      B: "S\xE9ron\xE9gatifs"
+      C: "S\xE9roconvertisseurs"
+      D: "S\xE9ron\xE9gatifs \xE0 haut risque"
+    input_correct_responses:
+    - C
+    input_question: "La dur\xE9e m\xE9diane de survie au SIDA et au d\xE9c\xE8s a\
+      \ \xE9t\xE9 \xE9tablie comme suit\_:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_virology
+tag: mmlu_fr_llama_other_tasks
+task: mmlu_fr_llama_virology
+task_alias: virology

lm_eval/tasks/llama3/instruct/mmlu_fr/mmlu_fr_world_religions.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: L'arc-en-ciel
+      B: Circoncision
+      C: Un fils
+      D: Bar Mitzvah
+    input_correct_responses:
+    - B
+    input_question: Quel est le signe de l'alliance pour les hommes juifs ?
+  - input_choice_list:
+      A: Le Dharma
+      B: La Sangha
+      C: Le Bouddha
+      D: Le bodhisattva
+    input_correct_responses:
+    - A
+    input_question: "Quel est le deuxi\xE8me joyau du bouddhisme ?"
+  - input_choice_list:
+      A: Chang
+      B: Zhou
+      C: Han
+      D: Xia
+    input_correct_responses:
+    - B
+    input_question: "Dans quelle dynastie le "Mandat du Ciel" a-t-il \xE9\
+      t\xE9 d\xE9velopp\xE9 pour l\xE9gitimer les nouveaux dirigeants\_?"
+  - input_choice_list:
+      A: "H\xF6nen"
+      B: Tanaka
+      C: Tokugawa
+      D: Meiji
+    input_correct_responses:
+    - D
+    input_question: "Quel gouvernement japonais a promu une sorte de culte national\
+      \ bas\xE9 sur l'empereur et ses associations avec les kami\_?"
+  - input_choice_list:
+      A: Textes rituels
+      B: Textes philosophiques
+      C: Hymnes
+      D: Histoires d'origine
+    input_correct_responses:
+    - B
+    input_question: "Comment caract\xE9riser les Upanishads ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_world_religions
+tag: mmlu_fr_llama_humanities_tasks
+task: mmlu_fr_llama_world_religions
+task_alias: world_religions

lm_eval/tasks/llama3/instruct/mmlu_fr/utils.py

+from functools import partial
+
+import datasets
+
+
+def process_docs(dataset: datasets.Dataset, subtask) -> datasets.Dataset:
+    return dataset.filter(
+        lambda example: example["subtask_name"] == f"mmlu_fr_chat.{subtask}"
+    )
+
+
+process_docs_college_biology = partial(process_docs, subtask="college_biology")
+process_docs_international_law = partial(process_docs, subtask="international_law")
+process_docs_philosophy = partial(process_docs, subtask="philosophy")
+process_docs_high_school_physics = partial(process_docs, subtask="high_school_physics")
+process_docs_marketing = partial(process_docs, subtask="marketing")
+process_docs_econometrics = partial(process_docs, subtask="econometrics")
+process_docs_college_chemistry = partial(process_docs, subtask="college_chemistry")
+process_docs_high_school_geography = partial(
+    process_docs, subtask="high_school_geography"
+)
+process_docs_high_school_us_history = partial(
+    process_docs, subtask="high_school_us_history"
+)
+process_docs_us_foreign_policy = partial(process_docs, subtask="us_foreign_policy")
+process_docs_high_school_world_history = partial(
+    process_docs, subtask="high_school_world_history"
+)
+process_docs_moral_disputes = partial(process_docs, subtask="moral_disputes")
+process_docs_human_sexuality = partial(process_docs, subtask="human_sexuality")
+process_docs_medical_genetics = partial(process_docs, subtask="medical_genetics")
+process_docs_world_religions = partial(process_docs, subtask="world_religions")
+process_docs_clinical_knowledge = partial(process_docs, subtask="clinical_knowledge")
+process_docs_moral_scenarios = partial(process_docs, subtask="moral_scenarios")
+process_docs_high_school_microeconomics = partial(
+    process_docs, subtask="high_school_microeconomics"
+)
+process_docs_logical_fallacies = partial(process_docs, subtask="logical_fallacies")
+process_docs_virology = partial(process_docs, subtask="virology")
+process_docs_formal_logic = partial(process_docs, subtask="formal_logic")
+process_docs_computer_security = partial(process_docs, subtask="computer_security")
+process_docs_abstract_algebra = partial(process_docs, subtask="abstract_algebra")
+process_docs_professional_accounting = partial(
+    process_docs, subtask="professional_accounting"
+)
+process_docs_astronomy = partial(process_docs, subtask="astronomy")
+process_docs_elementary_mathematics = partial(
+    process_docs, subtask="elementary_mathematics"
+)
+process_docs_miscellaneous = partial(process_docs, subtask="miscellaneous")
+process_docs_college_computer_science = partial(
+    process_docs, subtask="college_computer_science"
+)
+process_docs_public_relations = partial(process_docs, subtask="public_relations")
+process_docs_high_school_computer_science = partial(
+    process_docs, subtask="high_school_computer_science"
+)
+process_docs_nutrition = partial(process_docs, subtask="nutrition")
+process_docs_management = partial(process_docs, subtask="management")
+process_docs_human_aging = partial(process_docs, subtask="human_aging")
+process_docs_high_school_mathematics = partial(
+    process_docs, subtask="high_school_mathematics"
+)
+process_docs_high_school_statistics = partial(
+    process_docs, subtask="high_school_statistics"
+)
+process_docs_professional_law = partial(process_docs, subtask="professional_law")
+process_docs_high_school_european_history = partial(
+    process_docs, subtask="high_school_european_history"
+)
+process_docs_jurisprudence = partial(process_docs, subtask="jurisprudence")
+process_docs_anatomy = partial(process_docs, subtask="anatomy")
+process_docs_college_mathematics = partial(process_docs, subtask="college_mathematics")
+process_docs_professional_medicine = partial(
+    process_docs, subtask="professional_medicine"
+)
+process_docs_professional_psychology = partial(
+    process_docs, subtask="professional_psychology"
+)
+process_docs_college_physics = partial(process_docs, subtask="college_physics")
+process_docs_high_school_chemistry = partial(
+    process_docs, subtask="high_school_chemistry"
+)
+process_docs_college_medicine = partial(process_docs, subtask="college_medicine")
+process_docs_high_school_macroeconomics = partial(
+    process_docs, subtask="high_school_macroeconomics"
+)
+process_docs_high_school_psychology = partial(
+    process_docs, subtask="high_school_psychology"
+)
+process_docs_high_school_government_and_politics = partial(
+    process_docs, subtask="high_school_government_and_politics"
+)
+process_docs_high_school_biology = partial(process_docs, subtask="high_school_biology")
+process_docs_electrical_engineering = partial(
+    process_docs, subtask="electrical_engineering"
+)
+process_docs_business_ethics = partial(process_docs, subtask="business_ethics")
+process_docs_conceptual_physics = partial(process_docs, subtask="conceptual_physics")
+process_docs_global_facts = partial(process_docs, subtask="global_facts")
+process_docs_prehistory = partial(process_docs, subtask="prehistory")
+process_docs_sociology = partial(process_docs, subtask="sociology")
+process_docs_machine_learning = partial(process_docs, subtask="machine_learning")
+process_docs_security_studies = partial(process_docs, subtask="security_studies")

lm_eval/tasks/llama3/instruct/mmlu_hi/_continuation_template_yaml

+dataset_path: meta-llama/Llama-3.1-8B-Instruct-evals
+dataset_name: Llama-3.1-8B-Instruct-evals__multilingual_mmlu_hi__details
+output_type: generate_until
+test_split: latest
+doc_to_text: "Given the following question and four candidate answers (A, B, C and D), choose the best answer.\nQuestion: {{input_question.strip()}}\nA. {{input_choice_list.A}}\nB. {{input_choice_list.B}}\nC. {{input_choice_list.C}}\nD. {{input_choice_list.D}}\nYour response should end with \"The best answer is [the_answer_letter]\" where the [the_answer_letter] is one of A, B, C or D."
+gen_prefix: "The best answer is"
+doc_to_target: "{{input_correct_responses[0]}}."
+num_fewshot: 5
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+    regexes_to_ignore:
+      - "\\$"
+      - "\\.$"
+generation_kwargs:
+  do_sample: false
+  temperature: 0
+  until:
+    - "."
+  max_gen_toks: 10
+filter_list:
+  - name: strict_match
+    filter:
+      - function: remove_whitespace
+      - function: take_first
+metadata:
+  version: 1.0
+dataset_kwargs:
+  trust_remote_code: true

lm_eval/tasks/llama3/instruct/mmlu_hi/_mmlu_hi_humanities.yaml

+group: mmlu_hi_llama_humanities
+group_alias: humanities
+task:
+  - mmlu_hi_llama_humanities_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_hi/_mmlu_hi_llama.yaml

+group: mmlu_hi_llama
+task:
+  - mmlu_hi_llama_stem
+  - mmlu_hi_llama_other
+  - mmlu_hi_llama_social_sciences
+  - mmlu_hi_llama_humanities
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_hi/_mmlu_hi_other.yaml

+group: mmlu_hi_llama_other
+group_alias: other
+task:
+  - mmlu_hi_llama_other_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_hi/_mmlu_hi_social_sciences.yaml

+group: mmlu_hi_llama_social_sciences
+group_alias: social sciences
+task:
+  - mmlu_hi_llama_social_sciences_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_hi/_mmlu_hi_stem.yaml

+group: mmlu_hi_llama_stem
+group_alias: stem
+task:
+  - mmlu_hi_llama_stem_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_abstract_algebra.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '0'
+      B: '1'
+      C: '2'
+      D: '3'
+    input_correct_responses:
+    - B
+    input_question: "Z_3 \u092E\u0947\u0902 \u0938\u092D\u0940 c \u0910\u0938\u0947\
+      \ \u0916\u094B\u091C\u0947\u0902 \u0915\u093F Z_3[x]/(x^2 + c) \u090F\u0915\
+      \ \u092B\u093C\u0940\u0932\u094D\u0921 \u0939\u094B\u0964"
+  - input_choice_list:
+      A: "\u0938\u091A \u0938\u091A"
+      B: "\u092E\u093F\u0925\u094D\u092F\u093E, \u092E\u093F\u0925\u094D\u092F\u093E"
+      C: "\u0938\u0939\u0940 \u0917\u0932\u0924"
+      D: "\u091D\u0942\u0920\u093E \u0938\u091A\u094D\u091A\u093E"
+    input_correct_responses:
+    - B
+    input_question: "\u0915\u0925\u0928 1 | \u092F\u0926\u093F AH \u0915\u093F\u0938\
+      \u0940 \u0915\u093E\u0930\u0915 \u0938\u092E\u0942\u0939 \u0915\u093E \u090F\
+      \u0915 \u0924\u0924\u094D\u0935 \u0939\u0948, \u0924\u094B |aH| \u0935\u093F\
+      \u092D\u093E\u091C\u093F\u0924 \u0915\u0930\u0924\u093E \u0939\u0948 |\u090F\
+      |. \u0915\u0925\u0928 2 | \u092F\u0926\u093F H \u0914\u0930 K, G \u0915\u0947\
+      \ \u0909\u092A\u0938\u092E\u0942\u0939 \u0939\u0948\u0902 \u0924\u094B HK, G\
+      \ \u0915\u093E \u0909\u092A\u0938\u092E\u0942\u0939 \u0939\u0948\u0964"
+  - input_choice_list:
+      A: "\u0938\u091A \u0938\u091A"
+      B: "\u092E\u093F\u0925\u094D\u092F\u093E, \u092E\u093F\u0925\u094D\u092F\u093E"
+      C: "\u0938\u0939\u0940 \u0917\u0932\u0924"
+      D: "\u091D\u0942\u0920\u093E \u0938\u091A\u094D\u091A\u093E"
+    input_correct_responses:
+    - C
+    input_question: "\u0915\u0925\u0928 1 | \u0938\u092E\u0942\u0939 \u0915\u093E\
+      \ \u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0924\u0924\u094D\u0935\
+      \ \u0938\u092E\u0942\u0939 \u0915\u093E \u090F\u0915 \u091A\u0915\u094D\u0930\
+      \u0940\u092F \u0909\u092A\u0938\u092E\u0942\u0939 \u0909\u0924\u094D\u092A\u0928\
+      \u094D\u0928 \u0915\u0930\u0924\u093E \u0939\u0948\u0964 \u0915\u0925\u0928\
+      \ 2 | \u0938\u092E\u092E\u093F\u0924 \u0938\u092E\u0942\u0939 S_10 \u092E\u0947\
+      \u0902 10 \u0924\u0924\u094D\u0935 \u0939\u0948\u0902\u0964"
+  - input_choice_list:
+      A: "\u0938\u091A \u0938\u091A"
+      B: "\u092E\u093F\u0925\u094D\u092F\u093E, \u092E\u093F\u0925\u094D\u092F\u093E"
+      C: "\u0938\u0939\u0940 \u0917\u0932\u0924"
+      D: "\u091D\u0942\u0920\u093E \u0938\u091A\u094D\u091A\u093E"
+    input_correct_responses:
+    - A
+    input_question: "\u0915\u0925\u0928 1| \u090F\u0915 \u092A\u0930\u093F\u092E\u093F\
+      \u0924 \u0938\u092E\u0941\u091A\u094D\u091A\u092F \u0938\u0947 \u092A\u094D\u0930\
+      \u0924\u094D\u092F\u0947\u0915 \u092B\u0932\u0928 \u0938\u094D\u0935\u092F\u0902\
+      \ \u090F\u0915 \u0938\u0947 \u090F\u0915 \u0939\u094B\u0928\u093E \u091A\u093E\
+      \u0939\u093F\u090F\u0964 \u0915\u0925\u0928 2 | \u090F\u092C\u0947\u0932\u093F\
+      \u092F\u0928 \u0938\u092E\u0942\u0939 \u0915\u093E \u092A\u094D\u0930\u0924\u094D\
+      \u092F\u0947\u0915 \u0909\u092A\u0938\u092E\u0942\u0939 \u090F\u092C\u0947\u0932\
+      \u093F\u092F\u0928 \u0939\u0948\u0964"
+  - input_choice_list:
+      A: '0'
+      B: '3'
+      C: '12'
+      D: '30'
+    input_correct_responses:
+    - A
+    input_question: "\u0935\u0932\u092F 2Z \u0915\u0940 \u0935\u093F\u0936\u0947\u0937\
+      \u0924\u093E \u091C\u094D\u091E\u093E\u0924 \u0915\u0940\u091C\u093F\u090F\u0964"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_abstract_algebra
+tag: mmlu_hi_llama_stem_tasks
+task: mmlu_hi_llama_abstract_algebra
+task_alias: abstract_algebra

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_anatomy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u092A\u0939\u0932\u093E \u0917\u094D\u0930\u0938\u0928\u0940 \u091A\u093E\
+        \u092A"
+      B: "\u092A\u0939\u0932\u093E \u0914\u0930 \u0926\u0942\u0938\u0930\u093E \u0917\
+        \u094D\u0930\u0938\u0928\u0940 \u092E\u0947\u0939\u0930\u093E\u092C"
+      C: "\u0926\u0942\u0938\u0930\u093E \u0917\u094D\u0930\u0938\u0928\u0940 \u091A\
+        \u093E\u092A"
+      D: "\u0926\u0942\u0938\u0930\u093E \u0914\u0930 \u0924\u0940\u0938\u0930\u093E\
+        \ \u0917\u094D\u0930\u0938\u0928\u0940 \u092E\u0947\u0939\u0930\u093E\u092C"
+    input_correct_responses:
+    - D
+    input_question: "\u0939\u093E\u0907\u092A\u094B\u0907\u0921 \u0939\u0921\u094D\
+      \u0921\u0940 \u0915\u0940 \u092D\u094D\u0930\u0942\u0923\u0940\u092F \u0909\u0924\
+      \u094D\u092A\u0924\u094D\u0924\u093F \u0915\u094D\u092F\u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0938\u0941\u092A\u094D\u0930\u093E\u0911\u0930\u094D\u092C\u093F\u091F\
+        \u0932 \u0924\u0902\u0924\u094D\u0930\u093F\u0915\u093E"
+      B: "\u0907\u0928\u094D\u092B\u094D\u0930\u093E\u0911\u0930\u094D\u092C\u093F\
+        \u091F\u0932 \u0924\u0902\u0924\u094D\u0930\u093F\u0915\u093E"
+      C: "\u092E\u093E\u0928\u0938\u093F\u0915 \u0924\u0902\u0924\u094D\u0930\u093F\
+        \u0915\u093E"
+      D: "\u0907\u0928\u092E\u0947 \u0938\u0947 \u0915\u094B\u0908 \u092D\u0940 \u0928\
+        \u0939\u0940\u0902"
+    input_correct_responses:
+    - D
+    input_question: "\u091F\u094D\u0930\u093E\u0907\u091C\u0947\u092E\u093F\u0928\u0932\
+      \ \u0924\u0902\u0924\u094D\u0930\u093F\u0915\u093E \u0915\u0940 \u0907\u0928\
+      \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u0936\u093E\u0916\u093E\
+      \ \u092E\u0947\u0902 \u0926\u0948\u0939\u093F\u0915 \u092E\u094B\u091F\u0930\
+      \ \u092A\u094D\u0930\u0915\u094D\u0930\u093F\u092F\u093E\u090F\u0902 \u0939\u094B\
+      \u0924\u0940 \u0939\u0948\u0902?"
+  - input_choice_list:
+      A: "\u0915\u094B\u0908 \u0938\u0902\u0935\u0947\u0926\u0940 \u0938\u0902\u0930\
+        \u0915\u094D\u0937\u0923 \u0928\u0939\u0940\u0902 \u0939\u0948."
+      B: "2 \u092E\u093F\u092E\u0940 \u0915\u0940 \u091C\u0917\u0939 \u0938\u0947\
+        \ \u0905\u0932\u0917 \u0915\u093F\u090F \u0917\u090F \u0939\u0948\u0902\u0964"
+      C: "\u0917\u0930\u094D\u0926\u0928 \u0924\u0915 \u0935\u093F\u0938\u094D\u0924\
+        \u093E\u0930 \u0915\u0930\u0947\u0902."
+      D: "\u0936\u094D\u0935\u0938\u0928 \u0909\u092A\u0915\u0932\u093E \u0938\u0947\
+        \ \u092C\u0928\u0947 \u0939\u094B\u0924\u0947 \u0939\u0948\u0902\u0964"
+    input_correct_responses:
+    - C
+    input_question: "\u092B\u0941\u0938\u094D\u092B\u0941\u0938 \u0915\u093E \u0906\
+      \u0935\u0930\u0923"
+  - input_choice_list:
+      A: "\u090A\u092A\u0930\u0940 \u092A\u093E\u0930\u094D\u0936\u094D\u0935 \u0915\
+        \u0943\u0928\u094D\u0924\u0915\u094B\u0902 \u0915\u093E \u0905\u0924\u094D\
+        \u092F\u0927\u093F\u0915 \u0913\u0935\u0930\u092C\u093E\u0907\u091F\u0964"
+      B: "\u090A\u092A\u0930\u0940 \u0915\u0947\u0902\u0926\u094D\u0930\u0940\u092F\
+        \ \u0915\u0943\u0928\u094D\u0924\u0915\u094B\u0902 \u0915\u093E \u0928\u0915\
+        \u093E\u0930\u093E\u0924\u094D\u092E\u0915 \u0913\u0935\u0930\u091C\u0947\u091F\
+        \u0964"
+      C: "\u090A\u092A\u0930\u0940 \u092A\u093E\u0930\u094D\u0936\u094D\u0935 \u0915\
+        \u0943\u0928\u094D\u0924\u0915\u094B\u0902 \u0915\u093E \u0905\u0924\u093F\
+        \u0930\u093F\u0915\u094D\u0924 \u0913\u0935\u0930\u091C\u0947\u091F\u0964"
+      D: "\u090A\u092A\u0930\u0940 \u0915\u0947\u0902\u0926\u094D\u0930\u0940\u092F\
+        \ \u0915\u0943\u0928\u094D\u0924\u0915\u094B\u0902 \u0915\u093E \u0905\u0924\
+        \u093F\u0930\u093F\u0915\u094D\u0924 \u0913\u0935\u0930\u091C\u0947\u091F\u0964"
+    input_correct_responses:
+    - C
+    input_question: "\u090F\u0902\u0917\u0932 \u0915\u0947 \u0915\u094D\u0932\u093E\
+      \u0938 II \u0921\u093F\u0935 2 \u092E\u0947\u0902 \u0930\u094B\u0921\u093C\u093E\
+      \ \u0939\u0948"
+  - input_choice_list:
+      A: "\u092A\u0947\u091F"
+      B: "\u0915\u092A\u093E\u0932"
+      C: "\u092B\u0941\u092B\u094D\u092B\u0941\u0938"
+      D: "\u0930\u0940\u0922\u093C \u0915\u0940 \u0939\u0921\u094D\u0921\u0940 \u092E\
+        \u0947\u0902"
+    input_correct_responses:
+    - B
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0936\u093E\
+      \u0930\u0940\u0930\u093F\u0915 \u0917\u0941\u0939\u093E \u0939\u0948 \u091C\u093F\
+      \u0938\u092E\u0947\u0902 \u092A\u093F\u091F\u094D\u092F\u0942\u091F\u0930\u0940\
+      \ \u0917\u094D\u0930\u0902\u0925\u093F \u0939\u094B\u0924\u0940 \u0939\u0948\
+      ?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_anatomy
+tag: mmlu_hi_llama_stem_tasks
+task: mmlu_hi_llama_anatomy
+task_alias: anatomy