Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_biology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Traduzione
+      B: Coniugazione
+      C: Trasduzione specializzata
+      D: Trasformazione
+    input_correct_responses:
+    - A
+    input_question: "Quale dei seguenti non \xE8 un modo per formare DNA ricombinante?"
+  - input_choice_list:
+      A: Modificando il pH ottimale dell'enzima
+      B: Cambiando la posizione dell'enzima nella cellula
+      C: Cambiando la forma della proteina
+      D: "Un cambiamento di amminoacido lontano dal sito attivo non pu\xF2 alterare\
+        \ la specificit\xE0 del substrato dell'enzima."
+    input_correct_responses:
+    - C
+    input_question: "Una mutazione in un enzima batterico ha trasformato un amminoacido\
+      \ precedentemente polare in un amminoacido non polare. Questo amminoacido si\
+      \ trovava in un sito distante dal sito attivo dell'enzima. In che modo questa\
+      \ mutazione potrebbe alterare la specificit\xE0 del substrato dell'enzima?"
+  - input_choice_list:
+      A: Membrana plasmatica-apparato del Golgi-ribosoma-vescicola secretiva-RE rugoso
+      B: Apparato ribosoma-Golgi-ER ruvido-vescicola secretiva-membrana plasmatica
+      C: Membrana plasmatica-apparato del Golgi-ribosoma-vescicola secretiva-RE rugoso
+      D: Ribosoma-ER rugoso-apparato del Golgi-vescicola secretiva-membrana plasmatica
+    input_correct_responses:
+    - D
+    input_question: "Nelle cellule animali, quale delle seguenti rappresenta la via\
+      \ pi\xF9 probabile che segue una proteina secretoria quando viene sintetizzata\
+      \ in una cellula?"
+  - input_choice_list:
+      A: Cicline
+      B: Proteine chinasi
+      C: Punti di controllo
+      D: Cellule di fibroblasti
+    input_correct_responses:
+    - D
+    input_question: "Quale dei seguenti elementi non \xE8 noto per essere coinvolto\
+      \ nel controllo della divisione cellulare?"
+  - input_choice_list:
+      A: le ali di un uccello e le ali di un pipistrello
+      B: le pinne di una balena e le braccia di un uomo
+      C: le pinne pettorali di una focena e le pinne di una foca
+      D: le zampe anteriori di un insetto e le zampe anteriori di un cane
+    input_correct_responses:
+    - D
+    input_question: Le strutture omologhe sono spesso citate come prova del processo
+      di selezione naturale. Tutti i seguenti sono esempi di strutture omologhe TRANNE
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_biology
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_high_school_biology
+task_alias: high_school_biology

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_chemistry.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: HCl
+      B: H2SO3
+      C: SO2
+      D: Al(NO3)3
+    input_correct_responses:
+    - C
+    input_question: "Quale delle seguenti \xE8 considerata un'anidride acida?"
+  - input_choice_list:
+      A: PCl4F
+      B: BF3
+      C: CO2
+      D: Si(CH3)4
+    input_correct_responses:
+    - A
+    input_question: Quale delle seguenti dovrebbe essere una molecola polare?
+  - input_choice_list:
+      A: Tutti i cloruri, i bromuri e gli ioduri sono solubili
+      B: Tutti i solfati sono solubili
+      C: Tutti gli idrossidi sono solubili
+      D: Tutti i composti contenenti ammonio sono solubili
+    input_correct_responses:
+    - D
+    input_question: "Dalle regole di solubilit\xE0, quale delle seguenti affermazioni\
+      \ \xE8 vera?"
+  - input_choice_list:
+      A: 3,89
+      B: '7.78'
+      C: '5.78'
+      D: '2.33'
+    input_correct_responses:
+    - C
+    input_question: "Viene sintetizzato un nuovo composto e si scopre che \xE8 un\
+      \ acido monoprotico con una massa molare di 248 g/mol. Quando 0,0050 moli di\
+      \ questo acido vengono sciolte in 0,500 L di acqua, il pH viene misurato come\
+      \ 3,89. Qual \xE8 il pKa di questo acido?"
+  - input_choice_list:
+      A: 0,500 moli
+      B: 1,00 talpa
+      C: 2,00 talpe
+      D: 3,00 talpe
+    input_correct_responses:
+    - C
+    input_question: "Una soluzione contiene 2,00 moli di acido acetico, CH3COOH, e\
+      \ 1,00 moli di acetato di calcio, Ca(CH3COO)2. La soluzione \xE8 in grado di\
+      \ resistere all'aggiunta di una piccola quantit\xE0 di acido forte o base\
+      \ forte con solo lievi variazioni del pH della soluzione. Quantit\xE0 maggiori\
+      \ di acido forte o base forte possono causare un cambiamento significativo nel\
+      \ pH. Quante moli di acido nitrico, HNO3, possono essere aggiunte prima che\
+      \ il pH inizi a cambiare in modo significativo?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_chemistry
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_high_school_chemistry
+task_alias: high_school_chemistry

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_computer_science.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Un'auto avvisa il conducente che sta per colpire un oggetto.
+      B: Un escursionista utilizza un orologio GPS per tenere traccia della sua posizione.
+      C: "Un frigorifero ordina il latte da un servizio di consegna online quando\
+        \ il latte nel frigorifero \xE8 quasi finito."
+      D: Un corridore utilizza un orologio con sensori ottici per monitorare la sua
+        frequenza cardiaca.
+    input_correct_responses:
+    - C
+    input_question: "Quale dei seguenti \xE8 un esempio di utilizzo di un dispositivo\
+      \ nell'Internet delle cose (IoT)?"
+  - input_choice_list:
+      A: "Le attivit\xE0 di un utente che naviga in una finestra anonima non saranno\
+        \ visibili alle persone che monitorano la rete dell'utente, come l'amministratore\
+        \ di sistema."
+      B: Gli articoli inseriti nel carrello di un negozio Web per futuri acquisti
+        durante la sessione di navigazione anonima non verranno salvati sul computer
+        dell'utente.
+      C: "Un utente non sar\xE0 in grado di accedere agli account di posta elettronica\
+        \ o ai social media durante la sessione di navigazione anonima."
+      D: "Un utente che naviga in una finestra anonima sar\xE0 protetto dai virus\
+        \ lanciati da qualsiasi sito web visitato o file scaricati."
+    input_correct_responses:
+    - B
+    input_question: "Molti browser Web consentono agli utenti di aprire finestre anonime.\
+      \ Durante una sessione di navigazione in una finestra anonima, il browser non\
+      \ registra n\xE9 la cronologia di navigazione n\xE9 l'elenco dei file scaricati.\
+      \ Quando si esce dalla finestra anonima, i cookie creati durante la sessione\
+      \ vengono cancellati. Quale delle seguenti affermazioni relative alle sessioni\
+      \ di navigazione in una finestra anonima \xE8 vera?"
+  - input_choice_list:
+      A: Errore
+      B: abc
+      C: cba
+      D: C
+    input_correct_responses:
+    - C
+    input_question: "Qual \xE8 l'output di "abc"[::-1] in Python 3?"
+  - input_choice_list:
+      A: Foxtrot
+      B: Hotel
+      C: novembre
+      D: yankee
+    input_correct_responses:
+    - C
+    input_question: "Nel programma seguente, il valore iniziale di x \xE8 5 e il valore\
+      \ iniziale di y \xE8 10. IF (X < O) { DISPLAY ("Foxtrot") } ELSE\
+      \ { IF (X > y) { DISPLAY ("Hotel") } ELSE { IF (y > O) { DISPLAY\
+      \ ("Novembre") } ELSE { DISPLAY ("Yankee") } } } Cosa viene\
+      \ visualizzato come risultato dell'esecuzione del programma?"
+  - input_choice_list:
+      A: "Passaggio 3: aumentare il valore della posizione di 1. Passaggio 4: ripetere\
+        \ i passaggi 2 e 3 finch\xE9 il valore del conteggio non \xE8 maggiore di\
+        \ 100."
+      B: "Passaggio 3: aumentare il valore della posizione di 1. Passaggio 4: ripetere\
+        \ i passaggi 2 e 3 fino a quando il valore della posizione \xE8 maggiore di\
+        \ n."
+      C: "Passaggio 3: ripetere il passaggio 2 finch\xE9 il valore del conteggio non\
+        \ \xE8 maggiore di 100. Passaggio 4: aumentare il valore della posizione di\
+        \ 1."
+      D: "Passaggio 3: ripetere il passaggio 2 finch\xE9 il valore della posizione\
+        \ non \xE8 maggiore di n. Passaggio 4: aumentare il valore del conteggio di\
+        \ 1."
+    input_correct_responses:
+    - D
+    input_question: "Una lista di numeri ha n elementi, indicizzati da 1 a n. Il seguente\
+      \ algoritmo ha lo scopo di visualizzare il numero di elementi nell'elenco\
+      \ che hanno un valore maggiore di 100. L'algoritmo utilizza le variabili\
+      \ count e position. Mancano i passaggi 3 e 4. Passaggio 1: impostare il conteggio\
+      \ su 0 e la posizione su 1. Passaggio 2: se il valore dell'elemento nella\
+      \ posizione dell'indice \xE8 maggiore di 100, aumentare il valore del conteggio\
+      \ di 1. Passaggio 3: (passaggio mancante) Passaggio 4: (passaggio mancante )\
+      \ Passo 5: Visualizzare il valore del conteggio. Quale dei seguenti potrebbe\
+      \ essere utilizzato per sostituire i passaggi 3 e 4 in modo che l'algoritmo\
+      \ funzioni come previsto?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_computer_science
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_high_school_computer_science
+task_alias: high_school_computer_science

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_european_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Jean-Jacques Rousseau
+      B: Barone Montesquieu
+      C: Mary Wollstonecraft
+      D: Adam Smith
+    input_correct_responses:
+    - B
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. Il seguente\
+      \ estratto \xE8 tratto da un opuscolo. Mi renderai giustizia ricordando che\
+      \ ho sempre strenuamente sostenuto il diritto di ogni uomo alla propria opinione,\
+      \ per quanto diversa possa essere dalla mia. Chi nega a un altro questo diritto,\
+      \ si rende schiavo della sua opinione presente, perch\xE9 si preclude il diritto\
+      \ di cambiarla. L'arma pi\xF9 formidabile contro gli errori di ogni genere\
+      \ \xE8 la Ragione. Non ne ho mai usato nessun altro e confido che non lo far\xF2\
+      \ mai. La circostanza che si \xE8 verificata ora in Francia, dell\u2019abolizione\
+      \ totale dell\u2019intero ordine nazionale del sacerdozio e di tutto ci\xF2\
+      \ che appartiene ai sistemi compulsivi di religione e agli articoli di fede\
+      \ compulsivi, non solo ha accelerato la mia intenzione, ma ha reso l\u2019opera\
+      \ di questo un genere estremamente necessario, affinch\xE9 nel generale naufragio\
+      \ della superstizione, dei falsi sistemi di governo e della falsa teologia,\
+      \ perdiamo di vista la moralit\xE0, l'umanit\xE0 e la teologia che \xE8\
+      \ vera. Credo in un solo Dio, e niente di pi\xF9; e spero nella felicit\xE0\
+      \ oltre questa vita. Credo nell'uguaglianza dell'uomo; e credo che i\
+      \ doveri religiosi consistano nel fare giustizia, amare la misericordia e sforzarsi\
+      \ di rendere felici i nostri simili. Non credo nel credo professato dalla chiesa\
+      \ ebraica, dalla chiesa romana, dalla chiesa greca, dalla chiesa turca, dalla\
+      \ chiesa protestante, n\xE9 da alcuna chiesa che io conosca. La mia mente \xE8\
+      \ la mia chiesa. Tutte le istituzioni nazionali delle chiese, siano esse ebraiche,\
+      \ cristiane o turche, non mi sembrano altro che invenzioni umane, istituite\
+      \ per terrorizzare e schiavizzare l\u2019umanit\xE0 e monopolizzare il potere\
+      \ e il profitto. Con questa dichiarazione non intendo condannare coloro che\
+      \ credono il contrario; hanno lo stesso diritto alla loro convinzione che io\
+      \ ho alla mia. \u2014Thomas Paine, The Age of Reason, 1794\u20131795 Quale dei\
+      \ seguenti filosofi illuministi progett\xF2 un sistema di controlli ed equilibri\
+      \ affinch\xE9 il governo evitasse abusi di potere?"
+  - input_choice_list:
+      A: "Le idee di libert\xE0 personale e nazionalismo concepite durante l\u2019\
+        Illuminismo portarono a rivoluzioni radicali che poterono diffondersi in tutta\
+        \ Europa."
+      B: "La conquista dell'Europa da parte di Napoleone port\xF2 alla creazione\
+        \ di nuove fazioni e spost\xF2 gli equilibri di potere europei."
+      C: Il potere dei monarchi era cresciuto al punto che doveva essere controllato
+        da altri poteri all'interno di ciascuna nazione o si sarebbe verificata
+        la dominazione dei civili.
+      D: Il ciclo economico in salita e in discesa della nuova economia capitalista
+        emergente potrebbe portare a disordini civili che devono essere repressi.
+    input_correct_responses:
+    - A
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. Leggi\
+      \ il seguente estratto. Il seme rivoluzionario era penetrato in tutti i paesi\
+      \ e si era pi\xF9 o meno diffuso. Si svilupp\xF2 molto sotto il regime del dispotismo\
+      \ militare di Bonaparte. Le sue conquiste hanno spostato una serie di leggi,\
+      \ istituzioni e costumi; ruppe i legami sacri tra tutte le nazioni, abbastanza\
+      \ forti da resistere al tempo stesso; il che \xE8 pi\xF9 di quanto si possa\
+      \ dire di alcuni benefici conferiti da questi innovatori. I monarchi adempiranno\
+      \ i doveri imposti loro da Colui che, affidando loro il potere, li ha incaricati\
+      \ di vigilare sul mantenimento della giustizia e dei diritti di tutti, di evitare\
+      \ le vie dell'errore e di percorrere con fermezza la via dell'errore.\
+      \ verit\xE0. Posti al di l\xE0 delle passioni che agitano la societ\xE0, \xE8\
+      \ soprattutto nei giorni della prova che sono chiamati a spogliare la realt\xE0\
+      \ delle loro false apparenze, e a mostrarsi quali sono, padri investiti dell'autorit\xE0\
+      \ che spetta di diritto ai capi famiglia, per dimostrare che, nei giorni di\
+      \ lutto, sanno essere giusti, saggi e quindi forti, e che non abbandoneranno\
+      \ il popolo che dovrebbero governare come gioco delle fazioni, all\u2019errore\
+      \ e alle sue conseguenze, che devono implicano la perdita della societ\xE0.\
+      \ L'unione tra i monarchi \xE8 la base della politica che ora deve essere\
+      \ seguita per salvare la societ\xE0 dalla rovina totale. . . . Non confondano\
+      \ le concessioni fatte ai partiti con il bene che dovrebbero fare al popolo,\
+      \ modificando, secondo i bisogni riconosciuti, i rami dell'amministrazione\
+      \ che lo richiedono. Siano giusti, ma forti; benefico, ma severo. Mantengano\
+      \ i principi religiosi in tutta la loro purezza e non permettano che la fede\
+      \ venga attaccata e la moralit\xE0 interpretata secondo il contratto sociale\
+      \ o le visioni di sciocchi settari. Sopprimano le societ\xE0 segrete; quella\
+      \ cancrena della societ\xE0. \u2014Klemens von Metternich, Confessione politica\
+      \ di fede, 1820 Quale delle seguenti \xE8 stata la causa principale dei timori\
+      \ espressi da Metternich nel documento di cui sopra?"
+  - input_choice_list:
+      A: Capitalista
+      B: Scientifico
+      C: comunista
+      D: Esistenzialista
+    input_correct_responses:
+    - C
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. In Russia\
+      \ non andava tutto bene e [Souvarine] era disperato per la notizia che aveva\
+      \ ricevuto. I suoi vecchi compagni si rivolgevano tutti ai politici; i famosi\
+      \ nichilisti che facevano tremare l\u2019Europa \u2013 figli di preti di villaggio,\
+      \ di piccoli borghesi, di commercianti \u2013 non potevano elevarsi al di sopra\
+      \ dell\u2019idea di liberazione nazionale, e sembravano credere che il mondo\
+      \ sarebbe stato liberato \u2013 dopo aver ucciso il loro despota\u2026 "Sciocchezze!\
+      \ Con le loro sciocchezze non ne usciranno mai." Poi, abbassando ancora\
+      \ di pi\xF9 la voce, con poche parole amare descrisse il suo vecchio sogno di\
+      \ fraternit\xE0. Aveva rinunciato al suo rango e alla sua fortuna; era andato\
+      \ tra gli operai, solo nella speranza di vedere finalmente la fondazione di\
+      \ una nuova societ\xE0 di lavoro in comune. Tutti i soldi che aveva in tasca\
+      \ erano andati da tempo ai monelli del villaggio; era stato tenero come un fratello\
+      \ con i minatori, sorridendo dei loro sospetti, conquistandoli con i suoi modi\
+      \ tranquilli da operaio e la sua avversione per le chiacchiere. Ma decisamente\
+      \ la fusione non era avvenuta. La sua voce cambi\xF2, i suoi occhi si illuminarono,\
+      \ li fiss\xF2 su \xC9tienne, rivolgendosi direttamente a lui: "Adesso capisci?\
+      \ Questi cappellai di Marsiglia che hanno vinto il grande premio di centomila\
+      \ franchi della lotteria, sono subito partiti e hanno investito voi, voi tutti,\
+      \ operai francesi, volete dissotterrare un tesoro per divorarlo poi da soli,\
+      \ in qualche angolo pigro ed egoista. per quanto tu voglia contro i ricchi,\
+      \ non hai abbastanza coraggio per restituire ai poveri il denaro che la fortuna\
+      \ ti porta. Non sarai mai degno di felicit\xE0 finch\xE9 possiedi qualcosa,\
+      \ e il tuo odio contro i borghesi procede unicamente per il desiderio rabbioso\
+      \ di essere voi stessi borghesi al loro posto." \xE9mile Zola, scrittore\
+      \ francese, Germinal, 1885 Il passaggio mostra la preoccupazione diretta per\
+      \ il benessere delle classi lavoratrici che tipicamente faceva parte di quale\
+      \ movimento?"
+  - input_choice_list:
+      A: Servirono da catalizzatore per la crescita della navigazione inglese e del
+        commercio estero, ma fecero ben poco per limitare le prospettive degli olandesi
+        nel XVII secolo.
+      B: "Causarono difficolt\xE0 quasi immediate per l\u2019economia olandese poich\xE9\
+        \ il loro dominio sul commercio estero fin\xEC rapidamente."
+      C: "Furono annullati durante la restaurazione degli Stuart poich\xE9 cercavano\
+        \ normali relazioni diplomatiche con gli olandesi in modo da non aver bisogno\
+        \ del sostegno finanziario del Parlamento per la guerra."
+      D: "Portarono a quasi un secolo di guerre ricorrenti tra Inghilterra e Paesi\
+        \ Bassi, che non sarebbero finite fino a dopo l\u2019indipendenza americana."
+    input_correct_responses:
+    - A
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. Gli estratti\
+      \ seguenti provengono dagli Atti di navigazione del 1651. [Dopo il primo giorno\
+      \ di dicembre milleseicentocinquantuno, e da allora in poi, nessun bene o merce\
+      \ di sorta derivante dalla crescita, produzione o manifattura dell'Asia,\
+      \ dell'Africa o l'America, o qualsiasi parte di essa; o di qualsiasi\
+      \ isola ad essi appartenente, o che sono descritte o indicate nelle consuete\
+      \ mappe o carte di quei luoghi, cos\xEC come delle piantagioni inglesi come\
+      \ altre, saranno importate o portate in questo Commonwealth d'Inghilterra,\
+      \ o in Irlanda, o qualsiasi altra terra, isola, piantagione o territorio di\
+      \ questo Commonwealth appartenente, o in loro possesso, in qualsiasi altra nave\
+      \ o nave, vascello o vascello di sorta, ma solo in quelli che veramente e senza\
+      \ frode appartengono solo al popolo di questo Commonwealth , o le relative piantagioni,\
+      \ in qualit\xE0 di proprietari o titolari dei diritti; e di cui il capitano\
+      \ e i marinai appartengono anche al popolo di questo Commonwealth, sotto pena\
+      \ di confisca e perdita di tutti i beni che saranno importati contrariamente\
+      \ a questo atto, , , , [N] o beni o merci della crescita, la produzione, o la\
+      \ manifattura dell'Europa, o di qualsiasi parte di essa, dopo il primo giorno\
+      \ di dicembre milleseicentocinquantuno, sar\xE0 importata o portata in questo\
+      \ Commonwealth d'Inghilterra, o in qualsiasi altra terra o territorio appartenente\
+      \ a questo Commonwealth, o in loro possesso, in qualsiasi nave o navi, vascello\
+      \ o vascelli di qualsiasi genere, ma in quelli che appartengono veramente e\
+      \ senza frode solo al popolo di questo Commonwealth, e in nessun altro, eccetto\
+      \ solo le navi e i vascelli stranieri che appartengono veramente e appartengono\
+      \ propriamente al popolo di quel paese o luogo di cui detti beni sono la crescita,\
+      \ la produzione o la manifattura. Quale delle seguenti affermazioni descrive\
+      \ meglio l'esito dei Navigation Acts del 1651?"
+  - input_choice_list:
+      A: "dare al re inglese una nuova posizione di autorit\xE0"
+      B: dare la carica di capo della Chiesa d'Inghilterra al solo Enrico VIII
+        ed escludere i suoi eredi
+      C: "stabilire il calvinismo come l\u2019unica vera teologia in Inghilterra"
+      D: porre fine alle varie forme di corruzione che affliggono la Chiesa in Inghilterra
+    input_correct_responses:
+    - D
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. Sebbene\
+      \ la Maest\xE0 del re sia giustamente e legittimamente il capo supremo della\
+      \ Chiesa d'Inghilterra, e cos\xEC sia riconosciuta dal clero di questo regno\
+      \ nelle loro convocazioni, tuttavia, per corroborazione e conferma di ci\xF2\
+      , e per aumento della virt\xF9 in religione di Cristo in questo regno d'Inghilterra,\
+      \ e per reprimere ed estirpare tutti gli errori, le eresie e le altre enormit\xE0\
+      \ e abusi finora utilizzati nella stessa, sia decretato, per autorit\xE0 di\
+      \ questo attuale Parlamento, che il re, il nostro signore sovrano, i suoi eredi\
+      \ e i successori, i re di questo regno, saranno presi, accettati e ritenuti\
+      \ l'unico capo supremo sulla terra della Chiesa d'Inghilterra, chiamata\
+      \ Ecclesia anglicana; e avranno e godranno, annessi e uniti alla corona imperiale\
+      \ di questo regno, nonch\xE9 il titolo e lo stile della stessa, come tutti gli\
+      \ onori, dignit\xE0, preminenze, giurisdizioni, privilegi, autorit\xE0, immunit\xE0\
+      , profitti e beni alla detta dignit\xE0 di il capo supremo della stessa Chiesa\
+      \ appartenente e appartenente; e che il nostro suddetto signore sovrano, i suoi\
+      \ eredi e successori, re di questo regno, avranno pieno potere e autorit\xE0\
+      \ di volta in volta per visitare, reprimere, riparare, registrare, ordinare,\
+      \ correggere, frenare ed emendare tutti questi errori, eresie, abusi, offese,\
+      \ disprezzi ed enormit\xE0, qualunque essi siano, che per qualsiasi tipo di\
+      \ autorit\xE0 o giurisdizione spirituale dovrebbero o potrebbero essere legittimamente\
+      \ riformati, repressi, ordinati, riparati, corretti, frenati o modificati, per\
+      \ il massimo piacere di Dio Onnipotente, l'aumento della virt\xF9 nella\
+      \ religione di Cristo e per la conservazione della pace, dell'unit\xE0 e\
+      \ della tranquillit\xE0 di questo regno; nonostante qualsiasi uso, terra straniera,\
+      \ autorit\xE0 straniera, prescrizione o qualsiasi altra cosa contraria al presente\
+      \ documento. Parlamento inglese, Atto di Supremazia, 1534 Dal passaggio si pu\xF2\
+      \ dedurre che il Parlamento inglese volesse sostenere che l'Atto di Supremazia\
+      \ avrebbe"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_european_history
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_high_school_european_history
+task_alias: high_school_european_history

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_geography.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "tasso di mortalit\xE0 grezzo dalla data di nascita grezza."
+      B: "tasso di natalit\xE0 grezzo dal tasso di mortalit\xE0 grezzo."
+      C: "raddoppiando il tempo rispetto al tasso di natalit\xE0 grezzo."
+      D: "tasso di fertilit\xE0 dal tasso grezzo di mortalit\xE0."
+    input_correct_responses:
+    - A
+    input_question: Il tasso di crescita naturale di una popolazione si trova sottraendo
+      il
+  - input_choice_list:
+      A: "I tassi di natalit\xE0 aumentano e il tasso di crescita della popolazione\
+        \ \xE8 meno rapido."
+      B: "I tassi di natalit\xE0 diminuiscono e il tasso di crescita della popolazione\
+        \ \xE8 meno rapido."
+      C: "I tassi di natalit\xE0 aumentano e il tasso di crescita della popolazione\
+        \ aumenta."
+      D: "I tassi di natalit\xE0 diminuiscono e il tasso di crescita della popolazione\
+        \ aumenta."
+    input_correct_responses:
+    - B
+    input_question: "Durante la terza fase del modello di transizione demografica,\
+      \ quale delle seguenti affermazioni \xE8 vera?"
+  - input_choice_list:
+      A: La duplicazione degli sforzi avviene spesso.
+      B: "I problemi sociali del centro citt\xE0 si riversano nei sobborghi residenziali\
+        \ circostanti."
+      C: Spesso si verificano inefficienze nella fornitura dei servizi.
+      D: "Gli sforzi di un quartiere per ridurre l'inquinamento sono sempre sostenuti\
+        \ dalle comunit\xE0 vicine."
+    input_correct_responses:
+    - D
+    input_question: "Quale delle seguenti affermazioni NON \xE8 accurata riguardo\
+      \ ai servizi forniti dai governi locali negli Stati Uniti?"
+  - input_choice_list:
+      A: esternalizzazione.
+      B: delocalizzazione.
+      C: maquiladoras.
+      D: interdipendenza localizzata.
+    input_correct_responses:
+    - B
+    input_question: Viene chiamata la pratica di assumere un fornitore di servizi
+      terzo straniero per eseguire un'operazione
+  - input_choice_list:
+      A: Saponetta colomba
+      B: Barretta di cioccolato colomba
+      C: Simbolo della colomba
+      D: Una colomba (uccello)
+    input_correct_responses:
+    - C
+    input_question: "Quale dei seguenti elementi \xE8 un esempio di cultura non materiale?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_geography
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_high_school_geography
+task_alias: high_school_geography

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_government_and_politics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "la definizione costituzionale di tali poteri \xE8 ampia e non specifica"
+      B: la maggior parte delle persone concorda sul fatto che la Costituzione pone
+        troppi limiti al potere presidenziale
+      C: la Corte Suprema rifiuta costantemente di pronunciarsi su casi riguardanti
+        i poteri presidenziali
+      D: gli emendamenti costituzionali hanno notevolmente aumentato i poteri presidenziali
+    input_correct_responses:
+    - A
+    input_question: "L\u2019incertezza sui limiti del potere presidenziale \xE8 causata\
+      \ principalmente da questo"
+  - input_choice_list:
+      A: aumento annuale della spesa federale per le forze armate
+      B: ammontare degli interessi sul debito pubblico
+      C: differenza tra le proposte di bilancio iniziali fatte dal presidente e dal
+        Congresso
+      D: importo che il governo spende in eccesso rispetto alle sue entrate
+    input_correct_responses:
+    - D
+    input_question: Il termine "deficit di bilancio" si riferisce al
+  - input_choice_list:
+      A: Weeks contro Stati Uniti
+      B: Betts contro Brady
+      C: Mapp contro Ohio
+      D: Miranda contro Arizona
+    input_correct_responses:
+    - D
+    input_question: Quale dei seguenti casi ha stabilito il precedente secondo cui
+      un imputato deve essere informato del diritto al silenzio, del diritto a un
+      avvocato e della protezione dall'autoincriminazione?
+  - input_choice_list:
+      A: Sono stabiliti dal potere legislativo.
+      B: I loro membri spesso non hanno molta influenza sulle decisioni presidenziali.
+      C: Non possono essere tutti gestiti da leader che appartengono allo stesso partito
+        politico del presidente.
+      D: Non tutte le agenzie federali sono un dipartimento di gabinetto.
+    input_correct_responses:
+    - C
+    input_question: "Quale delle seguenti affermazioni sui dipartimenti di gabinetto\
+      \ \xE8 FALSA?"
+  - input_choice_list:
+      A: I politici onesti possono impedire lo sviluppo di fazioni.
+      B: "\xC8 pi\xF9 probabile che le fazioni si formino nelle grandi repubbliche\
+        \ che in quelle piccole."
+      C: "Gli effetti negativi della faziosit\xE0 possono essere ridotti da un governo\
+        \ repubblicano."
+      D: "Le libere elezioni sono la migliore difesa del popolo contro le faziosit\xE0\
+        ."
+    input_correct_responses:
+    - C
+    input_question: Quale delle seguenti affermazioni meglio afferma un'argomentazione
+      avanzata da James Madison in The Federalist numero 10?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_government_and_politics
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_high_school_government_and_politics
+task_alias: high_school_government_and_politics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_macroeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: L'esercito americano apre una nuova base in un paese straniero con 1.000
+        dipendenti statunitensi.
+      B: I consumatori giapponesi acquistano migliaia di CD prodotti negli Stati Uniti.
+      C: Una cantante pop americana si esibisce in un concerto tutto esaurito a Parigi.
+      D: "Una produzione teatrale francese gira decine di citt\xE0 americane."
+    input_correct_responses:
+    - C
+    input_question: "Quale dei seguenti elementi non \xE8 incluso nel PIL degli Stati\
+      \ Uniti?"
+  - input_choice_list:
+      A: relazione diretta tra disoccupazione e inflazione
+      B: "relazione diretta tra prezzo e quantit\xE0 domandata"
+      C: "relazione inversa tra prezzo e quantit\xE0 domandata"
+      D: relazione inversa tra disoccupazione e inflazione
+    input_correct_responses:
+    - D
+    input_question: La curva di Phillips di breve periodo indica a
+  - input_choice_list:
+      A: le esportazioni superano le importazioni.
+      B: le importazioni superano le esportazioni.
+      C: la riscossione delle tasse federali supera la spesa.
+      D: la spesa federale supera le entrate fiscali federali.
+    input_correct_responses:
+    - D
+    input_question: Un deficit federale si verifica quando
+  - input_choice_list:
+      A: Aumento del tasso di sconto
+      B: Aumentare il coefficiente di riserva
+      C: Acquistare titoli di Stato
+      D: Abbassamento delle tariffe
+    input_correct_responses:
+    - C
+    input_question: "A parit\xE0 di condizioni, quale delle seguenti politiche monetarie\
+      \ verrebbe utilizzata per stimolare le esportazioni statunitensi?"
+  - input_choice_list:
+      A: "Un aumento dell\u2019offerta di moneta"
+      B: Aumento della spesa pubblica
+      C: "Tasse pi\xF9 basse su ricerca e sviluppo di nuove tecnologie"
+      D: "Tasse pi\xF9 alte sul reddito delle famiglie"
+    input_correct_responses:
+    - C
+    input_question: "Quale delle seguenti politiche descrive meglio la politica fiscale\
+      \ dal lato dell\u2019offerta?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_macroeconomics
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_high_school_macroeconomics
+task_alias: high_school_macroeconomics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '3'
+      B: '15'
+      C: '6'
+      D: '5'
+    input_correct_responses:
+    - B
+    input_question: Joe era incaricato delle luci per un ballo. La luce rossa lampeggia
+      ogni due secondi, la luce gialla ogni tre secondi e la luce blu ogni cinque
+      secondi. Se includiamo l'inizio e la fine della danza, quante volte durante
+      una danza di sette minuti si accenderanno tutte le luci contemporaneamente?
+      (Supponiamo che tutte e tre le luci lampeggino simultaneamente all'inizio
+      della danza.)
+  - input_choice_list:
+      A: '12'
+      B: '1'
+      C: '30'
+      D: '5'
+    input_correct_responses:
+    - C
+    input_question: Cinquemila dollari composti ogni anno a un tasso di interesse
+      $x\%$ impiegano sei anni per raddoppiare. Allo stesso tasso di interesse, quanti
+      anni occorreranno $\$300$ per crescere fino a $\$9600$?
+  - input_choice_list:
+      A: '-1'
+      B: '16'
+      C: -\frac{1}{256}
+      D: \frac{1}{16}
+    input_correct_responses:
+    - C
+    input_question: "La variabile $x$ varia direttamente come il quadrato di $y$,\
+      \ e $y$ varia direttamente come il cubo di $z$. Se $x$ \xE8 uguale a $-16$ quando\
+      \ $z$ \xE8 uguale a 2, qual \xE8 il valore di $x$ quando $z$ \xE8 uguale a $\\\
+      frac{1}{2}$?"
+  - input_choice_list:
+      A: \frac{3\sqrt{3}}{3}
+      B: \frac{1}{3}
+      C: \qrt{3}
+      D: \frac{\sqrt{3}}{3}
+    input_correct_responses:
+    - D
+    input_question: 'Semplifica e scrivi il risultato con un denominatore razionale:
+      $$\sqrt{\sqrt[3]{\sqrt{\frac{1}{729}}}}$$'
+  - input_choice_list:
+      A: '55'
+      B: '60'
+      C: '62'
+      D: '65'
+    input_correct_responses:
+    - D
+    input_question: "Dieci studenti sostengono un test di biologia e ricevono i seguenti\
+      \ punteggi: 45, 55, 50, 70, 65, 80, 40, 90, 70, 85. Qual \xE8 la media dei punteggi\
+      \ dei test degli studenti?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_mathematics
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_high_school_mathematics
+task_alias: high_school_mathematics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_microeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Un salario minimo effettivo imposto a questo mercato del lavoro.
+      B: Un aumento del prezzo dei litri di vernice.
+      C: Un aumento nella costruzione di nuove case.
+      D: "Un aumento del prezzo dei verniciatori meccanici finch\xE9 l\u2019effetto\
+        \ produzione supera l\u2019effetto sostituzione."
+    input_correct_responses:
+    - C
+    input_question: In un mercato del lavoro competitivo per gli imbianchini, quale
+      dei seguenti fattori aumenterebbe la domanda di imbianchini?
+  - input_choice_list:
+      A: "la domanda del prodotto aumenter\xE0"
+      B: "la domanda del prodotto diminuir\xE0"
+      C: "il surplus del consumatore aumenter\xE0"
+      D: "il surplus del consumatore diminuir\xE0"
+    input_correct_responses:
+    - C
+    input_question: Se il governo sovvenziona i produttori in un mercato perfettamente
+      competitivo, allora
+  - input_choice_list:
+      A: '0'
+      B: '5'
+      C: '10'
+      D: '100'
+    input_correct_responses:
+    - D
+    input_question: "Il rapporto di concentrazione per un monopolio \xE8"
+  - input_choice_list:
+      A: Il prezzo minimo sposta la curva di domanda verso sinistra.
+      B: Un pavimento efficace crea una carenza di bene.
+      C: Il prezzo minimo sposta la curva di offerta del bene verso destra.
+      D: Per essere un livello efficace, deve essere fissato al di sopra del prezzo
+        di equilibrio.
+    input_correct_responses:
+    - D
+    input_question: "Quale delle seguenti affermazioni \xE8 vera riguardo al prezzo\
+      \ minimo?"
+  - input_choice_list:
+      A: Libera entrata e uscita dal mercato
+      B: Pochi grandi produttori
+      C: Un produttore di un bene senza sostituti prossimi
+      D: Un prodotto omogeneo
+    input_correct_responses:
+    - B
+    input_question: "Quale delle seguenti \xE8 necessariamente una caratteristica\
+      \ dell'oligopolio?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_microeconomics
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_high_school_microeconomics
+task_alias: high_school_microeconomics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Solo I e II
+      B: Solo I e III
+      C: Solo II e III
+      D: Solo III
+    input_correct_responses:
+    - D
+    input_question: "Quale delle seguenti condizioni garantisce la conservazione del\
+      \ momento angolare? I. Conservazione della quantit\xE0 di moto lineare II. Forza\
+      \ esterna netta nulla III. Coppia esterna netta nulla"
+  - input_choice_list:
+      A: "La pressione \xE8 in un nodo, ma lo spostamento delle particelle \xE8 in\
+        \ un antinodo."
+      B: "La pressione \xE8 all'antinodo, ma lo spostamento delle particelle \xE8\
+        \ al nodo."
+      C: La pressione e lo spostamento delle particelle sono entrambi ai nodi.
+      D: La pressione e lo spostamento delle particelle sono entrambi agli antinodi.
+    input_correct_responses:
+    - B
+    input_question: "Un tubo pieno d'aria \xE8 chiuso ad un'estremit\xE0.\
+      \ Nel tubo viene prodotta un'onda stazionaria, che fa suonare una nota.\
+      \ Quale delle seguenti \xE8 un'affermazione corretta sulle propriet\xE0\
+      \ dell'onda all'estremit\xE0 chiusa del tubo?"
+  - input_choice_list:
+      A: 02:00
+      B: 6:00 DI MATTINA
+      C: 00:00
+      D: 24A
+    input_correct_responses:
+    - D
+    input_question: "Una fotocellula con funzione di lavoro \u03D5 = 2eV \xE8 collegata\
+      \ ad un resistore in serie. La luce di frequenza f = 1 \xD7 10^15 Hz colpisce\
+      \ una piastra metallica della fotocellula. Se la potenza della luce \xE8 P =\
+      \ 100 W, qual \xE8 la corrente che attraversa il resistore?"
+  - input_choice_list:
+      A: 10 W
+      B: 30 W
+      C: 60 W
+      D: 240 W
+    input_correct_responses:
+    - D
+    input_question: "Un forno a microonde \xE8 collegato a una presa da 120 V e assorbe\
+      \ una corrente di 2 A. A quale velocit\xE0 viene utilizzata l'energia del\
+      \ forno a microonde?"
+  - input_choice_list:
+      A: 3,5 J
+      B: 6,0 J
+      C: 22,5 J
+      D: 40 J
+    input_correct_responses:
+    - B
+    input_question: "Una carica puntiforme, Q = +1 mC, \xE8 fissata all'origine.\
+      \ Quanto lavoro \xE8 necessario per spostare una carica, Q = +8 \xB5C, dal punto\
+      \ (0,4 metri) al punto (3 metri, 0)?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_physics
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_high_school_physics
+task_alias: high_school_physics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_psychology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: un forte Super-Io.
+      B: bassa autostima.
+      C: bassa autoefficacia.
+      D: un locus of control interno.
+    input_correct_responses:
+    - D
+    input_question: "Ani crede che i suoi atteggiamenti e comportamenti giochino un\
+      \ ruolo centrale in ci\xF2 che le accade. \xC8 probabile che tale convinzione\
+      \ sia associata a"
+  - input_choice_list:
+      A: identificare le cause e le soluzioni dei problemi presentati dal cliente
+      B: "identificare ed eliminare le cause delle difficolt\xE0 del consultato nella\
+        \ gestione di un problema"
+      C: "stabilire una gerarchia di autorit\xE0 per consentire un processo decisionale\
+        \ efficace"
+      D: "presentare una linea d'azione unica, ben definita e inequivocabile affinch\xE9\
+        \ il consulente possa superare i deficit di competenze"
+    input_correct_responses:
+    - B
+    input_question: "Secondo il modello di Caplan della consultazione del caso centrata\
+      \ sul consultato, il consulente \xE8 principalmente interessato a"
+  - input_choice_list:
+      A: I messaggi vengono inviati dal talamo direttamente all'amigdala.
+      B: I messaggi vengono inviati dal talamo ai percorsi "cosa" e "dove".
+      C: I messaggi vengono inviati dal sistema nervoso parasimpatico alla corteccia
+        cerebrale.
+      D: I messaggi vengono inviati dai lobi frontali alla ghiandola pituitaria.
+    input_correct_responses:
+    - A
+    input_question: "Mentre nuota nell'oceano, Ivan viene spaventato da un'ombra\
+      \ scura nell'acqua ancor prima che abbia la possibilit\xE0 di identificare\
+      \ di cosa si tratta. Le connessioni sinaptiche che hanno luogo durante questo\
+      \ episodio di paura sono meglio descritte da quale dei seguenti?"
+  - input_choice_list:
+      A: Date al bambino un periodo di prova nel nuovo ambiente
+      B: Avvisare per iscritto i genitori
+      C: Ottieni l'approvazione del consiglio scolastico
+      D: Ottieni il consenso dei genitori
+    input_correct_responses:
+    - B
+    input_question: "Secondo l\u2019Individuals with Disabilities Education Improvement\
+      \ Act, quale delle seguenti azioni deve fare un\u2019agenzia educativa prima\
+      \ di modificare l\u2019inserimento scolastico di uno studente con disabilit\xE0\
+      ?"
+  - input_choice_list:
+      A: Socioculturale
+      B: clinico
+      C: cognitivo
+      D: comportamentista
+    input_correct_responses:
+    - C
+    input_question: "Pascale \xE8 interessata alle strategie di elaborazione che i\
+      \ bambini utilizzano per apprendere nuove informazioni. In che tipo di psicologo\
+      \ sarebbe meglio classificare Pascale?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_psychology
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_high_school_psychology
+task_alias: high_school_psychology

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_statistics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Se la pendenza della retta di regressione \xE8 esattamente 1, allora la\
+        \ correlazione \xE8 esattamente 1."
+      B: "Se la correlazione \xE8 0, la pendenza della retta di regressione non \xE8\
+        \ definita."
+      C: Invertendo quale variabile si chiama x e quale si chiama y si cambia il segno
+        della correlazione.
+      D: "La correlazione r \xE8 uguale alla pendenza della linea di regressione quando\
+        \ i punteggi z per la variabile y vengono tracciati rispetto ai punteggi z\
+        \ per la variabile x."
+    input_correct_responses:
+    - D
+    input_question: "Quale delle seguenti \xE8 un'affermazione corretta sulla\
+      \ correlazione?"
+  - input_choice_list:
+      A: E(X + Y) = 99, var(X + Y) = 8,5
+      B: E(X + Y) = 99, var(X + Y) = 13
+      C: E(X + Y) = 99, var(X + Y) = 17
+      D: Non ci sono informazioni sufficienti per rispondere a questa domanda.
+    input_correct_responses:
+    - D
+    input_question: "Supponiamo che X e Y siano variabili casuali con E(X) = 37, var(X)\
+      \ = 5, E(Y) = 62 e var(Y) = 12. Quali sono il valore atteso e la varianza della\
+      \ variabile casuale X + S\xEC?"
+  - input_choice_list:
+      A: "La percentuale di alberi che hanno subito pi\xF9 del 50% di danni a causa\
+        \ del gelo."
+      B: Il numero di alberi colpiti dal gelo.
+      C: Il numero di alberi campionati dal boschetto.
+      D: "Per ogni albero campionato, se ha subito pi\xF9 del 50% di danni o al massimo\
+        \ il 50% di danni."
+    input_correct_responses:
+    - D
+    input_question: "Dopo l'allarme gelo, il proprietario di un grande aranceto\
+      \ ha chiesto ai suoi lavoratori di spruzzare acqua su tutti i suoi alberi. Si\
+      \ supponeva che l'acqua si congelasse e formasse uno strato protettivo di\
+      \ ghiaccio attorno ai fiori d'arancio. Tuttavia il proprietario sospettava\
+      \ che alcuni alberi avessero subito notevoli danni a causa del gelo. Per stimare\
+      \ la percentuale di alberi che hanno subito pi\xF9 del 50% di danni a causa\
+      \ del gelo, ha prelevato un campione casuale di 100 alberi dal suo boschetto.\
+      \ Qual \xE8 la variabile di risposta in questo esperimento?"
+  - input_choice_list:
+      A: Media 518 grammi; deviazione standard 7,0 grammi
+      B: Media 518 grammi; deviazione standard 3,5 grammi
+      C: Media 518 grammi; deviazione standard 6,1 grammi
+      D: Media 394 grammi; deviazione standard 6,1 grammi
+    input_correct_responses:
+    - C
+    input_question: 'Un nuovo smartwatch viene prodotto in una parte della fabbrica,
+      quindi assicurato per la spedizione in un'altra parte indipendente della
+      fabbrica. Il peso dello smartwatch ha una media di 62 grammi e una deviazione
+      standard di 1,0 grammi. Il peso dell'imballaggio (scatola, manuale d'uso,
+      pluriball, ecc.) ha una media di 456 grammi e una deviazione standard di 6 grammi.
+      Insieme, la distribuzione del peso dello smartwatch e della sua confezione avrebbe
+      la seguente media e deviazione standard:'
+  - input_choice_list:
+      A: Io, II
+      B: II, III
+      C: III, I
+      D: III, II
+    input_correct_responses:
+    - D
+    input_question: "Quale dei seguenti insiemi ha la deviazione standard pi\xF9 piccola?\
+      \ Quale ha il pi\xF9 grande? I: {1,2,3} II: {-10,10} III: {100}\\n"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_statistics
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_high_school_statistics
+task_alias: high_school_statistics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_us_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Risposta organizzata alla ribellione di Bacon
+      B: Risposta federale alla ribellione di Shays
+      C: Risposta federale alla ribellione del whisky
+      D: Risposta federale alla ribellione di Pontiac
+    input_correct_responses:
+    - C
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. "La\
+      \ societ\xE0 in ogni stato \xE8 una benedizione, ma il governo, anche nel suo\
+      \ stato migliore, non \xE8 altro che un male necessario; nel suo stato peggiore,\
+      \ un male intollerabile; perch\xE9 quando soffriamo, o siamo esposti alle stesse\
+      \ miserie da parte di un governo, cosa che potremmo aspettarci In un paese senza\
+      \ governo, la nostra calamit\xE0 \xE8 accresciuta se riflettiamo sul fatto che\
+      \ siamo noi a fornire i mezzi con cui soffriamo. Il governo, come l\u2019abito,\
+      \ \xE8 il distintivo dell\u2019innocenza perduta; i palazzi dei re sono costruiti\
+      \ sulle rovine delle pergole del paradiso. se gli impulsi della coscienza fossero\
+      \ chiari, uniformi e irresistibilmente obbediti, l\u2019uomo non avrebbe bisogno\
+      \ di altro legislatore; ma non essendo cos\xEC, egli ritiene necessario cedere\
+      \ una parte della sua propriet\xE0 per fornire i mezzi per la protezione del\
+      \ resto; e a ci\xF2 \xE8 indotto dalla stessa prudenza che in ogni altro caso\
+      \ gli consiglia di scegliere il minimo tra due mali. Pertanto, essendo la sicurezza\
+      \ il vero disegno e fine del governo, ne consegue indiscutibilmente che qualunque\
+      \ forma di essa appaia pi\xF9 idonea a garantire per noi, con la minima spesa\
+      \ e il massimo beneficio, \xE8 preferibile a tutti gli altri." Thomas Paine,\
+      \ Common Sense, 1776 Quale delle seguenti "miserie" a cui si \xE8\
+      \ accennato sopra \xE8 stata maggiormente condannata dagli antifederalisti dell'era\
+      \ post-rivoluzionaria?"
+  - input_choice_list:
+      A: Tensioni tra le politiche britanniche e le aspirazioni dei coloni nordamericani.
+      B: Tensioni tra gli indiani d'America alleati con i francesi e quelli alleati
+        con gli inglesi.
+      C: Tensioni tra afroamericani liberati e piantatori bianchi.
+      D: "Tensioni tra coloni dell'entroterra ed \xE9lite nell'America coloniale."
+    input_correct_responses:
+    - D
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. "Poich\xE9\
+      \ la nostra ultima condotta a Conestoga Manor e a Lancaster ha dato luogo a\
+      \ molte speculazioni e a una grande diversit\xE0 di sentimenti in questo e nei\
+      \ governi vicini; alcuni lo hanno rivendicato e altri lo hanno condannato; alcuni\
+      \ hanno caritatevolmente alleviato il Crimine, e altri maliziosamente lo dipingono\
+      \ nel modo pi\xF9 odioso e colori detestabili, riteniamo nostro dovere esporre\
+      \ al pubblico l'intera questione come ci \xE8 apparsa, e ci appare ancora...\
+      \ "Se queste cose non bastano a dimostrare un ingiustificabile attaccamento\
+      \ dei quaccheri agli indiani selvaggi , una ferma risoluzione di fare amicizia\
+      \ con loro e un'assoluta insensibilit\xE0 alle sofferenze umane, consideriamo\
+      \ alcuni fatti pi\xF9 recenti. Quando l'estate scorsa abbiamo scoperto che\
+      \ probabilmente non avremmo ricevuto assistenza dal governo, alcuni volontari\
+      \ sono partiti a nostre spese, determinati a scacciare i nostri nemici dai nostri\
+      \ confini; e quando ci avvicinammo alla grande Isola, capimmo che un certo numero\
+      \ dei loro Guerrieri erano usciti contro le nostre Frontiere. Dopodich\xE9 siamo\
+      \ tornati, li abbiamo raggiunti e abbiamo combattuto con loro a Munfey Hill,\
+      \ dove abbiamo perso alcuni dei nostri uomini e ucciso alcuni dei loro guerrieri,\
+      \ salvando cos\xEC le nostre frontiere da questa storia in un'altra spedizione.\
+      \ Ma non appena avevamo distrutto le loro provviste sulla grande isola e rovinato\
+      \ il loro commercio con la brava gente di Betlemme, questi stessi indiani, che\
+      \ erano giustamente sospettati di aver ucciso i nostri amici nella contea di\
+      \ Northampton, furono presi dall'influenza di alcuni quaccheri. sotto la\
+      \ protezione del governo per proteggerli dai risentimenti degli amici e dei\
+      \ parenti degli assassinati e per sostenerli durante l'inverno." \u2014\
+      "Apology of the Paxton Boys" (opuscolo), 1764 (Nota: "apology"\
+      \ in questo contesto dovrebbe essere letto come una spiegazione, non come un'ammissione\
+      \ di colpa o di rammarico.) I sentimenti espressi nella spiegazione di cui sopra\
+      \ riflettono quali delle tensioni in corso durante il periodo coloniale della\
+      \ storia americana?"
+  - input_choice_list:
+      A: "l\u2019emendamento sulla parit\xE0 di diritti"
+      B: suffragio universale
+      C: diritti degli Stati
+      D: divieto
+    input_correct_responses:
+    - B
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. "Nel\
+      \ nuovo Codice di Leggi che suppongo sar\xE0 necessario che tu faccia, desidero\
+      \ che ti ricordi delle Signore, e che tu sia pi\xF9 generoso e favorevole verso\
+      \ loro rispetto ai tuoi antenati. Non mettere un potere cos\xEC illimitato nelle\
+      \ mani dei Mariti . Ricorda che tutti gli uomini sarebbero tiranni se potessero.\
+      \ Se non viene prestata particolare cura e attenzione alle donne, siamo determinati\
+      \ a fomentare una ribellione e non ci riterremo vincolati da alcuna legge in\
+      \ cui non abbiamo voce o rappresentanza. Abigail Adams, in una lettera a John\
+      \ Adams, 1776 "La legislazione speciale per le donne ci ha posto in una\
+      \ posizione molto anomala. Le donne investite dei diritti di cittadinanza in\
+      \ una sezione - elettori, giurati, titolari di cariche - che attraversano una\
+      \ linea immaginaria, sono soggetti nei successivi. In alcuni Stati, una donna\
+      \ sposata pu\xF2 detenere propriet\xE0 e trattare affari a proprio nome; in\
+      \ altri, i suoi guadagni appartengono a suo marito. In alcuni Stati, una donna\
+      \ pu\xF2 testimoniare contro suo marito, fare causa ed essere citata in giudizio\
+      \ nei tribunali; in altri, non ha alcun risarcimento in caso di danno alla persona,\
+      \ alla propriet\xE0 o al carattere. In caso di divorzio per adulterio del marito,\
+      \ la moglie innocente non \xE8 ritenuta titolare di alcun diritto sui figli\
+      \ o sulla propriet\xE0, a meno che per decreto speciale del tribunale. Ma in\
+      \ nessuno Stato dell'Unione la moglie ha diritto sulla propria persona,\
+      \ o su una parte dei guadagni comuni della convivenza durante la vita del marito.\
+      \ In alcuni Stati le donne possono entrare nel scuole di diritto e pratica nei\
+      \ tribunali; in altri sono vietati. In alcune universit\xE0 le ragazze godono\
+      \ di pari vantaggi educativi rispetto ai ragazzi, mentre molte delle istituzioni\
+      \ pi\xF9 orgogliose del paese negano loro l\u2019ammissione, sebbene i figli\
+      \ della Cina, del Giappone e dell\u2019Africa vi siano i benvenuti. Ma i privilegi\
+      \ gi\xE0 concessi nei vari Stati non sono affatto sicuri." Susan B. Anthony,\
+      \ "Dichiarazione dei diritti delle donne", 4 luglio 1876 I sentimenti\
+      \ espressi nel secondo estratto da Susan B. Anthony sono molto probabilmente\
+      \ a sostegno Di"
+  - input_choice_list:
+      A: Gli americani devono massimizzare il loro vantaggio tecnologico in Vietnam.
+      B: I bombardamenti americani in Vietnam stanno portando passo dopo passo al
+        progresso della guerra.
+      C: "Il bombardamento americano in Vietnam \xE8 un fallimento."
+      D: "L\u2019America non deve cedere al disfattismo riguardo alla guerra in Vietnam."
+    input_correct_responses:
+    - C
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. I nostri\
+      \ leader parlano di fermare l'aggressione dal nord, ma questa \xE8 stata\
+      \ una lotta tra gruppi di vietnamiti finch\xE9 non siamo intervenuti. Sembriamo\
+      \ decisi a salvare i vietnamiti da Ho Chi Minh, anche a costo di ucciderli e\
+      \ demolire il loro paese per farlo. Mentre i nativi osservano i villaggi bombardati,\
+      \ le donne e i bambini bruciati dal napalm, i raccolti di riso distrutti e le\
+      \ citt\xE0 invase dal nostro personale militare, senza dubbio dicono segretamente\
+      \ della guerriglia vietcong e delle forze americane: "Una piaga su entrambe\
+      \ le vostre case ." \u2026 Fermare i bombardamenti, a nord e a sud, porre\
+      \ fine alle ricerche e alla distruzione delle operazioni offensive e limitare\
+      \ la nostra azione militare allo svolgimento di operazioni sul terreno. I bombardamenti\
+      \ sul nord non sono riusciti a fermare o a frenare seriamente il flusso di truppe\
+      \ verso sud e potrebbero, di fatto, aver indotto Hanoi ad uno sforzo bellico\
+      \ molto maggiore. \u2014Il senatore George McGovern, "The Lessons of Vietnam",\
+      \ 25 aprile 1967 Quale delle seguenti opinioni degli anni '60 riflette pi\xF9\
+      \ direttamente la prospettiva del discorso di George McGovern?"
+  - input_choice_list:
+      A: Abigail Adams
+      B: Clara Barton
+      C: Shirley Temple
+      D: Hillary Clinton
+    input_correct_responses:
+    - B
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. Non vengo\
+      \ per sollecitare pretese personali, n\xE9 per cercare vantaggi individuali;\
+      \ Appaio come l'avvocato di coloro che non possono difendere la propria\
+      \ causa; Vengo come amico di coloro che sono abbandonati, oppressi e desolati.\
+      \ Nella Provvidenza di Dio, io sono la voce del maniaco le cui grida penetranti\
+      \ dalle tetre segrete delle vostre prigioni non penetrano nelle vostre Aule\
+      \ della Legislazione. Io sono la Speranza dei poveri esseri impazziti che si\
+      \ struggono nelle celle, nei box, nelle gabbie e nelle stanze desolate delle\
+      \ vostre povere case. Io sono la Rivelazione di centinaia di creature lamentose\
+      \ e sofferenti, nascoste nelle vostre dimore private, in recinti e cabine, chiuse\
+      \ fuori, tagliate fuori da ogni influenza curativa, da ogni cura che risana\
+      \ la mente... Le loro storie malinconiche potrebbero essere diffuse davanti\
+      \ a voi? come rivelato al mio spirito addolorato durante gli ultimi tre mesi,\
+      \ con quanta rapidit\xE0 e seriet\xE0 cercheresti i mezzi di sollievo pi\xF9\
+      \ approvati; quanto insignificanti, quanto insignificanti, al confronto, sembrerebbero\
+      \ i sacrifici che ti vengono richiesti; come potrebbero diminuire di valore\
+      \ pochi centesimi e dollari, raccolti da ciascun cittadino, in confronto ai\
+      \ benefici certi e all'immenso bene che sarebbero assicurati ai pazzi sofferenti...\
+      \ mediante la consacrazione e l'applicazione di un fondo sufficiente alla\
+      \ costruzione? di un ospedale adatto... \u2014Dorothea Dix, Memorial Soliciting\
+      \ a State Hospital for the Protection and Cure of the Insane, presentato all'Assemblea\
+      \ Generale della Carolina del Nord, novembre 1848 Dorothea Dix pu\xF2 essere\
+      \ meglio paragonata a chi?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_us_history
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_high_school_us_history
+task_alias: high_school_us_history

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_high_school_world_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: induismo
+      B: buddismo
+      C: Shintoismo
+      D: Zoroastrismo
+    input_correct_responses:
+    - A
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. Contiene\
+      \ tutte le opere e i desideri e tutti i profumi e tutti i gusti. Avvolge l'universo\
+      \ intero e nel silenzio \xE8 amorevole con tutti. Questo \xE8 lo Spirito che\
+      \ \xE8 nel mio cuore, questo \xE8 Brahman. A lui verr\xF2 quando andr\xF2 oltre\
+      \ questa vita, e a lui verr\xE0 colui che ha fede e non dubita. \u2014Le Upanishad,\
+      \ India, ca. 1000 a.C. A quale religione appartiene molto probabilmente chi\
+      \ parla?"
+  - input_choice_list:
+      A: La rivoluzione industriale
+      B: Decolonizzazione
+      C: Associazioni regionali di libero scambio
+      D: Autarchia
+    input_correct_responses:
+    - B
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. "La\
+      \ lotta contro il neocolonialismo non mira ad escludere il capitale del mondo\
+      \ sviluppato dall'operare nei paesi meno sviluppati. Essa mira a impedire\
+      \ che il potere finanziario dei paesi sviluppati venga utilizzato in modo tale\
+      \ da impoverire i meno sviluppati. Il non allineamento, come praticato dal Ghana\
+      \ e da molti altri paesi, si basa sulla cooperazione con tutti gli Stati, siano\
+      \ essi capitalisti, socialisti o ad economia mista. Tale politica, quindi, implica\
+      \ investimenti esteri da parte dei paesi capitalisti, ma deve essere investito\
+      \ secondo un piano nazionale elaborato dal governo dello Stato non allineato\
+      \ tenendo conto dei propri interessi. La questione non \xE8 quale rendimento\
+      \ ottiene l'investitore straniero dai suoi investimenti... La questione\
+      \ \xE8 di potere. Uno Stato in la morsa del neocolonialismo non \xE8 padrona\
+      \ del proprio destino." Kwame Nkrumah, Neo-Colonialism, 1965 Quale dei\
+      \ seguenti fornisce il contesto migliore per gli scritti di Nkrumah?"
+  - input_choice_list:
+      A: Accettazione sociale del lavoro minorile
+      B: Aspettativa di vita in calo in Germania
+      C: Critiche ai dazi commerciali tedeschi
+      D: Effetti negativi attribuiti al capitalismo industriale
+    input_correct_responses:
+    - D
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. "La\
+      \ vera lamentela dell'operaio \xE8 l'insicurezza della sua esistenza;\
+      \ non \xE8 sicuro che avr\xE0 sempre lavoro, non \xE8 sicuro che sar\xE0 sempre\
+      \ sano, e prevede che un giorno sar\xE0 vecchio e inabile al lavoro Se cade\
+      \ in povert\xE0, anche solo a causa di una malattia prolungata, \xE8 del tutto\
+      \ indifeso, messo alla prova da solo, e la societ\xE0 attualmente non riconosce\
+      \ alcun obbligo reale nei suoi confronti oltre al consueto aiuto ai poveri,\
+      \ anche se ha "Ho sempre lavorato fedelmente e diligentemente. Ma il solito\
+      \ aiuto ai poveri lascia molto a desiderare, soprattutto nelle grandi citt\xE0\
+      , dove \xE8 molto peggio che in campagna." Otto von Bismarck, 1884 Otto\
+      \ von Bismarck probabilmente fece questo discorso in reazione a quale dei seguenti\
+      \ problemi?"
+  - input_choice_list:
+      A: Il mantenimento della supremazia militare a tutti i costi
+      B: Crescenti tensioni tra sette religiose
+      C: "Fattori che portarono al crollo dell\u2019Impero Ottomano"
+      D: Sforzi di pace tra gli imperi islamici
+    input_correct_responses:
+    - B
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. "In\
+      \ effetti, poich\xE9 sia le fatwa di illustri [studiosi] che basano la loro\
+      \ opinione sia sulla ragione che sulla tradizione, sia il consenso della comunit\xE0\
+      \ sunnita concordano sul fatto che l'antico obbligo di estirpazione, sterminio\
+      \ ed espulsione del male innovativo deve essere lo scopo del nostro esaltato\
+      \ aspirazione, poich\xE9 "Lo zelo religioso \xE8 una vittoria della Fede\
+      \ di Dio Benefico"; poi, secondo le parole del Profeta (Pace su di lui!)\
+      \ "Chiunque introdurr\xE0 cattive innovazioni nel nostro ordine sia espulso"\
+      \ e "Chiunque non qualsiasi cosa contraria al nostro ordine deve essere\
+      \ espulsa, "l'azione \xE8 diventata necessaria ed urgente..."\
+      \ Lettera del sultano ottomano Selim I allo sci\xE0 safavide Ismail I, 1514\
+      \ La lettera di Selim I \xE8 pi\xF9 chiaramente un esempio di quale dei seguenti?"
+  - input_choice_list:
+      A: Una rottura delle rotte commerciali attraverso il crollo della struttura
+        statale stabilita
+      B: Un aumento della popolazione mondiale attraverso una maggiore abbondanza
+        di cibo
+      C: La diffusione dei sistemi di credenze cinesi e indiani nel mondo
+      D: Un aumento dei disordini sociali
+    input_correct_responses:
+    - B
+    input_question: "Questa domanda si riferisce alle seguenti informazioni. "Almeno\
+      \ una delle societ\xE0 [del mondo] dovrebbe in qualche modo aumentare enormemente\
+      \ la propria produttivit\xE0 [al fine di raggiungere l'egemonia globale].\
+      \ Questo salto quantico dovrebbe essere fatto prima delle varie rivoluzioni\
+      \ scientifiche, tecnologiche, agricole e industriali su cui si basa la nostra\
+      \ Il mondo dopo il salto quantico resta. Ci\xF2 potrebbe essere realizzato solo\
+      \ sfruttando gli ecosistemi, le risorse minerarie e le risorse umane di interi\
+      \ continenti al di fuori dei territori della societ\xE0 che ha compiuto il salto.\
+      \ L\u2019Europa occidentale ha fatto proprio questo attraverso la sua brutalit\xE0\
+      , le armi e le armi. , cosa pi\xF9 importante, per fortuna geografica ed ecologica."\
+      \ Copyright \xA9 2015Cambridge University Press. Alfred Crosby, storico, Ecological\
+      \ Imperialism, 2004 Il "salto quantico" menzionato nel passaggio ha\
+      \ contribuito pi\xF9 direttamente a quale dei seguenti sviluppi nel periodo\
+      \ 1450-1750 d.C.?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_world_history
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_high_school_world_history
+task_alias: high_school_world_history

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_human_aging.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Un uomo o una donna asiatica
+      B: Un uomo ispanico
+      C: Una donna afroamericana
+      D: Un uomo o una donna bianca
+    input_correct_responses:
+    - C
+    input_question: "Quale delle seguenti persone ha maggiori probabilit\xE0 di rimanere\
+      \ a casa da sola, a partire dal 2019?"
+  - input_choice_list:
+      A: Vantaggio dell'adolescenza
+      B: Urto della reminiscenza
+      C: Memoriale commemorativo
+      D: Picco di recupero quadratico
+    input_correct_responses:
+    - B
+    input_question: "La scoperta che gli adulti tendono a ricordare gli eventi della\
+      \ loro adolescenza meglio che quelli di altri periodi della loro vita viene\
+      \ definita \u201C"
+  - input_choice_list:
+      A: Texas
+      B: California
+      C: Hawaii
+      D: Vermont
+    input_correct_responses:
+    - A
+    input_question: "Quando gli anziani si trasferiscono in un nuovo stato dopo il\
+      \ pensionamento, quale delle seguenti \xE8 la destinazione pi\xF9 probabile?"
+  - input_choice_list:
+      A: Nicotina
+      B: Catrame
+      C: Monossido di carbonio
+      D: Particelle di fumo
+    input_correct_responses:
+    - B
+    input_question: "Quale elemento nel fumo di tabacco \xE8 responsabile del cancro?"
+  - input_choice_list:
+      A: "Una donna ispanoamericana pi\xF9 anziana"
+      B: Una donna afroamericana anziana
+      C: "Una donna asiatica americana pi\xF9 anziana"
+      D: "Una donna nativa americana pi\xF9 anziana"
+    input_correct_responses:
+    - C
+    input_question: "A parit\xE0 di condizioni, quale delle seguenti persone ha maggiori\
+      \ probabilit\xE0 di soffrire di osteoporosi?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_aging
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_human_aging
+task_alias: human_aging

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_human_sexuality.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: durante il primo trimestre
+      B: durante il secondo trimestre
+      C: durante il terzo trimestre
+      D: per tutta la gravidanza
+    input_correct_responses:
+    - A
+    input_question: "La nausea mattutina \xE8 in genere un problema:"
+  - input_choice_list:
+      A: un ego forte
+      B: un Super-Io debole
+      C: "un'identit\xE0 debole"
+      D: un forte Super-Io
+    input_correct_responses:
+    - B
+    input_question: 'Una donna che sa di avere un herpes attivo e una sifilide non
+      trattata ma continua a fare sesso senza informare i suoi partner della sua condizione
+      ha, in termini psicoanalitici:'
+  - input_choice_list:
+      A: il fatto che non hanno un periodo refrattario.
+      B: la risposta degli strati interni della vagina.
+      C: avere orgasmi alternati in luoghi diversi.
+      D: il punto G.
+    input_correct_responses:
+    - A
+    input_question: "La capacit\xE0 delle donne di avere orgasmi multipli \xE8 dovuta\
+      \ principalmente a:"
+  - input_choice_list:
+      A: rapporto sessuale
+      B: il cerchio sussulta
+      C: esibizionismo
+      D: toccarsi i genitali a vicenda
+    input_correct_responses:
+    - A
+    input_question: "La natura delle attivit\xE0 omosessuali che si verificano durante\
+      \ la preadolescenza include tutte le seguenti, tranne quale?"
+  - input_choice_list:
+      A: eiaculazione precoce
+      B: eiaculazione inibita
+      C: disturbo erettile
+      D: disturbo eiaculatorio
+    input_correct_responses:
+    - C
+    input_question: "Il disturbo pi\xF9 comune tra gli uomini che cercano una terapia\
+      \ sessuale \xE8:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_sexuality
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_human_sexuality
+task_alias: human_sexuality

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_international_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "L\u2019articolo 2, paragrafo 4 riguarda solo la forza armata"
+      B: "L\u2019articolo 2, paragrafo 4, comprende tutti i tipi di forza, comprese\
+        \ le sanzioni"
+      C: "L\u2019articolo 2, paragrafo 4, comprende tutte le ingerenze negli affari\
+        \ interni degli Stati"
+      D: "L'articolo 2, paragrafo 4, comprende la forza diretta esclusivamente\
+        \ contro l'integrit\xE0 territoriale di uno Stato"
+    input_correct_responses:
+    - A
+    input_question: "Quali tipi di forza vietano l\u2019articolo 2, paragrafo 4, della\
+      \ Carta delle Nazioni Unite?"
+  - input_choice_list:
+      A: Se una parte in un caso controverso dinanzi all'ICJ non ha una seduta
+        nazionale come giudice, ha il diritto di nominare qualcuno come giudice esclusivamente
+        per quel caso, con il titolo di giudice ad hoc
+      B: "Il giudice ad hoc \xE8 il membro del collegio giudicante della Corte internazionale\
+        \ di giustizia con voto decisivo"
+      C: "Il giudice ad hoc \xE8 un giudice surrogato, nel caso in cui un giudice\
+        \ venga squalificato o muoia"
+      D: "Il giudice ad hoc \xE8 il giudice che ciascuna parte nominer\xE0 sempre\
+        \ in ogni causa controversa"
+    input_correct_responses:
+    - A
+    input_question: "Qual \xE8 il giudice ad hoc?"
+  - input_choice_list:
+      A: "Questa \xE8 una riserva accettabile se la legislazione del paese che effettua\
+        \ la riserva utilizza una definizione diversa"
+      B: "Si tratta di una riserva inaccettabile poich\xE9 contravviene all\u2019\
+        oggetto e allo scopo dell\u2019ICCPR"
+      C: "Si tratta di una riserva inaccettabile poich\xE9 la definizione di tortura\
+        \ contenuta nell\u2019ICCPR \xE8 coerente con il diritto internazionale consuetudinario"
+      D: "Questa \xE8 una riserva accettabile perch\xE9 secondo il diritto internazionale\
+        \ generale gli Stati hanno il diritto di apporre riserve ai trattati"
+    input_correct_responses:
+    - B
+    input_question: "Una riserva alla definizione di tortura contenuta nell\u2019\
+      ICCPR sarebbe accettabile nella pratica contemporanea?"
+  - input_choice_list:
+      A: "Il consenso pu\xF2 servire come circostanza escludente l'illegittimit\xE0\
+        \ ogni volta che viene prestato"
+      B: "Il consenso non pu\xF2 mai costituire una circostanza ostativa all\u2019\
+        illegittimit\xE0"
+      C: "Il consenso pu\xF2 costituire una circostanza escludente l'illegittimit\xE0\
+        , purch\xE9 il consenso sia valido e nella misura in cui la condotta rimanga\
+        \ nei limiti del consenso prestato"
+      D: "Il consenso pu\xF2 sempre costituire una circostanza ostativa all'illegittimit\xE0\
+        , qualunque sia l'organo dello Stato che lo presta"
+    input_correct_responses:
+    - C
+    input_question: "Quando il \u201Cconsenso\u201D pu\xF2 fungere da circostanza\
+      \ ostativa all'illegittimit\xE0 di una condotta dello Stato?"
+  - input_choice_list:
+      A: Il consenso di uno Stato ad essere vincolato si esprime solo mediante ratifica
+      B: "Il consenso di uno Stato ad essere vincolato da un trattato pu\xF2 essere\
+        \ espresso mediante firma, ratifica, accettazione, approvazione o adesione"
+      C: Il consenso di uno Stato ad essere vincolato si esprime mediante la firma
+      D: "Il consenso di uno Stato ad essere vincolato \xE8 espresso con qualunque\
+        \ mezzo scelga"
+    input_correct_responses:
+    - B
+    input_question: "Come pu\xF2 essere espresso il consenso di uno Stato ad essere\
+      \ vincolato?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_international_law
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_international_law
+task_alias: international_law

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_jurisprudence.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Il POP sceglierebbe l\u2019uguaglianza al di sopra della libert\xE0."
+      B: "Il POP opterebbe per la strategia della \u201Cmassimizzazione\u201D."
+      C: "Il POP opterebbe per il \u201Cprincipio di differenza\u201D."
+      D: "Il POP rifiuterebbe il \u201Csistema della libert\xE0 naturale\u201D."
+    input_correct_responses:
+    - A
+    input_question: "Quale posizione, secondo Rawls, avr\xE0 meno probabilit\xE0 di\
+      \ essere adottata dal POP (persone nella posizione originaria)?"
+  - input_choice_list:
+      A: "massimizzazione della libert\xE0 individuale"
+      B: fornendo una base per un compromesso
+      C: mantenendo la pace
+      D: promuovere i principi del sistema della libera impresa
+    input_correct_responses:
+    - D
+    input_question: Le funzioni della legge includono tutte, tranne quale delle seguenti?
+  - input_choice_list:
+      A: "Autorit\xE0."
+      B: Carisma.
+      C: Cooperazione.
+      D: Capitalismo.
+    input_correct_responses:
+    - D
+    input_question: Quale parola riassume meglio la spiegazione di Weber dello sviluppo
+      del diritto formalmente razionale?
+  - input_choice_list:
+      A: Legge naturale
+      B: Analitico
+      C: Storico
+      D: Sociologico
+    input_correct_responses:
+    - A
+    input_question: "La ________ Scuola di giurisprudenza postula che la legge si\
+      \ basa su ci\xF2 che \xE8 "corretto"."
+  - input_choice_list:
+      A: "La lettera \xE8 un'offerta di vendita"
+      B: "Un'offerta valida non pu\xF2 essere fatta per lettera."
+      C: "La lettera contiene un'offerta valida che terminer\xE0 entro un termine\
+        \ ragionevole."
+      D: Nella lettera manca uno degli elementi essenziali di un'offerta.
+    input_correct_responses:
+    - D
+    input_question: 'Iverson Jewellers scrisse una lettera a Miller: "Abbiamo
+      ricevuto un orologio Rolox a carica automatica eccezionalmente raffinato che
+      ti venderemo a un prezzo molto favorevole".'
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_jurisprudence
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_jurisprudence
+task_alias: jurisprudence

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_logical_fallacies.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: tu quoque
+      B: risata del cavallo
+      C: argomento contro la persona
+      D: ignoratio elenchi
+    input_correct_responses:
+    - C
+    input_question: Se qualcuno attacca il carattere dell'avversario, invece di
+      rispondere alle argomentazioni di quell'avversario, la prima persona ha
+      probabilmente commesso quale dei seguenti errori?
+  - input_choice_list:
+      A: "sostenere che qualcosa \xE8 inferiore solo perch\xE9 non fa qualcosa che\
+        \ non avrebbe mai dovuto fare."
+      B: "includere pi\xF9 di una affermazione nella proposizione e trattare la prova\
+        \ di una affermazione come prova di tutte le affermazioni."
+      C: trarre una conclusione prima di esaminare le prove e considerare solo le
+        prove che supportano tale conclusione.
+      D: "porre una domanda che includa un presupposto non dimostrato o pi\xF9 di\
+        \ una domanda, rendendo cos\xEC priva di significato una risposta semplice\
+        \ s\xEC o no."
+    input_correct_responses:
+    - D
+    input_question: La complessa fallacia della domanda consiste in
+  - input_choice_list:
+      A: La premessa minore deve negare l'antecedente
+      B: La premessa maggiore deve affermare il conseguente
+      C: Il termine medio deve essere utilizzato in almeno una premessa in senso universale
+        o assoluto
+      D: Tutti i precedenti
+    input_correct_responses:
+    - C
+    input_question: "Quale delle seguenti affermazioni \xE8 vera per un sillogismo\
+      \ categorico valido?"
+  - input_choice_list:
+      A: Divisione
+      B: Composizione
+      C: Appello alla persona
+      D: Appello all'ignoranza
+    input_correct_responses:
+    - B
+    input_question: "Sostenere che ci\xF2 che \xE8 vero per le parti deve essere vero\
+      \ per il tutto \xE8 un errore..."
+  - input_choice_list:
+      A: "scarsa sportivit\xE0"
+      B: appello alla compassione
+      C: argomento contro la persona
+      D: ignoranza della confutazione
+    input_correct_responses:
+    - D
+    input_question: "Quando un argomentatore causa confusione durante la confutazione\
+      \ a causa della reale o finta mancanza di capacit\xE0 di impegnarsi nella confutazione,\
+      \ quell'argomante potrebbe aver commesso l'errore di"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_logical_fallacies
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_logical_fallacies
+task_alias: logical_fallacies

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_machine_learning.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 2.0/15
+      B: 1.0/7
+      C: 3.0/16
+      D: 1.0/5
+    input_correct_responses:
+    - B
+    input_question: "Un dado a 6 facce viene lanciato 15 volte e i risultati sono:\
+      \ il lato 1 esce 0 volte; lato 2: 1 volta; lato 3: 2 volte; lato 4: 3 volte;\
+      \ lato 5: 4 volte; lato 6: 5 volte. Sulla base di questi risultati, qual \xE8\
+      \ la probabilit\xE0 che venga visualizzato il lato 3 quando si utilizza l'arrotondamento\
+      \ Add-1?"
+  - input_choice_list:
+      A: ritaglio casuale e rotazione orizzontale
+      B: ritaglio casuale e rotazione verticale
+      C: posterizzazione
+      D: dithering
+    input_correct_responses:
+    - A
+    input_question: "Quale aumento dei dati immagine \xE8 pi\xF9 comune per le immagini\
+      \ naturali?"
+  - input_choice_list:
+      A: Il mio metodo raggiunge un errore di addestramento inferiore a tutti i metodi
+        precedenti!
+      B: "Il mio metodo raggiunge un errore di test inferiore a tutti i metodi precedenti!\
+        \ (Nota a pi\xE8 di pagina: quando il parametro di regolarizzazione \u03BB\
+        \ viene scelto in modo da ridurre al minimo l'errore del test.)"
+      C: "Il mio metodo raggiunge un errore di test inferiore a tutti i metodi precedenti!\
+        \ (Nota a pi\xE8 di pagina: quando il parametro di regolarizzazione \u03BB\
+        \ viene scelto in modo da ridurre al minimo l'errore di convalida incrociata.)"
+      D: "Il mio metodo raggiunge un errore di convalida incrociata inferiore a tutti\
+        \ i metodi precedenti! (Nota a pi\xE8 di pagina: quando il parametro di regolarizzazione\
+        \ \u03BB viene scelto in modo da ridurre al minimo l'errore di convalida\
+        \ incrociata.)"
+    input_correct_responses:
+    - C
+    input_question: "Stai esaminando i documenti per la conferenza sull'apprendimento\
+      \ automatico pi\xF9 fantastica del mondo e vedi i contributi con le seguenti\
+      \ affermazioni. Quali considereresti di accettare? "
+  - input_choice_list:
+      A: circa 10 esempi
+      B: circa 100 esempi
+      C: tra 100 e 500 esemplari
+      D: "pi\xF9 di 1000 esempi"
+    input_correct_responses:
+    - D
+    input_question: "Per ottenere una stima della perdita 0/1 che sia inferiore all'1%\
+      \ della vera perdita 0/1 (con probabilit\xE0 del 95%), secondo la disuguaglianza\
+      \ di Hoeffding, quanti esempi deve avere il set di test IID?"
+  - input_choice_list:
+      A: "\xC8 troppo costoso dal punto di vista computazionale."
+      B: Probabilmente il risultato sarebbe un albero decisionale con un punteggio
+        scarso sul set di addestramento e su un set di test.
+      C: Probabilmente il risultato sarebbe un albero decisionale che ottiene un buon
+        punteggio sul set di addestramento ma male su un set di test.
+      D: Probabilmente il risultato sarebbe un albero decisionale che ottiene un buon
+        punteggio su un set di test ma male su un set di addestramento.
+    input_correct_responses:
+    - C
+    input_question: "Tradizionalmente, quando abbiamo un attributo di input con valore\
+      \ reale durante l'apprendimento dell'albero decisionale, consideriamo\
+      \ una suddivisione binaria a seconda che l'attributo sia al di sopra o al\
+      \ di sotto di una certa soglia. Pat suggerisce che invece dovremmo avere semplicemente\
+      \ una suddivisione a pi\xF9 vie con un ramo per ciascuno dei valori distinti\
+      \ dell'attributo. Scegli dall'elenco seguente il problema pi\xF9 grande\
+      \ con il suggerimento di Pat:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_machine_learning
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_machine_learning
+task_alias: machine_learning