Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_management.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Posizione iniziale e posizione finale
+      B: Ambiente iniziale e ambiente modificato
+      C: Struttura organizzativa e condizionamento
+      D: Struttura iniziale e considerazioni
+    input_correct_responses:
+    - D
+    input_question: Quali sono le due dimensioni principali degli Ohio Studies sulla
+      leadership?
+  - input_choice_list:
+      A: Federico Hertzberg
+      B: DC McClelland
+      C: Abraham Maslow
+      D: Douglas McGregor
+    input_correct_responses:
+    - A
+    input_question: A quale scrittore sono associati i fattori igienici?
+  - input_choice_list:
+      A: Simboli
+      B: Rituali e routine
+      C: Strutture di potere
+      D: Sistemi di controllo
+    input_correct_responses:
+    - A
+    input_question: Quale elemento della rete culturale costituisce le insegne?
+  - input_choice_list:
+      A: Morale
+      B: Innovazione
+      C: Risorsa di crescita
+      D: Adattamento
+    input_correct_responses:
+    - A
+    input_question: "Quale caratteristica non \xE8 una caratteristica chiave del modello\
+      \ di gestione dei "sistemi aperti"?"
+  - input_choice_list:
+      A: Gerarchico
+      B: Burocratico
+      C: Piatto
+      D: Funzionale
+    input_correct_responses:
+    - C
+    input_question: Come possono essere descritte strutture organizzative caratterizzate
+      da stili di gestione democratici e inclusivi?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_management
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_management
+task_alias: management

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_marketing.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Geodemografica
+      B: Differenziazione del prodotto.
+      C: Matrice ANSOFF.
+      D: Gestione del marchio.
+    input_correct_responses:
+    - A
+    input_question: " _____________ \xE8 un risultato naturale quando si combinano\
+      \ variabili demografiche e geografiche."
+  - input_choice_list:
+      A: "Unit\xE0 di outsourcing."
+      B: Centro acquisti.
+      C: "Unit\xE0 esecutiva principale."
+      D: "Unit\xE0 decisionale."
+    input_correct_responses:
+    - D
+    input_question: In un'organizzazione, il gruppo di persone incaricate delle
+      decisioni di acquisto viene definito _______________.
+  - input_choice_list:
+      A: I bisogni dipendono dalla cultura e anche dalla classe sociale.
+      B: I bisogni di livello inferiore devono essere almeno parzialmente soddisfatti
+        prima che i bisogni di livello superiore possano influenzare il comportamento.
+      C: I bisogni non sono prioritari o organizzati in un ordine particolare.
+      D: I bisogni soddisfatti sono motivatori e nuovi bisogni emergono quando i bisogni
+        attuali rimangono insoddisfatti.
+    input_correct_responses:
+    - B
+    input_question: " Quale dei seguenti \xE8 un presupposto nella gerarchia dei bisogni\
+      \ di Maslow?"
+  - input_choice_list:
+      A: "Il consumatore pi\xF9 anziano che si sente un po\u2019 escluso."
+      B: "Le donne sposate, molte delle quali sentono il bisogno di stabilit\xE0 nella\
+        \ loro vita."
+      C: Nuovi immigrati che vogliono davvero assimilarsi alla loro nuova cultura.
+      D: Bambini, che basano la maggior parte delle loro decisioni di acquisto su
+        influenze esterne.
+    input_correct_responses:
+    - D
+    input_question: "Il singolo gruppo all\u2019interno della societ\xE0 che \xE8\
+      \ pi\xF9 vulnerabile all\u2019influenza del gruppo di riferimento \xE8:"
+  - input_choice_list:
+      A: Linee di cura.
+      B: Posta diretta.
+      C: Inserti.
+      D: Porta a porta.
+    input_correct_responses:
+    - D
+    input_question: "Sebbene il contenuto e la qualit\xE0 possano essere controllati\
+      \ quanto la posta diretta, i tassi di risposta di questo mezzo sono inferiori\
+      \ a causa della mancanza di un meccanismo di indirizzo personale. Questo formato\
+      \ multimediale \xE8 noto come:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_marketing
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_marketing
+task_alias: marketing

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_medical_genetics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: reazione a catena della polimerasi.
+      B: Analisi del polimorfismo conformazionale a singolo filamento.
+      C: Southernblotting.
+      D: Blotting occidentale.
+    input_correct_responses:
+    - C
+    input_question: 'Grandi espansioni di ripetizioni di triplette possono essere
+      rilevate da:'
+  - input_choice_list:
+      A: un enzima che unisce i frammenti nella normale replicazione del DNA
+      B: un enzima di origine batterica che taglia il DNA in sequenze di basi definite
+      C: un enzima che facilita la trascrizione di geni specifici
+      D: un enzima che limita il livello raggiunto da un particolare nutriente
+    input_correct_responses:
+    - A
+    input_question: "La DNA ligasi lo \xE8"
+  - input_choice_list:
+      A: ha entrambi gli alleli espressi indipendentemente nell'eterozigote
+      B: ha un allele dominante sull'altro
+      C: ha alleli strettamente legati sullo stesso cromosoma
+      D: ha alleli espressi contemporaneamente nello sviluppo
+    input_correct_responses:
+    - A
+    input_question: Un gene che mostra codominanza
+  - input_choice_list:
+      A: Stenosi pilorica
+      B: Schizofrenia
+      C: Spina bifida (difetti del tubo neurale)
+      D: Sindrome di Marfan
+    input_correct_responses:
+    - D
+    input_question: "Quale delle seguenti condizioni non mostra ereditariet\xE0 multifattoriale?"
+  - input_choice_list:
+      A: profase I
+      B: metafase I
+      C: profase II
+      D: metafase II
+    input_correct_responses:
+    - A
+    input_question: "Lo stadio della meiosi in cui i cromosomi si accoppiano e si\
+      \ incrociano \xE8:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_medical_genetics
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_medical_genetics
+task_alias: medical_genetics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_miscellaneous.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: uno
+      B: due
+      C: quattro
+      D: otto
+    input_correct_responses:
+    - B
+    input_question: Quanti assi ha un'automobile standard?
+  - input_choice_list:
+      A: Budapest
+      B: Budokan
+      C: Bhutan
+      D: Gran Bretagna
+    input_correct_responses:
+    - B
+    input_question: "Quale luogo \xE8 nominato nel titolo dell'album live del\
+      \ 1979 delle leggende del rock Cheap Trick?"
+  - input_choice_list:
+      A: Anthony "Spud" Webb
+      B: Michael "Air" Jordan
+      C: Tyrone 'Muggsy' Bogue
+      D: Julius "Dr J" Erving
+    input_correct_responses:
+    - A
+    input_question: "Chi \xE8 l'uomo pi\xF9 basso che abbia mai vinto una gara\
+      \ di schiacciata NBA?"
+  - input_choice_list:
+      A: idrogeno
+      B: nylon
+      C: ossigeno
+      D: leggero
+    input_correct_responses:
+    - C
+    input_question: Cosa viene prodotto durante la fotosintesi?
+  - input_choice_list:
+      A: ''Radio ga ga''
+      B: ''Ob-la-di Ob-la-da''
+      C: '"De Do Do Do De Da Da Da"'
+      D: '"In-a-Gadda-Da-Vida"'
+    input_correct_responses:
+    - C
+    input_question: "Quale di queste canzoni \xE8 stata una delle prime 10 hit del\
+      \ gruppo rock The Police?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_miscellaneous
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_miscellaneous
+task_alias: miscellaneous

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_moral_disputes.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Non \xE8 ancora chiaro se la pena capitale scoraggi o meno danni alla comunit\xE0\
+        ."
+      B: "Non \xE8 ancora chiaro se la pena capitale scoraggi o meno danni a individui."
+      C: "Il consequenzialismo non \xE8 supportato dai valori africani."
+      D: "Anche se il consequenzialismo \xE8 sostenuto dai valori africani, non \xE8\
+        \ stato offerto alcun argomento consequenzialista inquadrato in termini di\
+        \ valori africani."
+    input_correct_responses:
+    - A
+    input_question: "Secondo Metz, cosa c\u2019\xE8 di sbagliato negli argomenti consequenzialisti\
+      \ contro la pena capitale basati sui valori africani?"
+  - input_choice_list:
+      A: uno zigote.
+      B: un embrione.
+      C: "una viabilit\xE0."
+      D: una blastocisti.
+    input_correct_responses:
+    - A
+    input_question: "Un ovulo fecondato \xE8 anche noto come"
+  - input_choice_list:
+      A: essere nella classe superiore
+      B: "la capacit\xE0 di apprendere e risolvere problemi"
+      C: "essere pi\xF9 bello della maggior parte della popolazione"
+      D: "essere pi\xF9 corto della media"
+    input_correct_responses:
+    - B
+    input_question: "Quale dei seguenti \xE8 un bene intrinseco secondo Singer?"
+  - input_choice_list:
+      A: "La SCNT non \xE8 un tipo di riproduzione diverso perch\xE9 non esistono\
+        \ differenze moralmente rilevanti tra essa e altri mezzi di riproduzione consentiti."
+      B: "Poich\xE9 il rischio di danni per il gemellaggio naturale \xE8 basso, il\
+        \ rischio di danni per SCNT sar\xE0 basso."
+      C: sia a che B
+      D: "n\xE8 a n\xE8 B"
+    input_correct_responses:
+    - A
+    input_question: Pence mette a confronto sei diversi casi di riproduzione, dal
+      gemellaggio naturale all'SCNT. Quale conclusione trae da questo confronto?
+  - input_choice_list:
+      A: "la stupidit\xE0 degli esempi filosofici pi\xF9 tradizionali."
+      B: una generale mancanza di intelligenza tra le persone con titoli di studio
+        avanzati.
+      C: l'ingiustizia della tortura.
+      D: "la disponibilit\xE0 da parte di molte persone intelligenti a vedere nella\
+        \ tortura la migliore soluzione per affrontare il terrorismo."
+    input_correct_responses:
+    - D
+    input_question: "Baron ammette che le versioni dell'ipotetica bomba ad orologeria\
+      \ di cui parla sono "incredibilmente stupide", ma sostiene che questa\
+      \ \xE8 in realt\xE0 la prova di"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_moral_disputes
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_moral_disputes
+task_alias: moral_disputes

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_moral_scenarios.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Sbagliato, sbagliato
+      B: Sbagliato, non sbagliato
+      C: Non sbagliato, sbagliato
+      D: Non sbagliato, non sbagliato
+    input_correct_responses:
+    - C
+    input_question: "Per quale di questi due scenari il personaggio principale (che\
+      \ usa I/me/my) fa qualcosa di chiaramente moralmente sbagliato, secondo gli\
+      \ standard morali ordinari negli Stati Uniti a partire dal 2020? Scenario 1\
+      \ | Ho davvero amato il mio bambino appena nato. Scenario 2 | La nuova ragazza\
+      \ \xE8 imbarazzata a vivere in un parcheggio per roulotte, quindi invito la\
+      \ classe a casa sua."
+  - input_choice_list:
+      A: Sbagliato, sbagliato
+      B: Sbagliato, non sbagliato
+      C: Non sbagliato, sbagliato
+      D: Non sbagliato, non sbagliato
+    input_correct_responses:
+    - C
+    input_question: Per quale di questi due scenari il personaggio principale (che
+      usa I/me/my) fa qualcosa di chiaramente moralmente sbagliato, secondo gli standard
+      morali ordinari negli Stati Uniti a partire dal 2020? Scenario 1 | Ho chiesto
+      una sigaretta al ragazzo fuori dal negozio. Scenario 2 | Quando la guardia di
+      sicurezza ha lasciato il suo posto, ho intascato una moneta rara.
+  - input_choice_list:
+      A: Sbagliato, sbagliato
+      B: Sbagliato, non sbagliato
+      C: Non sbagliato, sbagliato
+      D: Non sbagliato, non sbagliato
+    input_correct_responses:
+    - D
+    input_question: Per quale di questi due scenari il personaggio principale (che
+      usa I/me/my) fa qualcosa di chiaramente moralmente sbagliato, secondo gli standard
+      morali ordinari negli Stati Uniti a partire dal 2020? Scenario 1 | Ho comprato
+      un vecchio pick-up per lavoro. Scenario 2 | Ho alzato lo sguardo verso la splendida
+      cascata e le ho lanciato un sasso.
+  - input_choice_list:
+      A: Sbagliato, sbagliato
+      B: Sbagliato, non sbagliato
+      C: Non sbagliato, sbagliato
+      D: Non sbagliato, non sbagliato
+    input_correct_responses:
+    - B
+    input_question: Per quale di questi due scenari il personaggio principale (che
+      usa I/me/my) fa qualcosa di chiaramente moralmente sbagliato, secondo gli standard
+      morali ordinari negli Stati Uniti a partire dal 2020? Scenario 1 | Durante la
+      demolizione della casa, l'ho spinto contro un muro. Scenario 2 | Quando
+      scelgo una babysitter per le mie nipoti gemelle, non mi interessa il suo background
+      razziale.
+  - input_choice_list:
+      A: Sbagliato, sbagliato
+      B: Sbagliato, non sbagliato
+      C: Non sbagliato, sbagliato
+      D: Non sbagliato, non sbagliato
+    input_correct_responses:
+    - A
+    input_question: Per quale di questi due scenari il personaggio principale (che
+      usa I/me/my) fa qualcosa di chiaramente moralmente sbagliato, secondo gli standard
+      morali ordinari negli Stati Uniti a partire dal 2020? Scenario 1 | Ho preso
+      il suo portafoglio dopo che mi ha molestato al bar. Scenario 2 | Ho fatto l'amore
+      con il mio bambino appena nato.
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_moral_scenarios
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_moral_scenarios
+task_alias: moral_scenarios

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_nutrition.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "I bevitori di t\xE8 hanno un rischio minore di sviluppare il diabete."
+      B: "I bevitori di t\xE8 hanno un rischio maggiore di sviluppare il diabete."
+      C: Sulla base delle informazioni fornite non possiamo dire se la differenza
+        osservata nel rischio di malattia sia il risultato del caso.
+      D: "Il rapporto di rischio \xE8 vicino al valore uno, quindi non vi \xE8 alcuna\
+        \ differenza nel rischio di malattia tra i due gruppi."
+    input_correct_responses:
+    - C
+    input_question: "In uno studio di coorte, il rapporto di rischio di sviluppare\
+      \ il diabete era 0,86 confrontando i consumatori di t\xE8 (gli esposti) con\
+      \ quelli che non bevevano t\xE8 (i non esposti). Quale affermazione \xE8 corretta\
+      \ (secondo le conoscenze nel 2020)?\\n"
+  - input_choice_list:
+      A: I consumatori affetti da fenilchetonuria devono evitare il consumo del dolcificante
+        aspartame
+      B: I consumatori affetti da fenilchetonuria devono evitare il consumo del dolcificante
+        saccarina
+      C: I consumatori affetti da fenilchetonuria devono evitare il consumo del dolcificante
+        sucralosio
+      D: I consumatori affetti da fenilchetonuria devono evitare il consumo del dolcificante
+        acesulfame K
+    input_correct_responses:
+    - A
+    input_question: "Quale delle seguenti affermazioni \xE8 corretta (secondo le conoscenze\
+      \ del 2020)?\\n"
+  - input_choice_list:
+      A: L'acido propionico, formato durante la fermentazione delle fibre del
+        colon, inibisce la sintesi degli acidi grassi nel fegato
+      B: L'acido butirrico, formato durante la fermentazione delle fibre del colon,
+        stimola il "silenziamento" del gene soppressore del tumore SLC5A8
+      C: "Nessuna di queste opzioni \xE8 corretta"
+      D: L'acido butirrico, formato durante la fermentazione delle fibre del colon,
+        stimola le difese antiossidanti del colon
+    input_correct_responses:
+    - D
+    input_question: "Quale delle seguenti \xE8 la spiegazione pi\xF9 plausibile per\
+      \ l'effetto protettivo delle fibre alimentari contro il cancro del colon,\
+      \ a partire dal 2020?\\n"
+  - input_choice_list:
+      A: Il 50% degli adulti consuma iodio a livelli inferiori all'RNI
+      B: I latticini sono una scarsa fonte di iodio
+      C: "Il contenuto di iodio del latte biologico \xE8 generalmente inferiore a\
+        \ quello del latte non biologico"
+      D: "I valori dietetici di riferimento del Regno Unito raccomandano un aumento\
+        \ dell\u2019assunzione di iodio in gravidanza"
+    input_correct_responses:
+    - C
+    input_question: "Quale delle seguenti affermazioni sullo iodio \xE8 corretta,\
+      \ al 2020?\\n"
+  - input_choice_list:
+      A: Acarbosio
+      B: Metformina
+      C: Sulfaniluree
+      D: Insulina
+    input_correct_responses:
+    - B
+    input_question: "Qual \xE8 il farmaco di prima linea per i pazienti con diabete\
+      \ di tipo 2 e obesit\xE0, a partire dal 2020?\\n"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_nutrition
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_nutrition
+task_alias: nutrition

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_philosophy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: una teoria etica su come dovremmo comportarci.
+      B: una generalizzazione riguardante il modo in cui le persone tendono a comportarsi.
+      C: un'affermazione sulla natura umana e sui modi in cui le persone sono
+        capaci di comportarsi.
+      D: nessuna delle precedenti.
+    input_correct_responses:
+    - C
+    input_question: "L\u2019egoismo psicologico \xE8:"
+  - input_choice_list:
+      A: piacere.
+      B: "felicit\xE0."
+      C: Bene.
+      D: "virt\xF9."
+    input_correct_responses:
+    - C
+    input_question: "Secondo l\u2019\u201Cutilitarismo ideale\u201D di Moore, l\u2019\
+      azione giusta \xE8 quella che produce il maggior numero di:"
+  - input_choice_list:
+      A: libere scelte
+      B: dettami dell'anima
+      C: leggi naturali necessarie
+      D: "volont\xE0 indeterminata"
+    input_correct_responses:
+    - C
+    input_question: Secondo d'Holbach le persone agiscono sempre secondo _____.
+  - input_choice_list:
+      A: ottimista
+      B: soddisfatto
+      C: nominalmente religioso
+      D: pessimista
+    input_correct_responses:
+    - D
+    input_question: Prima della conversione cristiana di Tolstoj, qual era la sua
+      prospettiva sul significato della vita?
+  - input_choice_list:
+      A: metafisica
+      B: epistemologia
+      C: fisica quantistica
+      D: assiologia
+    input_correct_responses:
+    - A
+    input_question: "Lo studio della realt\xE0 nel senso pi\xF9 ampio, un'indagine\
+      \ sulla natura elementare dell'universo e delle cose in esso contenute,\
+      \ \xE8 noto come _____."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_philosophy
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_philosophy
+task_alias: philosophy

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_prehistory.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: soddisfare i potenti sacerdoti astronomi Maya.
+      B: "mostrare la sua generosit\xE0 alla gente comune, poich\xE9 era loro permesso\
+        \ di vivere nei templi."
+      C: spaventare i nemici, in particolare gli spagnoli.
+      D: "legittimare la sua regalit\xE0, poich\xE9 suo padre non era reale."
+    input_correct_responses:
+    - D
+    input_question: "Il grande re Maya Pacal costru\xEC templi nella citt\xE0 di Palenque\
+      \ per:"
+  - input_choice_list:
+      A: "un centro della civilt\xE0 del Mississippi con condizioni simili all'ascesa\
+        \ dei primi stati."
+      B: "i limiti dell\u2019autorit\xE0 in una societ\xE0 dei nativi americani di\
+        \ raccoglitori egualitari."
+      C: un chiefdom semplice o forse un chiefdom complesso si era evoluto nel 1500
+        d.C.
+      D: "un centro della civilt\xE0 del Mississippi con condizioni simili alle societ\xE0\
+        \ della costa nordoccidentale del Nord America."
+    input_correct_responses:
+    - A
+    input_question: 'Secondo Timothy Pauketat, le prove della stratificazione sociale
+      e del potere politico a Cahokia suggeriscono:'
+  - input_choice_list:
+      A: un cataclisma di qualche tipo, come un terremoto, un vulcano o uno tsunami.
+      B: degrado ecologico derivante dalle tecniche agricole di taglio e incendio.
+      C: "guerre infinite tra le vicine citt\xE0-stato Maya."
+      D: pratiche di incrocio che hanno portato ad un forte aumento dei disturbi congeniti.
+    input_correct_responses:
+    - B
+    input_question: 'I ricercatori ora credono che il declino dei Maya sia stato causato
+      principalmente da:'
+  - input_choice_list:
+      A: "una grande quantit\xE0 di diversit\xE0 di specie o una singola specie che\
+        \ mostra molta diversit\xE0."
+      B: "pochissima diversit\xE0 di specie durante questo periodo e pochissimi ominidi."
+      C: "diminuzione della diversit\xE0 delle specie a causa di una prolungata era\
+        \ glaciale seguita da una grave siccit\xE0."
+      D: "diminuzione della diversit\xE0 delle specie ma aumento del numero di pietre\
+        \ e scaglie, indicando la produzione di utensili in pietra."
+    input_correct_responses:
+    - A
+    input_question: 'Ricerche recenti su specie di ominidi risalenti al Pliocene medio
+      indicano che esisteva (a partire dal 2020):'
+  - input_choice_list:
+      A: sotto i 650 cc
+      B: circa 800 cc
+      C: poco meno di 1000 cc
+      D: 1200 cc
+    input_correct_responses:
+    - C
+    input_question: "Qual \xE8 la capacit\xE0 cranica media approssimativa dell'Homo\
+      \ erectus?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_prehistory
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_prehistory
+task_alias: prehistory

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_professional_accounting.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: $ 70.000
+      B: $ 75.000
+      C: $ 80.000
+      D: '100000'
+    input_correct_responses:
+    - D
+    input_question: "Box, un'organizzazione non governativa senza fini di lucro,\
+      \ ha effettuato le seguenti transazioni durante l'anno: Proventi dalla vendita\
+      \ di investimenti $ 80.000 Acquisto di immobili, impianti e attrezzature $ 10.000\
+      \ Proventi da debiti a lungo termine $ 100.000 Perdita sulla vendita di investimenti\
+      \ $ 5.000 Quale importo deve essere riportato come netto liquidit\xE0 fornita\
+      \ dalle attivit\xE0 di finanziamento nel rendiconto finanziario di Box?"
+  - input_choice_list:
+      A: $ 13.000
+      B: $ 600
+      C: $ 15.000
+      D: $ 28.000
+    input_correct_responses:
+    - A
+    input_question: "Cento anni fa, la tua bis-bisnonna invest\xEC $ 100 con un interesse\
+      \ annuo del 5%. Quanto vale l\u2019investimento oggi?"
+  - input_choice_list:
+      A: $ 0
+      B: $ 500
+      C: $ 1.650
+      D: $ 16.500
+    input_correct_responses:
+    - A
+    input_question: "Krete \xE8 un contribuente non sposato con reddito esclusivamente\
+      \ salariale. Entro il 31 dicembre, anno 1, il datore di lavoro di Krete ha trattenuto\
+      \ $ 16.000 in imposte federali sul reddito e Krete non ha effettuato pagamenti\
+      \ fiscali stimati. Il 15 aprile, anno 2, Krete ha presentato tempestivamente\
+      \ una richiesta di proroga per presentare la sua dichiarazione dei redditi individuale\
+      \ e ha pagato $ 300 di tasse aggiuntive. Il debito fiscale del primo anno di\
+      \ Krete era di $ 16.500 quando ha presentato tempestivamente la dichiarazione\
+      \ il 30 aprile, anno 2, e ha pagato il saldo del debito fiscale rimanente. Quale\
+      \ importo sarebbe soggetto alla sanzione per mancato pagamento delle imposte\
+      \ stimate?"
+  - input_choice_list:
+      A: $ 5.000
+      B: $ 13.500
+      C: $ 16.000
+      D: $ 20.000
+    input_correct_responses:
+    - B
+    input_question: "Il 1\xB0 gennaio dell'anno 1, Alpha Co. ha firmato un contratto\
+      \ di manutenzione annuale con un fornitore di software per 15.000 dollari e\
+      \ il periodo di manutenzione inizia il 1\xB0 marzo dell'anno 2. Alpha ha\
+      \ inoltre sostenuto costi di 5.000 dollari il 1\xB0 gennaio dell'anno 1,\
+      \ relativi alla modifica del software richieste che aumenteranno la funzionalit\xE0\
+      \ del software. Alpha svaluta e ammortizza i suoi beni informatici e software\
+      \ in cinque anni utilizzando il metodo a quote costanti. Qual \xE8 l'importo\
+      \ totale della spesa che Alpha dovrebbe riconoscere in relazione al contratto\
+      \ di manutenzione e alle modifiche del software per l'anno terminato il\
+      \ 31 dicembre, anno 1?"
+  - input_choice_list:
+      A: Valutazione e allocazione
+      B: Completezza
+      C: Diritti e doveri
+      D: Presentazione e divulgazione
+    input_correct_responses:
+    - B
+    input_question: "Un revisore traccia i numeri di serie sulle apparecchiature nel\
+      \ registro secondario di un non emittente. Quale delle seguenti asserzioni del\
+      \ management \xE8 supportata da questo test?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_accounting
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_professional_accounting
+task_alias: professional_accounting

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_professional_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "lo statuto \xE8 nullo per vaghezza ai sensi della clausola del giusto processo\
+        \ del Quattordicesimo Emendamento."
+      B: "lo statuto non \xE8 valido perch\xE9 viola la libert\xE0 di parola del firmatario\
+        \ ai sensi del Primo Emendamento."
+      C: "lo statuto \xE8 una limitazione della libert\xE0 di parola ai sensi del\
+        \ Primo Emendamento perch\xE9 sono disponibili mezzi meno restrittivi per\
+        \ raggiungere lo stesso scopo."
+      D: "lo statuto \xE8 troppo ampio e di conseguenza invalido ai sensi del primo\
+        \ e del quattordicesimo emendamento."
+    input_correct_responses:
+    - D
+    input_question: "Un legislatore statale ha recentemente promulgato una legge che\
+      \ rende un reato imprecare, insultare o usare un linguaggio osceno o dispregiativo\
+      \ nei confronti o in riferimento a un agente di polizia che svolge le sue funzioni.\
+      \ Uno studente di un'universit\xE0 statale ha organizzato una manifestazione\
+      \ nel campus per protestare contro la guerra. Alla manifestazione ha partecipato\
+      \ un gruppo di 50 studenti che hanno gridato messaggi contro la guerra alle\
+      \ auto che passavano. Per mostrare il suo disprezzo per gli Stati Uniti, lo\
+      \ studente ha cucito la bandiera americana sul retro dei suoi jeans. Quando\
+      \ un agente di polizia ha visto la bandiera cucita sui jeans dello studente,\
+      \ si \xE8 avvicinato e gli ha detto di rimuovere la bandiera altrimenti sarebbe\
+      \ stato arrestato. Lo studente si \xE8 arrabbiato e ha gridato all'ufficiale\
+      \ di polizia: "Ascolta, bastardo, indosser\xF2 questo straccio ovunque\
+      \ mi piaccia". Lo studente \xE8 stato successivamente arrestato e accusato\
+      \ di aver violato lo statuto dello stato. Lo studente ha successivamente intentato\
+      \ causa dinanzi al tribunale statale contestando la costituzionalit\xE0 della\
+      \ norma. L\u2019argomento costituzionale pi\xF9 forte per lo studente \xE8 questo"
+  - input_choice_list:
+      A: La clausola commerciale.
+      B: La clausola di pari protezione del Quattordicesimo Emendamento.
+      C: "La clausola dei privilegi e delle immunit\xE0 dell\u2019Articolo IV, Sezione\
+        \ 2. "
+      D: La clausola contrattuale.
+    input_correct_responses:
+    - A
+    input_question: "Uno stato ha recentemente promulgato una legge che vieta lo smaltimento\
+      \ di qualsiasi scoria nucleare all'interno dello stato. Questa legge non\
+      \ contravviene n\xE9 \xE8 in conflitto con alcuno statuto federale. Un uomo\
+      \ gestisce un'azienda statale che si occupa dello smaltimento delle scorie\
+      \ nucleari. Successivamente all'approvazione dello statuto statale, l'uomo,\
+      \ non ancora a conoscenza della nuova legge, ha stipulato contratti con molte\
+      \ aziende straniere per smaltire le proprie scorie nucleari nello stato. A causa\
+      \ di questa nuova legge, per\xF2, l'uomo non potr\xE0 eseguire questi contratti.\
+      \ Supponiamo che l'uomo abbia la legittimazione ad impugnare questa legge\
+      \ statale. Quale delle seguenti affermazioni presenta le basi costituzionali\
+      \ pi\xF9 forti per contestare la legge statale che vieta lo smaltimento delle\
+      \ scorie nucleari all'interno dello Stato?"
+  - input_choice_list:
+      A: Fatti indiscutibili.
+      B: Fatti affermati da singole organizzazioni politiche.
+      C: Fatti riconosciuti veri dalla conoscenza comune.
+      D: Fatti suscettibili di verifica scientifica.
+    input_correct_responses:
+    - B
+    input_question: "Il giudice ha preso atto di alcuni fatti all'inizio del processo.\
+      \ Quale dei seguenti non \xE8 un fatto appropriato per la notifica giudiziaria?"
+  - input_choice_list:
+      A: "concedere uno sgravio perch\xE9 la recinzione violava il vincolo di servit\xF9\
+        . "
+      B: "concedere uno sgravio, perch\xE9 lo sconfinamento della recinzione ha violato\
+        \ la restrizione prevista dal piano originale. "
+      C: "negare lo sgravio, perch\xE9 l'insegnante non ha fatto rispettare la\
+        \ restrizione nei confronti del pensionato. "
+      D: "negare il sollievo, perch\xE9 la recinzione non sarebbe interpretata come\
+        \ "una struttura" nei termini della restrizione. "
+    input_correct_responses:
+    - B
+    input_question: "Il 1\xB0 ottobre 1980, un costruttore, proprietario di diverse\
+      \ centinaia di acri in una contea rurale, redasse un piano generale di sviluppo\
+      \ per l'area. Il piano debitamente registrato imponeva elaborate limitazioni\
+      \ e restrizioni al terreno nel piano, che doveva essere sviluppato come quartiere\
+      \ residenziale. Le restrizioni dovevano estendersi a tutte le persone che acquistavano\
+      \ uno qualsiasi dei lotti e ai loro eredi, aventi causa e locatari. Si prevedeva\
+      \ inoltre che tutti i successivi proprietari sarebbero stati incaricati di notificare\
+      \ debitamente le restrizioni. Tra queste restrizioni nel piano generale c'erano\
+      \ le seguenti: (22) Viene creato un diritto di franchising in una striscia di\
+      \ terreno larga 10 piedi lungo il retro di ciascun lotto per l'uso di societ\xE0\
+      \ di servizi pubblici con diritto di ingresso e uscita. (23) Nessuna casa o\
+      \ struttura di alcun tipo potr\xE0 essere costruita sulla suddetta striscia\
+      \ di terreno che attraversa detti blocchi. Nel 2000, un pensionato acquist\xF2\
+      \ uno dei lotti, costru\xEC una casa ed eresse una recinzione sul retro della\
+      \ sua propriet\xE0 all'interno dell'area riservata. Nel 2004 un insegnante\
+      \ acquist\xF2 un terreno adiacente alla propriet\xE0 del pensionato e costru\xEC\
+      \ una nuova casa. Due anni dopo, un bibliotecario acquist\xF2 il lotto confinante\
+      \ con la propriet\xE0 dell'insegnante. I tre atti relativi a tali propriet\xE0\
+      \ contenevano ciascuno riferimenti al libro degli atti in cui era registrato\
+      \ il piano generale. Nel 2008, il bibliotecario ha iniziato la costruzione di\
+      \ una recinzione con pali e ringhiere alta sette piedi lungo la linea che divide\
+      \ il suo lotto da quello dell'insegnante e lungo il centro dell'area\
+      \ soggetta al diritto di franchising. Nonostante l'insegnante si fosse opposto\
+      \ alla sua costruzione, la recinzione fu completata. Se l'insegnante chiede\
+      \ un'ingiunzione obbligatoria per obbligare alla rimozione della recinzione\
+      \ del bibliotecario, molto probabilmente il tribunale lo far\xE0."
+  - input_choice_list:
+      A: 'La promessa del padre e l'affidamento del creditore su di essa, se provati,
+        davano luogo ad una valida pretesa del creditore nei confronti del padre basata
+        sulla dottrina del promissory estoppel. '
+      B: "Poich\xE9 era prevedibile che la promessa del padre avrebbe indotto il creditore\
+        \ a astenersi da qualsiasi azione contro il figlio, tale indulgenza era, per\
+        \ legge, un corrispettivo pattuito per la promessa del padre. "
+      C: "I cinque pagamenti del padre al creditore per un totale di $ 2.500 manifestavano\
+        \ la seria intenzione da parte del padre di essere contrattualmente vincolato,\
+        \ e tale manifestazione \xE8 generalmente riconosciuta come un efficace sostituto\
+        \ del corrispettivo. "
+      D: "Facendosi carico del debito antecedente che il figlio aveva nei confronti\
+        \ del creditore, il padre diventava un garante la cui promessa al creditore\
+        \ era esecutiva, poich\xE9 era scritta e supportata da adeguato corrispettivo. "
+    input_correct_responses:
+    - A
+    input_question: "Un figlio doveva a un creditore 5.000 dollari. Il padre del figlio\
+      \ contatt\xF2 il creditore e gli disse che voleva saldare il debito del figlio.\
+      \ Il padre firm\xF2 un documento in cui dichiarava che avrebbe pagato il debito\
+      \ del figlio ad una tariffa di 500 dollari al mese per 10 mesi. Il creditore\
+      \ non ha assunto alcun impegno scritto o orale a astenersi dal citare in giudizio\
+      \ il figlio per riscuotere il debito di $ 5.000, e il padre non ha presentato\
+      \ alcuna richiesta orale o scritta per tale tolleranza. Per i successivi cinque\
+      \ mesi, il padre effettu\xF2 e il creditore accett\xF2 i pagamenti mensili di\
+      \ 500 dollari come concordato. Durante tale periodo, il creditore, infatti,\
+      \ si astenne dall'intraprendere qualsiasi azione legale nei confronti del\
+      \ figlio. Tuttavia, il padre ha poi informato il creditore che non avrebbe effettuato\
+      \ ulteriori pagamenti per il debito. Quale dei seguenti \xE8 l'argomento\
+      \ pi\xF9 convincente secondo cui il padre \xE8 responsabile nei confronti del\
+      \ creditore secondo i termini del contratto?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_law
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_professional_law
+task_alias: professional_law

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_professional_medicine.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Labetalolo
+      B: Una dose di carico di cloruro di potassio
+      C: Nifedipina
+      D: Fenossibenzamina
+    input_correct_responses:
+    - D
+    input_question: "Un uomo di 42 anni si presenta in studio per una valutazione\
+      \ preoperatoria prima di essere sottoposto ad surrenectomia programmata tra\
+      \ 2 settimane. Un mese fa \xE8 stato ricoverato al pronto soccorso per un dolore\
+      \ al fianco destro dovuto a uno scontro automobilistico. A quel tempo, la pressione\
+      \ sanguigna era di 160/100 mm Hg e la TC dell'addome mostrava una massa\
+      \ surrenale sinistra incidentale di 10 cm. I risultati degli studi di laboratorio,\
+      \ tra cui emocromo completo, concentrazioni di elettroliti sierici e test di\
+      \ funzionalit\xE0 epatica, rientravano negli intervalli di riferimento. Per\
+      \ il resto il paziente era sano e non gli era mai stato detto che aveva la pressione\
+      \ sanguigna elevata. Non prende farmaci. Una visita di follow-up in studio 2\
+      \ settimane fa ha rivelato elevate concentrazioni di normetanefrina e metanefrina\
+      \ urinaria e di aldosterone plasmatico. Il paziente \xE8 stato indirizzato a\
+      \ un chirurgo, che ha raccomandato la surrenalectomia. Oggi, i segni vitali\
+      \ sono la temperatura 36,6\xB0C (97,9\xB0F), il polso 100/min, la respirazione\
+      \ 14/min e la pressione sanguigna 170/95 mm Hg. L'esame obiettivo non rivela\
+      \ risultati significativi. La preparazione preoperatoria iniziale dovrebbe includere\
+      \ il trattamento con quale dei seguenti?"
+  - input_choice_list:
+      A: Torsione sacrale sinistra contro sinistra
+      B: torsione sacrale sinistra-destra
+      C: flessione sacrale unilaterale destra
+      D: torsione sacrale dx-dx
+    input_correct_responses:
+    - D
+    input_question: "Un uomo di 36 anni si presenta in studio con un'anamnesi\
+      \ di lombalgia da 3 settimane. Nega qualsiasi trauma recente ma dice che entra\
+      \ e esce dal suo camion numerose volte al giorno per il suo lavoro. L'esame\
+      \ del paziente in posizione prona rivela un profondo solco sacrale a sinistra,\
+      \ un angolo laterale postero-inferiore a destra e una giunzione lombosacrale\
+      \ che scatta liberamente in compressione. La diagnosi pi\xF9 probabile \xE8"
+  - input_choice_list:
+      A: Dopamina
+      B: Glutammato
+      C: Noradrenalina
+      D: Serotonina
+    input_correct_responses:
+    - D
+    input_question: "Una donna di 32 anni, precedentemente sana, si reca dal medico\
+      \ 8 mesi dopo la morte del marito in un incidente stradale. Da quel momento\
+      \ ha avuto una diminuzione dell'appetito e difficolt\xE0 ad addormentarsi.\
+      \ Afferma di essere spesso triste e di piangere spesso. Ha ricontrollato la\
+      \ serratura della porta cinque volte prima di uscire di casa e deve contare\
+      \ esattamente cinque pezzi di carta igienica prima di usarla. Dice di essere\
+      \ sempre stata una perfezionista, ma questi impulsi e rituali sono nuovi. La\
+      \ farmacoterapia dovrebbe essere mirata a quale dei seguenti neurotrasmettitori?"
+  - input_choice_list:
+      A: Rinite allergica
+      B: Virus Epstein-Barr
+      C: Mycoplasma pneumoniae
+      D: Rinovirus
+    input_correct_responses:
+    - D
+    input_question: "Un uomo di 44 anni si presenta in studio a causa di una storia\
+      \ di mal di gola da 3 giorni, tosse non produttiva, naso che cola e mal di testa\
+      \ frontale. Dice che il mal di testa peggiora al mattino e l'ibuprofene\
+      \ fornisce un certo sollievo. Non ha avuto fiato corto. L'anamnesi medica\
+      \ \xE8 irrilevante. Non prende farmaci diversi dall'ibuprofene per il dolore.\
+      \ I segni vitali sono temperatura 37,4\xB0C (99,4\xB0F), polso 88/min, respirazione\
+      \ 18/min e pressione sanguigna 120/84 mm Hg. L'esame delle narici evidenzia\
+      \ mucose eritematose. L'esame della gola mostra eritema e iperplasia linfoide\
+      \ follicolare sull'orofaringe posteriore. Non \xE8 presente adenopatia cervicale\
+      \ palpabile. I polmoni sono liberi all'auscultazione. Quale delle seguenti\
+      \ \xE8 la causa pi\xF9 probabile dei sintomi di questo paziente?"
+  - input_choice_list:
+      A: scaleno anteriore
+      B: latissimus dorsi
+      C: pettorale minore
+      D: quadrato dei lombi
+    input_correct_responses:
+    - C
+    input_question: "Un maratoneta di 22 anni si presenta in studio lamentando dolore\
+      \ alla costola destra quando corre per lunghe distanze. L'esame obiettivo\
+      \ rivela reperti cardiaci e polmonari normali e una disfunzione espiratoria\
+      \ alle costole 4-5 a destra. Quale dei seguenti muscoli o gruppi muscolari sar\xE0\
+      \ pi\xF9 utile per correggere questa disfunzione utilizzando un metodo diretto?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_medicine
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_professional_medicine
+task_alias: professional_medicine

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_professional_psychology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: racconta al tuo cliente i pro e i contro di ogni programma che conosci tranne
+        quello a cui sei iscritto
+      B: consiglia al tuo cliente il programma a cui sei iscritto e spiega il bonus
+        di $ 50 che riceverai
+      C: consigliare al tuo cliente il programma a cui sei iscritto e offrirti di
+        ricevere il bonus di $ 50 accreditato sul conto del tuo cliente nel programma
+      D: racconta al tuo cliente i pro e i contro di ogni programma che conosci, ma
+        non richiedere il bonus di $ 50 se il tuo cliente si iscrive al tuo programma
+    input_correct_responses:
+    - D
+    input_question: "Uno dei tuoi clienti in terapia ti chiede consiglio su un buon\
+      \ programma di riduzione del peso. Hai studiato i programmi della comunit\xE0\
+      \ e sei iscritto a quello che consideri il migliore. Questo programma offre\
+      \ un bonus di $ 50 ai suoi utenti per ogni nuova persona introdotta nel programma.\
+      \ In queste circostanze, la risposta pi\xF9 appropriata sarebbe:"
+  - input_choice_list:
+      A: meno sensibile ai punteggi estremi rispetto alla media
+      B: "pi\xF9 utile per distribuzioni asimmetriche"
+      C: sensibile ai valori estremi e alle distribuzioni altamente asimmetriche
+      D: "il numero pi\xF9 frequente"
+    input_correct_responses:
+    - D
+    input_question: "Esistono tre modi per misurare la tendenza centrale: la media,\
+      \ la mediana e la moda. Dalla tua conoscenza su di loro, qual \xE8 la modalit\xE0\
+      ?"
+  - input_choice_list:
+      A: individualismo.
+      B: Individualismo e distanza dal potere.
+      C: "distanza di potere e mascolinit\xE0."
+      D: "evitamento dell\u2019incertezza."
+    input_correct_responses:
+    - A
+    input_question: 'In termini di cinque dimensioni culturali di Hofstede (1980),
+      gli Stati Uniti si collocano in cima alla scala in:'
+  - input_choice_list:
+      A: "\xE8 una fantasia che distrae il cliente dalla realt\xE0."
+      B: "rappresenta \u201Csentimenti contrastanti\u201D nei confronti del terapeuta. "
+      C: ""\xE8 una forma di ""recitazione.""""
+      D: riflette l'inconscio personale e collettivo del cliente.
+    input_correct_responses:
+    - D
+    input_question: 'Carl Jung credeva che il transfert del cliente:'
+  - input_choice_list:
+      A: non sono correlati tra loro ma sono moderatamente correlati con il criterio
+      B: hanno basse correlazioni tra loro e basse correlazioni con il criterio
+      C: sono altamente intercorrelati tra loro e moderatamente correlati con il criterio
+      D: hanno basse correlazioni con il criterio ma sono moderatamente correlati
+        tra loro
+    input_correct_responses:
+    - A
+    input_question: "Nella costruzione di un'equazione di regressione multipla\
+      \ a fini di previsione, la combinazione ottimale di misure \xE8 quella in cui\
+      \ i predittori"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_psychology
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_professional_psychology
+task_alias: professional_psychology

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_public_relations.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Fornisci al giornalista altre informazioni che \xE8 certa siano corrette."
+      B: Diciamo che le informazioni sono "non registrate" e verranno diffuse
+        in seguito.
+      C: Di' "Non lo so" e prometti di fornire le informazioni in seguito.
+      D: Di' "no comment" piuttosto che sembrare disinformato.
+    input_correct_responses:
+    - C
+    input_question: Cosa dovrebbe fare un professionista dei media nelle pubbliche
+      relazioni se non conosce la risposta alla domanda di un giornalista?
+  - input_choice_list:
+      A: Acquista nomi di dominio che potrebbero essere utilizzati dai gruppi di opposizione.
+      B: Pubblica commenti anonimi sui blog per combattere queste informazioni.
+      C: Preparare un comunicato stampa che screditi le informazioni inesatte.
+      D: Apportare modifiche alle politiche per affrontare i reclami evidenziati su
+        questi siti.
+    input_correct_responses:
+    - D
+    input_question: "Nella gestione dei problemi, qual \xE8 l'approccio pi\xF9\
+      \ proattivo per affrontare le informazioni negative o fuorvianti pubblicate\
+      \ online sulla tua organizzazione?"
+  - input_choice_list:
+      A: "C\u2019\xE8 stata una risposta coordinata da parte dei media."
+      B: Sono stati comunicati messaggi coerenti.
+      C: Le critiche furono interpretate come attacchi alla Chiesa cattolica.
+      D: "La credibilit\xE0 del Vaticano \xE8 stata mantenuta."
+    input_correct_responses:
+    - C
+    input_question: "Quale di queste affermazioni \xE8 vera per il Vaticano nel 2010,\
+      \ al momento delle accuse di insabbiamento degli abusi sui minori?"
+  - input_choice_list:
+      A: Definizione del programma
+      B: Pianificazione del programma
+      C: Agire e implementare le idee
+      D: Valutazione del programma
+    input_correct_responses:
+    - A
+    input_question: In quale fase del processo di pianificazione verrebbe effettuata
+      un'analisi della situazione?
+  - input_choice_list:
+      A: Pace verde
+      B: L'ONU
+      C: Oxfam
+      D: Fondo mondiale per la fauna selvatica
+    input_correct_responses:
+    - D
+    input_question: "Earth Hour \xE8 stata una campagna lanciata da quale organizzazione?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_public_relations
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_public_relations
+task_alias: public_relations

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_security_studies.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Compellenza \xE8 un altro termine per indicare la diplomazia coercitiva,\
+        \ ma copre un insieme pi\xF9 ristretto di criteri; la coercizione copre quelle\
+        \ minacce volte ad avviare un'azione avversaria. Una minaccia di costringere\
+        \ uno Stato a cedere parte del suo territorio varrebbe come diplomazia coercitiva,\
+        \ a condizione che tale minaccia avvii proattivamente un\u2019azione prima\
+        \ che venga intrapresa la diplomazia reattiva."
+      B: "La diplomazia coercitiva costituisce la minaccia di una forza limitata per\
+        \ incentivare l'avversario a soddisfare le richieste del coercitivo. \xC8\
+        \ una strategia di influenza che mira a ottenere condiscendenza: l\u2019uso\
+        \ della forza per sconfiggere prima un avversario non conta. Lascia un elemento\
+        \ di scelta con l'obiettivo di conformarsi o continuare."
+      C: "La forza militare, o la minaccia della forza militare, utilizza la paura\
+        \ per raggiungere obiettivi strategici. La diplomazia coercitiva si differenzia\
+        \ da questo approccio perch\xE9 non utilizza la paura come strumento per costringere\
+        \ un avversario."
+      D: "La diplomazia coercitiva viene impiegata per usare la forza ma per limitarne\
+        \ gli effetti sulla comunit\xE0 internazionale. La diplomazia coercitiva \xE8\
+        \ una strategia aggressiva che mira a ottenere la conformit\xE0 attraverso\
+        \ la sconfitta. Non lascia un elemento di scelta all'obiettivo, poich\xE9\
+        \ l'obiettivo \xE8 costretto a conformarsi o ad impegnarsi in un conflitto.\
+        \ Si cerca di controllare imponendo il rispetto e rimuovendo ogni opportunit\xE0\
+        \ di negoziazione o concessione."
+    input_correct_responses:
+    - B
+    input_question: Cosa distingue la diplomazia coercitiva dalla forza militare?
+  - input_choice_list:
+      A: I bambini soldato sono vittime di combattimenti che necessitano di rieducazione
+        e riabilitazione.
+      B: I bambini e le loro madri non sono soggetti attivi nella guerra e sono meglio
+        considerati come soggetti nella sfera privata.
+      C: I bambini sono molto spesso spettatori innocenti della guerra e sono meglio
+        usati come simboli di pace.
+      D: "I bambini hanno una soggettivit\xE0 politica che viene persa quando vengono\
+        \ considerati vittime passive della guerra."
+    input_correct_responses:
+    - D
+    input_question: "Quale delle seguenti \xE8 la lente migliore attraverso la quale\
+      \ indagare il ruolo dei bambini soldato?"
+  - input_choice_list:
+      A: "Come una minaccia esistenziale che richiede un\u2019azione immediata e straordinaria,\
+        \ rappresentando una minaccia per la sopravvivenza dello Stato o per la sicurezza\
+        \ sociale."
+      B: "Richiedendo un\u2019azione immediata e straordinaria da parte dello Stato,\
+        \ minacciando la sopravvivenza di un oggetto di riferimento e quindi garantendo\
+        \ l\u2019uso di misure normalmente non impiegate in ambito politico."
+      C: "Come una minaccia urgente alla sopravvivenza dell'oggetto referente,\
+        \ cos\xEC grave da legittimare il ricorso ad azioni straordinarie di risposta."
+      D: Come una minaccia urgente alla sopravvivenza del pubblico che richiede misure
+        straordinarie o di emergenza.
+    input_correct_responses:
+    - C
+    input_question: Per diventare cartolarizzato, in quale di questi modi deve essere
+      presentata una minaccia?
+  - input_choice_list:
+      A: "Esistono divisioni cos\xEC ampie all\u2019interno del quadro della sicurezza\
+        \ umana per quanto riguarda la natura delle minacce e degli oggetti di riferimento\
+        \ che non \xE8 possibile tracciare confronti ampiamente applicabili tra gli\
+        \ approcci incentrati sullo stato e la sicurezza umana."
+      B: "Adottando il quadro della sicurezza umana, i limiti dell\u2019approccio\
+        \ realista incentrato sullo stato diventano evidenti. Mentre la sicurezza\
+        \ umana definisce l\u2019oggetto di riferimento come la persona o la popolazione,\
+        \ gli approcci incentrati sullo stato danno priorit\xE0 alla sicurezza dello\
+        \ stato, declassando il perseguimento della sicurezza umana."
+      C: "L\u2019approccio alla sicurezza incentrato sullo stato \xE8 una fazione\
+        \ della sicurezza umana, solitamente definita all\u2019interno dell\u2019\
+        ampia scuola della sicurezza umana. Essendo incentrato sullo stato, questo\
+        \ approccio d\xE0 priorit\xE0 all\u2019individuo come oggetto di riferimento\
+        \ negli studi sulla sicurezza."
+      D: "Sia l\u2019approccio alla sicurezza incentrato sullo stato che quello incentrato\
+        \ sull\u2019uomo si escludono a vicenda e offrono un quadro analitico sufficiente\
+        \ con cui comprendere il sistema di sicurezza internazionale. \xC8 quindi\
+        \ compito degli analisti della sicurezza determinare quale di questi concetti\
+        \ sostanziali \xE8 corretto e quale dovrebbe essere scartato."
+    input_correct_responses:
+    - B
+    input_question: "Come possiamo descrivere al meglio la relazione tra l\u2019approccio\
+      \ stato-centrico e il concetto di sicurezza umana?"
+  - input_choice_list:
+      A: "La competizione tra nazioni pi\xF9 grandi ha portato alcuni paesi a sostenere\
+        \ attivamente gruppi terroristici per minare la forza degli stati rivali.\
+        \ Le reti terroristiche sono club di clientelismo esteso gestiti e pagati\
+        \ dai loro stati donatori e sono concettualizzati come attori statali, da\
+        \ affrontare utilizzando la forza militare."
+      B: "La globalizzazione ha consentito l\u2019internazionalizzazione delle attivit\xE0\
+        \ terroristiche aprendone lo spazio operativo, sebbene il coordinamento sia\
+        \ ancora gestito su base geografica. Ci\xF2 suggerisce che i gruppi terroristici\
+        \ sono strutturati a livello nazionale, il che significa che il terrorismo\
+        \ non pu\xF2 essere considerato in termini di una guerra da sconfiggere militarmente\
+        \ senza avere gravi implicazioni sulla popolazione indigena."
+      C: "Il terrorismo pu\xF2 essere visto come un problema da risolvere con mezzi\
+        \ militari (guerra al terrorismo), con normali tecniche di polizia (terrorismo\
+        \ come crimine) o come un problema medico con cause e sintomi sottostanti\
+        \ (terrorismo come malattia)."
+      D: "Il terrorismo \xE8 visto come un problema criminale. La criminalizzazione\
+        \ del terrorismo ha due importanti implicazioni. In primo luogo, suggerisce\
+        \ che il terrorismo pu\xF2 essere sradicato \u2013 i terroristi possono essere\
+        \ catturati e processati mediante normali procedimenti giudiziari eliminando\
+        \ cos\xEC la minaccia per la societ\xE0 \u2013 e in secondo luogo, suggerisce\
+        \ che tecniche preventive di criminalit\xE0 siano applicabili per impedirne\
+        \ lo sviluppo."
+    input_correct_responses:
+    - C
+    input_question: "Quali sono i quadri di analisi all\u2019interno dei quali \xE8\
+      \ stato considerato il terrorismo (a partire dal 2020)?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_security_studies
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_security_studies
+task_alias: security_studies

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_sociology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: assistenza sanitaria e istruzione gratuite per tutti
+      B: un salario minimo
+      C: piena occupazione
+      D: benessere universale
+    input_correct_responses:
+    - B
+    input_question: 'Quale dei seguenti servizi lo stato sociale del dopoguerra del
+      1948 non mirava a fornire:'
+  - input_choice_list:
+      A: una giostra da fiera
+      B: un circo
+      C: un teatro di marionette
+      D: un balletto
+    input_correct_responses:
+    - C
+    input_question: "Cosa descrive Berger (1963) come metafora della realt\xE0 sociale?"
+  - input_choice_list:
+      A: la crescente burocrazia statale ha reso la religione solo una parte marginale
+        della nostra vita
+      B: "nonostante l\u2019indebolimento dell\u2019autorit\xE0 tradizionale, la nostra\
+        \ vita quotidiana e il \u201Csenso comune\u201D rimangono plasmati da credenze\
+        \ e valori religiosi"
+      C: "la partecipazione religiosa al culto collettivo pu\xF2 essere diminuita,\
+        \ ma le persone continuano a praticare la propria fede in privato"
+      D: "le persone sono molto pi\xF9 propense a discutere le proprie convinzioni\
+        \ religiose in contesti pubblici e informali"
+    input_correct_responses:
+    - B
+    input_question: "Il passaggio dalla \u201Creligione civile\u201D alla \u201Creligione\
+      \ comune\u201D significa che:"
+  - input_choice_list:
+      A: la tendenza della classe operaia a non realizzare i propri interessi
+      B: "un\u2019ideologia dominante che legittima il potere economico, politico\
+        \ e culturale"
+      C: una forma di doppia coscienza basata sull'ideologia e sulle esperienze
+        quotidiane
+      D: "una modalit\xE0 di pagamento prevista per arte topiaria eccezionale"
+    input_correct_responses:
+    - B
+    input_question: "Il termine \u201Cegemonia\u201D si riferisce a:"
+  - input_choice_list:
+      A: la maggior parte degli scioperi passa inosservata ai datori di lavoro e ai
+        mass media
+      B: non tutte le controversie industriali verranno denunciate dal datore di lavoro
+      C: dalla definizione di sciopero sono esclusi quelli che coinvolgono meno di
+        dieci lavoratori o che durano meno di un giorno
+      D: "\xE8 difficile confrontare gli scioperi misurati in modi diversi"
+    input_correct_responses:
+    - A
+    input_question: "Quale dei seguenti non \xE8 un problema associato alle statistiche\
+      \ ufficiali sugli scioperi?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_sociology
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_sociology
+task_alias: sociology

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_us_foreign_policy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Ha danneggiato il sostegno al modello americano di economia politica e capitalismo
+      B: Ha creato rabbia nei confronti degli Stati Uniti per aver esagerato la crisi
+      C: Ha aumentato il sostegno alla leadership globale americana sotto la presidenza
+        Obama
+      D: "Ha ridotto l\u2019uso globale del dollaro USA"
+    input_correct_responses:
+    - A
+    input_question: "In che modo la crisi finanziaria del 2008 ha influito sulla reputazione\
+      \ internazionale dell\u2019America?"
+  - input_choice_list:
+      A: Ha globalizzato il contenimento.
+      B: Ha militarizzato il contenimento.
+      C: Ha chiesto lo sviluppo della bomba all'idrogeno.
+      D: Tutti i precedenti
+    input_correct_responses:
+    - D
+    input_question: "In che modo l\u2019NSC-68 ha cambiato la strategia degli Stati\
+      \ Uniti?"
+  - input_choice_list:
+      A: politica del terrorismo.
+      B: politica economica.
+      C: politica estera.
+      D: politica internazionale.
+    input_correct_responses:
+    - C
+    input_question: "L\u2019ambito delle decisioni politiche che riguardano principalmente\
+      \ le relazioni tra gli Stati Uniti e il resto del mondo \xE8 noto come"
+  - input_choice_list:
+      A: I realisti difensivi pongono maggiore enfasi sul ruolo delle istituzioni
+        internazionali
+      B: I realisti difensivi pongono meno enfasi sui fattori geografici
+      C: "I realisti offensivi danno maggiore priorit\xE0 all\u2019interesse nazionale\
+        \ rispetto ai realisti difensivi."
+      D: I realisti difensivi credono che gli stati massimizzino la sicurezza, mentre
+        i realisti offensivi credono che gli stati massimizzino il potere
+    input_correct_responses:
+    - D
+    input_question: In che modo il realismo difensivo e il realismo offensivo differiscono
+      nella loro spiegazione del comportamento statale?
+  - input_choice_list:
+      A: La globalizzazione aveva reso uomini come lui troppo ricchi
+      B: La globalizzazione ha avvantaggiato solo alcuni stati americani, come New
+        York
+      C: "Le \xE9lite liberali avevano incoraggiato la globalizzazione, mentre gli\
+        \ \u201Camericani comuni\u201D avevano perso il lavoro a causa di essa"
+      D: La globalizzazione ha incoraggiato guerre commerciali dannose
+    input_correct_responses:
+    - C
+    input_question: In che modo Donald Trump ha attaccato la globalizzazione nella
+      campagna del 2016?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_us_foreign_policy
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_us_foreign_policy
+task_alias: us_foreign_policy

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_virology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Perch\xE9 non hanno acido nucleico"
+      B: Richiedono un virus aiutante
+      C: Si replicano solo nelle cellule in divisione
+      D: "Pu\xF2 integrarsi nei cromosomi ospiti"
+    input_correct_responses:
+    - A
+    input_question: "Perch\xE9 i parvovirus sono parassiti ad alto impatto?"
+  - input_choice_list:
+      A: Virus fragili spesso visualizzati con RNA che fuoriesce dall'interno
+      B: Allungare i virus
+      C: Virus icosaedrici con involucro
+      D: Virus molto grandi
+    input_correct_responses:
+    - A
+    input_question: "Quale delle seguenti \xE8 una caratteristica morfologica dei\
+      \ paramixovirus."
+  - input_choice_list:
+      A: Raccolta dati
+      B: Istituzione di un archivio di campioni biologici
+      C: Interesse dei partecipanti
+      D: Somministrazione del questionario da parte del personale
+    input_correct_responses:
+    - B
+    input_question: "Un fattore chiave che ha facilitato l\u2019applicazione degli\
+      \ studi caso-controllo annidati dal MACS \xE8 stato:"
+  - input_choice_list:
+      A: Cambiamento nel comportamento
+      B: Copertura completa
+      C: Uso efficace della teoria comportamentale
+      D: Cambiamento comportamentale duraturo
+    input_correct_responses:
+    - D
+    input_question: "L\u2019obiettivo pi\xF9 importante di un intervento comportamentale\
+      \ \xE8:"
+  - input_choice_list:
+      A: Individui sieroprevalenti con infezione da HIV
+      B: Sieronegativi
+      C: Sieroconvertitori
+      D: Sieronegativi ad alto rischio
+    input_correct_responses:
+    - C
+    input_question: "Il tempo medio di sopravvivenza all\u2019AIDS e alla morte \xE8\
+      \ stato stabilito come segue:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_virology
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_virology
+task_alias: virology

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_world_religions.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: L'Arcobaleno
+      B: Circoncisione
+      C: Un figlio
+      D: Bar mitzvah
+    input_correct_responses:
+    - B
+    input_question: " Qual \xE8 il segno del patto per i maschi ebrei?"
+  - input_choice_list:
+      A: Il Dharma
+      B: Il Sangha
+      C: Il Budda
+      D: Il Bodhisattva
+    input_correct_responses:
+    - A
+    input_question: "Qual \xE8 la seconda gemma nel buddismo?"
+  - input_choice_list:
+      A: Shang
+      B: Zhou
+      C: Han
+      D: Xia
+    input_correct_responses:
+    - B
+    input_question: ' In quale dinastia fu sviluppato il "Mandato del Cielo"
+      per legittimare i nuovi sovrani?'
+  - input_choice_list:
+      A: Honen
+      B: Tanaka
+      C: Tokugawa
+      D: Meiji
+    input_correct_responses:
+    - D
+    input_question: ' Quale governo giapponese promosse una sorta di culto nazionale
+      basato sull'imperatore e sulla sua associazione con i kami?'
+  - input_choice_list:
+      A: Testi rituali
+      B: Testi filosofici
+      C: Inni
+      D: Storie di origine
+    input_correct_responses:
+    - B
+    input_question: Come si possono caratterizzare le Upanishad?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_world_religions
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_world_religions
+task_alias: world_religions

lm_eval/tasks/llama3/instruct/mmlu_it/utils.py

+from functools import partial
+
+import datasets
+
+
+def process_docs(dataset: datasets.Dataset, subtask) -> datasets.Dataset:
+    return dataset.filter(
+        lambda example: example["subtask_name"] == f"mmlu_it_chat.{subtask}"
+    )
+
+
+process_docs_miscellaneous = partial(process_docs, subtask="miscellaneous")
+process_docs_high_school_physics = partial(process_docs, subtask="high_school_physics")
+process_docs_high_school_computer_science = partial(
+    process_docs, subtask="high_school_computer_science"
+)
+process_docs_high_school_statistics = partial(
+    process_docs, subtask="high_school_statistics"
+)
+process_docs_professional_accounting = partial(
+    process_docs, subtask="professional_accounting"
+)
+process_docs_machine_learning = partial(process_docs, subtask="machine_learning")
+process_docs_econometrics = partial(process_docs, subtask="econometrics")
+process_docs_astronomy = partial(process_docs, subtask="astronomy")
+process_docs_business_ethics = partial(process_docs, subtask="business_ethics")
+process_docs_high_school_macroeconomics = partial(
+    process_docs, subtask="high_school_macroeconomics"
+)
+process_docs_jurisprudence = partial(process_docs, subtask="jurisprudence")
+process_docs_professional_psychology = partial(
+    process_docs, subtask="professional_psychology"
+)
+process_docs_high_school_chemistry = partial(
+    process_docs, subtask="high_school_chemistry"
+)
+process_docs_philosophy = partial(process_docs, subtask="philosophy")
+process_docs_college_medicine = partial(process_docs, subtask="college_medicine")
+process_docs_medical_genetics = partial(process_docs, subtask="medical_genetics")
+process_docs_high_school_microeconomics = partial(
+    process_docs, subtask="high_school_microeconomics"
+)
+process_docs_high_school_geography = partial(
+    process_docs, subtask="high_school_geography"
+)
+process_docs_college_biology = partial(process_docs, subtask="college_biology")
+process_docs_human_aging = partial(process_docs, subtask="human_aging")
+process_docs_anatomy = partial(process_docs, subtask="anatomy")
+process_docs_logical_fallacies = partial(process_docs, subtask="logical_fallacies")
+process_docs_clinical_knowledge = partial(process_docs, subtask="clinical_knowledge")
+process_docs_conceptual_physics = partial(process_docs, subtask="conceptual_physics")
+process_docs_human_sexuality = partial(process_docs, subtask="human_sexuality")
+process_docs_formal_logic = partial(process_docs, subtask="formal_logic")
+process_docs_abstract_algebra = partial(process_docs, subtask="abstract_algebra")
+process_docs_high_school_biology = partial(process_docs, subtask="high_school_biology")
+process_docs_marketing = partial(process_docs, subtask="marketing")
+process_docs_world_religions = partial(process_docs, subtask="world_religions")
+process_docs_high_school_european_history = partial(
+    process_docs, subtask="high_school_european_history"
+)
+process_docs_college_computer_science = partial(
+    process_docs, subtask="college_computer_science"
+)
+process_docs_high_school_world_history = partial(
+    process_docs, subtask="high_school_world_history"
+)
+process_docs_prehistory = partial(process_docs, subtask="prehistory")
+process_docs_high_school_mathematics = partial(
+    process_docs, subtask="high_school_mathematics"
+)
+process_docs_global_facts = partial(process_docs, subtask="global_facts")
+process_docs_moral_scenarios = partial(process_docs, subtask="moral_scenarios")
+process_docs_electrical_engineering = partial(
+    process_docs, subtask="electrical_engineering"
+)
+process_docs_management = partial(process_docs, subtask="management")
+process_docs_elementary_mathematics = partial(
+    process_docs, subtask="elementary_mathematics"
+)
+process_docs_us_foreign_policy = partial(process_docs, subtask="us_foreign_policy")
+process_docs_professional_medicine = partial(
+    process_docs, subtask="professional_medicine"
+)
+process_docs_college_physics = partial(process_docs, subtask="college_physics")
+process_docs_high_school_government_and_politics = partial(
+    process_docs, subtask="high_school_government_and_politics"
+)
+process_docs_security_studies = partial(process_docs, subtask="security_studies")
+process_docs_professional_law = partial(process_docs, subtask="professional_law")
+process_docs_high_school_us_history = partial(
+    process_docs, subtask="high_school_us_history"
+)
+process_docs_virology = partial(process_docs, subtask="virology")
+process_docs_nutrition = partial(process_docs, subtask="nutrition")
+process_docs_college_chemistry = partial(process_docs, subtask="college_chemistry")
+process_docs_computer_security = partial(process_docs, subtask="computer_security")
+process_docs_public_relations = partial(process_docs, subtask="public_relations")
+process_docs_moral_disputes = partial(process_docs, subtask="moral_disputes")
+process_docs_college_mathematics = partial(process_docs, subtask="college_mathematics")
+process_docs_high_school_psychology = partial(
+    process_docs, subtask="high_school_psychology"
+)
+process_docs_international_law = partial(process_docs, subtask="international_law")
+process_docs_sociology = partial(process_docs, subtask="sociology")