Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_it/_mmlu_it_social_sciences.yaml

+group: mmlu_it_llama_social_sciences
+group_alias: social sciences
+task:
+  - mmlu_it_llama_social_sciences_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_it/_mmlu_it_stem.yaml

+group: mmlu_it_llama_stem
+group_alias: stem
+task:
+  - mmlu_it_llama_stem_tasks
+aggregate_metric_list:
+  - metric: exact_match
+    aggregation: mean
+    weight_by_size: True
+    filter_list: [strict_match]
+metadata:
+  version: 1

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_abstract_algebra.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '0'
+      B: '1'
+      C: '2'
+      D: '3'
+    input_correct_responses:
+    - B
+    input_question: Trova tutto c in Z_3 tale che Z_3[x]/(x^2 + c) sia un campo.
+  - input_choice_list:
+      A: Vero vero
+      B: Falso, Falso
+      C: Vero falso
+      D: "Falsa verit\xE0"
+    input_correct_responses:
+    - B
+    input_question: "Dichiarazione 1 | Se aH \xE8 un elemento di un gruppo di fattori,\
+      \ allora |aH| divide |a|. Dichiarazione 2 | Se H e K sono sottogruppi di G allora\
+      \ HK \xE8 un sottogruppo di G."
+  - input_choice_list:
+      A: Vero vero
+      B: Falso, Falso
+      C: Vero falso
+      D: "Falsa verit\xE0"
+    input_correct_responses:
+    - C
+    input_question: Dichiarazione 1 | Ogni elemento di un gruppo genera un sottogruppo
+      ciclico del gruppo. Dichiarazione 2 | Il gruppo simmetrico S_10 ha 10 elementi.
+  - input_choice_list:
+      A: Vero vero
+      B: Falso, Falso
+      C: Vero falso
+      D: "Falsa verit\xE0"
+    input_correct_responses:
+    - A
+    input_question: "Dichiarazione 1| Ogni funzione da un insieme finito su se stessa\
+      \ deve essere uno a uno. Dichiarazione 2 | Ogni sottogruppo di un gruppo abeliano\
+      \ \xE8 abeliano."
+  - input_choice_list:
+      A: '0'
+      B: '3'
+      C: '12'
+      D: '30'
+    input_correct_responses:
+    - A
+    input_question: Trova la caratteristica dell'anello 2Z.
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_abstract_algebra
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_abstract_algebra
+task_alias: abstract_algebra

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_anatomy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Il primo arco faringeo
+      B: Il primo e il secondo arco faringeo
+      C: Il secondo arco faringeo
+      D: Il secondo e il terzo arco faringeo
+    input_correct_responses:
+    - D
+    input_question: "Qual \xE8 l'origine embriologica dell'osso ioide?"
+  - input_choice_list:
+      A: Il nervo sopraorbitario
+      B: Il nervo infraorbitario
+      C: Il nervo mentale
+      D: Nessuna delle precedenti
+    input_correct_responses:
+    - D
+    input_question: Quali di questi rami del nervo trigemino contengono processi motori
+      somatici?
+  - input_choice_list:
+      A: non hanno innervazione sensoriale.
+      B: sono separati da uno spazio di 2 mm.
+      C: estendersi nel collo.
+      D: sono costituiti da epitelio respiratorio.
+    input_correct_responses:
+    - C
+    input_question: La pleura
+  - input_choice_list:
+      A: overbite eccessivo degli incisivi laterali superiori.
+      B: overjet negativo degli incisivi centrali superiori.
+      C: eccesso di overjet degli incisivi laterali superiori.
+      D: eccesso di overjet degli incisivi centrali superiori.
+    input_correct_responses:
+    - C
+    input_question: "Nell'occlusione di Classe II Div 2 di Angle c'\xE8"
+  - input_choice_list:
+      A: Addominale
+      B: Craniale
+      C: Pleurico
+      D: Spinale
+    input_correct_responses:
+    - B
+    input_question: "Quale delle seguenti \xE8 la cavit\xE0 corporea che contiene\
+      \ la ghiandola pituitaria?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_anatomy
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_anatomy
+task_alias: anatomy

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_astronomy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Sarebbe pi\xF9 difficile dato che il camion \xE8 pi\xF9 pesante su Marte."
+      B: "Sarebbe pi\xF9 facile dato che il camion \xE8 pi\xF9 leggero su Marte."
+      C: "Sarebbe pi\xF9 difficile poich\xE9 il camion \xE8 pi\xF9 leggero su Marte."
+      D: Sarebbe lo stesso, non importa dove ti trovi.
+    input_correct_responses:
+    - D
+    input_question: "Stai spingendo un camion lungo una strada. Sarebbe pi\xF9 facile\
+      \ accelerare questo camion su Marte? Perch\xE9? (Supponiamo che non vi sia attrito)"
+  - input_choice_list:
+      A: La cintura di Kuiper; le comete di breve periodo tendono a trovarsi nel piano
+        del sistema solare proprio come la fascia di Kuiper.
+      B: La cintura di Kuiper; le comete di breve periodo tendono a provenire da direzioni
+        casuali che indicano una distribuzione sferica delle comete chiamata fascia
+        di Kuiper.
+      C: La cintura degli asteroidi; le comete di breve periodo hanno periodi orbitali
+        simili a quelli degli asteroidi come Vesta e si trovano nel piano del sistema
+        solare proprio come la cintura degli asteroidi.
+      D: La nube di Oort; le comete di breve periodo tendono a trovarsi nel piano
+        del sistema solare proprio come la nube di Oort.
+    input_correct_responses:
+    - A
+    input_question: Da dove provengono la maggior parte delle comete di breve periodo
+      e come lo sappiamo?
+  - input_choice_list:
+      A: "10000 volte di pi\xF9"
+      B: "100 volte di pi\xF9"
+      C: "1000 volte di pi\xF9"
+      D: "10 volte di pi\xF9"
+    input_correct_responses:
+    - A
+    input_question: "Supponiamo che la pupilla del tuo occhio abbia un diametro di\
+      \ 5 mm e che tu abbia un telescopio con un'apertura di 50 cm. Quanta pi\xF9\
+      \ luce pu\xF2 raccogliere il telescopio rispetto al tuo occhio?"
+  - input_choice_list:
+      A: "Qui una volta si form\xF2 un pianeta, ma fu distrutto da una collisione\
+        \ catastrofica."
+      B: In questa parte della nebulosa solare non c'era abbastanza materiale
+        per formare un pianeta.
+      C: C'era troppo materiale roccioso per formare un pianeta terrestre ma non
+        abbastanza materiale gassoso per formare un pianeta gioviano.
+      D: La risonanza con Giove ha impedito al materiale di riunirsi per formare un
+        pianeta.
+    input_correct_responses:
+    - D
+    input_question: "Perch\xE9 non esiste un pianeta dove si trova la fascia degli\
+      \ asteroidi?"
+  - input_choice_list:
+      A: "Perch\xE9 la superficie \xE8 ricoperta da minerali fortemente ossidati ("arrugginiti")."
+      B: "Perch\xE9 l\u2019atmosfera disperde pi\xF9 luce alle lunghezze d\u2019onda\
+        \ pi\xF9 blu trasmettendo principalmente luce rossa."
+      C: "Perch\xE9 Marte \xE8 ricoperto da antiche colate laviche di colore rosso."
+      D: "Perch\xE9 l'acqua che scorre sulla superficie di Marte ha alterato i\
+        \ minerali superficiali diversi miliardi di anni fa."
+    input_correct_responses:
+    - A
+    input_question: "Perch\xE9 Marte \xE8 rosso?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_astronomy
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_astronomy
+task_alias: astronomy

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_business_ethics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Esternalit\xE0, potere, indipendenza"
+      B: "Pubblicit\xE0, Risorse inconsistenti, Dipendenza reciproca"
+      C: "Pubblicit\xE0, potere, indipendenza"
+      D: "Esternalit\xE0, Potere, Dipendenza reciproca"
+    input_correct_responses:
+    - D
+    input_question: "Al di l\xE0 delle ragioni aziendali per impegnarsi nella RSI,\
+      \ ci sono una serie di argomenti morali relativi al _______ negativo, al _______\
+      \ che le aziende possiedono e al ________ delle imprese e della societ\xE0."
+  - input_choice_list:
+      A: "Responsabilit\xE0 sociale delle imprese"
+      B: "Gestione dell\u2019etica aziendale"
+      C: "Sostenibilit\xE0"
+      D: Gestione ambientale
+    input_correct_responses:
+    - B
+    input_question: "_______ \xE8 il tentativo diretto di gestire in modo formale\
+      \ o informale questioni o problemi etici, attraverso politiche, pratiche e programmi\
+      \ specifici."
+  - input_choice_list:
+      A: Esterno, limitato, indipendente
+      B: Dentro, limitato, a intermittenza
+      C: Fuori, Illimitato, A intermittenza
+      D: Dentro, Illimitato, Indipendente
+    input_correct_responses:
+    - A
+    input_question: "Per garantire l'indipendenza dei consiglieri non esecutivi,\
+      \ \xE8 possibile adottare una serie di misure, tra cui la nomina di non esecutivi\
+      \ provenienti da _______ la societ\xE0, la nomina per un periodo di _________\
+      \ nonch\xE9 la nomina a _________."
+  - input_choice_list:
+      A: Azione diretta non violenta, Azione diretta violenta, Azione indiretta, Boicottaggio
+      B: Azione indiretta, Azione strumentale, Azione diretta non violenta, Campagna
+        di informazione
+      C: Azione indiretta, Azione diretta violenta, Azione diretta non violenta Boicottaggio
+      D: Azione diretta non violenta, Azione strumentale, Azione indiretta, Campagna
+        di informazione
+    input_correct_responses:
+    - C
+    input_question: "Tre tattiche contrastanti che le organizzazioni della societ\xE0\
+      \ civile possono adottare per raggiungere i propri obiettivi sono ________,\
+      \ che in genere implica ricerca e comunicazione, ________, che pu\xF2 comportare\
+      \ l'attacco fisico alle operazioni di un'azienda o ________, che spesso\
+      \ implica una qualche forma di _______."
+  - input_choice_list:
+      A: Buycott, boicottaggi, tecnologia Blockchain, donazioni di beneficenza
+      B: Buycott, boicottaggi, tecnologia digitale, aumento delle vendite
+      C: Boicottaggi, Buyalls, tecnologia Blockchain, donazioni di beneficenza
+      D: Boicottaggi, buycott, tecnologia digitale, aumento delle vendite
+    input_correct_responses:
+    - D
+    input_question: "A differenza di _______, _______ mira a premiare il comportamento\
+      \ favorevole delle aziende. Il successo di tali campagne \xE8 stato incrementato\
+      \ attraverso l'uso di ___________, che consente alle campagne di facilitare\
+      \ l'azienda nel raggiungimento di _________."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_business_ethics
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_business_ethics
+task_alias: business_ethics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_clinical_knowledge.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ATP.
+      B: ADP.
+      C: fosfocreatina.
+      D: fosforilazione ossidativa.
+    input_correct_responses:
+    - A
+    input_question: "L\u2019energia per tutte le forme di contrazione muscolare \xE8\
+      \ fornita da:"
+  - input_choice_list:
+      A: I cateteri maschili e femminili sono di colori diversi.
+      B: "I cateteri maschili sono pi\xF9 lunghi dei cateteri femminili."
+      C: "I cateteri maschili sono pi\xF9 grandi dei cateteri femminili."
+      D: "I cateteri femminili sono pi\xF9 lunghi dei cateteri maschili."
+    input_correct_responses:
+    - B
+    input_question: "Qual \xE8 la differenza tra un catetere maschile e uno femminile?"
+  - input_choice_list:
+      A: "L'abduzione del pollice \xE8 fornita dalla radice spinale T2"
+      B: "L'opposizione del pollice da parte dell'opponens policis \xE8 fornita\
+        \ dalla radice spinale T1"
+      C: "L'adduzione delle dita \xE8 fornita dal nervo mediano"
+      D: "Il rapimento delle dita \xE8 mediato dagli interossei palmari"
+    input_correct_responses:
+    - B
+    input_question: "Nella valutazione della funzione della mano quale delle seguenti\
+      \ affermazioni \xE8 vera?"
+  - input_choice_list:
+      A: '4'
+      B: '3'
+      C: '2'
+      D: '1'
+    input_correct_responses:
+    - C
+    input_question: "Quanti tentativi si dovrebbero fare per incannulare un paziente\
+      \ prima di passare il lavoro a un collega pi\xF9 anziano, secondo le conoscenze\
+      \ mediche del 2020?"
+  - input_choice_list:
+      A: glicogeno a glucosio-1-fosfato.
+      B: glicogeno o glucosio in fruttosio.
+      C: glicogeno o glucosio a piruvato o lattato.
+      D: glicogeno o glucosio a piruvato o acetil CoA.
+    input_correct_responses:
+    - C
+    input_question: "La glicolisi \xE8 il nome dato al percorso che comporta la conversione\
+      \ di:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_clinical_knowledge
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_clinical_knowledge
+task_alias: clinical_knowledge

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_college_biology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Possiedono un esoscheletro composto principalmente da peptidoglicano.
+      B: Possiedono un sistema circolatorio aperto con un cuore dorsale.
+      C: Sono membri di un phylum biologicamente fallito, incapace di sfruttare diversi
+        habitat e fonti di nutrimento.
+      D: Sono privi di appendici accoppiate e articolate.
+    input_correct_responses:
+    - B
+    input_question: Quale delle seguenti rappresenta un'affermazione accurata
+      riguardo agli artropodi?
+  - input_choice_list:
+      A: 1/400
+      B: 19/400
+      C: 20/400
+      D: 38/400
+    input_correct_responses:
+    - D
+    input_question: "In una data popolazione, 1 persona su 400 ha un cancro causato\
+      \ da un allele completamente recessivo, b. Supponendo che la popolazione sia\
+      \ in equilibrio di Hardy-Weinberg, quale delle seguenti \xE8 la percentuale\
+      \ attesa di individui portatori dell'allele b ma che non si prevede sviluppino\
+      \ il cancro?"
+  - input_choice_list:
+      A: l'uomo e l'uccello sono specie polifiletiche
+      B: "l'evoluzione di un essere umano e di un uccello \xE8 convergente"
+      C: l'umano e l'uccello appartengono a un clade
+      D: l'uomo e l'uccello si sono sviluppati per analogia
+    input_correct_responses:
+    - C
+    input_question: La presenza di strutture omologhe in due organismi diversi, come
+      l'omero nell'arto anteriore di un essere umano e di un uccello, lo indica
+  - input_choice_list:
+      A: una pompa pressione-flusso dipendente dall'ATP
+      B: "un gradiente potenziale della pressione dell\u2019acqua"
+      C: traspirazione
+      D: diffusione apoplastica
+    input_correct_responses:
+    - B
+    input_question: "Secondo il modello pressione-flusso del movimento del contenuto\
+      \ del floema, il movimento del fotosintetato dalla sorgente al pozzo \xE8 guidato\
+      \ da"
+  - input_choice_list:
+      A: Telomeri
+      B: Centromeri
+      C: Nucleosomi
+      D: Spliceosomi
+    input_correct_responses:
+    - B
+    input_question: Quale dei seguenti contiene sequenze di DNA necessarie per la
+      segregazione dei cromosomi nella mitosi e nella meiosi?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_biology
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_college_biology
+task_alias: college_biology

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_college_chemistry.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Lo stato di ossidazione pi\xF9 comune per gli elementi lantanidi \xE8 +3."
+      B: I complessi di lantanidi hanno spesso numeri di coordinazione elevati (>
+        6).
+      C: Tutti gli elementi lantanidi reagiscono con l'acido acquoso per liberare
+        idrogeno.
+      D: I raggi atomici degli elementi lantanidi aumentano nel periodo da La a Lu.
+    input_correct_responses:
+    - D
+    input_question: "Quale delle seguenti affermazioni sugli elementi lantanidi NON\
+      \ \xE8 vera?"
+  - input_choice_list:
+      A: 1,0 ml
+      B: 10 ml
+      C: 20 ml
+      D: 50 ml
+    input_correct_responses:
+    - C
+    input_question: Un campione di 0,217 g di HgO (massa molare = 217 g) reagisce
+      con gli ioni ioduro in eccesso secondo la reazione mostrata sopra. La titolazione
+      della soluzione risultante richiede quanti ml di HCl 0,10 M per raggiungere
+      il punto equivalente?
+  - input_choice_list:
+      A: '4'
+      B: '3'
+      C: '6'
+      D: '24'
+    input_correct_responses:
+    - A
+    input_question: "Prevedere il numero di linee nello spettro EPR di una soluzione\
+      \ di radicale metilico marcato con 13C (13CH3\u2022), presupponendo che le linee\
+      \ non si sovrappongano."
+  - input_choice_list:
+      A: un acido
+      B: una base
+      C: un catalizzatore
+      D: un agente riducente
+    input_correct_responses:
+    - D
+    input_question: "3 Cl\u2212(aq) + 4 CrO_4^2\u2212(aq) + 23 H+(aq) \u2192 3 HClO2(aq)\
+      \ + 4 Cr3+(aq) + 10 H2O(l). Nella reazione mostrata sopra, Cl\u2212(aq) si comporta\
+      \ come"
+  - input_choice_list:
+      A: PbH4 < SnH4 < GeH4 < SiH4 < CH4
+      B: PbH4 < SnH4 < CH4 < GeH4 < SiH4
+      C: CH4 < SiH4 < GeH4 < SnH4 < PbH4
+      D: CH4 < PbH4 < GeH4 < SnH4 < SiH4
+    input_correct_responses:
+    - A
+    input_question: "Quale delle seguenti elenca gli idruri degli elementi del gruppo\
+      \ 14 in ordine di stabilit\xE0 termica, dal pi\xF9 basso al pi\xF9 alto?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_chemistry
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_college_chemistry
+task_alias: college_chemistry

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_college_computer_science.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: a*(c + d)+ b(c + d)
+      B: a*(c+d)* + b(c+d)*
+      C: a*(c + d)+ b*(c + d)
+      D: (a + b)*c +(a + b)*d
+    input_correct_responses:
+    - D
+    input_question: "Quale delle seguenti espressioni regolari \xE8 equivalente a\
+      \ (descrive lo stesso insieme di stringhe di) (a* + b)*(c + d)?"
+  - input_choice_list:
+      A: '5'
+      B: '6'
+      C: '7'
+      D: '8'
+    input_correct_responses:
+    - B
+    input_question: "Una determinata macchina RISC in pipeline ha 8 registri di uso\
+      \ generale R0, R1, . . . , R7 e supporta le seguenti operazioni. AGGIUNGI Rs1,\
+      \ Rs2, Rd Somma Rs1 a Rs2 e metti la somma in Rd MUL Rs1, Rs2, Rd Moltiplica\
+      \ Rs1 per Rs2 e metti il prodotto in Rd Un'operazione normalmente richiede\
+      \ un ciclo; tuttavia, un'operazione richiede due cicli se produce un risultato\
+      \ richiesto dall'operazione immediatamente successiva in una sequenza di\
+      \ operazioni. Considera l'espressione AB + ABC + BC, dove le variabili A,\
+      \ B, C si trovano nei registri R0, R1, R2. Se il contenuto di questi tre registri\
+      \ non deve essere modificato, qual \xE8 il numero minimo di cicli di clock richiesti\
+      \ per una sequenza di operazioni che calcola il valore di AB + ABC + BC?"
+  - input_choice_list:
+      A: I solo
+      B: Solo II
+      C: Solo III
+      D: I, II e III
+    input_correct_responses:
+    - D
+    input_question: "Il modello di progettazione Singleton viene utilizzato per garantire\
+      \ che sia possibile istanziare solo una singola istanza di una classe. Quale\
+      \ delle seguenti affermazioni \xE8 (sono) vera per questo modello di progettazione?\
+      \ I. La classe Singleton ha un metodo factory statico per fornire la sua istanza.\
+      \ II. La classe Singleton pu\xF2 essere una sottoclasse di un'altra classe.\
+      \ III. La classe Singleton ha un costruttore privato."
+  - input_choice_list:
+      A: '5'
+      B: '6'
+      C: '7'
+      D: '9'
+    input_correct_responses:
+    - D
+    input_question: "Un compilatore genera codice per la seguente istruzione di assegnazione.\
+      \ G := (A + B) * C - (D + E) * F La macchina target ha un singolo accumulatore\
+      \ e un set di istruzioni a indirizzo singolo costituito da istruzioni caricare,\
+      \ memorizzare, aggiungere, sottrarre e moltiplicare. Per le operazioni aritmetiche,\
+      \ l'operando sinistro viene prelevato dall'accumulatore e il risultato\
+      \ appare nell'accumulatore. Il minor numero possibile di istruzioni nel\
+      \ codice risultante \xE8"
+  - input_choice_list:
+      A: 1/50
+      B: 1/27
+      C: 1/25
+      D: 27/2
+    input_correct_responses:
+    - B
+    input_question: "Consideriamo un progetto di computer in cui pi\xF9 processori,\
+      \ ciascuno con una memoria cache privata, condividono la memoria globale utilizzando\
+      \ un singolo bus. Questo bus \xE8 la risorsa critica del sistema. Ogni processore\
+      \ pu\xF2 eseguire un'istruzione ogni 500 nanosecondi purch\xE9 i riferimenti\
+      \ di memoria siano soddisfatti dalla cache locale. Quando si verifica un errore\
+      \ nella cache, il processore viene ritardato di altri 2.000 nanosecondi. Durante\
+      \ la met\xE0 di questo ritardo aggiuntivo, l'autobus \xE8 dedicato a servire\
+      \ la cache miss. Durante l'altra met\xE0, il processore non pu\xF2 continuare,\
+      \ ma il bus \xE8 libero di soddisfare le richieste di altri processori. In media,\
+      \ ogni istruzione richiede 2 riferimenti di memoria. In media, gli errori di\
+      \ cache si verificano nell'1% dei riferimenti. Quale percentuale della capacit\xE0\
+      \ del bus consumerebbe un singolo processore, ignorando i ritardi dovuti alla\
+      \ concorrenza di altri processori?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_computer_science
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_college_computer_science
+task_alias: college_computer_science

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_college_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ST = 0
+      B: ST = T
+      C: ST = ST
+      D: "ST - TS \xE8 la mappa identitaria di V su se stessa."
+    input_correct_responses:
+    - D
+    input_question: "Sia V l'insieme di tutti i polinomi reali p(x). Siano definite\
+      \ le trasformazioni T, S su V da T:p(x) -> xp(x) e S:p(x) -> p'(x)\
+      \ = d/dx p(x), e si interpreti (ST) (p(x)) come S(T(p(x))). Quale delle seguenti\
+      \ affermazioni \xE8 vera?"
+  - input_choice_list:
+      A: '2'
+      B: 2 - e^-2
+      C: 2+e^-2
+      D: 2+e^-4
+    input_correct_responses:
+    - D
+    input_question: "Un serbatoio contiene inizialmente una soluzione salina composta\
+      \ da 3 grammi di sale disciolti in 100 litri di acqua. Nel serbatoio viene spruzzata\
+      \ una soluzione salina contenente 0,02 grammi di sale per litro d'acqua\
+      \ ad una velocit\xE0 di 4 litri al minuto. La soluzione spruzzata viene continuamente\
+      \ miscelata con la soluzione salina contenuta nel serbatoio e la miscela fuoriesce\
+      \ dal serbatoio ad una velocit\xE0 di 4 litri al minuto. Se la miscelazione\
+      \ \xE8 istantanea, quanti grammi di sale ci sono nel serbatoio dopo che sono\
+      \ trascorsi 100 minuti?"
+  - input_choice_list:
+      A: I solo
+      B: Solo II
+      C: Solo III
+      D: Solo II e III
+    input_correct_responses:
+    - B
+    input_question: "Sia A una matrice 2x2 reale. Quale delle seguenti affermazioni\
+      \ deve essere vera? I. Tutte le voci di A^2 sono non negative. II. Il determinante\
+      \ di A^2 non \xE8 negativo. III. Se A ha due autovalori distinti, allora A^2\
+      \ ha due autovalori distinti."
+  - input_choice_list:
+      A: '-11'
+      B: '0'
+      C: '11'
+      D: 33/2
+    input_correct_responses:
+    - C
+    input_question: "Supponiamo che f(1 + x) = f(x) per ogni x reale. Se f \xE8 un\
+      \ polinomio e f(5) = 11, allora f(15/2)"
+  - input_choice_list:
+      A: '-5'
+      B: '-4'
+      C: '-3'
+      D: '-2'
+    input_correct_responses:
+    - B
+    input_question: "Sia A l'insieme di tutte le coppie ordinate di interi (m,\
+      \ n) tali che 7m + 12n = 22. Qual \xE8 il numero negativo pi\xF9 grande nell'insieme\
+      \ B = {m + n : (m, n) \\in A}?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_mathematics
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_college_mathematics
+task_alias: college_mathematics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_college_medicine.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: tramite trasportatori di proteine chiamati GLUT4.
+      B: solo in presenza di insulina.
+      C: tramite esochinasi.
+      D: tramite trasportatori dell'acido monocarbilico.
+    input_correct_responses:
+    - A
+    input_question: 'Il glucosio viene trasportato nella cellula muscolare:'
+  - input_choice_list:
+      A: Il glicogeno muscolare viene scomposto enzimaticamente in glucosio-1-fosfato
+      B: "I corridori di resistenza d'\xE9lite hanno un'alta percentuale di\
+        \ fibre di tipo I nei muscoli delle gambe"
+      C: "Il glicogeno epatico \xE8 importante nel mantenimento della concentrazione\
+        \ di glucosio nel sangue"
+      D: "L\u2019insulina promuove l\u2019assorbimento del glucosio da parte di tutti\
+        \ i tessuti del corpo"
+    input_correct_responses:
+    - D
+    input_question: "Quale delle seguenti non \xE8 un'affermazione vera?"
+  - input_choice_list:
+      A: Tutti i discendenti dal lato materno avranno il disturbo.
+      B: In questa famiglia le femmine saranno colpite circa il doppio rispetto ai
+        maschi.
+      C: Tutte le figlie di un maschio affetto saranno colpite.
+      D: "Ci sar\xE0 una distribuzione equa dei maschi e delle femmine colpiti."
+    input_correct_responses:
+    - C
+    input_question: "In un test genetico su un neonato, viene rilevata una rara malattia\
+      \ genetica che ha una trasmissione recessiva legata all'X. Quale delle seguenti\
+      \ affermazioni \xE8 probabilmente vera riguardo all'albero genealogico di\
+      \ questo disturbo?"
+  - input_choice_list:
+      A: Aumento della temperatura, aumento delle moli di gas
+      B: Aumento della temperatura, aumento del volume
+      C: Diminuzione del volume, diminuzione della temperatura
+      D: Diminuzione delle moli di gas, aumento del volume
+    input_correct_responses:
+    - A
+    input_question: "Un insegnante di scienze di una scuola superiore riempie una\
+      \ bottiglia da 1 litro con azoto puro e sigilla il coperchio. La pressione \xE8\
+      \ di 1,70 atm e la temperatura ambiente \xE8 di 25\xB0C. Quali due variabili\
+      \ aumenteranno entrambe la pressione del sistema, se tutte le altre variabili\
+      \ rimangono costanti?"
+  - input_choice_list:
+      A: debolezza muscolare.
+      B: aumento di massa corporea.
+      C: crampi muscolari.
+      D: perdita di elettroliti.
+    input_correct_responses:
+    - B
+    input_question: "Un effetto collaterale atteso dell'integrazione di creatina\
+      \ \xE8:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_medicine
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_college_medicine
+task_alias: college_medicine

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_college_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '4'
+      B: '5'
+      C: '6'
+      D: '20'
+    input_correct_responses:
+    - A
+    input_question: "Un telescopio rifrattore \xE8 formato da due lenti convergenti\
+      \ separate da 100 cm. La lente dell'oculare ha una lunghezza focale di 20\
+      \ cm. L'ingrandimento angolare del telescopio \xE8"
+  - input_choice_list:
+      A: Temperatura costante
+      B: Volume costante
+      C: Pressione costante
+      D: Adiabatico
+    input_correct_responses:
+    - B
+    input_question: "Per quale dei seguenti processi termodinamici l'aumento dell'energia\
+      \ interna di un gas ideale \xE8 uguale al calore ceduto al gas?"
+  - input_choice_list:
+      A: 2,4 V
+      B: 3,3 V
+      C: 4,5 V
+      D: 5,7 V
+    input_correct_responses:
+    - A
+    input_question: "Un'estremit\xE0 di un filo di nichelcromo di lunghezza 2L\
+      \ e area di sezione trasversale A \xE8 collegata a un'estremit\xE0 di un\
+      \ altro filo di nichelcromo di lunghezza L e area di sezione trasversale 2A.\
+      \ Se l'estremit\xE0 libera del filo pi\xF9 lungo ha un potenziale elettrico\
+      \ di 8,0 volt e l'estremit\xE0 libera del filo pi\xF9 corto ha un potenziale\
+      \ elettrico di 1,0 volt, il potenziale alla giunzione dei due fili \xE8 quasi\
+      \ uguale a"
+  - input_choice_list:
+      A: '4'
+      B: '5'
+      C: '6'
+      D: '20'
+    input_correct_responses:
+    - A
+    input_question: "Un telescopio rifrattore \xE8 formato da due lenti convergenti\
+      \ separate da 100 cm. La lente dell'oculare ha una lunghezza focale di 20\
+      \ cm. L'ingrandimento angolare del telescopio \xE8"
+  - input_choice_list:
+      A: carica
+      B: massa
+      C: energia e slancio
+      D: numero leptonico
+    input_correct_responses:
+    - D
+    input_question: "Il muone decade con una vita caratteristica di circa 10^-6 secondi\
+      \ in un elettrone, un neutrino muonico e un antineutrino elettronico. Al muone\
+      \ \xE8 vietato decadere in un elettrone e in un solo neutrino dalla legge di\
+      \ conservazione"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_college_physics
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_college_physics
+task_alias: college_physics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_computer_security.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 160 bit
+      B: 512 bit
+      C: 628 bit
+      D: 820 bit
+    input_correct_responses:
+    - A
+    input_question: SHA-1 ha un digest del messaggio
+  - input_choice_list:
+      A: "IM \u2013 Trojan"
+      B: Trojan backdoor
+      C: Downloader di trojan
+      D: Trojan di riscatto
+    input_correct_responses:
+    - D
+    input_question: "_____________ pu\xF2 modificare i dati sul tuo sistema, in modo\
+      \ che il tuo sistema non funzioni correttamente o non sia pi\xF9 possibile accedere\
+      \ a dati specifici, o potrebbe persino chiedere un riscatto per concederti l'accesso."
+  - input_choice_list:
+      A: '"Hackerare" l'etica in modo da giustificare un comportamento
+        egoistico non intenzionale'
+      B: "Sistemi di hacking (ad esempio durante i penetration test) per esporre le\
+        \ vulnerabilit\xE0 in modo che possano essere riparate, anzich\xE9 sfruttate"
+      C: Hacking nei sistemi gestiti da coloro con la cui etica non sei d'accordo
+      D: Un termine gergale per lo sviluppo rapido di software, ad esempio, come parte
+        degli hackathon
+    input_correct_responses:
+    - B
+    input_question: "Cos\u2019\xE8 l\u2019hacking etico?"
+  - input_choice_list:
+      A: sovrascrivendo le chiavi crittografiche in memoria
+      B: una sorta di iniezione di codice
+      C: una lettura al di fuori dei limiti di un buffer
+      D: un attacco di stringa di formato
+    input_correct_responses:
+    - C
+    input_question: "Lo sfruttamento del bug Heartbleed \xE8 consentito"
+  - input_choice_list:
+      A: Rete infestata
+      B: World Wide Web
+      C: Rete di superficie
+      D: Deep Web
+    input_correct_responses:
+    - D
+    input_question: "Il ____________ \xE8 tutto ci\xF2 che il tuo motore di ricerca\
+      \ non pu\xF2 cercare."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_computer_security
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_computer_security
+task_alias: computer_security

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_conceptual_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: meno
+      B: "Di pi\xF9"
+      C: lo stesso
+      D: zero
+    input_correct_responses:
+    - A
+    input_question: Rispetto alla massa di un atomo di uranio sottoposto a fissione,
+      le masse combinate dei prodotti dopo la fissione sono
+  - input_choice_list:
+      A: spazio e tempo.
+      B: un gemello viaggiante e un gemello casalingo.
+      C: "gravit\xE0 e accelerazione."
+      D: massa ed energia.
+    input_correct_responses:
+    - C
+    input_question: Le cose che sono equivalenti secondo il principio di equivalenza
+      lo sono
+  - input_choice_list:
+      A: convertito in una frequenza diversa
+      B: deflessione
+      C: interferenza
+      D: polarizzazione
+    input_correct_responses:
+    - C
+    input_question: I colori in una bolla di sapone risultano dalla luce
+  - input_choice_list:
+      A: lo stesso
+      B: maggiore
+      C: meno
+      D: "maggiore o minore a seconda della velocit\xE0 del vento"
+    input_correct_responses:
+    - B
+    input_question: "Un modellino di aeroplano vola pi\xF9 lentamente quando vola\
+      \ controvento e pi\xF9 velocemente quando il vento \xE8 alle sue spalle. Quando\
+      \ lanciato ad angolo retto rispetto al vento, con vento trasversale la sua velocit\xE0\
+      \ al suolo \xE8 rispetto al volo in aria ferma"
+  - input_choice_list:
+      A: Idrogeno
+      B: Ferro
+      C: Uranio
+      D: Lo stesso in ciascuno
+    input_correct_responses:
+    - A
+    input_question: Quale di questi tre elementi ha la massa maggiore per nucleone?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_conceptual_physics
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_conceptual_physics
+task_alias: conceptual_physics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_econometrics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Alla fine morirai
+      B: Perseverare indefinitamente
+      C: Crescere in modo esponenziale
+      D: Non verificarsi mai
+    input_correct_responses:
+    - A
+    input_question: Per un processo autoregressivo stazionario, gli shock lo faranno
+  - input_choice_list:
+      A: 0,2
+      B: '0.4'
+      C: 0,5
+      D: 0,33
+    input_correct_responses:
+    - D
+    input_question: "Consideriamo il seguente modello AR(1) con i disturbi aventi\
+      \ media nulla e varianza unitaria yt = 0,2 + 0,4 yt-1 + ut La media (incondizionata)\
+      \ di y sar\xE0 data da"
+  - input_choice_list:
+      A: Solo (ii) e (iv).
+      B: Solo (i) e (iii).
+      C: solo (i), (ii) e (iii).
+      D: (i), (ii), (iii) e (iv)
+    input_correct_responses:
+    - C
+    input_question: "Supponiamo che ad una statistica test sia associato un valore\
+      \ p pari a 0,08. Quale delle seguenti affermazioni \xE8 vera? (i) Se la dimensione\
+      \ del test fosse esattamente l\u20198%, saremmo indifferenti tra rifiutare e\
+      \ non rifiutare l\u2019ipotesi nulla (ii) Il valore nullo verrebbe rifiutato\
+      \ se venisse utilizzata una dimensione del test del 10% (iii) Il valore nullo\
+      \ non verrebbe rifiutato essere rifiutato se fosse utilizzata una dimensione\
+      \ del test dell'1%. (iv) Il valore nullo verrebbe rifiutato se fosse utilizzata\
+      \ una dimensione del test del 5%."
+  - input_choice_list:
+      A: "Sar\xE0 di parte"
+      B: "Sar\xE0 incoerente"
+      C: "Sar\xE0 inefficiente"
+      D: Tutti i punti (a), (b) e (c) saranno veri.
+    input_correct_responses:
+    - C
+    input_question: "Quali sarebbero allora le conseguenze per lo stimatore OLS se\
+      \ l\u2019eteroschedasticit\xE0 fosse presente in un modello di regressione ma\
+      \ venisse ignorata?"
+  - input_choice_list:
+      A: 1 ritardo
+      B: 2 ritardi
+      C: 3 ritardi
+      D: 4 ritardi
+    input_correct_responses:
+    - C
+    input_question: "Supponiamo ora che un ricercatore desideri utilizzare criteri\
+      \ informativi per determinare la lunghezza di ritardo ottimale per un VAR. Sono\
+      \ disponibili 500 osservazioni per il VAR bivariato e i valori del determinante\
+      \ della matrice di varianza-covarianza dei residui sono 0,0336, 0,0169, 0,0084\
+      \ e 0,0062 rispettivamente per 1, 2, 3 e 4 ritardi. Qual \xE8 l'ordine ottimale\
+      \ dei modelli secondo il criterio informativo di Akaike?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_econometrics
+tag: mmlu_it_llama_social_sciences_tasks
+task: mmlu_it_llama_econometrics
+task_alias: econometrics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_electrical_engineering.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: S=0, R=0
+      B: S=0, R=1
+      C: S=1, R=0
+      D: S=1, R=1
+    input_correct_responses:
+    - D
+    input_question: In un dispositivo di chiusura SR costruito con porte NOR, condizione
+      non consentita
+  - input_choice_list:
+      A: "200\u03A9"
+      B: "100\u03A9"
+      C: "50\u03A9"
+      D: "10\u03A9"
+    input_correct_responses:
+    - C
+    input_question: "In una macchina CC con avvolgimento a 2 poli, la resistenza di\
+      \ un conduttore \xE8 2\u03A9 e il numero totale di conduttori \xE8 100. Trova\
+      \ la resistenza totale"
+  - input_choice_list:
+      A: 1mA.
+      B: 2mA.
+      C: 3mA.
+      D: 4mA.
+    input_correct_responses:
+    - B
+    input_question: "La bobina di un misuratore a bobina mobile ha 100 spire, \xE8\
+      \ lunga 40 mm e larga 30 mm. La coppia di controllo \xE8 di 240*10-6 Nm a fondo\
+      \ scala. Se la densit\xE0 del flusso magnetico \xE8 1Wb/m2, l'intervallo\
+      \ del misuratore \xE8"
+  - input_choice_list:
+      A: 100N.
+      B: 0,1 N.
+      C: 1 n.
+      D: 0,01 N.
+    input_correct_responses:
+    - B
+    input_question: "Due conduttori paralleli lunghi trasportano 100 A. Se i conduttori\
+      \ sono separati di 20 mm, la forza per metro di lunghezza di ciascun conduttore\
+      \ sar\xE0"
+  - input_choice_list:
+      A: 15 n.
+      B: 20 N.
+      C: 7,5 N.
+      D: 3,75N.
+    input_correct_responses:
+    - A
+    input_question: "Un polo puntiforme ha una forza di 4\u03C0 * 10^-4 weber. La\
+      \ forza in newton su un polo puntiforme di 4\u03C0 * 1.5 * 10^-4 weber posto\
+      \ a una distanza di 10 cm da esso sar\xE0"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_electrical_engineering
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_electrical_engineering
+task_alias: electrical_engineering

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_elementary_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 5 migliaia
+      B: 5 centinaia
+      C: 5 decine
+      D: 5 quelli
+    input_correct_responses:
+    - A
+    input_question: "La popolazione della citt\xE0 dove \xE8 nata Michelle \xE8 di\
+      \ 145.826 abitanti. Qual \xE8 il valore del 5 nel numero 145.826?"
+  - input_choice_list:
+      A: "Il decimo numero nello schema sar\xE0 un numero pari."
+      B: "Lo schema numerico non avr\xE0 mai due numeri pari uno accanto all'altro."
+      C: I prossimi due numeri nello schema saranno un numero pari e poi un numero
+        dispari.
+      D: Se lo schema numerico iniziasse con un numero dispari, allora lo schema conterrebbe
+        solo numeri dispari.
+    input_correct_responses:
+    - B
+    input_question: "Olivia ha utilizzato la regola "Aggiungi 11" per creare\
+      \ lo schema numerico mostrato di seguito. 10, 21, 32, 43, 54 Quale affermazione\
+      \ sullo schema numerico \xE8 vera?"
+  - input_choice_list:
+      A: Aggiungi 5 a 30 per trovare 35 squadre.
+      B: Dividi 30 per 5 per trovare 6 squadre.
+      C: Moltiplica 30 e 5 per trovare 150 squadre.
+      D: Sottrai 5 da 30 per trovare 25 squadre.
+    input_correct_responses:
+    - B
+    input_question: Un totale di 30 giocatori giocheranno a basket in un parco. Ci
+      saranno esattamente 5 giocatori in ogni squadra. Quale affermazione spiega correttamente
+      come trovare il numero di squadre necessarie?
+  - input_choice_list:
+      A: '749'
+      B: '2.675'
+      C: '2.945'
+      D: '4.250'
+    input_correct_responses:
+    - B
+    input_question: "Un negozio vende 107 colori diversi di vernice. Hanno 25 lattine\
+      \ di ogni colore in magazzino. Il numero di barattoli di vernice che il negozio\
+      \ ha in magazzino pu\xF2 essere trovato utilizzando l'espressione seguente.\
+      \ 107\xD725. Quanti barattoli di vernice ha in magazzino il negozio?"
+  - input_choice_list:
+      A: "(5\xD74)\xD7(6\xD75)"
+      B: "(5\xD75) + (5\xD74)"
+      C: "(5\xD75) + (5\xD79)"
+      D: "(5\xD79)\xD7(6\xD79)"
+    input_correct_responses:
+    - B
+    input_question: Quale espressione equivale a 5 x 9?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_elementary_mathematics
+tag: mmlu_it_llama_stem_tasks
+task: mmlu_it_llama_elementary_mathematics
+task_alias: elementary_mathematics

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_formal_logic.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ~Pd
+      B: "(\u2200x)(Px \u2228 ~Dx)"
+      C: "(\u2200x)(Px \u2283 ~Dx)"
+      D: ~Dp
+    input_correct_responses:
+    - C
+    input_question: ' Seleziona la migliore traduzione nella logica dei predicati:
+      nessuna persona guida su Marte.'
+  - input_choice_list:
+      A: Blgh
+      B: Bhlg
+      C: Bglh
+      D: Bghl
+    input_correct_responses:
+    - C
+    input_question: 'Seleziona la migliore traduzione nella logica dei predicati.
+      George prende in prestito il tosaerba di Hector. (g: George; h: Hector; l: il
+      tosaerba di Hector; Bxyx: x prende in prestito y da z)'
+  - input_choice_list:
+      A: "Marina \xE8 una ballerina. Alcuni deboli non sono ballerini. O tutto \xE8\
+        \ debole o la Georgia gioca a pallavolo. Quindi qualcosa gioca a pallavolo."
+      B: "Marina \xE8 una ballerina. Nessun debole \xE8 un ballerino. Tutto o \xE8\
+        \ un debole o gioca a pallavolo. Quindi qualcosa gioca a pallavolo."
+      C: "Marina \xE8 una ballerina. Alcuni deboli non sono ballerini. Tutto o \xE8\
+        \ un debole o gioca a pallavolo. Quindi qualcosa gioca a pallavolo."
+      D: "Marina \xE8 una ballerina. Nessun debole \xE8 un ballerino. O tutto \xE8\
+        \ debole o la Georgia gioca a pallavolo. Quindi qualcosa gioca a pallavolo."
+    input_correct_responses:
+    - D
+    input_question: " Seleziona la migliore interpretazione inglese degli argomenti\
+      \ forniti nella logica dei predicati. Dm (\u2200x)(Wx \u2283 ~Dx) (\u2200x)Wx\
+      \ \u2228 Ag / (\u2203x)Ax"
+  - input_choice_list:
+      A: Logicamente equivalente
+      B: Contraddittorio
+      C: "N\xE9 logicamente equivalenti n\xE9 contraddittori, ma coerenti"
+      D: Incoerente
+    input_correct_responses:
+    - C
+    input_question: " Costruisci una tavola di verit\xE0 completa per le seguenti\
+      \ coppie di proposizioni. Quindi, utilizzando le tavole di verit\xE0, determina\
+      \ se le affermazioni sono logicamente equivalenti o contraddittorie. In caso\
+      \ contrario, determinare se sono coerenti o incoerenti. Motiva le tue risposte.\
+      \ E \u2283 (F \xB7 E) e ~E \xB7 F"
+  - input_choice_list:
+      A: "(L \u2022 H) \u2261 I"
+      B: "(L \u2022 H) \u2228 I"
+      C: "L \u2022 (H \u2228 I)"
+      D: "L \u2022 (H \u2283 R)"
+    input_correct_responses:
+    - B
+    input_question: " Quale delle formule fornite di PL \xE8 la migliore simbolizzazione\
+      \ della seguente frase? Le tartarughe vivono a lungo e sono creature felici,\
+      \ a meno che non vengano ferite."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_formal_logic
+tag: mmlu_it_llama_humanities_tasks
+task: mmlu_it_llama_formal_logic
+task_alias: formal_logic

lm_eval/tasks/llama3/instruct/mmlu_it/mmlu_it_global_facts.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Le persone tendono ad essere ottimiste riguardo al proprio futuro e al futuro
+        della propria nazione o del mondo.
+      B: Le persone tendono ad essere ottimiste riguardo al proprio futuro ma pessimiste
+        riguardo al futuro della propria nazione o del mondo.
+      C: Le persone tendono ad essere pessimiste riguardo al proprio futuro ma ottimiste
+        riguardo al futuro della propria nazione o del mondo.
+      D: Le persone tendono ad essere pessimiste riguardo al proprio futuro e al futuro
+        della propria nazione o del mondo.
+    input_correct_responses:
+    - B
+    input_question: Quali delle seguenti coppie di affermazioni sono entrambe vere
+      (al 2019)?
+  - input_choice_list:
+      A: 31%
+      B: 46%
+      C: 61%
+      D: 76%
+    input_correct_responses:
+    - B
+    input_question: "Nel 2019, quale percentuale di americani concorda sul fatto che\
+      \ lo stato \xE8 gestito a beneficio di tutte le persone?"
+  - input_choice_list:
+      A: aumentato, aumentato
+      B: aumentato, diminuito
+      C: diminuito, aumentato
+      D: diminuito, diminuito
+    input_correct_responses:
+    - B
+    input_question: Nel 2015, dal 1990 le foreste hanno ____ in Europa e hanno ____
+      in Africa e nelle Americhe.
+  - input_choice_list:
+      A: 38%
+      B: 53%
+      C: 68%
+      D: 83%
+    input_correct_responses:
+    - A
+    input_question: "Nel 2019, quale percentuale di russi afferma che \xE8 molto importante\
+      \ avere media liberi nel nostro Paese senza censura governativa/statale?"
+  - input_choice_list:
+      A: 80%
+      B: 60%
+      C: 40%
+      D: 20%
+    input_correct_responses:
+    - A
+    input_question: Nel 2017, quanti bambini di 1 anno nel mondo sono stati oggi vaccinati
+      contro alcune malattie? *
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_global_facts
+tag: mmlu_it_llama_other_tasks
+task: mmlu_it_llama_global_facts
+task_alias: global_facts