Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_electrical_engineering.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: S=0, R=0
+      B: S=0, R=1
+      C: S=1, R=0
+      D: S=1, R=1
+    input_correct_responses:
+    - D
+    input_question: "In einem aus NOR-Gattern aufgebauten SR-Latch ist diese Bedingung\
+      \ nicht zul\xE4ssig"
+  - input_choice_list:
+      A: "200\u03A9"
+      B: "100\u03A9"
+      C: "50\u03A9"
+      D: "10\u03A9"
+    input_correct_responses:
+    - C
+    input_question: "In einer 2-poligen Gleichstrommaschine mit Schleifenwicklung\
+      \ betr\xE4gt der Widerstand eines Leiters 2 \u03A9 und die Gesamtzahl der Leiter\
+      \ 100. Ermitteln Sie den Gesamtwiderstand"
+  - input_choice_list:
+      A: 1mA.
+      B: 2mA.
+      C: 3mA.
+      D: 4mA.
+    input_correct_responses:
+    - B
+    input_question: "Die Spule eines Drehspulz\xE4hlers hat 100 Windungen, ist 40\
+      \ mm lang und 30 mm breit. Das Steuerdrehmoment betr\xE4gt 240*10-6 Nm im Vollausschlag.\
+      \ Wenn die magnetische Flussdichte 1 Wb/m2 betr\xE4gt, ist der Messbereich"
+  - input_choice_list:
+      A: 100 N.
+      B: 0,1 N.
+      C: 1 N.
+      D: 0,01 N.
+    input_correct_responses:
+    - B
+    input_question: "Zwei lange parallele Leiter f\xFChren 100 A. Wenn die Leiter\
+      \ 20 mm voneinander entfernt sind, betr\xE4gt die Kraft pro Meter L\xE4nge jedes\
+      \ Leiters"
+  - input_choice_list:
+      A: 15 N.
+      B: 20 N.
+      C: 7,5 N.
+      D: 3,75 N.
+    input_correct_responses:
+    - A
+    input_question: "Ein Punktpol hat eine St\xE4rke von 4\u03C0 * 10^-4 Weber. Die\
+      \ Kraft in Newton auf einen Punktpol von 4\u03C0 * 1,5 * 10^-4 Weber, der in\
+      \ einem Abstand von 10 cm davon platziert wird, wird sein"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_electrical_engineering
+tag: mmlu_de_llama_stem_tasks
+task: mmlu_de_llama_electrical_engineering
+task_alias: electrical_engineering

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_elementary_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 5 Tausend
+      B: 5 Hundert
+      C: 5 Zehner
+      D: 5 Einsen
+    input_correct_responses:
+    - A
+    input_question: "Die Einwohnerzahl der Stadt, in der Michelle geboren wurde, betr\xE4\
+      gt 145.826. Welchen Wert hat die 5 in der Zahl 145.826?"
+  - input_choice_list:
+      A: Die 10. Zahl im Muster ist eine gerade Zahl.
+      B: Das Zahlenmuster wird niemals zwei gerade Zahlen nebeneinander haben.
+      C: "Die n\xE4chsten beiden Zahlen im Muster sind eine gerade Zahl und dann eine\
+        \ ungerade Zahl."
+      D: "Wenn das Zahlenmuster mit einer ungeraden Zahl beginnt, enth\xE4lt das Muster\
+        \ nur ungerade Zahlen."
+    input_correct_responses:
+    - B
+    input_question: "Olivia hat die Regel \u201EAddiere 11\u201C verwendet, um das\
+      \ unten gezeigte Zahlenmuster zu erstellen. 10, 21, 32, 43, 54 Welche Aussage\
+      \ zum Zahlenmuster ist richtig?"
+  - input_choice_list:
+      A: Addiere 5 zu 30, um 35 Teams zu finden.
+      B: Teilen Sie 30 durch 5, um 6 Teams zu finden.
+      C: Multiplizieren Sie 30 und 5, um 150 Teams zu finden.
+      D: Subtrahieren Sie 5 von 30, um 25 Teams zu finden.
+    input_correct_responses:
+    - B
+    input_question: "Insgesamt 30 Spieler werden in einem Park Basketball spielen.\
+      \ Es werden genau 5 Spieler in jedem Team sein. Welche Aussage erkl\xE4rt richtig,\
+      \ wie man die Anzahl der ben\xF6tigten Teams ermittelt?"
+  - input_choice_list:
+      A: '749'
+      B: '2.675'
+      C: '2.945'
+      D: '4.250'
+    input_correct_responses:
+    - B
+    input_question: "Ein Gesch\xE4ft verkauft 107 verschiedene Farben. Sie haben 25\
+      \ Dosen jeder Farbe auf Lager. Die Anzahl der Farbdosen, die das Gesch\xE4ft\
+      \ auf Lager hat, kann anhand des folgenden Ausdrucks ermittelt werden. 107 \xD7\
+      \ 25. Wie viele Farbdosen hat der Laden auf Lager?"
+  - input_choice_list:
+      A: (5 x 4) x (6 x 5)
+      B: (5 x 5) + (5 x 4)
+      C: (5 x 5) + (5 x 9)
+      D: (5 x 9) x (6 x 9)
+    input_correct_responses:
+    - B
+    input_question: Welcher Ausdruck entspricht 5 x 9?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_elementary_mathematics
+tag: mmlu_de_llama_stem_tasks
+task: mmlu_de_llama_elementary_mathematics
+task_alias: elementary_mathematics

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_formal_logic.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: ~Pd
+      B: "(\u2200x)(Px \u2228 ~Dx)"
+      C: "(\u2200x)(Px \u2283 ~Dx)"
+      D: ~DP
+    input_correct_responses:
+    - C
+    input_question: "W\xE4hlen Sie die beste \xDCbersetzung in die Pr\xE4dikatenlogik\
+      \ aus: Auf dem Mars fahren keine Menschen."
+  - input_choice_list:
+      A: Blgh
+      B: Bhlg
+      C: Bglh
+      D: Bghl
+    input_correct_responses:
+    - C
+    input_question: "W\xE4hlen Sie die beste \xDCbersetzung in die Pr\xE4dikatenlogik\
+      \ aus. George leiht sich Hectors Rasenm\xE4her. (g: George; h: Hector; l: Hectors\
+      \ Rasenm\xE4her; Bxyx: x entlehnt y von z)"
+  - input_choice_list:
+      A: "Marina ist T\xE4nzerin. Manche Schw\xE4chlinge sind keine T\xE4nzer. Entweder\
+        \ ist alles ein Schw\xE4chling oder Georgien spielt Volleyball. So etwas spielt\
+        \ Volleyball."
+      B: "Marina ist T\xE4nzerin. Kein Schw\xE4chling ist ein T\xE4nzer. Alles ist\
+        \ entweder ein Schw\xE4chling oder spielt Volleyball. So etwas spielt Volleyball."
+      C: "Marina ist T\xE4nzerin. Manche Schw\xE4chlinge sind keine T\xE4nzer. Alles\
+        \ ist entweder ein Schw\xE4chling oder spielt Volleyball. So etwas spielt\
+        \ Volleyball."
+      D: "Marina ist T\xE4nzerin. Kein Schw\xE4chling ist ein T\xE4nzer. Entweder\
+        \ ist alles ein Schw\xE4chling oder Georgien spielt Volleyball. So etwas spielt\
+        \ Volleyball."
+    input_correct_responses:
+    - D
+    input_question: "W\xE4hlen Sie die beste englische Interpretation der gegebenen\
+      \ Argumente in der Pr\xE4dikatenlogik aus. Dm (\u2200x)(Wx \u2283 ~Dx) (\u2200\
+      x)Wx \u2228 Ag / (\u2203x)Ax"
+  - input_choice_list:
+      A: "Logisch \xE4quivalent"
+      B: "Widerspr\xFCchlich"
+      C: "Weder logisch \xE4quivalent noch widerspr\xFCchlich, sondern konsequent"
+      D: Inkonsistent
+    input_correct_responses:
+    - C
+    input_question: "Erstellen Sie eine vollst\xE4ndige Wahrheitstabelle f\xFCr die\
+      \ folgenden Satzpaare. Bestimmen Sie dann anhand der Wahrheitstabellen, ob die\
+      \ Aussagen logisch \xE4quivalent oder widerspr\xFCchlich sind. Wenn beides nicht\
+      \ der Fall ist, bestimmen Sie, ob sie konsistent oder inkonsistent sind. Begr\xFC\
+      nden Sie Ihre Antworten. E \u2283 (F \xB7 E) und ~E \xB7 F"
+  - input_choice_list:
+      A: "(L \u2022 H) \u2261 Ich"
+      B: "(L \u2022 H) \u2228 I"
+      C: "L \u2022 (H \u2228 I)"
+      D: "L \u2022 (H \u2283 R)"
+    input_correct_responses:
+    - B
+    input_question: "Welche der angegebenen Formeln von PL ist die beste Symbolisierung\
+      \ des folgenden Satzes? Schildkr\xF6ten haben ein langes Leben und sind gl\xFC\
+      ckliche Kreaturen, es sei denn, sie werden verletzt."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_formal_logic
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_formal_logic
+task_alias: formal_logic

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_global_facts.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Die Menschen sind in der Regel optimistisch, was ihre eigene Zukunft und
+        die Zukunft ihres Landes oder der Welt betrifft.
+      B: Die Menschen sind in der Regel optimistisch, was ihre eigene Zukunft betrifft,
+        aber pessimistisch, was die Zukunft ihres Landes oder der Welt betrifft.
+      C: Die Menschen neigen dazu, pessimistisch in Bezug auf ihre eigene Zukunft
+        zu sein, aber optimistisch in Bezug auf die Zukunft ihres Landes oder der
+        Welt.
+      D: Menschen neigen dazu, in Bezug auf ihre eigene Zukunft und die Zukunft ihres
+        Landes oder der Welt pessimistisch zu sein.
+    input_correct_responses:
+    - B
+    input_question: Welche der folgenden Aussagenpaare sind beide wahr (Stand 2019)?
+  - input_choice_list:
+      A: 31%
+      B: 46%
+      C: 61%
+      D: 76%
+    input_correct_responses:
+    - B
+    input_question: "Wie viel Prozent der Amerikaner stimmen im Jahr 2019 zu, dass\
+      \ der Staat zum Wohle aller Menschen gef\xFChrt wird?"
+  - input_choice_list:
+      A: "erh\xF6ht, erh\xF6ht"
+      B: "erh\xF6ht, verringert"
+      C: "verringert, erh\xF6ht"
+      D: abgenommen, abgenommen
+    input_correct_responses:
+    - B
+    input_question: "Ab 2015 haben W\xE4lder seit 1990 ____ in Europa und ____ in\
+      \ Afrika und Amerika."
+  - input_choice_list:
+      A: 38%
+      B: 53%
+      C: 68%
+      D: 83%
+    input_correct_responses:
+    - A
+    input_question: "Wie viel Prozent der Russen (Stand 2019) halten es f\xFCr sehr\
+      \ wichtig, freie Medien in unserem Land ohne staatliche/staatliche Zensur zu\
+      \ haben?"
+  - input_choice_list:
+      A: 80%
+      B: 60%
+      C: 40%
+      D: 20%
+    input_correct_responses:
+    - A
+    input_question: "Bis 2017, wie viele der 1-j\xE4hrigen Kinder der Welt wurden\
+      \ heute gegen eine Krankheit geimpft? *"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_global_facts
+tag: mmlu_de_llama_other_tasks
+task: mmlu_de_llama_global_facts
+task_alias: global_facts

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_biology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\xDCbersetzung"
+      B: Konjugation
+      C: Spezialisierte Transduktion
+      D: Transformation
+    input_correct_responses:
+    - A
+    input_question: "Welche der folgenden Methoden ist keine M\xF6glichkeit, rekombinante\
+      \ DNA zu bilden?"
+  - input_choice_list:
+      A: "Durch Ver\xE4nderung des pH-Optimums des Enzyms"
+      B: "Durch Ver\xE4nderung der Position des Enzyms in der Zelle"
+      C: "Durch die Ver\xE4nderung der Form des Proteins"
+      D: "Ein Aminos\xE4urewechsel weg von der aktiven Stelle kann die Substratspezifit\xE4\
+        t des Enzyms nicht ver\xE4ndern."
+    input_correct_responses:
+    - C
+    input_question: "Eine Mutation in einem bakteriellen Enzym ver\xE4nderte eine\
+      \ zuvor polare Aminos\xE4ure in eine unpolare Aminos\xE4ure. Diese Aminos\xE4\
+      ure befand sich an einer von der aktiven Stelle des Enzyms entfernten Stelle.\
+      \ Wie k\xF6nnte diese Mutation die Substratspezifit\xE4t des Enzyms ver\xE4\
+      ndern?"
+  - input_choice_list:
+      A: "Plasmamembran \u2013 Golgi-Apparat \u2013 Ribosom \u2013 sekretorisches\
+        \ Vesikel \u2013 raues ER"
+      B: "Ribosom \u2013 Golgi-Apparat \u2013 raues ER \u2013 sekretorisches Vesikel\
+        \ \u2013 Plasmamembran"
+      C: "Plasmamembran \u2013 Golgi-Apparat \u2013 Ribosom \u2013 sekretorisches\
+        \ Vesikel \u2013 raues ER"
+      D: "Ribosom \u2013 raues ER \u2013 Golgi-Apparat \u2013 sekretorisches Vesikel\
+        \ \u2013 Plasmamembran"
+    input_correct_responses:
+    - D
+    input_question: Welcher der folgenden Wege stellt in tierischen Zellen den wahrscheinlichsten
+      Weg dar, den ein sekretorisches Protein nimmt, wenn es in einer Zelle synthetisiert
+      wird?
+  - input_choice_list:
+      A: Cycline
+      B: Proteinkinasen
+      C: Kontrollpunkte
+      D: Fibroblastenzellen
+    input_correct_responses:
+    - D
+    input_question: Von welchem der folgenden ist nicht bekannt, dass es an der Kontrolle
+      der Zellteilung beteiligt ist?
+  - input_choice_list:
+      A: "die Fl\xFCgel eines Vogels und die Fl\xFCgel einer Fledermaus"
+      B: die Flossen eines Wals und die Arme eines Mannes
+      C: die Brustflossen eines Schweinswals und die Flossen einer Robbe
+      D: die Vorderbeine eines Insekts und die Vorderbeine eines Hundes
+    input_correct_responses:
+    - D
+    input_question: "Homologe Strukturen werden oft als Beweis f\xFCr den Prozess\
+      \ der nat\xFCrlichen Selektion angef\xFChrt. Alle der folgenden sind Beispiele\
+      \ f\xFCr homologe Strukturen AUSSER"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_biology
+tag: mmlu_de_llama_stem_tasks
+task: mmlu_de_llama_high_school_biology
+task_alias: high_school_biology

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_chemistry.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: HCl
+      B: H2SO3
+      C: SO2
+      D: Al(NO3)3
+    input_correct_responses:
+    - C
+    input_question: "Welches der folgenden gilt als S\xE4ureanhydrid?"
+  - input_choice_list:
+      A: PCl4F
+      B: BF3
+      C: CO2
+      D: Si(CH3)4
+    input_correct_responses:
+    - A
+    input_question: "Welches der folgenden ist voraussichtlich ein polares Molek\xFC\
+      l?"
+  - input_choice_list:
+      A: "Alle Chloride, Bromide und Jodide sind l\xF6slich"
+      B: "Alle Sulfate sind l\xF6slich"
+      C: "Alle Hydroxide sind l\xF6slich"
+      D: "Alle ammoniumhaltigen Verbindungen sind l\xF6slich"
+    input_correct_responses:
+    - D
+    input_question: "Welche der folgenden Aussagen von den L\xF6slichkeitsregeln ist\
+      \ wahr?"
+  - input_choice_list:
+      A: 3,89
+      B: '7.78'
+      C: '5.78'
+      D: '2.33'
+    input_correct_responses:
+    - C
+    input_question: "Eine neue Verbindung wird synthetisiert und als einprotonige\
+      \ S\xE4ure mit einer Molmasse von 248 g/mol gefunden. Wenn 0,0050 Mol dieser\
+      \ S\xE4ure in 0,500 L Wasser gel\xF6st werden, wird der pH-Wert mit 3,89 gemessen.\
+      \ Welchen pKa-Wert hat diese S\xE4ure?"
+  - input_choice_list:
+      A: 0,500 Mol
+      B: 1,00 Mol
+      C: 2,00 Mol
+      D: 3,00 Mol
+    input_correct_responses:
+    - C
+    input_question: "Eine L\xF6sung enth\xE4lt 2,00 Mol Essigs\xE4ure, CH3COOH, und\
+      \ 1,00 Mol Calciumacetat, Ca(CH3COO)2. Die L\xF6sung ist in der Lage, der Zugabe\
+      \ einer kleinen Menge starker S\xE4ure oder starker Base mit nur geringf\xFC\
+      gigen \xC4nderungen des pH-Werts der L\xF6sung zu widerstehen. Gr\xF6\xDFere\
+      \ Mengen starker S\xE4uren oder starker Basen k\xF6nnen eine deutliche \xC4\
+      nderung des pH-Werts verursachen. Wie viele Mol Salpeters\xE4ure, HNO3, k\xF6\
+      nnen hinzugef\xFCgt werden, bevor sich der pH-Wert signifikant zu \xE4ndern\
+      \ beginnt?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_chemistry
+tag: mmlu_de_llama_stem_tasks
+task: mmlu_de_llama_high_school_chemistry
+task_alias: high_school_chemistry

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_computer_science.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Ein Auto warnt einen Fahrer, dass es im Begriff ist, ein Objekt zu treffen.
+      B: Ein Wanderer verwendet eine GPS-Uhr, um seine Position zu verfolgen.
+      C: "Ein K\xFChlschrank bestellt Milch bei einem Online-Lieferservice, wenn die\
+        \ Milch im K\xFChlschrank fast aufgebraucht ist."
+      D: "Ein L\xE4ufer verwendet eine Uhr mit optischen Sensoren, um seine Herzfrequenz\
+        \ zu \xFCberwachen."
+    input_correct_responses:
+    - C
+    input_question: "Welches der folgenden ist ein Beispiel f\xFCr die Verwendung\
+      \ eines Ger\xE4ts im Internet der Dinge (IoT)?"
+  - input_choice_list:
+      A: "Die Aktivit\xE4ten eines Benutzers, der in einem anonymen Fenster surft,\
+        \ sind f\xFCr Personen, die das Netzwerk des Benutzers \xFCberwachen, wie\
+        \ z. B. der Systemadministrator, nicht sichtbar."
+      B: "Artikel, die w\xE4hrend der anonymen Browsersitzung f\xFCr zuk\xFCnftige\
+        \ Eink\xE4ufe in den Warenkorb eines Webshops gelegt werden, werden nicht\
+        \ auf dem Computer des Benutzers gespeichert."
+      C: "Ein Benutzer kann sich w\xE4hrend der anonymen Browsersitzung nicht bei\
+        \ E-Mail- oder Social-Media-Konten anmelden."
+      D: "Ein Benutzer, der in einem anonymen Fenster surft, wird vor Viren gesch\xFC\
+        tzt, die von besuchten Websites oder heruntergeladenen Dateien gestartet werden."
+    input_correct_responses:
+    - B
+    input_question: "Viele Webbrowser erm\xF6glichen es Benutzern, anonyme Fenster\
+      \ zu \xF6ffnen. W\xE4hrend einer Browsersitzung in einem anonymen Fenster zeichnet\
+      \ der Browser keinen Browserverlauf oder eine Liste heruntergeladener Dateien\
+      \ auf. Beim Verlassen des anonymen Fensters werden w\xE4hrend der Sitzung erstellte\
+      \ Cookies gel\xF6scht. Welche der folgenden Aussagen zu Browsersitzungen in\
+      \ einem anonymen Fenster ist richtig?"
+  - input_choice_list:
+      A: Fehler
+      B: ABC
+      C: cba
+      D: C
+    input_correct_responses:
+    - C
+    input_question: Was ist die Ausgabe von "abc"[::-1] in Python 3?
+  - input_choice_list:
+      A: Foxtrott
+      B: Hotel
+      C: November
+      D: Yankee
+    input_correct_responses:
+    - C
+    input_question: "Im folgenden Programm ist der Anfangswert von x 5 und der Anfangswert\
+      \ von y 10. IF (X < O) { DISPLAY ("Foxtrot") } ELSE { IF (X >\
+      \ y) { DISPLAY ("Hotel") } ELSE { IF (y > O) { DISPLAY ("November")\
+      \ } ELSE { DISPLAY ("Yankee") } } } Was wird als Ergebnis der Ausf\xFC\
+      hrung des Programms angezeigt?"
+  - input_choice_list:
+      A: "Schritt 3: Erh\xF6hen Sie den Wert von position um 1. Schritt 4: Wiederholen\
+        \ Sie die Schritte 2 und 3, bis der Wert von count gr\xF6\xDFer als 100 ist."
+      B: "Schritt 3: Erh\xF6hen Sie den Wert von Position um 1. Schritt 4: Wiederholen\
+        \ Sie die Schritte 2 und 3, bis der Wert von Position gr\xF6\xDFer als n ist."
+      C: "Schritt 3: Wiederholen Sie Schritt 2, bis der Wert von count gr\xF6\xDF\
+        er als 100 ist. Schritt 4: Erh\xF6hen Sie den Wert von position um 1."
+      D: "Schritt 3: Wiederholen Sie Schritt 2, bis der Wert von Position gr\xF6\xDF\
+        er als n ist. Schritt 4: Erh\xF6hen Sie den Wert von count um 1."
+    input_correct_responses:
+    - D
+    input_question: "Eine Liste von Zahlen hat n Elemente, die von 1 bis n indiziert\
+      \ sind. Der folgende Algorithmus soll die Anzahl der Elemente in der Liste anzeigen,\
+      \ die einen Wert gr\xF6\xDFer als 100 haben. Der Algorithmus verwendet die Variablen\
+      \ count und position. Die Schritte 3 und 4 fehlen. Schritt 1: Z\xE4hler auf\
+      \ 0 und Position auf 1 setzen. Schritt 2: Wenn der Wert des Elements an der\
+      \ Indexposition gr\xF6\xDFer als 100 ist, den Wert von Z\xE4hler um 1 erh\xF6\
+      hen. Schritt 3: (fehlender Schritt) Schritt 4: (fehlender Schritt ) Schritt\
+      \ 5: Zeigen Sie den Wert von count an. Was k\xF6nnte verwendet werden, um die\
+      \ Schritte 3 und 4 zu ersetzen, damit der Algorithmus wie beabsichtigt funktioniert?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_computer_science
+tag: mmlu_de_llama_stem_tasks
+task: mmlu_de_llama_high_school_computer_science
+task_alias: high_school_computer_science

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_european_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Jean-Jacques Rousseau
+      B: Baron Montesquieu
+      C: Mary Wollstonecraft
+      D: Adam Smith
+    input_correct_responses:
+    - B
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. Der\
+      \ folgende Auszug stammt aus einer Brosch\xFCre. Sie werden mir die Ehre erweisen,\
+      \ mich daran zu erinnern, dass ich immer nachdr\xFCcklich das Recht jedes Menschen\
+      \ auf seine eigene Meinung unterst\xFCtzt habe, so unterschiedlich diese Meinung\
+      \ auch von meiner sein mag. Wer einem anderen dieses Recht verweigert, macht\
+      \ sich seiner jetzigen Meinung versklavt, weil er sich selbst das Recht ausschlie\xDF\
+      t, sie zu \xE4ndern. Die m\xE4chtigste Waffe gegen Irrt\xFCmer aller Art ist\
+      \ die Vernunft. Ich habe noch nie einen anderen benutzt, und ich vertraue darauf,\
+      \ dass ich das auch nie tun werde. Der jetzt in Frankreich eingetretene Umstand\
+      \ der totalen Abschaffung der ganzen nationalen Priesterschaftsordnung und aller\
+      \ Zwangsreligionsordnungen und Zwangsglaubensartikel hat meine Absicht nicht\
+      \ nur beschleunigt, sondern zum Werk gemacht Art \xFCberaus notwendig, damit\
+      \ wir nicht in dem allgemeinen Wrack des Aberglaubens, der falschen Regierungssysteme\
+      \ und der falschen Theologie die Moral, die Menschlichkeit und die wahre Theologie\
+      \ aus den Augen verlieren. Ich glaube an einen Gott und nicht mehr; und ich\
+      \ hoffe auf Gl\xFCck jenseits dieses Lebens. Ich glaube an die Gleichheit des\
+      \ Menschen; und ich glaube, dass religi\xF6se Pflichten darin bestehen, Gerechtigkeit\
+      \ zu \xFCben, Barmherzigkeit zu lieben und sich zu bem\xFChen, unsere Mitgesch\xF6\
+      pfe gl\xFCcklich zu machen. Ich glaube nicht an das Glaubensbekenntnis der j\xFC\
+      dischen Kirche, der r\xF6mischen Kirche, der griechischen Kirche, der t\xFC\
+      rkischen Kirche, der protestantischen Kirche oder irgendeiner mir bekannten\
+      \ Kirche. Mein eigener Geist ist meine eigene Kirche. Alle nationalen Kircheninstitutionen,\
+      \ ob j\xFCdisch, christlich oder t\xFCrkisch, scheinen mir nichts anderes als\
+      \ menschliche Erfindungen zu sein, die geschaffen wurden, um die Menschheit\
+      \ zu erschrecken und zu versklaven und Macht und Profit zu monopolisieren. Ich\
+      \ meine mit dieser Erkl\xE4rung nicht, diejenigen zu verurteilen, die anders\
+      \ glauben; Sie haben das gleiche Recht auf ihren Glauben wie ich auf meinen.\
+      \ \u2014Thomas Paine, Das Zeitalter der Vernunft, 1794\u20131795 Welcher der\
+      \ folgenden Philosophen der Aufkl\xE4rung entwarf ein System der Kontrolle und\
+      \ Gegenkontrolle f\xFCr die Regierung, um Machtmissbrauch zu verhindern?"
+  - input_choice_list:
+      A: "Die w\xE4hrend der Aufkl\xE4rung entstandenen Ideen der pers\xF6nlichen\
+        \ Freiheit und des Nationalismus f\xFChrten zu radikalen Revolutionen, die\
+        \ sich \xFCber ganz Europa ausbreiten konnten."
+      B: "Die Eroberung Europas durch Napoleon f\xFChrte zur Entstehung neuer Fraktionen\
+        \ und verschob die europ\xE4ischen Machtverh\xE4ltnisse."
+      C: "Die Macht der Monarchen war bis zu dem Punkt gewachsen, an dem sie von anderen\
+        \ M\xE4chten innerhalb jeder Nation kontrolliert werden musste, oder es w\xFC\
+        rde zu einer Beherrschung der Zivilbev\xF6lkerung kommen."
+      D: "Der steigende und fallende Wirtschaftszyklus der neu entstehenden kapitalistischen\
+        \ Wirtschaft k\xF6nnte zu zivilen Unruhen f\xFChren, die unterdr\xFCckt werden\
+        \ m\xFCssen."
+    input_correct_responses:
+    - A
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. Lesen\
+      \ Sie den folgenden Auszug. Die revolution\xE4re Saat war in alle L\xE4nder\
+      \ eingedrungen und hatte sich mehr oder weniger ausgebreitet. Es wurde unter\
+      \ dem Regime der Milit\xE4rdespotie Bonapartes stark entwickelt. Seine Eroberungen\
+      \ verdr\xE4ngten eine Reihe von Gesetzen, Institutionen und Br\xE4uchen; brach\
+      \ durch alle Nationen heilige Bande, stark genug, um der Zeit selbst zu widerstehen;\
+      \ was mehr ist, als man von bestimmten Vorteilen sagen kann, die diese Innovatoren\
+      \ bieten. Die Monarchen werden die Pflichten erf\xFCllen, die ihnen von ihm\
+      \ auferlegt wurden, der ihnen, indem er ihnen Macht anvertraute, aufgetragen\
+      \ hat, \xFCber die Wahrung der Gerechtigkeit und der Rechte aller zu wachen,\
+      \ die Pfade des Irrtums zu vermeiden und fest auf dem Weg zu gehen Wahrheit.\
+      \ Au\xDFerhalb der Leidenschaften, die die Gesellschaft ersch\xFCttern, sind\
+      \ sie vor allem in Tagen der Pr\xFCfung aufgerufen, die Realit\xE4ten ihres\
+      \ falschen Scheins zu berauben und sich so zu zeigen, wie sie sind, V\xE4ter,\
+      \ ausgestattet mit der Autorit\xE4t, die von Rechts wegen den Familienoberh\xE4\
+      uptern zusteht, um zu beweisen, dass sie es verstehen, in Tagen der Trauer gerecht,\
+      \ weise und daher stark zu sein, und dass sie die Menschen, die sie regieren\
+      \ sollten, nicht dem Spiel der Fraktionen \xFCberlassen werden, dem Irrtum und\
+      \ seinen Folgen, die es m\xFCssen den Verlust der Gesellschaft beinhalten. Die\
+      \ Einheit zwischen den Monarchen ist die Grundlage der Politik, die jetzt verfolgt\
+      \ werden muss, um die Gesellschaft vor dem totalen Ruin zu retten. . . . Lassen\
+      \ Sie sie die den Parteien gemachten Zugest\xE4ndnisse nicht mit dem Guten verwechseln,\
+      \ das sie f\xFCr ihr Volk tun sollten, indem sie gem\xE4\xDF ihren anerkannten\
+      \ Bed\xFCrfnissen die Zweige der Verwaltung \xE4ndern, die dies erfordern. Lass\
+      \ sie gerecht, aber stark sein; wohlwollend, aber streng. Lassen Sie sie die\
+      \ religi\xF6sen Prinzipien in ihrer ganzen Reinheit bewahren und nicht zulassen,\
+      \ dass der Glaube angegriffen und die Moral gem\xE4\xDF dem Gesellschaftsvertrag\
+      \ oder den Visionen t\xF6richter Sektierer interpretiert wird. Lassen Sie sie\
+      \ Geheimgesellschaften unterdr\xFCcken; dieser Gangr\xE4n der Gesellschaft.\
+      \ \u2014Klemens von Metternich, Politisches Glaubensbekenntnis, 1820 Welche\
+      \ der folgenden Ursachen war die gr\xF6\xDFte Ursache f\xFCr die von Metternich\
+      \ in obigem Dokument ge\xE4u\xDFerten Bef\xFCrchtungen?"
+  - input_choice_list:
+      A: Kapitalist
+      B: Wissenschaftlich
+      C: Kommunist
+      D: Existentialist
+    input_correct_responses:
+    - C
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. In\
+      \ Russland lief nichts gut, und [Souvarine] war verzweifelt \xFCber die Nachricht,\
+      \ die er erhalten hatte. Seine alten Gef\xE4hrten wandten sich alle den Politikern\
+      \ zu; die ber\xFChmten Nihilisten, die Europa erzittern lie\xDFen \u2013 S\xF6\
+      hne von Dorfpriestern, der unteren Mittelschicht, von Kaufleuten \u2013 konnten\
+      \ sich nicht \xFCber die Idee der nationalen Befreiung erheben und schienen\
+      \ zu glauben, dass die Welt befreit werden w\xFCrde \u2013 wenn sie ihren Despoten\
+      \ get\xF6tet hatten \u2026 \u201EDummheit! Mit ihrer Dummheit werden sie nie\
+      \ wieder herauskommen.\u201C Dann, mit noch tieferer Stimme, schilderte er mit\
+      \ einigen bitteren Worten seinen alten Traum von Br\xFCderlichkeit. Er hatte\
+      \ auf seinen Rang und sein Verm\xF6gen verzichtet; er war unter Arbeiter gegangen,\
+      \ nur in der Hoffnung, endlich die Grundlage einer neuen gemeinsamen Arbeitsgesellschaft\
+      \ zu sehen. Alle Sous in seinen Taschen waren l\xE4ngst zu den Bengeln der Siedlung\
+      \ geflossen; er war den Bergleuten gegen\xFCber z\xE4rtlich wie ein Bruder gewesen,\
+      \ hatte \xFCber ihren Argwohn gel\xE4chelt und sie durch seine ruhige, handwerkliche\
+      \ Art und seine Abneigung gegen Geschw\xE4tz \xFCberzeugt. Aber die Fusion hatte\
+      \ definitiv nicht stattgefunden. Seine Stimme \xE4nderte sich, seine Augen wurden\
+      \ hell, er richtete sie auf \xE9tienne und wandte sich direkt an ihn: \u201E\
+      Nun, verstehst du das? Diese Hutmacher in Marseille, die den gro\xDFen Lottogewinn\
+      \ von hunderttausend Francs gewonnen haben, sind sofort losgezogen und haben\
+      \ investiert es, indem sie erkl\xE4ren, dass sie leben werden, ohne etwas zu\
+      \ tun! Ja, das ist Ihre Idee, alle franz\xF6sischen Arbeiter, Sie wollen einen\
+      \ Schatz heben, um ihn sp\xE4ter in einer faulen, selbsts\xFCchtigen Ecke allein\
+      \ zu verschlingen. Sie k\xF6nnen schreien so viel du willst gegen die Reichen,\
+      \ du hast nicht den Mut, den Armen das Geld zur\xFCckzugeben, das dir das Gl\xFC\
+      ck bringt, du wirst nie des Gl\xFCcks w\xFCrdig sein, solange du etwas besitzt,\
+      \ und dein Ha\xDF gegen die Bourgeoisie geht davon aus nur aus dem zornigen\
+      \ Verlangen, an ihrer Stelle selbst Bourgeois zu sein." \xE9mile Zola,\
+      \ franz\xF6sischer Schriftsteller, Germinal, 1885 Die Passage zeigt die direkte\
+      \ Sorge um das Wohlergehen der Arbeiterklasse, die typischerweise Teil welcher\
+      \ Bewegung war?"
+  - input_choice_list:
+      A: "Sie dienten als Katalysator f\xFCr das Wachstum der englischen Schifffahrt\
+        \ und des \xDCberseehandels, trugen jedoch wenig dazu bei, die Aussichten\
+        \ der Holl\xE4nder im 17. Jahrhundert einzuschr\xE4nken."
+      B: "Sie brachten der niederl\xE4ndischen Wirtschaft fast unmittelbare Schwierigkeiten,\
+        \ da ihre Dominanz im \xDCberseehandel schnell endete."
+      C: "Sie wurden w\xE4hrend der Wiederherstellung der Stuarts aufgehoben, da sie\
+        \ normale diplomatische Beziehungen zu den Niederl\xE4ndern anstrebten, um\
+        \ die finanzielle Unterst\xFCtzung des Parlaments f\xFCr den Krieg nicht zu\
+        \ ben\xF6tigen."
+      D: "Sie f\xFChrten zu fast einem Jahrhundert wiederkehrender Kriege zwischen\
+        \ England und den Niederlanden, die erst nach der amerikanischen Unabh\xE4\
+        ngigkeit enden w\xFCrden."
+    input_correct_responses:
+    - A
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. Die\
+      \ folgenden Ausz\xFCge stammen aus den Navigationsakten von 1651. [Nach dem\
+      \ ersten Tag des Dezembers, eintausendsechshunderteins, und von da an, keinerlei\
+      \ Waren oder Waren aus dem Wachstum, der Produktion oder der Herstellung von\
+      \ Asien, Afrika oder Amerika oder einem Teil davon; oder von Inseln, die zu\
+      \ ihnen geh\xF6ren, oder die in den \xFCblichen Karten oder Karten dieser Orte\
+      \ beschrieben oder festgelegt sind, sowie von den englischen Plantagen und anderen,\
+      \ sollen in dieses Commonwealth of England oder nach Irland oder importiert\
+      \ oder gebracht werden alle anderen L\xE4nder, Inseln, Plantagen oder Territorien\
+      \ zu diesem Commonwealth, die zu diesem Commonwealth geh\xF6ren oder in ihrem\
+      \ Besitz sind, in einem anderen Schiff oder Schiffen, Schiff oder Schiffen,\
+      \ aber nur in solchen, die wirklich und ohne Betrug nur den Menschen dieses\
+      \ Commonwealth geh\xF6ren , oder deren Plantagen, als deren Eigent\xFCmer oder\
+      \ Rechteinhaber; und wovon der Kapit\xE4n und die Seeleute auch von den Leuten\
+      \ dieses Commonwealth sind, unter der Strafe des Verfalls und des Verlustes\
+      \ aller Waren, die entgegen diesem Gesetz importiert werden sollen, , , , [N]\
+      \ keine Waren oder Waren des Wachstums, Produktion oder Herstellung Europas\
+      \ oder eines Teils davon nach dem ersten Dezember eintausendsechshunderteins\
+      \ in dieses Commonwealth of England oder in andere L\xE4nder oder Territorien\
+      \ dieses Commonwealth eingef\xFChrt oder gebracht werden, die zu diesem Commonwealth\
+      \ geh\xF6ren, oder in ihrem Besitz, in jedem Schiff oder Schiffen, Schiff oder\
+      \ Schiffen, aber in solchen, die wirklich und ohne Betrug nur den Menschen dieses\
+      \ Commonwealth geh\xF6ren, und in keinem anderen, au\xDFer nur solchen fremden\
+      \ Schiffen und Schiffen, die wirklich und geh\xF6ren ordnungsgem\xE4\xDF den\
+      \ Menschen dieses Landes oder Ortes geh\xF6ren, dessen Wachstum, Produktion\
+      \ oder Herstellung die besagten G\xFCter sind. Welche der folgenden Aussagen\
+      \ beschreibt am besten das Ergebnis der Navigationsakte von 1651?"
+  - input_choice_list:
+      A: "geben dem englischen K\xF6nig eine neue Autorit\xE4tsposition"
+      B: "die Position des Oberhauptes der Church of England allein Heinrich VIII.\
+        \ zu \xFCbertragen und seine Erben auszuschlie\xDFen"
+      C: den Calvinismus als die einzig wahre Theologie in England zu etablieren
+      D: verschiedene Formen der Korruption beenden, die die Kirche in England plagen
+    input_correct_responses:
+    - D
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. Obwohl\
+      \ die Majest\xE4t des K\xF6nigs mit Recht und Recht das oberste Oberhaupt der\
+      \ Kirche von England ist und sein sollte, und so von der Geistlichkeit dieses\
+      \ Reiches in ihren Versammlungen anerkannt wird, wird sie dennoch zur Best\xE4\
+      tigung und Best\xE4tigung derselben und zur Steigerung der Tugend in Christi\
+      \ Religion in diesem Reich von England zu unterdr\xFCcken und alle Irrt\xFC\
+      mer, Ketzereien und andere Ungeheuerlichkeiten und Mi\xDFbr\xE4uche, die bisher\
+      \ in demselben verwendet wurden, zu unterdr\xFCcken und auszurotten, sei es\
+      \ durch die Autorit\xE4t dieses gegenw\xE4rtigen Parlaments erlassen, dass der\
+      \ K\xF6nig, unser souver\xE4ner Herr, seine Erben und Nachfolger, K\xF6nige\
+      \ dieses Reiches, sollen das einzige oberste Oberhaupt der Kirche von England,\
+      \ genannt Anglicans Ecclesia, genommen, angenommen und anerkannt werden; und\
+      \ wird die kaiserliche Krone dieses Reiches annektiert und vereint haben und\
+      \ genie\xDFen, sowie den Titel und Stil davon, sowie alle Ehren, W\xFCrden,\
+      \ Vorrang, Gerichtsbarkeiten, Privilegien, Autorit\xE4ten, Immunit\xE4ten, Gewinne\
+      \ und Waren zu der besagten W\xFCrde von das oberste Oberhaupt derselben Kirche\
+      \ geh\xF6rend und geh\xF6rend; und dass unser besagter souver\xE4ner Herr, seine\
+      \ Erben und Nachfolger, K\xF6nige dieses Reiches, von Zeit zu Zeit die volle\
+      \ Macht und Autorit\xE4t haben werden, all diese Fehler, Ketzereien zu besuchen,\
+      \ zu unterdr\xFCcken, wiedergutzumachen, aufzuzeichnen, anzuordnen, zu korrigieren,\
+      \ einzuschr\xE4nken und zu \xE4ndern Missbrauch, Beleidigungen, Verachtung und\
+      \ Ungeheuerlichkeiten, welcher Art auch immer, die durch irgendeine Art von\
+      \ geistlicher Autorit\xE4t oder Rechtsprechung reformiert, unterdr\xFCckt, angeordnet,\
+      \ wiedergutgemacht, korrigiert, eingeschr\xE4nkt oder ge\xE4ndert werden sollten\
+      \ oder k\xF6nnen, am meisten zur Freude des Allm\xE4chtigen Gottes, die Zunahme\
+      \ der Tugend in der Religion Christi und f\xFCr die Bewahrung des Friedens,\
+      \ der Einheit und der Ruhe dieses Reiches; ungeachtet jeglicher Verwendung,\
+      \ fremden Landes, ausl\xE4ndischer Beh\xF6rden, Vorschriften oder anderer Dinge\
+      \ oder Dinge, die hiervon abweichen. Englisches Parlament, Act of Supremacy,\
+      \ 1534 Aus der Passage kann man schlie\xDFen, dass das englische Parlament argumentieren\
+      \ wollte, dass der Act of Supremacy dies tun w\xFCrde"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_european_history
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_high_school_european_history
+task_alias: high_school_european_history

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_geography.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: rohe Sterbeziffer ab dem rohen Geburtsdatum.
+      B: rohe Geburtenrate von der rohen Sterberate.
+      C: Verdopplungszeit aus der rohen Geburtenrate.
+      D: Fruchtbarkeitsrate aus der rohen Sterberate.
+    input_correct_responses:
+    - A
+    input_question: "Die Rate des nat\xFCrlichen Bev\xF6lkerungswachstums ergibt sich\
+      \ aus der Subtraktion von"
+  - input_choice_list:
+      A: "Die Geburtenraten steigen und das Bev\xF6lkerungswachstum ist weniger schnell."
+      B: "Die Geburtenraten gehen zur\xFCck und das Bev\xF6lkerungswachstum ist weniger\
+        \ schnell."
+      C: "Die Geburtenraten steigen und das Bev\xF6lkerungswachstum steigt."
+      D: "Die Geburtenraten sinken und das Bev\xF6lkerungswachstum steigt."
+    input_correct_responses:
+    - B
+    input_question: "Welche der folgenden Aussagen trifft w\xE4hrend der dritten Stufe\
+      \ des demografischen \xDCbergangsmodells zu?"
+  - input_choice_list:
+      A: "Doppelarbeit kommt h\xE4ufig vor."
+      B: "Soziale Probleme der Innenstadt schwappen auf die umliegenden Wohnvororte\
+        \ \xFCber."
+      C: "Ineffizienz bei der Bereitstellung von Dienstleistungen tritt h\xE4ufig\
+        \ auf."
+      D: "Die Bem\xFChungen eines Viertels, die Umweltverschmutzung zu reduzieren,\
+        \ werden immer von den Nachbargemeinden unterst\xFCtzt."
+    input_correct_responses:
+    - D
+    input_question: Welche der folgenden Aussagen in Bezug auf die von Kommunalverwaltungen
+      in den Vereinigten Staaten erbrachten Dienstleistungen trifft NICHT zu?
+  - input_choice_list:
+      A: Auslagerung.
+      B: Offshoring.
+      C: maquiladoras.
+      D: "Standortabh\xE4ngigkeit."
+    input_correct_responses:
+    - B
+    input_question: "Die Praxis, einen ausl\xE4ndischen Drittanbieter mit der Durchf\xFC\
+      hrung eines Betriebs zu beauftragen, wird als bezeichnet"
+  - input_choice_list:
+      A: Taube Seife
+      B: Dove Schokoriegel
+      C: Taube-Symbol
+      D: Eine Taube (Vogel)
+    input_correct_responses:
+    - C
+    input_question: "Welcher der folgenden Gegenst\xE4nde ist ein Beispiel f\xFCr\
+      \ immaterielle Kultur?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_geography
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_high_school_geography
+task_alias: high_school_geography

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_government_and_politics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: die verfassungsrechtliche Definition dieser Befugnisse ist breit und unspezifisch
+      B: "Die meisten Menschen sind sich einig, dass die Verfassung der Macht des\
+        \ Pr\xE4sidenten zu viele Grenzen setzt"
+      C: "Der Oberste Gerichtshof weigert sich konsequent, \xFCber F\xE4lle zu entscheiden,\
+        \ die die Befugnisse des Pr\xE4sidenten betreffen"
+      D: "Verfassungs\xE4nderungen haben die Befugnisse des Pr\xE4sidenten erheblich\
+        \ erweitert"
+    input_correct_responses:
+    - A
+    input_question: "Die Unsicherheit \xFCber die Grenzen der pr\xE4sidialen Macht\
+      \ entsteht vor allem dadurch, dass"
+  - input_choice_list:
+      A: "j\xE4hrlicher Anstieg der Bundesausgaben f\xFCr das Milit\xE4r"
+      B: "H\xF6he der Zinsen auf die Staatsschuld"
+      C: "Unterschied zwischen den urspr\xFCnglichen Budgetvorschl\xE4gen des Pr\xE4\
+        sidenten und des Kongresses"
+      D: "Betrag, den der Staat \xFCber seine Einnahmen hinaus ausgibt"
+    input_correct_responses:
+    - D
+    input_question: "Der Begriff \u201EHaushaltsdefizit\u201C bezieht sich auf die"
+  - input_choice_list:
+      A: Wochen gegen die Vereinigten Staaten
+      B: Betts gegen Brady
+      C: Mapp gegen Ohio
+      D: Miranda gegen Arizona
+    input_correct_responses:
+    - D
+    input_question: "Welcher der folgenden F\xE4lle hat den Pr\xE4zedenzfall geschaffen,\
+      \ dass ein Angeklagter \xFCber das Recht auf Schweigen, das Recht auf einen\
+      \ Anwalt und den Schutz vor Selbstbelastung aufgekl\xE4rt werden muss?"
+  - input_choice_list:
+      A: Sie werden von der Legislative festgelegt.
+      B: "Ihre Mitglieder haben oft keinen gro\xDFen Einfluss auf die Entscheidungen\
+        \ des Pr\xE4sidenten."
+      C: "Sie k\xF6nnen nicht alle von F\xFChrern gef\xFChrt werden, die derselben\
+        \ politischen Partei angeh\xF6ren wie der Pr\xE4sident."
+      D: "Nicht jede Bundesbeh\xF6rde ist eine Kabinettsabteilung."
+    input_correct_responses:
+    - C
+    input_question: "Welche der folgenden Aussagen \xFCber Kabinettsabteilungen ist\
+      \ FALSCH?"
+  - input_choice_list:
+      A: "Ehrliche Politiker k\xF6nnen verhindern, dass sich Fraktionen entwickeln."
+      B: "Fraktionen treten eher in gro\xDFen Republiken auf als in kleinen."
+      C: "Die negativen Auswirkungen des Fraktionalismus k\xF6nnen durch eine republikanische\
+        \ Regierung reduziert werden."
+      D: Freie Wahlen sind die beste Verteidigung des Volkes gegen Fraktionen.
+    input_correct_responses:
+    - C
+    input_question: Welche der folgenden Aussagen beschreibt am besten ein Argument
+      von James Madison in The Federalist Nummer 10?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_government_and_politics
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_high_school_government_and_politics
+task_alias: high_school_government_and_politics

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_macroeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Das US-Milit\xE4r er\xF6ffnet eine neue Basis in einem fremden Land mit\
+        \ 1000 US-Personal."
+      B: Japanische Verbraucher kaufen Tausende von CDs, die in den Vereinigten Staaten
+        hergestellt wurden.
+      C: "Ein amerikanischer Pops\xE4nger gibt ein ausverkauftes Konzert in Paris."
+      D: "Eine franz\xF6sische Theaterproduktion tourt durch Dutzende von amerikanischen\
+        \ St\xE4dten."
+    input_correct_responses:
+    - C
+    input_question: Was ist nicht im US-BIP enthalten?
+  - input_choice_list:
+      A: direkten Zusammenhang zwischen Arbeitslosigkeit und Inflation
+      B: direkter Zusammenhang zwischen Preis und nachgefragter Menge
+      C: umgekehrte Beziehung zwischen Preis und nachgefragter Menge
+      D: umgekehrte Beziehung zwischen Arbeitslosigkeit und Inflation
+    input_correct_responses:
+    - D
+    input_question: Die kurzfristige Phillips-Kurve zeigt a
+  - input_choice_list:
+      A: "Exporte \xFCbersteigen Importe."
+      B: "Importe \xFCbersteigen Exporte."
+      C: "Bundessteuereinnahmen \xFCbersteigen Ausgaben."
+      D: "Die Bundesausgaben \xFCbersteigen die Steuereinnahmen des Bundes."
+    input_correct_responses:
+    - D
+    input_question: Ein Bundesdefizit tritt auf, wenn
+  - input_choice_list:
+      A: "Erh\xF6hung des Diskontsatzes"
+      B: "Erh\xF6hung des Reservesatzes"
+      C: Kauf von Staatspapieren
+      D: Senkung der Tarife
+    input_correct_responses:
+    - C
+    input_question: "Unter sonst gleichen Bedingungen, welche der folgenden Geldpolitiken\
+      \ w\xFCrden eingesetzt, um die US-Exporte anzukurbeln?"
+  - input_choice_list:
+      A: "Eine Erh\xF6hung der Geldmenge"
+      B: "Erh\xF6hte Staatsausgaben"
+      C: Niedrigere Steuern auf Forschung und Entwicklung neuer Technologien
+      D: "H\xF6here Steuern auf Haushaltseinkommen"
+    input_correct_responses:
+    - C
+    input_question: Welche der folgenden Politiken beschreibt die angebotsseitige
+      Fiskalpolitik am besten?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_macroeconomics
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_high_school_macroeconomics
+task_alias: high_school_macroeconomics

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '3'
+      B: '15'
+      C: '6'
+      D: '5'
+    input_correct_responses:
+    - B
+    input_question: "Joe war verantwortlich f\xFCr die Beleuchtung eines Tanzes. Das\
+      \ rote Licht blinkt alle zwei Sekunden, das gelbe Licht alle drei Sekunden und\
+      \ das blaue Licht alle f\xFCnf Sekunden. Wenn wir den Anfang und das Ende des\
+      \ Tanzes mit einbeziehen, wie oft gehen w\xE4hrend eines siebenmin\xFCtigen\
+      \ Tanzes alle Lichter gleichzeitig an? (Nehmen Sie an, dass alle drei Lichter\
+      \ gleich zu Beginn des Tanzes blinken.)"
+  - input_choice_list:
+      A: '12'
+      B: '1'
+      C: '30'
+      D: '5'
+    input_correct_responses:
+    - C
+    input_question: "F\xFCnftausend Dollar, die j\xE4hrlich zu einem Zinssatz von\
+      \ $x\\%$ verzinst werden, brauchen sechs Jahre, um sich zu verdoppeln. Wie viele\
+      \ Jahre wird es bei gleichem Zinssatz dauern, bis $\\$300$ auf $\\$9600$ anwachsen?"
+  - input_choice_list:
+      A: '-1'
+      B: '16'
+      C: -\frac{1}{256}
+      D: \frac{1}{16}
+    input_correct_responses:
+    - C
+    input_question: Die Variable $x$ variiert direkt als Quadrat von $y$, und $y$
+      variiert direkt als Kubikzahl von $z$. Wenn $x$ gleich $-16$ ist, wenn $z$ gleich
+      2 ist, welchen Wert hat $x$, wenn $z$ gleich $\frac{1}{2}$ ist?
+  - input_choice_list:
+      A: \frac{3\sqrt{3}}{3}
+      B: \frac{1}{3}
+      C: \sqrt{3}
+      D: \frac{\sqrt{3}}{3}
+    input_correct_responses:
+    - D
+    input_question: 'Vereinfache und schreibe das Ergebnis mit rationalem Nenner:
+      $$\sqrt{\sqrt[3]{\sqrt{\frac{1}{729}}}}$$'
+  - input_choice_list:
+      A: '55'
+      B: '60'
+      C: '62'
+      D: '65'
+    input_correct_responses:
+    - D
+    input_question: "Zehn Sch\xFCler absolvieren einen Biologietest und erhalten folgende\
+      \ Punkte: 45, 55, 50, 70, 65, 80, 40, 90, 70, 85. Was ist der Mittelwert der\
+      \ Testergebnisse der Sch\xFCler?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_mathematics
+tag: mmlu_de_llama_stem_tasks
+task: mmlu_de_llama_high_school_mathematics
+task_alias: high_school_mathematics

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_microeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Ein effektiver Mindestlohn, der diesem Arbeitsmarkt auferlegt wird.
+      B: "Eine Erh\xF6hung des Preises f\xFCr Gallonen Farbe."
+      C: "Eine Zunahme des Baus neuer H\xE4user."
+      D: "Eine Erh\xF6hung des Preises f\xFCr mechanische Lackierer, solange der Output-Effekt\
+        \ den Substitutionseffekt \xFCbersteigt."
+    input_correct_responses:
+    - C
+    input_question: "Was w\xFCrde in einem wettbewerbsorientierten Arbeitsmarkt f\xFC\
+      r Maler die Nachfrage nach Malern erh\xF6hen?"
+  - input_choice_list:
+      A: die Nachfrage nach dem Produkt wird steigen
+      B: die Nachfrage nach dem Produkt sinkt
+      C: Die Konsumentenrente wird steigen
+      D: die Konsumentenrente sinkt
+    input_correct_responses:
+    - C
+    input_question: Wenn die Regierung die Produzenten in einem vollkommen wettbewerbsorientierten
+      Markt subventioniert, dann
+  - input_choice_list:
+      A: '0'
+      B: '5'
+      C: '10'
+      D: '100'
+    input_correct_responses:
+    - D
+    input_question: "Das Konzentrationsverh\xE4ltnis f\xFCr ein Monopol ist"
+  - input_choice_list:
+      A: Die Preisuntergrenze verschiebt die Nachfragekurve nach links.
+      B: Ein effektiver Boden schafft einen Mangel an Gutem.
+      C: Die Preisuntergrenze verschiebt die Angebotskurve des Gutes nach rechts.
+      D: "Um ein effektiver Floor zu sein, muss er \xFCber dem Gleichgewichtspreis\
+        \ liegen."
+    input_correct_responses:
+    - D
+    input_question: Welche der folgenden Aussagen trifft auf einen Mindestpreis zu?
+  - input_choice_list:
+      A: Freier Markteintritt und -austritt
+      B: "Ein paar gro\xDFe Produzenten"
+      C: Ein Produzent eines Gutes ohne enge Substitute
+      D: Ein homogenes Produkt
+    input_correct_responses:
+    - B
+    input_question: Welche der folgenden Eigenschaften ist notwendigerweise ein Merkmal
+      von Oligopolen?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_microeconomics
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_high_school_microeconomics
+task_alias: high_school_microeconomics

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Nur I und II
+      B: Nur I und III
+      C: Nur II und III
+      D: III nur
+    input_correct_responses:
+    - D
+    input_question: "Welche der folgenden Bedingungen stellt sicher, dass der Drehimpuls\
+      \ erhalten bleibt? I. Impulserhaltung II. Null \xE4u\xDFere Nettokraft III.\
+      \ Externes Nettodrehmoment von Null"
+  - input_choice_list:
+      A: Der Druck befindet sich an einem Knoten, aber die Partikelverschiebung befindet
+        sich an einem Bauch.
+      B: Der Druck befindet sich an einem Schwingungsbauch, aber die Partikelverschiebung
+        befindet sich an einem Knoten.
+      C: Der Druck und die Partikelverschiebung liegen beide an Knoten.
+      D: "Der Druck und die Partikelverschiebung sind beide an Wellenb\xE4uchen."
+    input_correct_responses:
+    - B
+    input_question: "Ein mit Luft gef\xFClltes Rohr ist an einem Ende verschlossen.\
+      \ In der Pfeife wird eine stehende Welle erzeugt, wodurch die Pfeife einen Ton\
+      \ ert\xF6nen l\xE4sst. Welche der folgenden Aussagen \xFCber die Eigenschaften\
+      \ der Welle am geschlossenen Rohrende ist richtig?"
+  - input_choice_list:
+      A: 2:00 UHR
+      B: '6.00'
+      C: 12:00 MITTAGS
+      D: 24 A
+    input_correct_responses:
+    - D
+    input_question: "Eine Fotozelle mit Austrittsarbeit \u03D5 = 2 eV ist mit einem\
+      \ Widerstand in Reihe geschaltet. Licht der Frequenz f = 1 \xD7 10^15 Hz trifft\
+      \ auf eine Metallplatte der Fotozelle. Wenn die Leistung des Lichts P = 100\
+      \ W betr\xE4gt, wie gro\xDF ist der Strom durch den Widerstand?"
+  - input_choice_list:
+      A: 10 W
+      B: 30 W
+      C: 60 W
+      D: 240 W
+    input_correct_responses:
+    - D
+    input_question: Ein Mikrowellenherd wird an eine 120-V-Steckdose angeschlossen
+      und zieht einen Strom von 2 Ampere. Wie viel Energie verbraucht der Mikrowellenherd?
+  - input_choice_list:
+      A: 3,5 J
+      B: 6,0 J
+      C: 22,5 J
+      D: 40J
+    input_correct_responses:
+    - B
+    input_question: "Am Ursprung wird eine Punktladung Q = +1 mC fixiert. Wie viel\
+      \ Arbeit ist erforderlich, um eine Ladung Q = +8 \xB5C vom Punkt (0, 4 Meter)\
+      \ zum Punkt (3 Meter, 0) zu bewegen?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_physics
+tag: mmlu_de_llama_stem_tasks
+task: mmlu_de_llama_high_school_physics
+task_alias: high_school_physics

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_psychology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "ein starkes \xDCber-Ich."
+      B: geringe Selbstachtung.
+      C: geringe Selbstwirksamkeit.
+      D: ein interner Ort der Kontrolle.
+    input_correct_responses:
+    - D
+    input_question: Ani glaubt, dass ihre Einstellung und ihr Verhalten eine zentrale
+      Rolle dabei spielen, was mit ihr passiert. Ein solcher Glaube ist wahrscheinlich
+      mit verbunden
+  - input_choice_list:
+      A: "Ermittlung der Ursachen und L\xF6sungen f\xFCr die Probleme des Klienten"
+      B: "die Ursachen f\xFCr die Schwierigkeiten des Beraters bei der Bew\xE4ltigung\
+        \ eines Problems zu identifizieren und zu beseitigen"
+      C: "Aufbau einer Autorit\xE4tshierarchie, um eine effektive Entscheidungsfindung\
+        \ zu erm\xF6glichen"
+      D: "Bereitstellung einer einzigen, klar definierten und eindeutigen Vorgehensweise\
+        \ f\xFCr den Berater zur \xDCberwindung von Kompetenzdefiziten"
+    input_correct_responses:
+    - B
+    input_question: "Nach Caplans Modell der beraterzentrierten Fallberatung interessiert\
+      \ sich der Berater in erster Linie f\xFCr"
+  - input_choice_list:
+      A: Nachrichten werden vom Thalamus direkt an die Amygdala gesendet.
+      B: "Nachrichten werden vom Thalamus an die Bahnen \u201EWas\u201C und \u201E\
+        Wo\u201C gesendet."
+      C: "Nachrichten werden vom parasympathischen Nervensystem an die Gro\xDFhirnrinde\
+        \ gesendet."
+      D: Nachrichten werden von den Frontallappen an die Hypophyse gesendet.
+    input_correct_responses:
+    - A
+    input_question: "W\xE4hrend er im Ozean schwimmt, erschrickt Ivan vor einem dunklen\
+      \ Schatten im Wasser, noch bevor er die Chance hat, den Schatten zu identifizieren.\
+      \ Welche der folgenden Aussagen beschreiben die synaptischen Verbindungen, die\
+      \ w\xE4hrend dieses Schreckensereignisses stattfinden, am besten?"
+  - input_choice_list:
+      A: Geben Sie dem Kind eine Probezeit in der neuen Umgebung
+      B: Benachrichtigen Sie die Eltern schriftlich
+      C: "Genehmigung der Schulbeh\xF6rde einholen"
+      D: "Einverst\xE4ndnis der Eltern einholen"
+    input_correct_responses:
+    - B
+    input_question: "Was muss eine Bildungsagentur gem\xE4\xDF dem Gesetz zur Verbesserung\
+      \ der Bildung von Menschen mit Behinderungen tun, bevor sie den Bildungsplatz\
+      \ eines Sch\xFClers mit einer Behinderung \xE4ndert?"
+  - input_choice_list:
+      A: soziokulturell
+      B: klinisch
+      C: kognitiv
+      D: Behaviorist
+    input_correct_responses:
+    - C
+    input_question: "Pascale interessiert sich f\xFCr die Verarbeitungsstrategien,\
+      \ mit denen Kinder neue Informationen lernen. In welche Art von Psychologin\
+      \ w\xFCrde man Pascale am besten einordnen?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_psychology
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_high_school_psychology
+task_alias: high_school_psychology

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_statistics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Wenn die Steigung der Regressionsgerade genau 1 ist, dann ist die Korrelation
+        genau 1.
+      B: Wenn die Korrelation 0 ist, dann ist die Steigung der Regressionsgerade undefiniert.
+      C: "Das Umschalten, welche Variable x und welche y hei\xDFt, \xE4ndert das Vorzeichen\
+        \ der Korrelation."
+      D: "Die Korrelation r ist gleich der Steigung der Regressionslinie, wenn die\
+        \ Z-Scores f\xFCr die y-Variable gegen die Z-Scores f\xFCr die x-Variable\
+        \ aufgetragen werden."
+    input_correct_responses:
+    - D
+    input_question: Welche der folgenden Aussagen zur Korrelation ist richtig?
+  - input_choice_list:
+      A: E(X + Y) = 99, Var(X + Y) = 8,5
+      B: E(X + Y) = 99, var(X + Y) = 13
+      C: E(X + Y) = 99, var(X + Y) = 17
+      D: Zur Beantwortung dieser Frage liegen keine ausreichenden Informationen vor.
+    input_correct_responses:
+    - D
+    input_question: Angenommen, X und Y sind Zufallsvariablen mit E(X) = 37, var(X)
+      = 5, E(Y) = 62 und var(Y) = 12. Was sind der erwartete Wert und die Varianz
+      der Zufallsvariablen X + Y?
+  - input_choice_list:
+      A: "Der Anteil der B\xE4ume, die zu mehr als 50 Prozent durch Frost gesch\xE4\
+        digt wurden."
+      B: "Die Anzahl der vom Frost betroffenen B\xE4ume."
+      C: "Die Anzahl der B\xE4ume, die aus dem Hain entnommen wurden."
+      D: "F\xFCr jeden beprobten Baum, ob er mehr als 50 Prozent Schaden oder h\xF6\
+        chstens 50 Prozent Schaden erlitten hat."
+    input_correct_responses:
+    - D
+    input_question: "Nach einer Frostwarnung forderte der Besitzer eines gro\xDFen\
+      \ Orangenhains seine Arbeiter auf, alle seine B\xE4ume mit Wasser zu bespr\xFC\
+      hen. Das Wasser sollte gefrieren und eine sch\xFCtzende Eisschicht um die Orangenbl\xFC\
+      te bilden. Dennoch vermutete der Eigent\xFCmer, dass einige B\xE4ume durch den\
+      \ Frost erheblichen Schaden erlitten haben. Um den Anteil der B\xE4ume abzusch\xE4\
+      tzen, die durch den Frost zu mehr als 50 Prozent gesch\xE4digt wurden, entnahm\
+      \ er stichprobenartig 100 B\xE4ume aus seinem Hain. Was ist die Antwortvariable\
+      \ in diesem Experiment?"
+  - input_choice_list:
+      A: Durchschnittlich 518 Gramm; Standardabweichung 7,0 Gramm
+      B: Durchschnittlich 518 Gramm; Standardabweichung 3,5 Gramm
+      C: Durchschnittlich 518 Gramm; Standardabweichung 6,1 Gramm
+      D: Durchschnittlich 394 Gramm; Standardabweichung 6,1 Gramm
+    input_correct_responses:
+    - C
+    input_question: "Eine neue Smartwatch wird in einem Teil einer Fabrik hergestellt\
+      \ und dann in einem anderen, unabh\xE4ngigen Teil der Fabrik f\xFCr den Versand\
+      \ gesichert. Das Gewicht der Smartwatch liegt im Mittel bei 62 Gramm und einer\
+      \ Standardabweichung von 1,0 Gramm. Das Gewicht der Verpackung (Schachtel, Bedienungsanleitung,\
+      \ Luftpolsterfolie etc.) hat einen Mittelwert von 456 Gramm und eine Standardabweichung\
+      \ von 6 Gramm. Zusammen h\xE4tte die Gewichtsverteilung der Smartwatch und ihrer\
+      \ Verpackung folgenden Mittelwert und Standardabweichung:"
+  - input_choice_list:
+      A: Ich, II
+      B: II, III
+      C: III, I
+      D: III, II
+    input_correct_responses:
+    - D
+    input_question: "Welche der folgenden Mengen hat die kleinste Standardabweichung?\
+      \ Welche hat die gr\xF6\xDFte? I: {1,2,3} II: {-10,10} III: {100}"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_statistics
+tag: mmlu_de_llama_stem_tasks
+task: mmlu_de_llama_high_school_statistics
+task_alias: high_school_statistics

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_us_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Organisierte Reaktion auf Bacon's Rebellion
+      B: Bundesantwort auf Shays Rebellion
+      C: Reaktion des Bundes auf die Whisky-Rebellion
+      D: Bundesantwort auf Pontiacs Rebellion
+    input_correct_responses:
+    - C
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. \u201E\
+      Die Gesellschaft in jedem Staat ist ein Segen, aber die Regierung selbst in\
+      \ ihrem besten Zustand ist nur ein notwendiges \xDCbel; in ihrem schlimmsten\
+      \ Zustand ein unertr\xE4gliches; denn wenn wir leiden oder von einer Regierung\
+      \ demselben Elend ausgesetzt werden, das wir erwarten k\xF6nnten In einem Land\
+      \ ohne Regierung wird unser Ungl\xFCck noch verst\xE4rkt, wenn wir daran denken,\
+      \ dass wir die Mittel liefern, durch die wir leiden.Regierung ist wie Kleidung\
+      \ das Zeichen verlorener Unschuld;die Pal\xE4ste der K\xF6nige sind auf den\
+      \ Ruinen der Lauben des Paradieses gebaut W\xE4ren die Impulse des Gewissens\
+      \ klar, einheitlich und unwiderstehlich befolgt, br\xE4uchte der Mensch keinen\
+      \ anderen Gesetzgeber; da dies aber nicht der Fall ist, h\xE4lt er es f\xFC\
+      r notwendig, einen Teil seines Eigentums aufzugeben, um Mittel zum Schutz des\
+      \ \xFCbrigen bereitzustellen; und dies wird er durch die gleiche Klugheit veranla\xDF\
+      t, die ihm in jedem anderen Fall r\xE4t, von zwei \xDCbeln das geringste zu\
+      \ w\xE4hlen.Daher die Sicherheit das wahre Ziel und Ziel der Regierung ist,\
+      \ folgt unwiderlegbar, dass jede Form davon am wahrscheinlichsten zu gew\xE4\
+      hrleisten scheint es ist f\xFCr uns, mit dem geringsten Aufwand und dem gr\xF6\
+      \xDFten Nutzen, allen anderen vorzuziehen." Thomas Paine, Common Sense,\
+      \ 1776 Welches der oben erw\xE4hnten \u201EMiseren\u201C wurde von den Anti-F\xF6\
+      deralisten der postrevolution\xE4ren \xC4ra am meisten verurteilt?"
+  - input_choice_list:
+      A: Spannungen zwischen der britischen Politik und den Bestrebungen der nordamerikanischen
+        Kolonisten.
+      B: "Spannungen zwischen Indianern, die mit den Franzosen verb\xFCndet sind,\
+        \ und denen, die mit den Briten verb\xFCndet sind."
+      C: "Spannungen zwischen befreiten Afroamerikanern und wei\xDFen Pflanzern."
+      D: Spannungen zwischen Siedlern im Hinterland und Eliten im kolonialen Amerika.
+    input_correct_responses:
+    - D
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. \u201E\
+      Da unser letztes Verhalten im Conestoga Manor und in Lancaster viele Spekulationen\
+      \ und eine gro\xDFe Vielfalt von Stimmungen in dieser und benachbarten Regierungen\
+      \ ausgel\xF6st hat; einige rechtfertigen und andere verurteilen es; einige mildern\
+      \ das Verbrechen wohlt\xE4tig und andere malen es b\xF6swillig in den abscheulichsten\
+      \ & verabscheuungsw\xFCrdige Farben, wir halten es f\xFCr unsere Pflicht,\
+      \ der \xD6ffentlichkeit die ganze Angelegenheit vorzulegen, wie sie uns erschienen\
+      \ ist und immer noch erscheint ... "Wenn diese Dinge nicht ausreichen,\
+      \ um eine ungerechtfertigte Bindung der Qu\xE4ker an die Indianer-Wilden zu\
+      \ beweisen , eine feste Entschlossenheit, sich mit ihnen anzufreunden, und eine\
+      \ v\xF6llige Unempfindlichkeit gegen\xFCber menschlichen N\xF6ten, lassen Sie\
+      \ uns einige neuere Tatsachen betrachten. Als wir im letzten Sommer feststellten,\
+      \ dass wir wahrscheinlich keine Unterst\xFCtzung von der Regierung bekommen\
+      \ w\xFCrden, gingen einige Freiwillige auf unsere eigenen Kosten los, entschlossen,\
+      \ unsere Feinde von unseren Grenzen zu vertreiben; & als wir uns der gro\xDF\
+      en Insel n\xE4herten, begriffen wir, dass eine Anzahl ihrer Krieger gegen unsere\
+      \ Grenzen ausgezogen waren. Daraufhin kehrten wir zur\xFCck und kamen mit ihnen\
+      \ herauf und k\xE4mpften mit ihnen am Munfey Hill, wo wir einige unserer M\xE4\
+      nner verloren und einige ihrer Krieger t\xF6teten und dadurch unsere Grenzen\
+      \ in einer anderen Expedition vor dieser Geschichte retteten. Aber kaum hatten\
+      \ wir ihre Vorr\xE4te auf der gro\xDFen Insel zerst\xF6rt und ihren Handel mit\
+      \ den guten Leuten in Bethlehem ruiniert, da wurden gerade diese Indianer, die\
+      \ zu Recht verd\xE4chtigt wurden, unsere Freunde in Northampton County ermordet\
+      \ zu haben, durch den Einfluss einiger Qu\xE4ker gefangen genommen unter dem\
+      \ Schutz der Regierung, um sie vor den Ressentiments der Freunde und Verwandten\
+      \ der Ermordeten zu sch\xFCtzen und sie durch den Winter zu unterst\xFCtzen."\
+      \ \u2014"Apology of the Paxton Boys" (Brosch\xFCre), 1764 (Anmerkung:\
+      \ "Entschuldigung" in dieser Zusammenhang sollte als Erkl\xE4rung\
+      \ gelesen werden, nicht als Eingest\xE4ndnis von Schuld oder Bedauern.) Welche\
+      \ der anhaltenden Spannungen w\xE4hrend der Kolonialzeit in der amerikanischen\
+      \ Geschichte spiegeln die in der obigen Erkl\xE4rung ausgedr\xFCckten Gef\xFC\
+      hle wider?"
+  - input_choice_list:
+      A: "die Gleichberechtigungs\xE4nderung"
+      B: allgemeines Wahlrecht
+      C: die Rechte der Staaten
+      D: Verbot
+    input_correct_responses:
+    - B
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. \u201E\
+      In dem neuen Gesetzbuch, von dem ich annehme, dass es f\xFCr Sie notwendig sein\
+      \ wird, m\xF6chte ich, dass Sie sich an die Damen erinnern und ihnen gegen\xFC\
+      ber gro\xDFz\xFCgiger und wohlwollender sind als Ihre Vorfahren. Legen Sie nicht\
+      \ eine solche unbegrenzte Macht in die H\xE4nde der Ehem\xE4nner . Denken Sie\
+      \ daran, dass alle M\xE4nner Tyrannen w\xE4ren, wenn sie k\xF6nnten. Wenn den\
+      \ Damen keine besondere Sorgfalt und Aufmerksamkeit geschenkt wird, sind wir\
+      \ entschlossen, eine Rebellion zu sch\xFCren, und werden uns nicht an Gesetze\
+      \ binden, in denen wir keine Stimme oder Vertretung haben. Abigail Adams schrieb\
+      \ 1776 in einem Brief an John Adams: \u201ESondergesetzgebung f\xFCr Frauen\
+      \ hat uns in eine \xE4u\xDFerst anomale Position gebracht Untertanen im n\xE4\
+      chsten. In einigen Staaten kann eine verheiratete Frau Eigentum besitzen und\
+      \ Gesch\xE4fte in ihrem eigenen Namen t\xE4tigen; in anderen geh\xF6ren ihre\
+      \ Eink\xFCnfte ihrem Ehemann. In einigen Staaten kann eine Frau gegen ihren\
+      \ Ehemann aussagen, klagen und verklagt werden die Gerichte; in anderen hat\
+      \ sie keinen Rechtsschutz im Falle von Personen-, Verm\xF6gens- oder Verm\xF6\
+      genssch\xE4den. Im Falle einer Scheidung wegen Ehebruchs des Ehemanns wird der\
+      \ unschuldigen Ehefrau kein Recht auf Kinder oder Eigentum zuerkannt, es sei\
+      \ denn durch Sondererlass des Gerichts. Aber in keinem Staat der Union hat die\
+      \ Ehefrau das Recht auf ihre eigene Person oder auf irgendeinen Teil des gemeinsamen\
+      \ Einkommens aus der Lebenspartnerschaft w\xE4hrend des Lebens ihres Ehemanns.\
+      \ In einigen Staaten k\xF6nnen Frauen in die Partnerschaft eintreten juristische\
+      \ Fakult\xE4ten und Praxis vor Gericht, in anderen sind sie verboten. An einigen\
+      \ Universit\xE4ten genie\xDFen M\xE4dchen die gleichen Bildungsvorteile wie\
+      \ Jungen, w\xE4hrend viele der stolzesten Institutionen des Landes ihnen den\
+      \ Zugang verweigern, obwohl die S\xF6hne Chinas, Japans und Afrikas dort willkommen\
+      \ sind. Aber die in den verschiedenen Staaten bereits gew\xE4hrten Privilegien\
+      \ sind keineswegs sicher.\u201C Susan B. Anthony, \u201EDeclaration of Rights\
+      \ for Women\u201C, 4. Juli 1876 Die im zweiten Auszug von Susan B. Anthony zum\
+      \ Ausdruck gebrachten Gef\xFChle sind h\xF6chstwahrscheinlich unterst\xFCtzend\
+      \ von"
+  - input_choice_list:
+      A: "Die Amerikaner m\xFCssen ihren technologischen Vorsprung in Vietnam maximieren."
+      B: "Die amerikanische Bombardierung Vietnams f\xFChrt Schritt f\xFCr Schritt\
+        \ zu Fortschritten im Krieg."
+      C: Die amerikanische Bombardierung Vietnams ist ein Fehlschlag.
+      D: "Amerika darf wegen des Vietnamkriegs nicht dem Def\xE4tismus nachgeben."
+    input_correct_responses:
+    - C
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. Unsere\
+      \ F\xFChrer sprechen davon, die Aggression aus dem Norden zu stoppen, aber dies\
+      \ war ein Kampf zwischen Gruppen von Vietnamesen, bis wir intervenierten. Wir\
+      \ scheinen darauf aus zu sein, die Vietnamesen vor Ho Chi Minh zu retten, selbst\
+      \ wenn wir sie daf\xFCr t\xF6ten und ihr Land zerst\xF6ren m\xFCssen. W\xE4\
+      hrend die Ureinwohner ausgebombte D\xF6rfer, von Napalm verbrannte Frauen und\
+      \ Kinder, zerst\xF6rte Reisfelder und von unserem Milit\xE4rpersonal \xFCberrannte\
+      \ St\xE4dte begutachten, sagen sie zweifellos im Geheimen \xFCber die Vietcong-Guerillas\
+      \ und die amerikanischen Streitkr\xE4fte: \u201EEine Seuche \xFCber eure beiden\
+      \ H\xE4user ." \u2026 Stoppen Sie die Bombenangriffe im Norden und S\xFC\
+      den, beenden Sie die Suche und zerst\xF6ren Sie offensive Sweeps und beschr\xE4\
+      nken Sie unsere Milit\xE4raktion darauf, Operationen am Boden durchzuf\xFChren.\
+      \ Die Bombardierung des Nordens hat den Truppenstrom nach S\xFCden nicht gestoppt\
+      \ oder ernsthaft aufgehalten und k\xF6nnte in der Tat zu einer viel gr\xF6\xDF\
+      eren Kriegsanstrengung von Hanoi gef\xFChrt haben. \u2013 Senator George McGovern,\
+      \ \u201EThe Lessons of Vietnam\u201C, 25. April 1967 Welche der folgenden Meinungen\
+      \ aus den 1960er Jahren spiegelt am direktesten die Perspektive von George McGoverns\
+      \ Rede wider?"
+  - input_choice_list:
+      A: Abigail Adams
+      B: Clara Barton
+      C: Shirley Temple
+      D: Hillary Clinton
+    input_correct_responses:
+    - B
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. Ich\
+      \ komme nicht, um pers\xF6nliche Anspr\xFCche geltend zu machen oder individuelle\
+      \ Vorteile zu suchen; Ich trete als Anwalt derer auf, die ihre eigene Sache\
+      \ nicht vertreten k\xF6nnen; Ich komme als Freund der Verlassenen, Unterdr\xFC\
+      ckten und Verlassenen. In der Vorsehung Gottes bin ich die Stimme des Wahnsinnigen,\
+      \ dessen durchdringende Schreie aus den trostlosen Kerkern eurer Gef\xE4ngnisse\
+      \ nicht in eure Hallen der Gesetzgebung dringen. Ich bin die Hoffnung der armen,\
+      \ verr\xFCckten Wesen, die in den Zellen und St\xE4llen und K\xE4figen und verw\xFC\
+      steten R\xE4umen eurer Armenh\xE4user schmachtet. Ich bin die Offenbarung von\
+      \ Hunderten von klagenden, leidenden Gesch\xF6pfen, versteckt in euren Privatwohnungen\
+      \ und in Pferchen und H\xFCtten \u2013 ausgeschlossen, abgeschnitten von allen\
+      \ heilenden Einfl\xFCssen, von allen geisteswiederherstellenden Sorgen \u2026\
+      \ K\xF6nnten ihre melancholischen Geschichten vor euch ausgebreitet werden wie\
+      \ meinem bek\xFCmmerten Geist w\xE4hrend der letzten drei Monate offenbart wurde,\
+      \ wie schnell, wie ernsthaft w\xFCrden Sie die bew\xE4hrtesten Mittel zur Linderung\
+      \ suchen; wie unbedeutend, wie unbedeutend w\xFCrden im Vergleich dazu die Opfer\
+      \ erscheinen, die man von Ihnen verlangt; Wie w\xFCrden ein paar Cent und Dollar,\
+      \ die von jedem B\xFCrger gesammelt werden, als Besitz an Wert verlieren, verglichen\
+      \ mit den bestimmten Vorteilen und dem enormen Gut, das f\xFCr die leidenden\
+      \ Wahnsinnigen gesichert werden kann ... durch die Weihe und Anwendung eines\
+      \ ausreichenden Fonds f\xFCr den Bau eines geeigneten Krankenhauses \u2026 \u2013\
+      \ Dorothea Dix, Memorial Soliciting a State Hospital for the Protection and\
+      \ Cure of the Insane, eingereicht bei der Generalversammlung von North Carolina,\
+      \ November 1848 Dorothea Dix kann am besten mit wem verglichen werden?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_us_history
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_high_school_us_history
+task_alias: high_school_us_history

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_high_school_world_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Hinduismus
+      B: Buddhismus
+      C: Schintoismus
+      D: Zoroastrismus
+    input_correct_responses:
+    - A
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. Er\
+      \ enth\xE4lt alle Werke und W\xFCnsche und alle D\xFCfte und alle Geschm\xE4\
+      cker. Er umfasst das ganze Universum und ist in der Stille liebevoll zu allen.\
+      \ Das ist der Geist, der in meinem Herzen ist, das ist Brahman. Zu ihm werde\
+      \ ich kommen, wenn ich \xFCber dieses Leben hinausgehe, und zu ihm wird kommen,\
+      \ wer Glauben hat und nicht zweifelt. \u2013 Die Upanishaden, Indien, c. 1000\
+      \ v. Chr. Welcher Religion geh\xF6rt der Sprecher am ehesten an?"
+  - input_choice_list:
+      A: Die Industrielle Revolution
+      B: Entkolonisierung
+      C: "Regionale Freihandelsverb\xE4nde"
+      D: Autarkie
+    input_correct_responses:
+    - B
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. \u201E\
+      Der Kampf gegen den Neokolonialismus zielt nicht darauf ab, das Kapital der\
+      \ entwickelten Welt davon auszuschlie\xDFen, in weniger entwickelten L\xE4ndern\
+      \ zu operieren. Er zielt darauf ab, zu verhindern, dass die Finanzkraft der\
+      \ entwickelten L\xE4nder so eingesetzt wird, dass die weniger entwickelten verarmt\
+      \ werden. Die Blockfreiheit, wie sie von Ghana und vielen anderen L\xE4ndern\
+      \ praktiziert wird, basiert auf der Zusammenarbeit mit allen Staaten, ob sie\
+      \ kapitalistisch, sozialistisch oder eine gemischte Wirtschaft haben Eine solche\
+      \ Politik beinhaltet daher ausl\xE4ndische Investitionen aus kapitalistischen\
+      \ L\xE4ndern, aber sie muss in \xDCbereinstimmung mit einem nationalen Plan\
+      \ investiert werden, der von der Regierung des blockfreien Staates unter Ber\xFC\
+      cksichtigung seiner eigenen Interessen aufgestellt wurde. Die Frage ist nicht,\
+      \ welche Rendite der ausl\xE4ndische Investor f\xFCr seine Investitionen erh\xE4\
+      lt \u2026 Die Frage ist eine Machtfrage. Ein Staat in Der Griff des Neokolonialismus\
+      \ ist nicht Herr seines eigenen Schicksals." Kwame Nkrumah, Neo-Colonialism,\
+      \ 1965 Welche der folgenden Aussagen bietet den besten Kontext f\xFCr Nkrumahs\
+      \ Schriften?"
+  - input_choice_list:
+      A: Gesellschaftliche Akzeptanz von Kinderarbeit
+      B: Sinkende Lebenserwartung in Deutschland
+      C: "Kritik an deutschen Handelsz\xF6llen"
+      D: Dem industriellen Kapitalismus zugeschriebene negative Auswirkungen
+    input_correct_responses:
+    - D
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. \u201E\
+      Die eigentliche Beschwerde des Arbeiters ist die Unsicherheit seiner Existenz;\
+      \ er ist sich nicht sicher, dass er immer Arbeit haben wird, er ist sich nicht\
+      \ sicher, dass er immer gesund sein wird, und er sieht voraus, dass er eines\
+      \ Tages alt und arbeitsunf\xE4hig sein wird F\xE4llt er in Armut, und sei es\
+      \ auch nur durch eine l\xE4ngere Krankheit, so ist er v\xF6llig hilflos, sich\
+      \ selbst \xFCberlassen, und die Gesellschaft erkennt ihm gegen\xFCber derzeit\
+      \ keine wirkliche Verpflichtung \xFCber die \xFCbliche Hilfe f\xFCr die Armen\
+      \ hinaus, auch wenn er eine hat die ganze Zeit \xFCber so treu und flei\xDF\
+      ig gearbeitet. Die \xFCbliche Hilfe f\xFCr die Armen l\xE4sst jedoch sehr zu\
+      \ w\xFCnschen \xFCbrig, besonders in Gro\xDFst\xE4dten, wo es sehr viel schlimmer\
+      \ ist als auf dem Land.\u201C Otto von Bismarck, 1884 Otto von Bismarck hielt\
+      \ diese Rede wahrscheinlich als Reaktion auf welches der folgenden Themen?"
+  - input_choice_list:
+      A: "Die Aufrechterhaltung der milit\xE4rischen Vormachtstellung um jeden Preis"
+      B: "Wachsende Spannungen zwischen religi\xF6sen Sekten"
+      C: "Faktoren, die zum Zusammenbruch des Osmanischen Reiches f\xFChrten"
+      D: "Friedensbem\xFChungen unter den islamischen Reichen"
+    input_correct_responses:
+    - B
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. \u201E\
+      In der Tat, da sowohl die Fatwas angesehener [Gelehrter], die ihre Meinung gleicherma\xDF\
+      en auf Vernunft und Tradition st\xFCtzen, als auch der Konsens der sunnitischen\
+      \ Gemeinschaft darin \xFCbereinstimmen, dass die alte Verpflichtung zur Ausrottung,\
+      \ Ausrottung und Vertreibung b\xF6ser Neuerungen das Ziel unserer Erhabenen\
+      \ sein muss Streben, denn "Religi\xF6ser Eifer ist ein Sieg f\xFCr den\
+      \ Glauben Gottes, des Erbarmers"; dann, in \xDCbereinstimmung mit den Worten\
+      \ des Propheten (Friede sei mit ihm!) "Wer auch immer b\xF6se Neuerungen\
+      \ in unsere Ordnung einf\xFChrt, muss ausgewiesen werden" und "Wer\
+      \ auch immer dies tut alles, was gegen unseren Befehl verst\xF6\xDFt, muss ausgewiesen\
+      \ werden, \u201EMa\xDFnahmen sind notwendig und dringend geworden \u2026\u201C\
+      \ Brief des osmanischen Sultans Selim I. an Safawiden Shah Ismail I., 1514 Der\
+      \ Brief von Selim I. ist am deutlichsten ein Beispiel f\xFCr welches der folgenden?"
+  - input_choice_list:
+      A: Ein Zusammenbruch der Handelswege durch den Zusammenbruch der etablierten
+        Staatsstruktur
+      B: "Eine Zunahme der Weltbev\xF6lkerung durch reichlichere Nahrungsmittelvorr\xE4\
+        te"
+      C: Die Verbreitung chinesischer und indischer Glaubenssysteme auf der ganzen
+        Welt
+      D: Eine Zunahme sozialer Unruhen
+    input_correct_responses:
+    - B
+    input_question: "Diese Frage bezieht sich auf die folgenden Informationen. \u201E\
+      Zumindest eine der Gesellschaften [der Welt] m\xFCsste ihre Produktivit\xE4\
+      t irgendwie enorm steigern [um globale Hegemonie zu erlangen]. Dieser Quantensprung\
+      \ m\xFCsste vor den verschiedenen wissenschaftlichen, technologischen, landwirtschaftlichen\
+      \ und industriellen Revolutionen gemacht werden, auf denen unsere Die Welt nach\
+      \ dem Quantensprung ruht. Es konnte nur durch die Ausbeutung der \xD6kosysteme,\
+      \ Bodensch\xE4tze und Humanressourcen ganzer Kontinente au\xDFerhalb der L\xE4\
+      nder der Gesellschaft, die den Sprung machte, erreicht werden. Westeuropa tat\
+      \ genau das durch seine Brutalit\xE4t und Waffen und , was noch wichtiger ist,\
+      \ durch geografisches und \xF6kologisches Gl\xFCck." Copyright \xA9 2015\
+      \ Cambridge University Press. Alfred Crosby, Historiker, Ecological Imperialism,\
+      \ 2004 Zu welcher der folgenden Entwicklungen im Zeitraum 1450\u20131750 n.\
+      \ Chr. hat der in der Passage erw\xE4hnte \u201EQuantensprung\u201C am unmittelbarsten\
+      \ beigetragen?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_world_history
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_high_school_world_history
+task_alias: high_school_world_history

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_human_aging.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Ein asiatischer Mann oder eine asiatische Frau
+      B: Ein hispanischer Mann
+      C: Eine afroamerikanische Frau
+      D: "Ein wei\xDFer Mann oder eine wei\xDFe Frau"
+    input_correct_responses:
+    - C
+    input_question: Welche der folgenden Personen bleibt ab 2019 eher allein zu Hause?
+  - input_choice_list:
+      A: Jugendvorteil
+      B: Reminiszenz-Beule
+      C: Mahnmal Mahnmal
+      D: Quadratische Abrufspitze
+    input_correct_responses:
+    - B
+    input_question: Der Befund, dass Erwachsene sich tendenziell besser an Ereignisse
+      aus ihrer Jugendzeit erinnern als an andere Lebensabschnitte, wird als die bezeichnet
+  - input_choice_list:
+      A: Texas
+      B: Kalifornien
+      C: Hawaii
+      D: Vermont
+    input_correct_responses:
+    - A
+    input_question: "Wenn \xE4ltere Erwachsene nach der Pensionierung in ein neues\
+      \ Bundesland ziehen, welches der folgenden ist das wahrscheinlichere Ziel?"
+  - input_choice_list:
+      A: Nikotin
+      B: Teer
+      C: Kohlenmonoxid
+      D: Rauchpartikel
+    input_correct_responses:
+    - B
+    input_question: "Welches Element im Tabakrauch ist f\xFCr Krebs verantwortlich?"
+  - input_choice_list:
+      A: "Eine \xE4ltere hispanische Amerikanerin"
+      B: "Eine \xE4ltere Afroamerikanerin"
+      C: "Eine \xE4ltere asiatische Amerikanerin"
+      D: "Eine \xE4ltere Indianerin"
+    input_correct_responses:
+    - C
+    input_question: Bei sonst gleichen Bedingungen, welche der folgenden Personen
+      leidet eher an Osteoporose?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_aging
+tag: mmlu_de_llama_other_tasks
+task: mmlu_de_llama_human_aging
+task_alias: human_aging

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_human_sexuality.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "w\xE4hrend des ersten Trimesters"
+      B: "w\xE4hrend des zweiten Trimesters"
+      C: "w\xE4hrend des dritten Trimesters"
+      D: "die ganze schwangerschaft \xFCber"
+    input_correct_responses:
+    - A
+    input_question: "\xDCbelkeit am Morgen ist typischerweise ein Problem:"
+  - input_choice_list:
+      A: ein starkes Ego
+      B: "ein schwaches \xDCber-Ich"
+      C: eine schwache ID
+      D: "ein starkes \xDCber-Ich"
+    input_correct_responses:
+    - B
+    input_question: "Eine Frau, die wei\xDF, dass sie aktiven Herpes und unbehandelte\
+      \ Syphilis hat, aber weiterhin Sex hat, ohne ihre Partner \xFCber ihren Zustand\
+      \ zu informieren, hat in psychoanalytischer Hinsicht:"
+  - input_choice_list:
+      A: "die Tatsache, dass sie keine Refrakt\xE4rzeit haben."
+      B: die Reaktion der inneren Schichten der Vagina.
+      C: abwechselnde Orgasmen an verschiedenen Orten haben.
+      D: der G-Punkt.
+    input_correct_responses:
+    - A
+    input_question: "Die F\xE4higkeit von Frauen, multiple Orgasmen zu haben, ist\
+      \ haupts\xE4chlich zur\xFCckzuf\xFChren auf:"
+  - input_choice_list:
+      A: Geschlechtsverkehr
+      B: Kreis wichst
+      C: Exhibitionismus
+      D: "gegenseitig die Genitalien ber\xFChren"
+    input_correct_responses:
+    - A
+    input_question: "Die Art der homosexuellen Aktivit\xE4ten, die w\xE4hrend der\
+      \ Pubert\xE4t auftreten, umfassen alle bis auf welche der folgenden?"
+  - input_choice_list:
+      A: vorzeitiger Samenerguss
+      B: gehemmte Ejakulation
+      C: "Erektionsst\xF6rung"
+      D: "Ejakulationsst\xF6rung"
+    input_correct_responses:
+    - C
+    input_question: "Die h\xE4ufigste St\xF6rung bei M\xE4nnern, die eine Sexualtherapie\
+      \ suchen, ist:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_sexuality
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_human_sexuality
+task_alias: human_sexuality