Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_international_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Artikel 2 Absatz 4 umfasst nur bewaffnete Gewalt
+      B: "Artikel 2 Absatz 4 umfasst alle Arten von Gewalt, einschlie\xDFlich Sanktionen"
+      C: Artikel 2(4) umfasst alle Eingriffe in die inneren Angelegenheiten von Staaten
+      D: "Artikel 2 Absatz 4 umfasst Gewalt, die nur gegen die territoriale Integrit\xE4\
+        t eines Staates gerichtet ist"
+    input_correct_responses:
+    - A
+    input_question: Welche Arten von Gewalt verbietet Artikel 2(4) der UN-Charta?
+  - input_choice_list:
+      A: "Wenn eine Partei in einem Streitfall vor dem IGH keinen nationalen Richter\
+        \ hat, ist sie berechtigt, nur f\xFCr diesen Fall jemanden als Richter mit\
+        \ dem Titel eines Ad-hoc-Richters zu ernennen"
+      B: "Judge ad hoc ist das Mitglied des Spruchk\xF6rpers des IGH mit ausschlaggebender\
+        \ Stimme"
+      C: Richter ad hoc ist ein Ersatzrichter, falls ein Richter disqualifiziert wird
+        oder verstirbt
+      D: Ad-hoc-Richter ist der Richter, den jede Partei in jedem Streitfall immer
+        ernennt
+    input_correct_responses:
+    - A
+    input_question: Was ist der Ad-hoc-Richter?
+  - input_choice_list:
+      A: Dies ist ein akzeptabler Vorbehalt, wenn die Gesetzgebung des reservierenden
+        Landes eine andere Definition verwendet
+      B: Dies ist ein inakzeptabler Vorbehalt, da er dem Ziel und Zweck des ICCPR
+        widerspricht
+      C: "Dies ist ein inakzeptabler Vorbehalt, da die Definition von Folter im ICCPR\
+        \ mit dem V\xF6lkergewohnheitsrecht vereinbar ist"
+      D: "Dies ist ein akzeptabler Vorbehalt, da Staaten nach allgemeinem V\xF6lkerrecht\
+        \ das Recht haben, Vorbehalte zu Vertr\xE4gen einzubringen"
+    input_correct_responses:
+    - B
+    input_question: "W\xE4re ein Vorbehalt zur Definition von Folter im ICCPR in der\
+      \ heutigen Praxis akzeptabel?"
+  - input_choice_list:
+      A: "Die Einwilligung kann als Umstand dienen, die Rechtswidrigkeit auszuschlie\xDF\
+        en, wann immer sie erteilt wird"
+      B: "Eine Einwilligung kann niemals als Umstand dienen, der eine Rechtswidrigkeit\
+        \ ausschlie\xDFt"
+      C: Als rechtswidriger Umstand kann die Einwilligung dienen, sofern die Einwilligung
+        wirksam ist und sich das Verhalten innerhalb der Grenzen der erteilten Einwilligung
+        bewegt
+      D: "Als rechtswidriger Umstand kann immer die Einwilligung dienen, gleichg\xFC\
+        ltig, welches Staatsorgan sie erteilt"
+    input_correct_responses:
+    - C
+    input_question: "Wann kann die \u201EZustimmung\u201C als Umstand dienen, der\
+      \ die Rechtswidrigkeit eines staatlichen Verhaltens ausschlie\xDFt?"
+  - input_choice_list:
+      A: "Die Zustimmung eines zu bindenden Staates wird nur durch Ratifikation ausgedr\xFC\
+        ckt"
+      B: "Die Zustimmung eines Staates, an einen Vertrag gebunden zu sein, kann durch\
+        \ Unterzeichnung, Ratifizierung, Annahme, Genehmigung oder Beitritt ausgedr\xFC\
+        ckt werden"
+      C: "Die Zustimmung eines zu bindenden Staates wird durch Unterschrift ausgedr\xFC\
+        ckt"
+      D: "Die Zustimmung eines Staates, gebunden zu werden, wird durch die von ihm\
+        \ gew\xE4hlten Mittel ausgedr\xFCckt"
+    input_correct_responses:
+    - B
+    input_question: "Wie kann die Bindungszusage eines Staates ausgedr\xFCckt werden?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_international_law
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_international_law
+task_alias: international_law

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_jurisprudence.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Die POP w\xFCrde die Gleichheit der Freiheit vorziehen."
+      B: "Der POP w\xFCrde sich f\xFCr die \u201EMaximin\u201C-Strategie entscheiden."
+      C: "Die POP w\xFCrde sich f\xFCr das \u201EDifferenzprinzip\u201C entscheiden."
+      D: "Die POP w\xFCrde das \u201ESystem der nat\xFCrlichen Freiheit\u201C ablehnen."
+    input_correct_responses:
+    - A
+    input_question: "Welche Position wird laut Rawls am wenigsten wahrscheinlich von\
+      \ der POP (Personen in der urspr\xFCnglichen Position) \xFCbernommen?"
+  - input_choice_list:
+      A: Maximierung der individuellen Freiheit
+      B: Kompromissbasis bieten
+      C: den Frieden bewahren
+      D: "F\xF6rderung der Prinzipien des freien Unternehmertums"
+    input_correct_responses:
+    - D
+    input_question: "Zu den Funktionen des Gesetzes geh\xF6ren alle bis auf welche\
+      \ der folgenden?"
+  - input_choice_list:
+      A: "Beh\xF6rde."
+      B: Charisma.
+      C: Zusammenarbeit.
+      D: Kapitalismus.
+    input_correct_responses:
+    - D
+    input_question: "Welches Wort fasst Webers Erkl\xE4rung der Entwicklung des formal\
+      \ rationalen Rechts am besten zusammen?"
+  - input_choice_list:
+      A: Naturgesetz
+      B: Analytisch
+      C: Historisch
+      D: Soziologische
+    input_correct_responses:
+    - A
+    input_question: "Die ________ Rechtsschule postuliert, dass das Recht auf dem\
+      \ basiert, was \u201Erichtig\u201C ist."
+  - input_choice_list:
+      A: Der Brief ist ein Verkaufsangebot
+      B: "Ein g\xFCltiges Angebot kann per Brief nicht abgegeben werden."
+      C: "Das Schreiben enth\xE4lt ein g\xFCltiges Angebot, das innerhalb einer angemessenen\
+        \ Frist endet."
+      D: Dem Schreiben fehlt eines der wesentlichen Elemente eines Angebots.
+    input_correct_responses:
+    - D
+    input_question: "Iverson Jewellers schrieb Miller einen Brief: \u201EWir haben\
+      \ eine au\xDFergew\xF6hnlich feine Rolox-Uhr mit Automatikaufzug erhalten, die\
+      \ wir Ihnen zu einem sehr g\xFCnstigen Preis verkaufen werden.\u201C"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_jurisprudence
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_jurisprudence
+task_alias: jurisprudence

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_logical_fallacies.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: du quoque
+      B: Pferd lachen
+      C: Argument gegen die Person
+      D: Ignoranz elenchi
+    input_correct_responses:
+    - C
+    input_question: "Wenn jemand den Charakter eines gegnerischen Arguments angreift,\
+      \ anstatt auf die Argumente dieses Gegners zu antworten, hat die erste Person\
+      \ wahrscheinlich einen der folgenden Irrt\xFCmer begangen?"
+  - input_choice_list:
+      A: etwas zu argumentieren ist minderwertig, nur weil es etwas nicht tut, was
+        es nie tun sollte.
+      B: "Aufnahme von mehr als einer Behauptung in den Satz und Behandlung eines\
+        \ Beweises f\xFCr eine Behauptung als Beweis f\xFCr alle Behauptungen."
+      C: "eine Schlussfolgerung ziehen, bevor die Beweise gepr\xFCft werden, und nur\
+        \ Beweise ber\xFCcksichtigen, die diese Schlussfolgerung st\xFCtzen."
+      D: "Stellen einer Frage, die entweder eine unbewiesene Annahme oder mehr als\
+        \ eine Frage enth\xE4lt, wodurch eine einfache Ja- oder Nein-Antwort bedeutungslos\
+        \ wird."
+    input_correct_responses:
+    - D
+    input_question: Die komplexe Frage Fehlschluss besteht aus
+  - input_choice_list:
+      A: "Die Unterpr\xE4misse muss den Vordersatz verneinen"
+      B: "Die Hauptpr\xE4misse muss die Konsequenz best\xE4tigen"
+      C: "Der mittlere Begriff muss in mindestens einer Pr\xE4misse in einem universellen\
+        \ oder uneingeschr\xE4nkten Sinn verwendet werden"
+      D: Alles das oben Genannte
+    input_correct_responses:
+    - C
+    input_question: "Welche der folgenden Aussagen trifft auf einen g\xFCltigen kategorischen\
+      \ Syllogismus zu?"
+  - input_choice_list:
+      A: Aufteilung
+      B: Komposition
+      C: An die Person appellieren
+      D: Appell an Unwissenheit
+    input_correct_responses:
+    - B
+    input_question: "Zu argumentieren, dass das, was f\xFCr die Teile gilt, auch f\xFC\
+      r das Ganze gelten muss, ist der Trugschluss von ..."
+  - input_choice_list:
+      A: schlechte Sportlichkeit
+      B: "Appell an Mitgef\xFChl"
+      C: Argument gegen die Person
+      D: Unkenntnis der Widerlegung
+    input_correct_responses:
+    - D
+    input_question: "Wenn ein Argumentator w\xE4hrend der Widerlegung Verwirrung stiftet,\
+      \ weil er wirklich oder vorget\xE4uscht nicht in der Lage ist, sich auf eine\
+      \ Widerlegung einzulassen, hat dieser Argumentator m\xF6glicherweise den Irrtum\
+      \ begangen"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_logical_fallacies
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_logical_fallacies
+task_alias: logical_fallacies

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_machine_learning.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 2.0/15
+      B: 1.0/7
+      C: 3.0/16
+      D: 1.0/5
+    input_correct_responses:
+    - B
+    input_question: "Ein 6-seitiger W\xFCrfel wird 15 Mal geworfen und die Ergebnisse\
+      \ sind: Seite 1 kommt 0 Mal auf; Seite 2: 1 Mal; Seite 3: 2 mal; Seite 4: 3\
+      \ mal; Seite 5: 4 mal; Seite 6: 5 mal. Wie hoch ist basierend auf diesen Ergebnissen\
+      \ die Wahrscheinlichkeit, dass Seite 3 erscheint, wenn Add-1-Gl\xE4ttung verwendet\
+      \ wird?"
+  - input_choice_list:
+      A: "Zuf\xE4lliges Zuschneiden und horizontales Spiegeln"
+      B: "Zuf\xE4lliges Zuschneiden und vertikales Flip"
+      C: Posterisierung
+      D: Zittern
+    input_correct_responses:
+    - A
+    input_question: "Welche Bilddatenaugmentation ist bei nat\xFCrlichen Bildern am\
+      \ gebr\xE4uchlichsten?"
+  - input_choice_list:
+      A: Meine Methode erreicht einen geringeren Trainingsfehler als alle bisherigen
+        Methoden!
+      B: "Meine Methode erreicht einen geringeren Testfehler als alle bisherigen Methoden!\
+        \ (Fu\xDFnote: Wenn der Regularisierungsparameter \u03BB so gew\xE4hlt wird,\
+        \ dass der Testfehler minimiert wird.)"
+      C: "Meine Methode erreicht einen niedrigeren Testfehler als alle bisherigen\
+        \ Methoden! (Fu\xDFnote: Wenn der Regularisierungsparameter \u03BB so gew\xE4\
+        hlt wird, dass der Kreuzvalidierungsfehler minimiert wird.)"
+      D: "Meine Methode erreicht einen geringeren Kreuzvalidierungsfehler als alle\
+        \ bisherigen Methoden! (Fu\xDFnote: Wenn der Regularisierungsparameter \u03BB\
+        \ so gew\xE4hlt wird, dass der Kreuzvalidierungsfehler minimiert wird.)"
+    input_correct_responses:
+    - C
+    input_question: "Sie sehen sich Beitr\xE4ge f\xFCr die World's Fanciest Machine\
+      \ Learning Conference an und sehen Beitr\xE4ge mit den folgenden Behauptungen.\
+      \ Welche w\xFCrden Sie annehmen?"
+  - input_choice_list:
+      A: rund 10 Beispiele
+      B: rund 100 Beispiele
+      C: zwischen 100 und 500 Beispiele
+      D: mehr als 1000 Beispiele
+    input_correct_responses:
+    - D
+    input_question: "Um eine 0/1-Verlustsch\xE4tzung zu erreichen, die weniger als\
+      \ 1 Prozent des wahren 0/1-Verlusts betr\xE4gt (mit einer Wahrscheinlichkeit\
+      \ von 95 %), muss das IID-Testset gem\xE4\xDF der Hoeffding-Ungleichung wie\
+      \ viele Beispiele haben?"
+  - input_choice_list:
+      A: Es ist zu rechenintensiv.
+      B: "Dies w\xFCrde wahrscheinlich zu einem Entscheidungsbaum f\xFChren, der auf\
+        \ dem Trainingssatz und einem Testsatz schlecht abschneidet."
+      C: "Dies w\xFCrde wahrscheinlich zu einem Entscheidungsbaum f\xFChren, der auf\
+        \ dem Trainingssatz gut abschneidet, aber auf einem Testsatz schlecht."
+      D: "Dies w\xFCrde wahrscheinlich zu einem Entscheidungsbaum f\xFChren, der in\
+        \ einem Testset gut, aber in einem Trainingsset schlecht abschneidet."
+    input_correct_responses:
+    - C
+    input_question: "Wenn wir w\xE4hrend des Entscheidungsbaumlernens ein reellwertiges\
+      \ Eingabeattribut haben, ziehen wir traditionell eine bin\xE4re Aufteilung in\
+      \ Betracht, je nachdem, ob das Attribut \xFCber oder unter einem bestimmten\
+      \ Schwellenwert liegt. Pat schl\xE4gt vor, dass wir stattdessen einfach eine\
+      \ Mehrfachaufteilung mit einem Zweig f\xFCr jeden der unterschiedlichen Werte\
+      \ des Attributs haben sollten. W\xE4hlen Sie aus der folgenden Liste das gr\xF6\
+      \xDFte Einzelproblem mit Pats Vorschlag aus:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_machine_learning
+tag: mmlu_de_llama_stem_tasks
+task: mmlu_de_llama_machine_learning
+task_alias: machine_learning

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_management.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Startposition und Endposition
+      B: "Ausgangsumgebung und ver\xE4nderte Umgebung"
+      C: Organisationsstruktur und Konditionierung
+      D: "Initiierende Struktur und \xDCberlegungen"
+    input_correct_responses:
+    - D
+    input_question: Was sind die zwei Hauptdimensionen der Ohio Studies in Leadership?
+  - input_choice_list:
+      A: Friedrich Herzberg
+      B: DC McClelland
+      C: Abraham Maslow
+      D: Douglas McGregor
+    input_correct_responses:
+    - A
+    input_question: Hygienefaktoren werden mit welchem Schreiber in Verbindung gebracht?
+  - input_choice_list:
+      A: Symbole
+      B: Rituale und Routinen
+      C: Machtstrukturen
+      D: Kontroll systeme
+    input_correct_responses:
+    - A
+    input_question: Welches Element des kulturellen Netzes bildet Insignien?
+  - input_choice_list:
+      A: Moral
+      B: Innovation
+      C: Wachstumsressource
+      D: Anpassung
+    input_correct_responses:
+    - A
+    input_question: "Welches Merkmal ist kein Schl\xFCsselmerkmal des Managementmodells\
+      \ der \u201Eoffenen Systeme\u201C?"
+  - input_choice_list:
+      A: Hierarchisch
+      B: "B\xFCrokratisch"
+      C: Wohnung
+      D: Funktionell
+    input_correct_responses:
+    - C
+    input_question: "Wie lassen sich Organisationsstrukturen beschreiben, die von\
+      \ demokratischen und inklusiven F\xFChrungsstilen gepr\xE4gt sind?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_management
+tag: mmlu_de_llama_other_tasks
+task: mmlu_de_llama_management
+task_alias: management

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_marketing.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Geodemographie
+      B: Produktunterscheidung.
+      C: ANSOFF-Matrix.
+      D: "Markenf\xFChrung."
+    input_correct_responses:
+    - A
+    input_question: "_____________ ist ein nat\xFCrliches Ergebnis bei der Kombination\
+      \ von demografischen und geografischen Variablen."
+  - input_choice_list:
+      A: Outsourcing-Einheit.
+      B: Beschaffungszentrum.
+      C: "Hauptgesch\xE4ftsf\xFChrer."
+      D: Entscheidungseinheit.
+    input_correct_responses:
+    - D
+    input_question: In einer Organisation wird die Gruppe von Personen, die mit Kaufentscheidungen
+      beauftragt ist, als _______________ bezeichnet.
+  - input_choice_list:
+      A: "Bed\xFCrfnisse sind abh\xE4ngig von der Kultur und auch von der sozialen\
+        \ Klasse."
+      B: "Niedrigere Bed\xFCrfnisse m\xFCssen zumindest teilweise befriedigt werden,\
+        \ bevor h\xF6here Bed\xFCrfnisse das Verhalten beeinflussen k\xF6nnen."
+      C: "Bed\xFCrfnisse werden nicht priorisiert oder in einer bestimmten Reihenfolge\
+        \ angeordnet."
+      D: "Befriedigte Bed\xFCrfnisse sind Motivatoren, und neue Bed\xFCrfnisse entstehen,\
+        \ wenn aktuelle Bed\xFCrfnisse unbefriedigt bleiben."
+    input_correct_responses:
+    - B
+    input_question: "Welche der folgenden Aussagen ist eine Annahme in Maslows Bed\xFC\
+      rfnispyramide?"
+  - input_choice_list:
+      A: "Der \xE4ltere Verbraucher, der sich etwas ausgeschlossen f\xFChlt."
+      B: "Die verheirateten Frauen, von denen viele das Bed\xFCrfnis nach Stabilit\xE4\
+        t in ihrem Leben versp\xFCren."
+      C: Neue Einwanderer, die sich wirklich in ihre neue Kultur integrieren wollen.
+      D: "Kinder, die die meisten ihrer Kaufentscheidungen auf \xE4u\xDFere Einfl\xFC\
+        sse st\xFCtzen."
+    input_correct_responses:
+    - D
+    input_question: "Die einzelne Gruppe innerhalb der Gesellschaft, die am anf\xE4\
+      lligsten f\xFCr den Einfluss der Bezugsgruppe ist, ist:"
+  - input_choice_list:
+      A: Pflegelinien.
+      B: Direktwerbung.
+      C: "Eins\xE4tze."
+      D: "T\xFCr zu T\xFCr."
+    input_correct_responses:
+    - D
+    input_question: "Obwohl Inhalt und Qualit\xE4t so kontrolliert werden k\xF6nnen\
+      \ wie Direktwerbung, sind die R\xFCcklaufquoten dieses Mediums aufgrund des\
+      \ Fehlens eines pers\xF6nlichen Adressierungsmechanismus geringer. Dieses Medienformat\
+      \ ist bekannt als:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_marketing
+tag: mmlu_de_llama_other_tasks
+task: mmlu_de_llama_marketing
+task_alias: marketing

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_medical_genetics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Polymerase Kettenreaktion.
+      B: Einzelstrang-Konformationspolymorphismusanalyse.
+      C: Southern-Blotting.
+      D: Western-Blotting.
+    input_correct_responses:
+    - C
+    input_question: "Gro\xDFe Triplett-Wiederholungsexpansionen k\xF6nnen erkannt\
+      \ werden durch:"
+  - input_choice_list:
+      A: "ein Enzym, das Fragmente bei der normalen DNA-Replikation zusammenf\xFC\
+        gt"
+      B: ein Enzym bakteriellen Ursprungs, das DNA an definierten Basensequenzen schneidet
+      C: ein Enzym, das die Transkription bestimmter Gene erleichtert
+      D: "ein Enzym, das das Niveau begrenzt, das ein bestimmter N\xE4hrstoff erreicht"
+    input_correct_responses:
+    - A
+    input_question: DNA-Ligase ist
+  - input_choice_list:
+      A: "hat beide Allele unabh\xE4ngig voneinander in der Heterozygote exprimiert"
+      B: "hat ein Allel, das gegen\xFCber dem anderen dominant ist"
+      C: hat Allele, die eng auf demselben Chromosom verbunden sind
+      D: hat Allele, die zur gleichen Zeit in der Entwicklung exprimiert werden
+    input_correct_responses:
+    - A
+    input_question: Ein Gen, das Kodominanz zeigt
+  - input_choice_list:
+      A: Pylorusstenose
+      B: Schizophrenie
+      C: Spina bifida (Neuralrohrdefekt)
+      D: Marfan-Syndrom
+    input_correct_responses:
+    - D
+    input_question: Welche der folgenden Bedingungen zeigt keine multifaktorielle
+      Vererbung?
+  - input_choice_list:
+      A: Prophase I
+      B: Metaphase I
+      C: Prophase II
+      D: Metaphase II
+    input_correct_responses:
+    - A
+    input_question: "Das Stadium der Meiose, in dem sich Chromosomen paaren und \xFC\
+      berkreuzen, ist:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_medical_genetics
+tag: mmlu_de_llama_other_tasks
+task: mmlu_de_llama_medical_genetics
+task_alias: medical_genetics

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_miscellaneous.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: eins
+      B: zwei
+      C: vier
+      D: acht
+    input_correct_responses:
+    - B
+    input_question: Wie viele Achsen hat ein normales Auto?
+  - input_choice_list:
+      A: Budapest
+      B: Budokan
+      C: Bhutan
+      D: "Gro\xDFbritannien"
+    input_correct_responses:
+    - B
+    input_question: Welcher Ort wird im Titel des 1979er Live-Albums der Rocklegende
+      Cheap Trick genannt?
+  - input_choice_list:
+      A: "Anthony \u201ESpud\u201C Webb"
+      B: "Michael \u201EAir\u201C Jordan"
+      C: Tyrone 'Muggsy' Bogues
+      D: Julius 'Dr. J' Erving
+    input_correct_responses:
+    - A
+    input_question: Wer ist der kleinste Mann, der jemals einen NBA-Slam-Dunk-Wettbewerb
+      gewonnen hat?
+  - input_choice_list:
+      A: Wasserstoff
+      B: Nylon
+      C: Sauerstoff
+      D: Licht
+    input_correct_responses:
+    - C
+    input_question: Was entsteht bei der Photosynthese?
+  - input_choice_list:
+      A: ''Radio Ga-Ga''
+      B: ''Ob-la-di Ob-la-da''
+      C: ''De Do Do Do De Da Da Da''
+      D: ''In-a-Gadda-Da-Vida''
+    input_correct_responses:
+    - C
+    input_question: "Welcher dieser Songs war ein Top-10-Hit f\xFCr die Rockband The\
+      \ Police?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_miscellaneous
+tag: mmlu_de_llama_other_tasks
+task: mmlu_de_llama_miscellaneous
+task_alias: miscellaneous

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_moral_disputes.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Es ist noch unklar, ob die Todesstrafe Schaden von der Gemeinschaft abschreckt
+        oder nicht.
+      B: Es ist noch unklar, ob die Todesstrafe Personen vor Schaden abschreckt oder
+        nicht.
+      C: "Konsequentialismus wird nicht von afrikanischen Werten unterst\xFCtzt."
+      D: "Obwohl der Konsequentialismus von afrikanischen Werten unterst\xFCtzt wird,\
+        \ wurden keine konsequentialistischen Argumente vorgebracht, die auf afrikanische\
+        \ Werte bezogen sind."
+    input_correct_responses:
+    - A
+    input_question: Was ist laut Metz falsch an konsequentialistischen Argumenten
+      gegen die Todesstrafe auf der Grundlage afrikanischer Werte?
+  - input_choice_list:
+      A: eine Zygote.
+      B: ein Embryo.
+      C: "eine Lebensf\xE4higkeit."
+      D: eine Blastozyste.
+    input_correct_responses:
+    - A
+    input_question: Eine befruchtete Eizelle wird auch als bezeichnet
+  - input_choice_list:
+      A: in der Oberklasse zu sein
+      B: "die F\xE4higkeit zu lernen und Probleme zu l\xF6sen"
+      C: "sch\xF6ner sein als der Gro\xDFteil der Bev\xF6lkerung"
+      D: "k\xFCrzer als der Durchschnitt sein"
+    input_correct_responses:
+    - B
+    input_question: Welches der folgenden Dinge ist laut Singer ein intrinsisches
+      Gut?
+  - input_choice_list:
+      A: "SCNT ist keine andere Art der Vervielf\xE4ltigung, weil es keine moralisch\
+        \ relevanten Unterschiede zwischen ihr und anderen zul\xE4ssigen Vervielf\xE4\
+        ltigungsmethoden gibt."
+      B: "Da f\xFCr nat\xFCrliche Zwillinge ein geringes Schadensrisiko besteht, besteht\
+        \ f\xFCr SCNT ein geringes Schadensrisiko."
+      C: sowohl A als auch B
+      D: weder A noch B
+    input_correct_responses:
+    - A
+    input_question: "Pence vergleicht sechs verschiedene F\xE4lle von Fortpflanzung,\
+      \ von nat\xFCrlichen Zwillingen bis zu SCNT. Welche Schlussfolgerung zieht er\
+      \ aus diesem Vergleich?"
+  - input_choice_list:
+      A: die Dummheit der meisten traditionellen philosophischen Beispiele.
+      B: "ein allgemeiner Mangel an Intelligenz bei Menschen mit h\xF6heren Abschl\xFC\
+        ssen."
+      C: die Ungerechtigkeit der Folter.
+      D: "die Bereitschaft vieler intelligenter Menschen, Folter als die beste L\xF6\
+        sung im Umgang mit Terrorismus anzusehen."
+    input_correct_responses:
+    - D
+    input_question: "Baron gibt zu, dass die Versionen der tickenden Bombe, die sie\
+      \ diskutiert, \u201Eerstaunlich dumm\u201C sind, aber sie behauptet, dies sei\
+      \ tats\xE4chlich ein Beweis daf\xFCr"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_moral_disputes
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_moral_disputes
+task_alias: moral_disputes

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_moral_scenarios.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Falsch falsch
+      B: Falsch, nicht falsch
+      C: Nicht falsch, falsch
+      D: Nicht falsch, nicht falsch
+    input_correct_responses:
+    - C
+    input_question: "F\xFCr welches dieser beiden Szenarien macht die Hauptfigur (die\
+      \ I/me/my verwendet) etwas eindeutig moralisch Falsches, gem\xE4\xDF den gew\xF6\
+      hnlichen moralischen Standards in den USA ab 2020? Szenario 1 | Ich habe meinen\
+      \ neugeborenen Jungen wirklich geliebt. Szenario 2 | Dem neuen M\xE4dchen ist\
+      \ es peinlich, in einer Wohnwagensiedlung zu leben, also lade ich die Klasse\
+      \ zu ihr nach Hause ein."
+  - input_choice_list:
+      A: Falsch falsch
+      B: Falsch, nicht falsch
+      C: Nicht falsch, falsch
+      D: Nicht falsch, nicht falsch
+    input_correct_responses:
+    - C
+    input_question: "F\xFCr welches dieser beiden Szenarien macht die Hauptfigur (die\
+      \ I/me/my verwendet) etwas eindeutig moralisch Falsches, gem\xE4\xDF den gew\xF6\
+      hnlichen moralischen Standards in den USA ab 2020? Szenario 1 | Ich bat den\
+      \ Typen vor dem Laden um eine Zigarette. Szenario 2 | Als der Wachmann seinen\
+      \ Posten verlie\xDF, steckte ich eine seltene M\xFCnze ein."
+  - input_choice_list:
+      A: Falsch falsch
+      B: Falsch, nicht falsch
+      C: Nicht falsch, falsch
+      D: Nicht falsch, nicht falsch
+    input_correct_responses:
+    - D
+    input_question: "F\xFCr welches dieser beiden Szenarien macht die Hauptfigur (die\
+      \ I/me/my verwendet) etwas eindeutig moralisch Falsches, gem\xE4\xDF den gew\xF6\
+      hnlichen moralischen Standards in den USA ab 2020? Szenario 1 | Ich habe einen\
+      \ alten Lieferwagen f\xFCr die Arbeit gekauft. Szenario 2 | Ich blickte zu dem\
+      \ wundersch\xF6nen Wasserfall hoch und warf einen Stein darauf."
+  - input_choice_list:
+      A: Falsch falsch
+      B: Falsch, nicht falsch
+      C: Nicht falsch, falsch
+      D: Nicht falsch, nicht falsch
+    input_correct_responses:
+    - B
+    input_question: "F\xFCr welches dieser beiden Szenarien macht die Hauptfigur (die\
+      \ I/me/my verwendet) etwas eindeutig moralisch Falsches, gem\xE4\xDF den gew\xF6\
+      hnlichen moralischen Standards in den USA ab 2020? Szenario 1 | Beim Abriss\
+      \ des Hauses stie\xDF ich ihn gegen eine Wand. Szenario 2 | Wenn ich einen Babysitter\
+      \ f\xFCr meine Zwillingsnichten ausw\xE4hle, ist mir ihre ethnische Herkunft\
+      \ egal."
+  - input_choice_list:
+      A: Falsch falsch
+      B: Falsch, nicht falsch
+      C: Nicht falsch, falsch
+      D: Nicht falsch, nicht falsch
+    input_correct_responses:
+    - A
+    input_question: "F\xFCr welches dieser beiden Szenarien macht die Hauptfigur (die\
+      \ I/me/my verwendet) etwas eindeutig moralisch Falsches, gem\xE4\xDF den gew\xF6\
+      hnlichen moralischen Standards in den USA ab 2020? Szenario 1 | Ich nahm seine\
+      \ Brieftasche, nachdem er mich an der Bar bel\xE4stigt hatte. Szenario 2 | Ich\
+      \ habe mit meinem neugeborenen Jungen geschlafen."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_moral_scenarios
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_moral_scenarios
+task_alias: moral_scenarios

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_nutrition.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Die Teetrinker haben ein geringeres Risiko, an Diabetes zu erkranken.
+      B: "Die Teetrinker haben ein h\xF6heres Risiko, an Diabetes zu erkranken."
+      C: "Auf der Grundlage der gegebenen Informationen k\xF6nnen wir nicht sagen,\
+        \ ob der beobachtete Unterschied im Krankheitsrisiko das Ergebnis eines Zufalls\
+        \ ist."
+      D: "Das Risikoverh\xE4ltnis liegt nahe am Wert eins, es gibt also keinen Unterschied\
+        \ im Krankheitsrisiko zwischen den beiden Gruppen."
+    input_correct_responses:
+    - C
+    input_question: "In einer Kohortenstudie betrug das Risikoverh\xE4ltnis, an Diabetes\
+      \ zu erkranken, 0,86, wenn Teekonsumenten (die Exponierten) mit denen verglichen\
+      \ wurden, die keinen Tee tranken (die Nichtexponierten). Welche eine Aussage\
+      \ ist richtig (nach Kenntnisstand 2020)?"
+  - input_choice_list:
+      A: "Verbraucher mit Phenylketonurie m\xFCssen auf den Verzehr des S\xFC\xDF\
+        ungsmittels Aspartam verzichten"
+      B: "Verbraucher mit Phenylketonurie m\xFCssen auf den Verzehr des S\xFC\xDF\
+        ungsmittels Saccharin verzichten"
+      C: "Verbraucher mit Phenylketonurie m\xFCssen auf den Verzehr des S\xFC\xDF\
+        ungsmittels Sucralose verzichten"
+      D: "Verbraucher mit Phenylketonurie m\xFCssen auf den Verzehr des S\xFC\xDF\
+        stoffs Acesulfam K verzichten"
+    input_correct_responses:
+    - A
+    input_question: Welche der folgenden Aussagen ist richtig (nach Kenntnisstand
+      2020)?
+  - input_choice_list:
+      A: "Propions\xE4ure, die w\xE4hrend der Darmfaserfermentation gebildet wird,\
+        \ hemmt die Leberfetts\xE4uresynthese"
+      B: "Butters\xE4ure, die w\xE4hrend der Darmfaserfermentation gebildet wird,\
+        \ stimuliert das \u201EStummschalten\u201C des SLC5A8-Tumorsuppressorgens"
+      C: Keine dieser Optionen ist richtig
+      D: "Butters\xE4ure, die w\xE4hrend der Darmfaserfermentation gebildet wird,\
+        \ stimuliert die antioxidative Abwehr im Dickdarm"
+    input_correct_responses:
+    - D
+    input_question: "Welche der folgenden Erkl\xE4rungen ist die plausibelste Erkl\xE4\
+      rung f\xFCr die sch\xFCtzende Wirkung von Ballaststoffen gegen Dickdarmkrebs,\
+      \ Stand 2020?"
+  - input_choice_list:
+      A: 50 % der Erwachsenen konsumieren Jod in Mengen unterhalb des RNI
+      B: Milchprodukte sind eine schlechte Jodquelle
+      C: Der Jodgehalt von Bio-Milch ist in der Regel geringer als der von konventioneller
+        Milch
+      D: "Britische Ern\xE4hrungsreferenzwerte empfehlen eine Erh\xF6hung der Jodaufnahme\
+        \ in der Schwangerschaft"
+    input_correct_responses:
+    - C
+    input_question: Welche der folgenden Aussagen zu Jod ist im Jahr 2020 richtig?
+  - input_choice_list:
+      A: Acarbose
+      B: Metformin
+      C: Sulfonylharnstoffe
+      D: Insulin
+    input_correct_responses:
+    - B
+    input_question: "Was ist ab 2020 das Medikament der ersten Wahl f\xFCr Patienten\
+      \ mit Typ-2-Diabetes und Adipositas?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_nutrition
+tag: mmlu_de_llama_other_tasks
+task: mmlu_de_llama_nutrition
+task_alias: nutrition

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_philosophy.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "eine ethische Theorie dar\xFCber, wie wir uns verhalten sollten."
+      B: "eine Verallgemeinerung \xFCber das Verhalten von Menschen."
+      C: "eine Behauptung \xFCber die menschliche Natur und die Art und Weise, wie\
+        \ Menschen sich verhalten k\xF6nnen."
+      D: nichts des oben Genannten.
+    input_correct_responses:
+    - C
+    input_question: 'Psychischer Egoismus ist:'
+  - input_choice_list:
+      A: "Vergn\xFCgen."
+      B: "Gl\xFCck."
+      C: Gut.
+      D: Tugend.
+    input_correct_responses:
+    - C
+    input_question: "Nach Moores \u201Eidealem Utilitarismus\u201C ist die richtige\
+      \ Handlung diejenige, die am meisten bewirkt:"
+  - input_choice_list:
+      A: freie Wahl
+      B: Gebot der Seele
+      C: notwendige Naturgesetze
+      D: unbestimmter Wille
+    input_correct_responses:
+    - C
+    input_question: Laut d'Holbach handeln Menschen immer nach _____.
+  - input_choice_list:
+      A: Optimist
+      B: befriedigt
+      C: "nominell religi\xF6s"
+      D: Pessimist
+    input_correct_responses:
+    - D
+    input_question: Was war vor Tolstois christlicher Bekehrung seine Sichtweise auf
+      den Sinn des Lebens?
+  - input_choice_list:
+      A: Metaphysik
+      B: Erkenntnistheorie
+      C: Quantenphysik
+      D: Axiologie
+    input_correct_responses:
+    - A
+    input_question: "Das Studium der Realit\xE4t im weitesten Sinne, eine Untersuchung\
+      \ der elementaren Natur des Universums und der Dinge darin, ist bekannt als\
+      \ _____."
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_philosophy
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_philosophy
+task_alias: philosophy

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_prehistory.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Befriedigen Sie die m\xE4chtigen Maya-Astronomenpriester."
+      B: "dem einfachen Volk seine Gro\xDFz\xFCgigkeit zeigen, da es ihnen erlaubt\
+        \ war, in den Tempeln zu leben."
+      C: Schrecken Sie Feinde, insbesondere die Spanier, ab.
+      D: "legitimieren sein K\xF6nigtum, da sein Vater nicht k\xF6niglich war."
+    input_correct_responses:
+    - D
+    input_question: "Der gro\xDFe Maya-K\xF6nig Pacal baute Tempel in der Stadt Palenque,\
+      \ um:"
+  - input_choice_list:
+      A: "ein Zentrum der Mississippi-Zivilisation mit Bedingungen, die denen des\
+        \ Aufstiegs fr\xFCher Staaten \xE4hneln."
+      B: "die Grenzen der Autorit\xE4t in einer indianischen Gesellschaft von egalit\xE4\
+        ren Sammlern."
+      C: "ein einfaches H\xE4uptlingstum oder vielleicht ein komplexes H\xE4uptlingstum\
+        \ hatte sich um 1500 n. Chr. entwickelt."
+      D: "ein Zentrum der Mississippi-Zivilisation mit \xE4hnlichen Bedingungen wie\
+        \ Gesellschaften an der Nordwestk\xFCste Nordamerikas."
+    input_correct_responses:
+    - A
+    input_question: "Laut Timothy Pauketat deuten die Beweise f\xFCr soziale Schichtung\
+      \ und politische Macht in Cahokia darauf hin:"
+  - input_choice_list:
+      A: eine Art Katastrophe, wie ein Erdbeben, Vulkan oder Tsunami.
+      B: "Umweltzerst\xF6rung durch Brandrodung in der Landwirtschaft."
+      C: endlose Kriege zwischen benachbarten Maya-Stadtstaaten.
+      D: "Praktiken der Kreuzung, die zu einem steilen Anstieg angeborener St\xF6\
+        rungen f\xFChrten."
+    input_correct_responses:
+    - B
+    input_question: "Forscher glauben nun, dass der Niedergang der Maya haupts\xE4\
+      chlich verursacht wurde durch:"
+  - input_choice_list:
+      A: "eine gro\xDFe Artenvielfalt oder eine einzelne Art, die eine gro\xDFe Vielfalt\
+        \ aufwies."
+      B: sehr geringe Artenvielfalt in dieser Zeit und sehr wenige Hominiden.
+      C: "verringerte Artenvielfalt aufgrund einer anhaltenden Eiszeit, gefolgt von\
+        \ einer schweren D\xFCrre."
+      D: "verringerte Artenvielfalt, aber erh\xF6hte Anzahl von Hammersteinen und\
+        \ Flocken, was auf die Herstellung von Steinwerkzeugen hinweist."
+    input_correct_responses:
+    - A
+    input_question: "J\xFCngste Forschungen zu Hominidenarten aus dem mittleren Plioz\xE4\
+      n zeigen (Stand 2020):"
+  - input_choice_list:
+      A: unter 650 ccm
+      B: etwa 800 ccm
+      C: knapp unter 1000 ccm
+      D: 1200 ccm
+    input_correct_responses:
+    - C
+    input_question: "Was ist die ungef\xE4hre mittlere Sch\xE4delkapazit\xE4t des\
+      \ Homo erectus?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_prehistory
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_prehistory
+task_alias: prehistory

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_professional_accounting.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 70.000 $
+      B: 75.000 $
+      C: 80.000 $
+      D: '100000'
+    input_correct_responses:
+    - D
+    input_question: "Box, eine nichtstaatliche gemeinn\xFCtzige Organisation, hatte\
+      \ im Laufe des Jahres die folgenden Transaktionen: Erl\xF6se aus dem Verkauf\
+      \ von Investitionen 80.000 USD Kauf von Sachanlagen 10.000 USD Erl\xF6se aus\
+      \ langfristigen Schulden 100.000 USD Verlust aus dem Verkauf von Investitionen\
+      \ 5.000 USD Welcher Betrag sollte als Nettobetrag gemeldet werden? Einzahlungen\
+      \ aus Finanzierungst\xE4tigkeiten in der Kapitalflussrechnung von Box?"
+  - input_choice_list:
+      A: 13.000 $
+      B: $600
+      C: 15.000 $
+      D: 28.000 $
+    input_correct_responses:
+    - A
+    input_question: "Vor hundert Jahren investierte Ihre Ururgro\xDFmutter 100 Dollar\
+      \ zu 5 % Jahreszins. Was ist die Investition heute wert?"
+  - input_choice_list:
+      A: $0
+      B: $500
+      C: 1.650 $
+      D: 16.500 $
+    input_correct_responses:
+    - A
+    input_question: "Krete ist ein unverheirateter Steuerzahler mit Eink\xFCnften\
+      \ ausschlie\xDFlich aus Lohn. Bis zum 31. Dezember des ersten Jahres hat Kretes\
+      \ Arbeitgeber 16.000 US-Dollar an Bundeseinkommenssteuern einbehalten und Krete\
+      \ hat keine gesch\xE4tzten Steuerzahlungen geleistet. Am 15. April des zweiten\
+      \ Jahres reichte Krete rechtzeitig einen Verl\xE4ngerungsantrag ein, um ihre\
+      \ individuelle Steuererkl\xE4rung einzureichen, und zahlte 300 US-Dollar an\
+      \ zus\xE4tzlichen Steuern. Kretes Steuerschuld f\xFCr Jahr 1 betrug 16.500 US-Dollar,\
+      \ als sie ihre Steuererkl\xE4rung am 30. April des Jahres 2 rechtzeitig einreichte\
+      \ und die verbleibende Steuerschuld bezahlte. Welcher Betrag w\xFCrde der Strafe\
+      \ f\xFCr die Unterzahlung gesch\xE4tzter Steuern unterliegen?"
+  - input_choice_list:
+      A: 5.000 $
+      B: 13.500 $
+      C: 16.000 $
+      D: 20.000 $
+    input_correct_responses:
+    - B
+    input_question: "Am 1. Januar, Jahr 1, unterzeichnete Alpha Co. einen j\xE4hrlichen\
+      \ Wartungsvertrag mit einem Softwareanbieter f\xFCr 15.000 $ und der Wartungszeitraum\
+      \ beginnt am 1. M\xE4rz, Jahr 2. Alpha entstanden am 1. Januar, Jahr 1, au\xDF\
+      erdem Kosten in H\xF6he von 5.000 $ im Zusammenhang mit Softwaremodifikationen\
+      \ Anforderungen, die die Funktionalit\xE4t der Software erh\xF6hen. Alpha schreibt\
+      \ seine Computer- und Software-Assets \xFCber f\xFCnf Jahre nach der linearen\
+      \ Methode ab. Wie hoch sind die Gesamtausgaben, die Alpha im Zusammenhang mit\
+      \ dem Wartungsvertrag und den Softwaremodifikationen f\xFCr das am 31. Dezember,\
+      \ Jahr 1, endende Jahr erfassen sollte?"
+  - input_choice_list:
+      A: Bewertung und Zuordnung
+      B: "Vollst\xE4ndigkeit"
+      C: Rechte und Pflichten
+      D: "Pr\xE4sentation und Offenlegung"
+    input_correct_responses:
+    - B
+    input_question: "Ein Wirtschaftspr\xFCfer verfolgt die Seriennummern auf Ger\xE4\
+      ten bis zum Nebenbuch eines Nicht-Emittenten. Welche der folgenden Managementaussagen\
+      \ wird durch diesen Test gest\xFCtzt?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_accounting
+tag: mmlu_de_llama_other_tasks
+task: mmlu_de_llama_professional_accounting
+task_alias: professional_accounting

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_professional_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Das Gesetz ist wegen Unbestimmtheit gem\xE4\xDF der Klausel \xFCber ein\
+        \ ordnungsgem\xE4\xDFes Verfahren der vierzehnten \xC4nderung ung\xFCltig."
+      B: "das Gesetz ist ung\xFCltig, weil es die Meinungsfreiheit des Petenten gem\xE4\
+        \xDF dem ersten Zusatzartikel verletzt."
+      C: "Das Gesetz ist eine K\xFCrzung der Meinungsfreiheit gem\xE4\xDF dem ersten\
+        \ Zusatzartikel, da weniger restriktive Mittel zur Verf\xFCgung stehen, um\
+        \ denselben Zweck zu erreichen."
+      D: "Das Gesetz ist zu weit gefasst und daher gem\xE4\xDF der ersten und der\
+        \ vierzehnten \xC4nderung ung\xFCltig."
+    input_correct_responses:
+    - D
+    input_question: "Ein staatlicher Gesetzgeber hat k\xFCrzlich ein Gesetz erlassen,\
+      \ das es zu einem Vergehen macht, einen Polizeibeamten, der seine Pflichten\
+      \ erf\xFCllt, zu verfluchen oder zu beschimpfen oder obsz\xF6ne oder anst\xF6\
+      \xDFige Sprache zu verwenden oder sich auf ihn zu beziehen. Ein Student einer\
+      \ staatlichen Universit\xE4t organisierte eine Demonstration auf dem Campus,\
+      \ um gegen den Krieg zu protestieren. An der Kundgebung nahm eine Gruppe von\
+      \ 50 Studenten teil, die vorbeifahrenden Autos Antikriegsbotschaften zuriefen.\
+      \ Um seine Verachtung f\xFCr die Vereinigten Staaten zu zeigen, n\xE4hte der\
+      \ Student die amerikanische Flagge hinten auf seine Jeans. Als ein Polizist\
+      \ die Flagge sah, die auf die Jeans des Studenten gestickt war, n\xE4herte er\
+      \ sich und forderte ihn auf, die Flagge zu entfernen, sonst w\xFCrde er verhaftet.\
+      \ Der Student wurde w\xFCtend und schrie den Polizisten an: \u201EH\xF6ren Sie,\
+      \ Sie Bastard, ich werde diesen Lappen \xFCberall tragen, wo es mir gef\xE4\
+      llt.\u201C Der Student wurde daraufhin verhaftet und wegen Versto\xDFes gegen\
+      \ das staatliche Gesetz angeklagt. Der Student erhebt daraufhin Klage vor einem\
+      \ staatlichen Gericht und stellt die Verfassungsm\xE4\xDFigkeit des Gesetzes\
+      \ in Frage. Das st\xE4rkste verfassungsrechtliche Argument f\xFCr den Studenten\
+      \ ist das"
+  - input_choice_list:
+      A: Die Handelsklausel.
+      B: Die Gleichschutzklausel des vierzehnten Zusatzartikels.
+      C: "Die Vorzugs- und Immunit\xE4tsklausel von Artikel IV, Abschnitt 2."
+      D: Die Vertragsklausel.
+    input_correct_responses:
+    - A
+    input_question: "Ein Bundesstaat hat k\xFCrzlich ein Gesetz erlassen, das die\
+      \ Entsorgung von Atomm\xFCll innerhalb des Bundesstaates verbietet. Dieses Gesetz\
+      \ widerspricht oder widerspricht keinem Bundesgesetz. Ein Mann betreibt in dem\
+      \ Staat ein Unternehmen, das sich mit der Entsorgung von Atomm\xFCll besch\xE4\
+      ftigt. Nach der Verabschiedung des staatlichen Gesetzes schloss der Mann, der\
+      \ das neue Gesetz noch nicht kannte, Vertr\xE4ge mit vielen au\xDFerstaatlichen\
+      \ Firmen, um deren Atomm\xFCll im Staat zu entsorgen. Aufgrund dieses neuen\
+      \ Gesetzes wird der Mann jedoch nicht in der Lage sein, diese Vertr\xE4ge zu\
+      \ erf\xFCllen. Gehen Sie davon aus, dass der Mann berechtigt ist, dieses staatliche\
+      \ Gesetz anzufechten. Welcher der folgenden stellt seine st\xE4rksten verfassungsrechtlichen\
+      \ Gr\xFCnde dar, das staatliche Gesetz anzufechten, das die Entsorgung nuklearer\
+      \ Abf\xE4lle innerhalb des Staates verbietet?"
+  - input_choice_list:
+      A: Unbestreitbare Tatsachen.
+      B: Tatsachen, die von einzelnen politischen Organisationen behauptet wurden.
+      C: Tatsachen, die nach allgemeinem Wissen als wahr anerkannt sind.
+      D: "Tatsachen, die wissenschaftlich \xFCberpr\xFCft werden k\xF6nnen."
+    input_correct_responses:
+    - B
+    input_question: "Der Richter nahm zu Beginn des Prozesses einige Tatsachen amtlich\
+      \ zur Kenntnis. Welche der folgenden Tatsachen ist f\xFCr eine gerichtliche\
+      \ Benachrichtigung nicht geeignet?"
+  - input_choice_list:
+      A: "Entlastung gew\xE4hren, weil der Zaun gegen die Dienstbarkeitsbeschr\xE4\
+        nkung verstie\xDF."
+      B: "Entlastung gew\xE4hren, weil der Eingriff in den Zaun gegen die Beschr\xE4\
+        nkung im urspr\xFCnglichen Plan verstie\xDF."
+      C: "Entlastung verweigern, weil der Lehrer es vers\xE4umt hat, die Beschr\xE4\
+        nkung gegen\xFCber dem Rentner durchzusetzen."
+      D: "Entlastung verweigern, weil der Zaun nicht als "Bauwerk" im Sinne\
+        \ der Beschr\xE4nkung ausgelegt w\xFCrde."
+    input_correct_responses:
+    - B
+    input_question: "Am 1. Oktober 1980 entwarf ein Entwickler, Eigent\xFCmer von\
+      \ mehreren hundert Morgen in einem l\xE4ndlichen Bezirk, einen allgemeinen Entwicklungsplan\
+      \ f\xFCr das Gebiet. Der ordnungsgem\xE4\xDF aufgezeichnete Plan erlegte dem\
+      \ Land im Plan, das als Wohngebiet entwickelt werden sollte, ausf\xFChrliche\
+      \ Beschr\xE4nkungen und Beschr\xE4nkungen auf. Die Beschr\xE4nkungen sollten\
+      \ sich auf alle Personen erstrecken, die eines der Grundst\xFCcke erwerben,\
+      \ sowie auf ihre Erben, Abtretungsempf\xE4nger und P\xE4chter. Ferner wurde\
+      \ vorgesehen, dass alle nachfolgenden Eigent\xFCmer zur fristgerechten Benachrichtigung\
+      \ der Beschr\xE4nkungen verpflichtet w\xFCrden. Zu diesen Einschr\xE4nkungen\
+      \ im allgemeinen Plan geh\xF6rten die folgenden: (22) Ein Konzessionsrecht wird\
+      \ in einem 10 Fu\xDF breiten Landstreifen entlang der R\xFCckseite jedes Grundst\xFC\
+      cks f\xFCr die Nutzung durch \xF6ffentliche Versorgungsunternehmen mit Ein-\
+      \ und Ausstiegsrecht geschaffen. (23) Auf dem vorgenannten Landstreifen, der\
+      \ durch die genannten Bl\xF6cke verl\xE4uft, d\xFCrfen keine H\xE4user oder\
+      \ Bauwerke jeglicher Art gebaut werden. Im Jahr 2000 kaufte ein Rentner eines\
+      \ der Grundst\xFCcke, baute ein Haus und errichtete einen Zaun hinter seinem\
+      \ Grundst\xFCck innerhalb des Sperrgebiets. 2004 kaufte ein Lehrer ein Grundst\xFC\
+      ck neben dem Grundst\xFCck des Rentners und baute ein neues Haus. Zwei Jahre\
+      \ sp\xE4ter kaufte ein Bibliothekar das Grundst\xFCck, das an das Grundst\xFC\
+      ck des Lehrers angrenzte. Die drei Urkunden zu diesen Grundst\xFCcken enthielten\
+      \ jeweils Verweise auf das Urkundenbuch, in dem der allgemeine Plan aufgezeichnet\
+      \ war. Im Jahr 2008 begann der Bibliothekar mit dem Bau eines zwei Meter hohen\
+      \ Pfosten-und-Eisen-Zauns entlang der Linie, die sein Grundst\xFCck mit dem\
+      \ des Lehrers trennt, und entlang der Mitte des Bereichs, der dem Franchiserecht\
+      \ unterliegt. Obwohl der Lehrer Einw\xE4nde gegen den Bau erhob, wurde der Zaun\
+      \ fertiggestellt. Wenn der Lehrer eine einstweilige Verf\xFCgung beantragt,\
+      \ um die Entfernung des Zauns des Bibliothekars zu erzwingen, wird das Gericht\
+      \ h\xF6chstwahrscheinlich dies tun"
+  - input_choice_list:
+      A: "Das Versprechen des Vaters und das Vertrauen des Gl\xE4ubigers darauf f\xFC\
+        hrten, falls nachgewiesen, zu einem g\xFCltigen Anspruch des Gl\xE4ubigers\
+        \ gegen den Vater, basierend auf der Doktrin des schuldrechtlichen Estoppels."
+      B: "Da absehbar war, dass die Zusage des Vaters den Gl\xE4ubiger dazu veranlassen\
+        \ w\xFCrde, jegliche Ma\xDFnahmen gegen den Sohn zu unterlassen, handelte\
+        \ es sich rechtlich um eine erkaufte Gegenleistung f\xFCr die Zusage des Vaters."
+      C: "Die f\xFCnf Zahlungen des Vaters an den Gl\xE4ubiger in H\xF6he von insgesamt\
+        \ 2.500 $ zeigten eine ernsthafte Absicht des Vaters, vertraglich gebunden\
+        \ zu sein, und eine solche Manifestation wird allgemein als wirksamer Ersatz\
+        \ f\xFCr eine Gegenleistung anerkannt."
+      D: "Durch die \xDCbernahme der Vorschuldverpflichtung des Sohnes gegen\xFCber\
+        \ dem Gl\xE4ubiger wurde der Vater zum B\xFCrgen, dessen Versprechen gegen\xFC\
+        ber dem Gl\xE4ubiger durchsetzbar war, da es schriftlich und durch eine angemessene\
+        \ Gegenleistung belegt war."
+    input_correct_responses:
+    - A
+    input_question: "Ein Sohn schuldete einem Gl\xE4ubiger 5.000 Dollar. Der Vater\
+      \ des Sohnes kontaktierte den Gl\xE4ubiger und teilte ihm mit, dass er die Schulden\
+      \ des Sohnes begleichen wolle. Der Vater unterzeichnete ein Dokument, das besagte,\
+      \ dass der Vater die Schulden des Sohnes mit einer Rate von 500 Dollar pro Monat\
+      \ f\xFCr 10 Monate bezahlen w\xFCrde. Der Gl\xE4ubiger verpflichtete sich weder\
+      \ schriftlich noch m\xFCndlich, den Sohn auf die Beitreibung der Schulden in\
+      \ H\xF6he von 5.000 Dollar zu verklagen, und der Vater stellte weder m\xFCndlich\
+      \ noch schriftlich einen solchen Nachlass. F\xFCr die n\xE4chsten f\xFCnf Monate\
+      \ leistete der Vater die vereinbarten monatlichen Zahlungen in H\xF6he von 500\
+      \ USD, und der Gl\xE4ubiger akzeptierte sie. Tats\xE4chlich verzichtete der\
+      \ Gl\xE4ubiger w\xE4hrend dieser Zeit darauf, rechtliche Schritte gegen den\
+      \ Sohn einzuleiten. Daraufhin teilte der Vater dem Gl\xE4ubiger jedoch mit,\
+      \ dass er keine weiteren Zahlungen auf die Schuld leisten werde. Welches der\
+      \ folgenden Argumente ist das \xFCberzeugendste, dass der Vater gegen\xFCber\
+      \ dem Gl\xE4ubiger gem\xE4\xDF den Bedingungen ihrer Vereinbarung haftet?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_law
+tag: mmlu_de_llama_humanities_tasks
+task: mmlu_de_llama_professional_law
+task_alias: professional_law

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_professional_medicine.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Labetalol
+      B: Eine Ladedosis Kaliumchlorid
+      C: Nifedipin
+      D: Phenoxybenzamin
+    input_correct_responses:
+    - D
+    input_question: "Ein 42-j\xE4hriger Mann kommt zur pr\xE4operativen Untersuchung\
+      \ in die Praxis, bevor er sich in 2 Wochen einer Adrenalektomie unterziehen\
+      \ muss. Vor einem Monat wurde er in der Notaufnahme wegen Schmerzen an der rechten\
+      \ Flanke nach einem Autounfall behandelt. Zu diesem Zeitpunkt betrug der Blutdruck\
+      \ 160/100 mmHg und ein CT-Scan des Abdomens zeigte eine zuf\xE4llige 10-cm-Masse\
+      \ in der linken Nebenniere. Die Ergebnisse der Laborstudien, einschlie\xDFlich\
+      \ des vollst\xE4ndigen Blutbildes, der Elektrolytkonzentrationen im Serum und\
+      \ der Leberfunktionstests, lagen innerhalb der Referenzbereiche. Der Patient\
+      \ war ansonsten gesund gewesen und ihm war nie gesagt worden, dass er einen\
+      \ erh\xF6hten Blutdruck hatte. Er nimmt keine Medikamente. Bei einem Kontrollbesuch\
+      \ in der Praxis vor 2 Wochen wurden erh\xF6hte Normetanephrin- und Metanephrin-\
+      \ sowie Plasma-Aldosteron-Konzentrationen im Urin festgestellt. Der Patient\
+      \ wurde an einen Chirurgen \xFCberwiesen, der die Adrenalektomie empfahl. Heute\
+      \ sind die Vitalfunktionen Temperatur 36,6 \xB0C (97,9 \xB0F), Puls 100/min,\
+      \ Atmung 14/min und Blutdruck 170/95 mm Hg. Die k\xF6rperliche Untersuchung\
+      \ ergibt keine signifikanten Befunde. Die anf\xE4ngliche pr\xE4operative Vorbereitung\
+      \ sollte die Behandlung mit welchen der folgenden Mittel umfassen?"
+  - input_choice_list:
+      A: Kreuzbeintorsion von links nach links
+      B: Kreuzbeintorsion von links nach rechts
+      C: rechte einseitige Sakralflexion
+      D: Kreuzbeintorsion von rechts nach rechts
+    input_correct_responses:
+    - D
+    input_question: "Ein 36-j\xE4hriger Mann stellt sich mit einer 3-w\xF6chigen Vorgeschichte\
+      \ von Kreuzschmerzen in der Praxis vor. Er bestreitet jedes k\xFCrzliche Trauma,\
+      \ sagt aber, dass er f\xFCr seinen Job mehrmals am Tag in seinen Truck ein-\
+      \ und aussteigt. Die Untersuchung des Patienten in Bauchlage zeigt links einen\
+      \ tiefen sakralen Sulcus, rechts einen posterioren inferioren Lateralwinkel\
+      \ und einen bei Kompression frei federnden lumbosakralen \xDCbergang. Die wahrscheinlichste\
+      \ Diagnose ist"
+  - input_choice_list:
+      A: Dopamin
+      B: Glutamat
+      C: Noradrenalin
+      D: Serotonin
+    input_correct_responses:
+    - D
+    input_question: "Eine zuvor gesunde 32-j\xE4hrige Frau kommt 8 Monate nach dem\
+      \ Tod ihres Mannes bei einem Autounfall zum Arzt. Seitdem hat sie einen verminderten\
+      \ Appetit und Schwierigkeiten beim Einschlafen. Sie gibt an, dass sie oft traurig\
+      \ ist und h\xE4ufig weint. Sie hat f\xFCnf Mal das T\xFCrschloss \xFCberpr\xFC\
+      ft, bevor sie ihr Haus verl\xE4sst, und muss genau f\xFCnf St\xFCck Toilettenpapier\
+      \ z\xE4hlen, bevor sie es benutzt. Sie sagt, sie sei schon immer eine Perfektionistin\
+      \ gewesen, aber diese Triebe und Rituale seien neu. Auf welche der folgenden\
+      \ Neurotransmitter sollte die Pharmakotherapie abzielen?"
+  - input_choice_list:
+      A: Allergischer Schnupfen
+      B: Epstein Barr Virus
+      C: Mycoplasma pneumoniae
+      D: Rhinovirus
+    input_correct_responses:
+    - D
+    input_question: "Ein 44-j\xE4hriger Mann kommt wegen einer 3-t\xE4gigen Vorgeschichte\
+      \ von Halsschmerzen, unproduktivem Husten, laufender Nase und Stirnkopfschmerzen\
+      \ in die Praxis. Er sagt, die Kopfschmerzen seien morgens schlimmer und Ibuprofen\
+      \ verschaffe etwas Linderung. Kurzatmigkeit hat er nicht. Die Anamnese ist unauff\xE4\
+      llig. Er nimmt keine Medikamente au\xDFer Ibuprofen gegen Schmerzen. Vitalzeichen\
+      \ sind Temperatur 37,4\xB0C (99,4\xB0F), Puls 88/min, Atmung 18/min und Blutdruck\
+      \ 120/84 mmHg. Die Untersuchung der Nasenl\xF6cher zeigt ger\xF6tete Schleimh\xE4\
+      ute. Die Untersuchung des Rachens zeigt ein Erythem und eine follikul\xE4re\
+      \ lymphoide Hyperplasie am hinteren Oropharynx. Es gibt keine tastbare zervikale\
+      \ Adenopathie. Lungen sind auskultierbar. Welche der folgenden Ursachen ist\
+      \ die wahrscheinlichste Ursache f\xFCr die Symptome dieses Patienten?"
+  - input_choice_list:
+      A: vordere Skalenus
+      B: Latissimus dorsi
+      C: kleiner Brustmuskel
+      D: M. quadratus lumborum
+    input_correct_responses:
+    - C
+    input_question: "Ein 22-j\xE4hriger m\xE4nnlicher Marathonl\xE4ufer stellt sich\
+      \ mit rechtsseitigen Rippenschmerzen bei Langstreckenl\xE4ufen in der Praxis\
+      \ vor. Die k\xF6rperliche Untersuchung zeigt einen normalen Herz- und Lungenbefund\
+      \ und eine Ausatmungsst\xF6rung an den Rippen 4-5 rechts. Welche der folgenden\
+      \ Muskeln oder Muskelgruppen sind am n\xFCtzlichsten, um diese Dysfunktion mit\
+      \ einer direkten Methode zu korrigieren?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_medicine
+tag: mmlu_de_llama_other_tasks
+task: mmlu_de_llama_professional_medicine
+task_alias: professional_medicine

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_professional_psychology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Teilen Sie Ihrem Kunden die Vor- und Nachteile jedes Programms mit, das Sie
+        kennen, mit Ausnahme des Programms, in dem Sie eingeschrieben sind
+      B: "Empfehlen Sie Ihrem Kunden das Programm, f\xFCr das Sie angemeldet sind,\
+        \ und erl\xE4utern Sie den 50-Dollar-Bonus, den Sie erhalten"
+      C: "Empfehlen Sie Ihrem Kunden das Programm, f\xFCr das Sie angemeldet sind,\
+        \ und bieten Sie an, den $50-Bonus dem Konto Ihres Kunden im Programm gutschreiben\
+        \ zu lassen"
+      D: "Teilen Sie Ihrem Kunden die Vor- und Nachteile jedes Programms mit, das\
+        \ Sie kennen, aber beanspruchen Sie nicht den 50-Dollar-Bonus, wenn sich Ihr\
+        \ Kunde f\xFCr Ihr Programm anmeldet"
+    input_correct_responses:
+    - D
+    input_question: "Einer Ihrer Therapieklienten bittet Sie um Rat zu einem guten\
+      \ Programm zur Gewichtsreduktion. Sie haben die Programme in der Community untersucht\
+      \ und sind bei dem Programm angemeldet, das Sie f\xFCr das beste halten. Dieses\
+      \ Programm bietet seinen Patrons einen Bonus von 50 $ f\xFCr jede neue Person,\
+      \ die sie in das Programm einbringen. Unter diesen Umst\xE4nden w\xE4re Ihre\
+      \ angemessenste Antwort zu"
+  - input_choice_list:
+      A: "weniger empfindlich gegen\xFCber Extremwerten als der Mittelwert"
+      B: "n\xFCtzlicher f\xFCr schiefe Verteilungen"
+      C: "empfindlich gegen\xFCber Extremwerten und stark schiefen Verteilungen"
+      D: "die am h\xE4ufigsten vorkommende Zahl"
+    input_correct_responses:
+    - D
+    input_question: "Es gibt drei M\xF6glichkeiten, die zentrale Tendenz zu messen:\
+      \ den Mittelwert, den Median und den Modus. Was ist nach Ihrem Wissen \xFCber\
+      \ sie der Modus?"
+  - input_choice_list:
+      A: Individualismus.
+      B: Individualismus und Machtdistanz.
+      C: "Machtdistanz und M\xE4nnlichkeit."
+      D: Unsicherheitsvermeidung.
+    input_correct_responses:
+    - A
+    input_question: "In Bezug auf die f\xFCnf kulturellen Dimensionen von Hofstede\
+      \ (1980) stehen die Vereinigten Staaten an der Spitze der Skala bei:"
+  - input_choice_list:
+      A: "ist eine Fantasie, die den Klienten von der Realit\xE4t ablenkt."
+      B: "steht f\xFCr \u201Egemischte Gef\xFChle\u201C gegen\xFCber dem Therapeuten."
+      C: "\u201Eist eine Form des \u201EAusagierens.\u201C\u201C"
+      D: "spiegelt das pers\xF6nliche und kollektive Unbewusste des Klienten wider."
+    input_correct_responses:
+    - D
+    input_question: "Carl Jung glaubte, dass die \xDCbertragung eines Klienten:"
+  - input_choice_list:
+      A: "sind nicht miteinander korreliert, aber m\xE4\xDFig mit dem Kriterium korreliert"
+      B: haben geringe Korrelationen untereinander und geringe Korrelationen mit dem
+        Kriterium
+      C: "sind stark miteinander korreliert und m\xE4\xDFig mit dem Kriterium korreliert"
+      D: "haben geringe Korrelationen mit dem Kriterium, sind aber m\xE4\xDFig miteinander\
+        \ korreliert"
+    input_correct_responses:
+    - A
+    input_question: "Bei der Konstruktion einer multiplen Regressionsgleichung f\xFC\
+      r Vorhersagezwecke ist die optimale Kombination von Ma\xDFen eine, bei der die\
+      \ Pr\xE4diktoren"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_professional_psychology
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_professional_psychology
+task_alias: professional_psychology

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_public_relations.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: Geben Sie der Reporterin weitere Informationen, von denen sie sicher ist,
+        dass sie richtig sind.
+      B: "Sagen Sie, dass die Informationen \u201Eoff the record\u201C sind und sp\xE4\
+        ter verbreitet werden."
+      C: "Sagen Sie \u201EIch wei\xDF nicht\u201C und versprechen Sie, die Informationen\
+        \ sp\xE4ter zu liefern."
+      D: "Sagen Sie \u201EKein Kommentar\u201C, anstatt uninformiert zu wirken."
+    input_correct_responses:
+    - C
+    input_question: Was sollte eine PR-Medienfachkraft tun, wenn sie die Antwort auf
+      die Frage eines Reporters nicht kennt?
+  - input_choice_list:
+      A: "Kaufen Sie Dom\xE4nennamen, die von Oppositionsgruppen verwendet werden\
+        \ k\xF6nnten."
+      B: "Ver\xF6ffentlichen Sie anonyme Kommentare in Blogs, um diese Informationen\
+        \ zu bek\xE4mpfen."
+      C: Bereiten Sie eine Pressemitteilung vor, die die ungenauen Informationen diskreditiert.
+      D: "Nehmen Sie Richtlinien\xE4nderungen vor, um auf auf diesen Websites hervorgehobene\
+        \ Beschwerden zu reagieren."
+    input_correct_responses:
+    - D
+    input_question: "Was ist im Problemmanagement der proaktivste Ansatz, um auf negative\
+      \ oder irref\xFChrende Informationen zu reagieren, die online \xFCber Ihr Unternehmen\
+      \ ver\xF6ffentlicht werden?"
+  - input_choice_list:
+      A: Es gab ein abgestimmtes Medienecho.
+      B: Konsequente Botschaften wurden kommuniziert.
+      C: Kritik wurde als Angriff auf die katholische Kirche gewertet.
+      D: "Die Glaubw\xFCrdigkeit des Vatikans wurde gewahrt."
+    input_correct_responses:
+    - C
+    input_question: Welche dieser Aussagen trifft auf den Vatikan im Jahr 2010 zur
+      Zeit der Anschuldigungen der Vertuschung von Kindesmissbrauch zu?
+  - input_choice_list:
+      A: Definieren des Programms
+      B: Planung des Programms
+      C: Handeln und Ideen umsetzen
+      D: Auswertung des Programms
+    input_correct_responses:
+    - A
+    input_question: "In welcher Phase des Planungsprozesses w\xFCrde eine Situationsanalyse\
+      \ durchgef\xFChrt?"
+  - input_choice_list:
+      A: Greenpeace
+      B: Die UNO
+      C: Oxfam
+      D: World Wildlife Fund
+    input_correct_responses:
+    - D
+    input_question: Earth Hour war eine Kampagne, die von welcher Organisation gestartet
+      wurde?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_public_relations
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_public_relations
+task_alias: public_relations

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_security_studies.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "Kompetenz ist ein anderer Begriff f\xFCr Zwangsdiplomatie, deckt jedoch\
+        \ einen engeren Kriterienkatalog ab; Zwang umfasst jene Drohungen, die darauf\
+        \ abzielen, gegnerische Ma\xDFnahmen einzuleiten. Eine Drohung, einen Staat\
+        \ zu zwingen, einen Teil seines Territoriums aufzugeben, w\xFCrde als Zwangsdiplomatie\
+        \ gelten, solange diese Drohung proaktiv Ma\xDFnahmen einleitet, bevor eine\
+        \ reaktive Diplomatie ergriffen wird."
+      B: "Zwangsdiplomatie stellt die Androhung begrenzter Gewalt dar, um den Gegner\
+        \ dazu zu bringen, den Forderungen des Zwangsmittels nachzukommen. Es ist\
+        \ eine Beeinflussungsstrategie, die darauf abzielt, F\xFCgsamkeit zu erlangen:\
+        \ Die Anwendung von Gewalt, um einen Gegner zuerst zu besiegen, z\xE4hlt nicht.\
+        \ Es l\xE4sst ein Element der Wahl mit dem Ziel, es zu erf\xFCllen oder fortzufahren."
+      C: "Milit\xE4rische Gewalt oder die Androhung milit\xE4rischer Gewalt nutzt\
+        \ Angst, um strategische Ziele zu erreichen. Zwangsdiplomatie unterscheidet\
+        \ sich von diesem Ansatz, weil sie Angst nicht als Mittel zur N\xF6tigung\
+        \ eines Gegners einsetzt."
+      D: "Zwangsdiplomatie wird eingesetzt, um Gewalt anzuwenden, aber ihre Auswirkungen\
+        \ auf die internationale Gemeinschaft zu begrenzen. Zwangsdiplomatie ist eine\
+        \ aggressive Strategie, die darauf abzielt, durch Niederlagen Gehorsam zu\
+        \ erlangen. Es l\xE4sst der Zielperson keine Wahlm\xF6glichkeit, da die Zielperson\
+        \ entweder gezwungen wird, sich zu f\xFCgen oder sich auf einen Konflikt einzulassen.\
+        \ Es versucht zu kontrollieren, indem es Compliance auferlegt, indem es jede\
+        \ Gelegenheit f\xFCr Verhandlungen oder Zugest\xE4ndnisse ausschlie\xDFt."
+    input_correct_responses:
+    - B
+    input_question: "Was unterscheidet Zwangsdiplomatie von milit\xE4rischer Gewalt?"
+  - input_choice_list:
+      A: "Kindersoldaten sind Opfer von K\xE4mpfen, die Umerziehung und Rehabilitation\
+        \ ben\xF6tigen."
+      B: "Kinder und ihre M\xFCtter sind keine aktiven Subjekte in der Kriegsf\xFC\
+        hrung und werden am besten als Subjekte im privaten Bereich betrachtet."
+      C: Kinder sind meistens unschuldige Zuschauer im Krieg und werden am besten
+        als Zeichen des Friedens verwendet.
+      D: Kinder haben eine politische Untertanenrolle, die vermisst wird, wenn sie
+        als passive Kriegsopfer betrachtet werden.
+    input_correct_responses:
+    - D
+    input_question: Welche der folgenden ist die beste Linse, um die Rolle von Kindersoldaten
+      zu untersuchen?
+  - input_choice_list:
+      A: "Als existenzielle Bedrohung, die sofortiges und au\xDFerordentliches Handeln\
+        \ erfordert, die den Fortbestand des Staates oder die gesellschaftliche Sicherheit\
+        \ bedroht."
+      B: "Als ein sofortiges und au\xDFerordentliches Handeln des Staates, das den\
+        \ Fortbestand eines Bezugsobjekts bedroht und daher den Einsatz von Ma\xDF\
+        nahmen rechtfertigt, die normalerweise nicht im politischen Bereich eingesetzt\
+        \ werden."
+      C: "Als dringende Bedrohung f\xFCr das \xDCberleben des Referenzobjekts, so\
+        \ ernst, dass es den Einsatz au\xDFergew\xF6hnlicher Ma\xDFnahmen als Reaktion\
+        \ legitimiert."
+      D: "Als dringende Bedrohung f\xFCr das \xDCberleben des Publikums, die au\xDF\
+        erordentliche oder dringende Ma\xDFnahmen erfordert."
+    input_correct_responses:
+    - C
+    input_question: Auf welche dieser Arten muss eine Bedrohung dargestellt werden,
+      um verbrieft zu werden?
+  - input_choice_list:
+      A: "Innerhalb des Rahmenwerks der menschlichen Sicherheit gibt es so gro\xDF\
+        e Unterschiede hinsichtlich der Art von Bedrohungen und Bezugsobjekten, dass\
+        \ keine allgemein anwendbaren Vergleiche zwischen staatszentrierten Ans\xE4\
+        tzen und menschlicher Sicherheit gezogen werden k\xF6nnen."
+      B: "Durch die Annahme des Rahmens der menschlichen Sicherheit werden die Grenzen\
+        \ des realistischen staatszentrierten Ansatzes deutlich. W\xE4hrend die menschliche\
+        \ Sicherheit das Bezugsobjekt als Person oder Bev\xF6lkerung definiert, priorisieren\
+        \ staatszentrierte Ans\xE4tze die Sicherheit des Staates und r\xE4umen dem\
+        \ Streben nach menschlicher Sicherheit den Vorrang ein."
+      C: Der staatszentrierte Sicherheitsansatz ist eine Fraktion der menschlichen
+        Sicherheit, die normalerweise innerhalb der breiten Schule der menschlichen
+        Sicherheit definiert wird. Da dieser Ansatz staatszentriert ist, priorisiert
+        er das Individuum als Bezugsobjekt in Sicherheitsstudien.
+      D: "Sowohl der staatszentrierte als auch der menschenzentrierte Sicherheitsansatz\
+        \ schlie\xDFen sich gegenseitig aus und bieten einen ausreichenden analytischen\
+        \ Rahmen, um das internationale Sicherheitssystem zu verstehen. Es ist daher\
+        \ die Aufgabe von Sicherheitsanalysten zu bestimmen, welches dieser wesentlichen\
+        \ Konzepte richtig ist und welches verworfen werden sollte."
+    input_correct_responses:
+    - B
+    input_question: "Wie l\xE4sst sich die Beziehung zwischen dem staatszentrierten\
+      \ Ansatz und dem Konzept der menschlichen Sicherheit am besten beschreiben?"
+  - input_choice_list:
+      A: "Der Wettbewerb zwischen gr\xF6\xDFeren Nationen hat dazu gef\xFChrt, dass\
+        \ einige L\xE4nder terroristische Gruppen aktiv unterst\xFCtzen, um die St\xE4\
+        rke rivalisierender Staaten zu untergraben. Terroristische Netzwerke sind\
+        \ erweiterte Patronatsklubs, die von ihren Geberstaaten unterhalten und bezahlt\
+        \ werden und wie staatliche Akteure konzipiert sind, denen mit milit\xE4rischer\
+        \ Gewalt begegnet werden soll."
+      B: "Die Globalisierung hat die Internationalisierung terroristischer Aktivit\xE4\
+        ten erm\xF6glicht, indem sie ihren Aktionsraum ge\xF6ffnet hat, obwohl die\
+        \ Koordinierung immer noch von einer geografischen Basis aus gesteuert wird.\
+        \ Dies deutet darauf hin, dass terroristische Gruppen national strukturiert\
+        \ sind, was bedeutet, dass Terrorismus nicht als Krieg angesehen werden kann,\
+        \ der milit\xE4risch besiegt werden muss, ohne ernsthafte Auswirkungen auf\
+        \ die indigene Bev\xF6lkerung zu haben."
+      C: "Terrorismus kann als ein Problem angesehen werden, das mit milit\xE4rischen\
+        \ Mitteln (Krieg gegen den Terrorismus), mit normalen Polizeitechniken (Terrorismus\
+        \ als Verbrechen) oder als medizinisches Problem mit zugrunde liegenden Ursachen\
+        \ und Symptomen (Terrorismus als Krankheit) gel\xF6st werden muss."
+      D: "Terrorismus wird als kriminelles Problem angesehen. Die Kriminalisierung\
+        \ des Terrorismus hat zwei wichtige Implikationen. Erstens deutet es darauf\
+        \ hin, dass Terrorismus ausgerottet werden kann \u2013 Terroristen k\xF6nnen\
+        \ gefasst und durch normale Gerichtsverfahren vor Gericht gestellt werden,\
+        \ wodurch die Bedrohung von der Gesellschaft beseitigt wird \u2013 und zweitens\
+        \ deutet es darauf hin, dass pr\xE4ventive Kriminalit\xE4tstechniken anwendbar\
+        \ sind, um seine Entwicklung zu verhindern."
+    input_correct_responses:
+    - C
+    input_question: In welchen Analyserahmen wurde Terrorismus betrachtet (Stand 2020)?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_security_studies
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_security_studies
+task_alias: security_studies

lm_eval/tasks/llama3/instruct/mmlu_de/mmlu_de_sociology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "kostenlose Gesundheitsversorgung und Bildung f\xFCr alle"
+      B: ein Mindestlohn
+      C: "Vollbesch\xE4ftigung"
+      D: universelle Wohlfahrt
+    input_correct_responses:
+    - B
+    input_question: 'Welche der folgenden Ziele hatte der Nachkriegswohlfahrtsstaat
+      von 1948 nicht zum Ziel:'
+  - input_choice_list:
+      A: eine Kirmesfahrt
+      B: ein Zirkus
+      C: ein Puppentheater
+      D: ein Ballett
+    input_correct_responses:
+    - C
+    input_question: "Was beschreibt Berger (1963) als Metapher f\xFCr die soziale\
+      \ Wirklichkeit?"
+  - input_choice_list:
+      A: "Die zunehmende B\xFCrokratie des Staates hat die Religion nur noch zu einem\
+        \ marginalen Teil unseres Lebens gemacht"
+      B: "Trotz der Schw\xE4chung traditioneller Autorit\xE4t bleiben unser Alltag\
+        \ und unser \u201Egesunder Menschenverstand\u201C von religi\xF6sen \xDCberzeugungen\
+        \ und Werten gepr\xE4gt"
+      C: "Die religi\xF6se Teilnahme an kollektiven Gottesdiensten mag zur\xFCckgegangen\
+        \ sein, aber die Menschen praktizieren ihren Glauben immer noch privat"
+      D: "Es ist viel wahrscheinlicher, dass Menschen ihre religi\xF6sen \xDCberzeugungen\
+        \ in \xF6ffentlichen, informellen Situationen diskutieren"
+    input_correct_responses:
+    - B
+    input_question: "Der Wechsel von \u201EZivilreligion\u201C zu \u201Eallgemeiner\
+      \ Religion\u201C bedeutet Folgendes:"
+  - input_choice_list:
+      A: die Tendenz der Arbeiterklasse, ihre eigenen Interessen nicht zu verwirklichen
+      B: eine dominante Ideologie, die wirtschaftliche, politische und kulturelle
+        Macht legitimiert
+      C: eine Form des dualen Bewusstseins basierend auf Ideologie und Alltagserfahrungen
+      D: "eine Zahlungsweise f\xFCr ausstehende Formschnitte"
+    input_correct_responses:
+    - B
+    input_question: "Der Begriff \u201EHegemonie\u201C bezieht sich auf:"
+  - input_choice_list:
+      A: Die meisten Streiks bleiben von den Arbeitgebern und den Massenmedien unbemerkt
+      B: "Nicht alle Arbeitsk\xE4mpfe werden vom Arbeitgeber gemeldet"
+      C: "Die Definition von Streiks schlie\xDFt Streiks aus, an denen weniger als\
+        \ zehn Arbeitnehmer beteiligt sind oder die weniger als einen Tag dauern"
+      D: Es ist schwierig, Streiks zu vergleichen, die auf unterschiedliche Weise
+        gemessen wurden
+    input_correct_responses:
+    - A
+    input_question: Was ist kein Problem im Zusammenhang mit offiziellen Streikstatistiken?
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_sociology
+tag: mmlu_de_llama_social_sciences_tasks
+task: mmlu_de_llama_sociology
+task_alias: sociology