"vscode:/vscode.git/clone" did not exist on "d1672f1d61409f047d62dd3981126ef34adcbfb1"
Unverified Commit 1b357a68 authored by Alexandre Marques's avatar Alexandre Marques Committed by GitHub
Browse files

Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency
parent 1afb190c
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "Es besch\xE4digte die Unterst\xFCtzung f\xFCr das US-amerikanische Modell\
\ der politischen \xD6konomie und des Kapitalismus"
B: "Es erzeugte Wut auf die Vereinigten Staaten, weil sie die Krise \xFCbertrieben"
C: "Es erh\xF6hte die Unterst\xFCtzung f\xFCr die amerikanische globale F\xFC\
hrung unter Pr\xE4sident Obama"
D: Es reduzierte die weltweite Verwendung des US-Dollars
input_correct_responses:
- A
input_question: Wie hat sich die Finanzkrise von 2008 auf Amerikas internationalen
Ruf ausgewirkt?
- input_choice_list:
A: "Es globalisierte die Eind\xE4mmung."
B: "Es militarisierte die Eind\xE4mmung."
C: Es forderte die Entwicklung der Wasserstoffbombe.
D: Alles das oben Genannte
input_correct_responses:
- D
input_question: "Wie hat NSC-68 die US-Strategie ver\xE4ndert?"
- input_choice_list:
A: Terrorismuspolitik.
B: Wirtschaftspolitik.
C: "Au\xDFenpolitik."
D: Internationale Politik.
input_correct_responses:
- C
input_question: "Der Bereich der politischen Entscheidungen, die sich haupts\xE4\
chlich mit den Beziehungen zwischen den Vereinigten Staaten und dem Rest der\
\ Welt befassen, wird als bezeichnet"
- input_choice_list:
A: "Defensive Realisten legen gr\xF6\xDFeres Gewicht auf die Rolle internationaler\
\ Institutionen"
B: Defensive Realisten legen weniger Wert auf geografische Faktoren
C: "Offensive Realisten geben dem nationalen Interesse mehr Priorit\xE4t als\
\ defensive Realisten."
D: "Defensive Realisten glauben, dass Staaten Sicherheitsmaximierer sind, w\xE4\
hrend offensive Realisten glauben, dass Staaten Machtmaximierer sind"
input_correct_responses:
- D
input_question: "Wie unterscheiden sich Defensiver Realismus und Offensiver Realismus\
\ in ihrer Erkl\xE4rung staatlichen Verhaltens?"
- input_choice_list:
A: "Die Globalisierung hatte M\xE4nner wie ihn zu reich gemacht"
B: Von der Globalisierung profitierten nur bestimmte amerikanische Staaten wie
New York
C: "Liberale Eliten hatten die Globalisierung gef\xF6rdert, w\xE4hrend \u201E\
einfache Amerikaner\u201C deswegen Arbeitspl\xE4tze verloren"
D: "Die Globalisierung f\xF6rderte sch\xE4dliche Handelskriege"
input_correct_responses:
- C
input_question: Wie hat Donald Trump im Wahlkampf 2016 die Globalisierung angegriffen?
include: _continuation_template_yaml
process_docs: !function utils.process_docs_us_foreign_policy
tag: mmlu_de_llama_social_sciences_tasks
task: mmlu_de_llama_us_foreign_policy
task_alias: us_foreign_policy
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "Weil sie keine Nukleins\xE4ure haben"
B: "Sie ben\xF6tigen einen Helfervirus"
C: Nur in sich teilenden Zellen replizieren
D: Kann sich in Wirtschromosomen integrieren
input_correct_responses:
- A
input_question: "Warum sind Parvoviren ein \xE4u\xDFerst wirkungsvoller Parasit?"
- input_choice_list:
A: Zerbrechliche Viren werden oft mit RNA visualisiert, die von innen ausspuckt
B: "Verl\xE4ngerte Viren"
C: "Ikosaedrische Viren mit H\xFClle"
D: "Sehr gro\xDFe Viren"
input_correct_responses:
- A
input_question: Welches der folgenden Merkmale ist ein morphologisches Merkmal
der Paramyxoviren?
- input_choice_list:
A: Datensammlung
B: "Einrichtung eines Depots f\xFCr biologische Proben"
C: Teilnehmerinteresse
D: Verwaltung des Fragebogens durch Mitarbeiter
input_correct_responses:
- B
input_question: "Ein Schl\xFCsselfaktor, der die Anwendung von verschachtelten\
\ Fall-Kontroll-Studien aus dem MACS erleichterte, war:"
- input_choice_list:
A: "Verhaltens\xE4nderung"
B: Umfassende Abdeckung
C: Effektive Anwendung der Verhaltenstheorie
D: "Nachhaltige Verhaltens\xE4nderung"
input_correct_responses:
- D
input_question: 'Das wichtigste Ziel einer Verhaltensintervention ist:'
- input_choice_list:
A: "Seropr\xE4valente HIV-infizierte Personen"
B: Seronegative
C: Serokonverter
D: Hochrisiko-Seronegative
input_correct_responses:
- C
input_question: "Die mittlere \xDCberlebenszeit bis AIDS und Tod wurde wie folgt\
\ ermittelt:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_virology
tag: mmlu_de_llama_other_tasks
task: mmlu_de_llama_virology
task_alias: virology
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: Der Regenbogen
B: Beschneidung
C: Einen Sohn
D: Bar Mizwa
input_correct_responses:
- B
input_question: "Was ist das Zeichen des Bundes f\xFCr j\xFCdische M\xE4nner?"
- input_choice_list:
A: Der Dharma
B: Der Sangha
C: Der Buddha
D: Der Bodhisattva
input_correct_responses:
- A
input_question: Was ist das zweite Juwel im Buddhismus?
- input_choice_list:
A: Shang
B: Zhou
C: Han
D: Xia
input_correct_responses:
- B
input_question: "In welcher Dynastie wurde das \u201EMandat des Himmels\u201C\
\ entwickelt, um die neuen Herrscher zu legitimieren?"
- input_choice_list:
A: Honen
B: Tanaka
C: Tokugawa
D: Meiji
input_correct_responses:
- D
input_question: "Welche japanische Regierung f\xF6rderte eine Art nationalen Kult,\
\ der auf dem Kaiser und seinen Beziehungen zu Kami beruhte?"
- input_choice_list:
A: Rituelle Texte
B: Philosophische Texte
C: Hymnen
D: Entstehungsgeschichten
input_correct_responses:
- B
input_question: Wie lassen sich die Upanishaden charakterisieren?
include: _continuation_template_yaml
process_docs: !function utils.process_docs_world_religions
tag: mmlu_de_llama_humanities_tasks
task: mmlu_de_llama_world_religions
task_alias: world_religions
from functools import partial
import datasets
def process_docs(dataset: datasets.Dataset, subtask) -> datasets.Dataset:
return dataset.filter(
lambda example: example["subtask_name"] == f"mmlu_de_chat.{subtask}"
)
process_docs_high_school_psychology = partial(
process_docs, subtask="high_school_psychology"
)
process_docs_abstract_algebra = partial(process_docs, subtask="abstract_algebra")
process_docs_medical_genetics = partial(process_docs, subtask="medical_genetics")
process_docs_high_school_world_history = partial(
process_docs, subtask="high_school_world_history"
)
process_docs_high_school_physics = partial(process_docs, subtask="high_school_physics")
process_docs_high_school_macroeconomics = partial(
process_docs, subtask="high_school_macroeconomics"
)
process_docs_philosophy = partial(process_docs, subtask="philosophy")
process_docs_security_studies = partial(process_docs, subtask="security_studies")
process_docs_elementary_mathematics = partial(
process_docs, subtask="elementary_mathematics"
)
process_docs_prehistory = partial(process_docs, subtask="prehistory")
process_docs_professional_medicine = partial(
process_docs, subtask="professional_medicine"
)
process_docs_college_mathematics = partial(process_docs, subtask="college_mathematics")
process_docs_professional_psychology = partial(
process_docs, subtask="professional_psychology"
)
process_docs_high_school_microeconomics = partial(
process_docs, subtask="high_school_microeconomics"
)
process_docs_high_school_european_history = partial(
process_docs, subtask="high_school_european_history"
)
process_docs_international_law = partial(process_docs, subtask="international_law")
process_docs_miscellaneous = partial(process_docs, subtask="miscellaneous")
process_docs_formal_logic = partial(process_docs, subtask="formal_logic")
process_docs_high_school_chemistry = partial(
process_docs, subtask="high_school_chemistry"
)
process_docs_global_facts = partial(process_docs, subtask="global_facts")
process_docs_electrical_engineering = partial(
process_docs, subtask="electrical_engineering"
)
process_docs_high_school_geography = partial(
process_docs, subtask="high_school_geography"
)
process_docs_conceptual_physics = partial(process_docs, subtask="conceptual_physics")
process_docs_marketing = partial(process_docs, subtask="marketing")
process_docs_professional_law = partial(process_docs, subtask="professional_law")
process_docs_moral_scenarios = partial(process_docs, subtask="moral_scenarios")
process_docs_high_school_computer_science = partial(
process_docs, subtask="high_school_computer_science"
)
process_docs_clinical_knowledge = partial(process_docs, subtask="clinical_knowledge")
process_docs_machine_learning = partial(process_docs, subtask="machine_learning")
process_docs_sociology = partial(process_docs, subtask="sociology")
process_docs_astronomy = partial(process_docs, subtask="astronomy")
process_docs_high_school_government_and_politics = partial(
process_docs, subtask="high_school_government_and_politics"
)
process_docs_high_school_mathematics = partial(
process_docs, subtask="high_school_mathematics"
)
process_docs_world_religions = partial(process_docs, subtask="world_religions")
process_docs_virology = partial(process_docs, subtask="virology")
process_docs_moral_disputes = partial(process_docs, subtask="moral_disputes")
process_docs_computer_security = partial(process_docs, subtask="computer_security")
process_docs_econometrics = partial(process_docs, subtask="econometrics")
process_docs_college_chemistry = partial(process_docs, subtask="college_chemistry")
process_docs_human_aging = partial(process_docs, subtask="human_aging")
process_docs_logical_fallacies = partial(process_docs, subtask="logical_fallacies")
process_docs_public_relations = partial(process_docs, subtask="public_relations")
process_docs_college_medicine = partial(process_docs, subtask="college_medicine")
process_docs_college_biology = partial(process_docs, subtask="college_biology")
process_docs_high_school_biology = partial(process_docs, subtask="high_school_biology")
process_docs_business_ethics = partial(process_docs, subtask="business_ethics")
process_docs_high_school_statistics = partial(
process_docs, subtask="high_school_statistics"
)
process_docs_college_physics = partial(process_docs, subtask="college_physics")
process_docs_human_sexuality = partial(process_docs, subtask="human_sexuality")
process_docs_professional_accounting = partial(
process_docs, subtask="professional_accounting"
)
process_docs_high_school_us_history = partial(
process_docs, subtask="high_school_us_history"
)
process_docs_us_foreign_policy = partial(process_docs, subtask="us_foreign_policy")
process_docs_nutrition = partial(process_docs, subtask="nutrition")
process_docs_management = partial(process_docs, subtask="management")
process_docs_anatomy = partial(process_docs, subtask="anatomy")
process_docs_college_computer_science = partial(
process_docs, subtask="college_computer_science"
)
process_docs_jurisprudence = partial(process_docs, subtask="jurisprudence")
dataset_path: meta-llama/Llama-3.1-8B-Instruct-evals
dataset_name: Llama-3.1-8B-Instruct-evals__multilingual_mmlu_es__details
output_type: generate_until
test_split: latest
doc_to_text: "Given the following question and four candidate answers (A, B, C and D), choose the best answer.\nQuestion: {{input_question.strip()}}\nA. {{input_choice_list.A}}\nB. {{input_choice_list.B}}\nC. {{input_choice_list.C}}\nD. {{input_choice_list.D}}\nYour response should end with \"The best answer is [the_answer_letter]\" where the [the_answer_letter] is one of A, B, C or D."
gen_prefix: "The best answer is"
doc_to_target: "{{input_correct_responses[0]}}."
num_fewshot: 5
metric_list:
- metric: exact_match
aggregation: mean
higher_is_better: true
ignore_case: true
ignore_punctuation: true
regexes_to_ignore:
- "\\$"
- "\\.$"
generation_kwargs:
do_sample: false
temperature: 0
until:
- "."
max_gen_toks: 10
filter_list:
- name: strict_match
filter:
- function: remove_whitespace
- function: take_first
metadata:
version: 1.0
dataset_kwargs:
trust_remote_code: true
group: mmlu_es_llama_humanities
group_alias: humanities
task:
- mmlu_es_llama_humanities_tasks
aggregate_metric_list:
- metric: exact_match
aggregation: mean
weight_by_size: True
filter_list: [strict_match]
metadata:
version: 1
group: mmlu_es_llama
task:
- mmlu_es_llama_stem
- mmlu_es_llama_other
- mmlu_es_llama_social_sciences
- mmlu_es_llama_humanities
aggregate_metric_list:
- metric: exact_match
aggregation: mean
weight_by_size: True
filter_list: [strict_match]
metadata:
version: 1
group: mmlu_es_llama_other
group_alias: other
task:
- mmlu_es_llama_other_tasks
aggregate_metric_list:
- metric: exact_match
aggregation: mean
weight_by_size: True
filter_list: [strict_match]
metadata:
version: 1
group: mmlu_es_llama_social_sciences
group_alias: social sciences
task:
- mmlu_es_llama_social_sciences_tasks
aggregate_metric_list:
- metric: exact_match
aggregation: mean
weight_by_size: True
filter_list: [strict_match]
metadata:
version: 1
group: mmlu_es_llama_stem
group_alias: stem
task:
- mmlu_es_llama_stem_tasks
aggregate_metric_list:
- metric: exact_match
aggregation: mean
weight_by_size: True
filter_list: [strict_match]
metadata:
version: 1
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: '0'
B: '1'
C: '2'
D: '3'
input_correct_responses:
- B
input_question: Encuentre todo c en Z_3 de modo que Z_3[x]/(x^2 + c) sea un campo.
- input_choice_list:
A: Verdad verdad
B: falso, falso
C: Verdadero Falso
D: Falso verdadero
input_correct_responses:
- B
input_question: "Declaraci\xF3n 1 | Si aH es un elemento de un grupo de factores,\
\ entonces |aH| divide |a|. Declaraci\xF3n 2 | Si H y K son subgrupos de G,\
\ entonces HK es un subgrupo de G."
- input_choice_list:
A: Verdad verdad
B: falso, falso
C: Verdadero Falso
D: Falso verdadero
input_correct_responses:
- C
input_question: "Declaraci\xF3n 1 | Cada elemento de un grupo genera un subgrupo\
\ c\xEDclico del grupo. Declaraci\xF3n 2 | El grupo sim\xE9trico S_10 tiene\
\ 10 elementos."
- input_choice_list:
A: Verdad verdad
B: falso, falso
C: Verdadero Falso
D: Falso verdadero
input_correct_responses:
- A
input_question: "Declaraci\xF3n 1| Cada funci\xF3n de un conjunto finito sobre\
\ s\xED misma debe ser uno a uno. Declaraci\xF3n 2 | Todo subgrupo de un grupo\
\ abeliano es abeliano."
- input_choice_list:
A: '0'
B: '3'
C: '12'
D: '30'
input_correct_responses:
- A
input_question: "Encuentra la caracter\xEDstica del anillo 2Z."
include: _continuation_template_yaml
process_docs: !function utils.process_docs_abstract_algebra
tag: mmlu_es_llama_stem_tasks
task: mmlu_es_llama_abstract_algebra
task_alias: abstract_algebra
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "El primer arco far\xEDngeo."
B: "El primer y segundo arco far\xEDngeo."
C: "El segundo arco far\xEDngeo"
D: "El segundo y tercer arco far\xEDngeo."
input_correct_responses:
- D
input_question: "\xBFCu\xE1l es el origen embriol\xF3gico del hueso hioides?"
- input_choice_list:
A: El nervio supraorbitario
B: El nervio infraorbitario
C: El nervio mental
D: Ninguna de las anteriores
input_correct_responses:
- D
input_question: "\xBFCu\xE1l de estas ramas del nervio trig\xE9mino contiene procesos\
\ motores som\xE1ticos?"
- input_choice_list:
A: "No tienen inervaci\xF3n sensorial."
B: "est\xE1n separados por un espacio de 2 mm."
C: extenderse hasta el cuello.
D: "Est\xE1n compuestos por epitelio respiratorio."
input_correct_responses:
- C
input_question: la pleura
- input_choice_list:
A: Sobremordida excesiva de los incisivos laterales superiores.
B: resalte negativo de los incisivos centrales superiores.
C: exceso de resalte de los incisivos laterales superiores.
D: exceso de resalte de los incisivos centrales superiores.
input_correct_responses:
- C
input_question: "En la oclusi\xF3n Clase II Div 2 de Angle hay"
- input_choice_list:
A: Abdominal
B: Craneal
C: pleural
D: Espinal
input_correct_responses:
- B
input_question: "\xBFCu\xE1l de las siguientes es la cavidad corporal que contiene\
\ la gl\xE1ndula pituitaria?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_anatomy
tag: mmlu_es_llama_stem_tasks
task: mmlu_es_llama_anatomy
task_alias: anatomy
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "Ser\xEDa m\xE1s dif\xEDcil ya que el cami\xF3n es m\xE1s pesado en Marte."
B: "Ser\xEDa m\xE1s f\xE1cil ya que el cami\xF3n es m\xE1s ligero en Marte."
C: "Ser\xEDa m\xE1s dif\xEDcil ya que el cami\xF3n es m\xE1s ligero en Marte."
D: "Ser\xEDa lo mismo sin importar d\xF3nde est\xE9s."
input_correct_responses:
- D
input_question: "Est\xE1s empujando un cami\xF3n por una carretera. \xBFSer\xED\
a m\xE1s f\xE1cil acelerar este cami\xF3n en Marte? \xBFPor qu\xE9? (Supongamos\
\ que no hay fricci\xF3n)"
- input_choice_list:
A: "El cintur\xF3n de Kuiper; Los cometas de per\xEDodo corto tienden a estar\
\ en el plano del sistema solar al igual que el cintur\xF3n de Kuiper."
B: "El cintur\xF3n de Kuiper; Los cometas de per\xEDodo corto tienden a provenir\
\ de direcciones aleatorias, lo que indica una distribuci\xF3n esf\xE9rica\
\ de cometas llamada cintur\xF3n de Kuiper."
C: "El cintur\xF3n de asteroides; Los cometas de per\xEDodo corto tienen per\xED\
odos orbitales similares a los asteroides como Vesta y se encuentran en el\
\ plano del sistema solar al igual que el cintur\xF3n de asteroides."
D: "La nube de Oort; Los cometas de per\xEDodo corto tienden a estar en el plano\
\ del sistema solar al igual que la nube de Oort."
input_correct_responses:
- A
input_question: "\xBFDe d\xF3nde proceden la mayor\xEDa de los cometas de per\xED\
odo corto y c\xF3mo lo sabemos?"
- input_choice_list:
A: "10000 veces m\xE1s"
B: "100 veces m\xE1s"
C: "1000 veces m\xE1s"
D: "10 veces m\xE1s"
input_correct_responses:
- A
input_question: "Digamos que la pupila de tu ojo tiene un di\xE1metro de 5 mm\
\ y tienes un telescopio con una apertura de 50 cm. \xBFCu\xE1nta m\xE1s luz\
\ puede captar el telescopio que tu ojo?"
- input_choice_list:
A: "Una vez se form\xF3 aqu\xED un planeta, pero fue destruido por una colisi\xF3\
n catastr\xF3fica."
B: "En esta parte de la nebulosa solar no hab\xEDa suficiente material para\
\ formar un planeta."
C: "Hab\xEDa demasiado material rocoso para formar un planeta terrestre pero\
\ no suficiente material gaseoso para formar un planeta joviano."
D: "La resonancia con J\xFApiter impidi\xF3 que el material se acumulara para\
\ formar un planeta."
input_correct_responses:
- D
input_question: "\xBFPor qu\xE9 no existe un planeta donde se encuentre el cintur\xF3\
n de asteroides?"
- input_choice_list:
A: "Porque la superficie est\xE1 cubierta de minerales muy oxidados ("oxidados")."
B: "Porque la atm\xF3sfera dispersa m\xE1s luz en longitudes de onda m\xE1s\
\ azules y transmite principalmente luz roja."
C: "Porque Marte est\xE1 cubierto de antiguos flujos de lava de color rojo."
D: "Porque el agua que fluy\xF3 sobre la superficie de Marte alter\xF3 los minerales\
\ de la superficie hace varios miles de millones de a\xF1os."
input_correct_responses:
- A
input_question: "\xBFPor qu\xE9 Marte es rojo?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_astronomy
tag: mmlu_es_llama_stem_tasks
task: mmlu_es_llama_astronomy
task_alias: astronomy
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: Externalidades, Poder, Independencia
B: Publicidad, Recursos insustanciales, Dependencia mutua
C: Publicidad, Poder, Independencia
D: Externalidades, Poder, Dependencia mutua
input_correct_responses:
- D
input_question: "M\xE1s all\xE1 del argumento comercial para involucrarse en la\
\ RSE, hay una serie de argumentos morales relacionados con: _______ negativo,\
\ el _______ que poseen las corporaciones y el ________ de los negocios y la\
\ sociedad."
- input_choice_list:
A: Responsabilidad social corporativa
B: "Gesti\xF3n de la \xE9tica empresarial"
C: Sostenibilidad
D: "Gesti\xF3n ambiental"
input_correct_responses:
- B
input_question: "_______ es el intento directo de gestionar formal o informalmente\
\ cuestiones o problemas \xE9ticos, a trav\xE9s de pol\xEDticas, pr\xE1cticas\
\ y programas espec\xEDficos."
- input_choice_list:
A: Exterior, limitado, independiente
B: Interior, limitado, intermitente
C: Exterior, ilimitado, intermitente
D: Dentro, Ilimitado, Independiente
input_correct_responses:
- A
input_question: "Para garantizar la independencia de los miembros no ejecutivos\
\ de la junta directiva, se pueden tomar una serie de medidas, que incluyen\
\ la selecci\xF3n de no ejecutivos de _______ de la empresa, su nombramiento\
\ por un per\xEDodo de tiempo _________ y su nombramiento _________."
- input_choice_list:
A: "Acci\xF3n directa no violenta, Acci\xF3n directa violenta, Acci\xF3n indirecta,\
\ Boicot"
B: "Acci\xF3n indirecta, Acci\xF3n instrumental, Acci\xF3n directa no violenta,\
\ Campa\xF1a de informaci\xF3n"
C: "Acci\xF3n indirecta, Acci\xF3n directa violenta, Boicot de acci\xF3n directa\
\ no violenta"
D: "Acci\xF3n directa no violenta, Acci\xF3n instrumental, Acci\xF3n indirecta,\
\ Campa\xF1a de informaci\xF3n"
input_correct_responses:
- C
input_question: "Tres t\xE1cticas contrastantes que las OSC pueden utilizar para\
\ alcanzar sus objetivos son ________, que normalmente implica investigaci\xF3\
n y comunicaci\xF3n, ________, que puede implicar atacar f\xEDsicamente las\
\ operaciones de una empresa o ________, que a menudo implica alguna forma de\
\ _______."
- input_choice_list:
A: "Buycotts, Boicots, Tecnolog\xEDa Blockchain, Donaciones ben\xE9ficas"
B: "Buycotts, Boicots, Tecnolog\xEDa digital, Aumento de ventas"
C: "Boicots, Buyalls, Tecnolog\xEDa Blockchain, Donaciones ben\xE9ficas"
D: "Boicots, Buycotts, Tecnolog\xEDa digital, Aumento de ventas"
input_correct_responses:
- D
input_question: "A diferencia de _______, _______ pretende recompensar el comportamiento\
\ favorable de las empresas. El \xE9xito de este tipo de campa\xF1as se ha incrementado\
\ mediante el uso de ___________, que permiten que las campa\xF1as faciliten\
\ a la empresa la consecuci\xF3n de _________."
include: _continuation_template_yaml
process_docs: !function utils.process_docs_business_ethics
tag: mmlu_es_llama_other_tasks
task: mmlu_es_llama_business_ethics
task_alias: business_ethics
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: ATP.
B: ADP.
C: fosfocreatina.
D: "fosforilaci\xF3n oxidativa."
input_correct_responses:
- A
input_question: "La energ\xEDa para todas las formas de contracci\xF3n muscular\
\ la proporciona:"
- input_choice_list:
A: "Los cat\xE9teres masculinos y femeninos son de diferentes colores."
B: "Los cat\xE9teres masculinos son m\xE1s largos que los cat\xE9teres femeninos."
C: "Los cat\xE9teres masculinos son m\xE1s grandes que los cat\xE9teres femeninos."
D: "Los cat\xE9teres femeninos son m\xE1s largos que los cat\xE9teres masculinos."
input_correct_responses:
- B
input_question: "\xBFCu\xE1l es la diferencia entre un cat\xE9ter masculino y\
\ uno femenino?"
- input_choice_list:
A: "La abducci\xF3n del pulgar est\xE1 inervada por la ra\xEDz espinal T2."
B: "La oposici\xF3n del pulgar por el oponente pol\xEDtico est\xE1 inervada\
\ por la ra\xEDz espinal T1."
C: "La aducci\xF3n de los dedos est\xE1 inervada por el nervio mediano."
D: "La abducci\xF3n de los dedos est\xE1 mediada por los inter\xF3seos palmar."
input_correct_responses:
- B
input_question: "En la evaluaci\xF3n de la funci\xF3n de la mano \xBFcu\xE1l de\
\ las siguientes afirmaciones es verdadera?"
- input_choice_list:
A: '4'
B: '3'
C: '2'
D: '1'
input_correct_responses:
- C
input_question: "\xBFCu\xE1ntos intentos se deben hacer para canular a un paciente\
\ antes de pasar el trabajo a un colega superior, seg\xFAn los conocimientos\
\ m\xE9dicos de 2020?"
- input_choice_list:
A: "gluc\xF3geno en glucosa-1-fosfato."
B: "gluc\xF3geno o glucosa en fructosa."
C: "gluc\xF3geno o glucosa en piruvato o lactato."
D: "gluc\xF3geno o glucosa en piruvato o acetil CoA."
input_correct_responses:
- C
input_question: "La gluc\xF3lisis es el nombre que se le da a la v\xEDa que implica\
\ la conversi\xF3n de:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_clinical_knowledge
tag: mmlu_es_llama_other_tasks
task: mmlu_es_llama_clinical_knowledge
task_alias: clinical_knowledge
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: Poseen un exoesqueleto compuesto principalmente de peptidoglicano.
B: "Poseen un sistema circulatorio abierto con un coraz\xF3n dorsal."
C: "Son miembros de un filo biol\xF3gicamente fracasado, incapaz de explotar\
\ diversos h\xE1bitats y fuentes de nutrici\xF3n."
D: "Carecen de ap\xE9ndices pareados y articulados."
input_correct_responses:
- B
input_question: "\xBFCu\xE1l de las siguientes representa una afirmaci\xF3n precisa\
\ sobre los artr\xF3podos?"
- input_choice_list:
A: 1/400
B: 19/400
C: 20/400
D: 38/400
input_correct_responses:
- D
input_question: "En una poblaci\xF3n determinada, 1 de cada 400 personas tiene\
\ un c\xE1ncer causado por un alelo completamente recesivo, b. Suponiendo que\
\ la poblaci\xF3n se encuentra en equilibrio de Hardy-Weinberg, \xBFcu\xE1l\
\ de las siguientes es la proporci\xF3n esperada de individuos que portan el\
\ alelo b pero que no se espera que desarrollen c\xE1ncer?"
- input_choice_list:
A: "el humano y el ave son especies polifil\xE9ticas"
B: "La evoluci\xF3n de un ser humano y un p\xE1jaro es convergente."
C: "el humano y el p\xE1jaro pertenecen a un clado"
D: "El ser humano y el p\xE1jaro desarrollados por analog\xEDa."
input_correct_responses:
- C
input_question: "La presencia de estructuras hom\xF3logas en dos organismos diferentes,\
\ como el h\xFAmero en la extremidad anterior de un humano y un p\xE1jaro, indica\
\ que"
- input_choice_list:
A: "una bomba de presi\xF3n-flujo dependiente de ATP"
B: "un gradiente de potencial de presi\xF3n del agua"
C: "transpiraci\xF3n"
D: "difusi\xF3n apopl\xE1sica"
input_correct_responses:
- B
input_question: "Seg\xFAn el modelo de presi\xF3n-flujo del movimiento del contenido\
\ del floema, el movimiento de fotosintato desde la fuente hasta el sumidero\
\ es impulsado por"
- input_choice_list:
A: "Tel\xF3meros"
B: "centr\xF3meros"
C: Nucleosomas
D: Empalizosomas
input_correct_responses:
- B
input_question: "\xBFCu\xE1l de los siguientes contiene secuencias de ADN necesarias\
\ para la segregaci\xF3n de cromosomas en la mitosis y la meiosis?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_biology
tag: mmlu_es_llama_stem_tasks
task: mmlu_es_llama_college_biology
task_alias: college_biology
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "El estado de oxidaci\xF3n m\xE1s com\xFAn de los elementos lant\xE1nidos\
\ es +3."
B: "Los complejos de lant\xE1nidos suelen tener n\xFAmeros de coordinaci\xF3\
n elevados (>6)."
C: "Todos los elementos lant\xE1nidos reaccionan con un \xE1cido acuoso para\
\ liberar hidr\xF3geno."
D: "Los radios at\xF3micos de los elementos lant\xE1nidos aumentan a lo largo\
\ del per\xEDodo de La a Lu."
input_correct_responses:
- D
input_question: "\xBFCu\xE1l de las siguientes afirmaciones sobre los elementos\
\ lant\xE1nidos NO es cierta?"
- input_choice_list:
A: 1,0 ml
B: 10ml
C: 20ml
D: 50 mililitros
input_correct_responses:
- C
input_question: "Una muestra de 0,217 g de HgO (masa molar = 217 g) reacciona\
\ con un exceso de iones yoduro de acuerdo con la reacci\xF3n que se muestra\
\ arriba. \xBFCu\xE1ntos ml de HCl 0,10 M se necesitan para valorar la soluci\xF3\
n resultante para alcanzar el punto de equivalencia?"
- input_choice_list:
A: '4'
B: '3'
C: '6'
D: '24'
input_correct_responses:
- A
input_question: "Prediga el n\xFAmero de l\xEDneas en el espectro EPR de una soluci\xF3\
n de radical metilo marcado con 13C (13CH3\u2022), suponiendo que las l\xED\
neas no se superpongan."
- input_choice_list:
A: "un \xE1cido"
B: una base
C: un catalizador
D: un agente reductor
input_correct_responses:
- D
input_question: "3 Cl\u2212(ac) + 4 CrO_4^2\u2212(ac) + 23 H+(ac) \u2192 3 HClO2(ac)\
\ + 4 Cr3+(ac) + 10 H2O(l). En la reacci\xF3n que se muestra arriba, Cl\u2212\
(aq) se comporta como"
- input_choice_list:
A: PbH4 < SnH4 < GeH4 < SiH4 < CH4
B: PbH4 < SnH4 < CH4 < GeH4 < SiH4
C: CH4 < SiH4 < GeH4 < SnH4 < PbH4
D: CH4 < PbH4 < GeH4 < SnH4 < SiH4
input_correct_responses:
- A
input_question: "\xBFCu\xE1l de las siguientes enumera los hidruros de elementos\
\ del grupo 14 en orden de estabilidad t\xE9rmica, de menor a mayor?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_chemistry
tag: mmlu_es_llama_stem_tasks
task: mmlu_es_llama_college_chemistry
task_alias: college_chemistry
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: a*(c + d)+ b(c + d)
B: a*(c + d)* + b(c + d)*
C: a*(c + d)+ b*(c + d)
D: (a + b)*c +(a + b)*d
input_correct_responses:
- D
input_question: "\xBFCu\xE1l de las siguientes expresiones regulares es equivalente\
\ a (describe el mismo conjunto de cadenas que) (a* + b)*(c + d)?"
- input_choice_list:
A: '5'
B: '6'
C: '7'
D: '8'
input_correct_responses:
- B
input_question: "Cierta m\xE1quina RISC canalizada tiene 8 registros de prop\xF3\
sito general R0, R1,. . . , R7 y admite las siguientes operaciones. SUMAR Rs1,\
\ Rs2, Rd Sumar Rs1 a Rs2 y poner la suma en Rd MUL Rs1, Rs2, Rd Multiplicar\
\ Rs1 por Rs2 y poner el producto en Rd Una operaci\xF3n normalmente toma un\
\ ciclo; sin embargo, una operaci\xF3n requiere dos ciclos si produce un resultado\
\ requerido por la operaci\xF3n inmediatamente siguiente en una secuencia de\
\ operaciones. Considere la expresi\xF3n AB + ABC + BC, donde las variables\
\ A, B, C est\xE1n ubicadas en los registros R0, R1, R2. Si no se debe modificar\
\ el contenido de estos tres registros, \xBFcu\xE1l es el n\xFAmero m\xEDnimo\
\ de ciclos de reloj requeridos para una secuencia de operaci\xF3n que calcula\
\ el valor de AB + ABC + BC?"
- input_choice_list:
A: yo solo
B: Yo solo
C: solo III
D: I, II y III
input_correct_responses:
- D
input_question: "El patr\xF3n de dise\xF1o Singleton se utiliza para garantizar\
\ que solo se pueda crear una instancia de una clase. \xBFCu\xE1l de las siguientes\
\ afirmaciones es cierta respecto de este patr\xF3n de dise\xF1o? I. La clase\
\ Singleton tiene un m\xE9todo de f\xE1brica est\xE1tico para proporcionar su\
\ instancia. II. La clase Singleton puede ser una subclase de otra clase. III.\
\ La clase Singleton tiene un constructor privado."
- input_choice_list:
A: '5'
B: '6'
C: '7'
D: '9'
input_correct_responses:
- D
input_question: "Un compilador genera c\xF3digo para la siguiente declaraci\xF3\
n de asignaci\xF3n. G := (A + B) * C - (D + E) * F La m\xE1quina de destino\
\ tiene un \xFAnico acumulador y un conjunto de instrucciones de direcci\xF3\
n \xFAnica que consta de instrucciones de carga, almacenamiento, suma, resta\
\ y multiplicaci\xF3n. Para las operaciones aritm\xE9ticas, el operando izquierdo\
\ se toma del acumulador y el resultado aparece en el acumulador. El menor n\xFA\
mero posible de instrucciones en el c\xF3digo resultante es"
- input_choice_list:
A: 1/50
B: 1/27
C: 1/25
D: 2/27
input_correct_responses:
- B
input_question: "Considere un dise\xF1o de computadora en el que m\xFAltiples\
\ procesadores, cada uno con una memoria cach\xE9 privada, comparten la memoria\
\ global usando un solo bus. Este bus es el recurso cr\xEDtico del sistema.\
\ Cada procesador puede ejecutar una instrucci\xF3n cada 500 nanosegundos siempre\
\ que su cach\xE9 local satisfaga las referencias de memoria. Cuando se produce\
\ una p\xE9rdida de cach\xE9, el procesador se retrasa 2000 nanosegundos adicionales.\
\ Durante la mitad de este retraso adicional, el autob\xFAs se dedica a atender\
\ la p\xE9rdida de cach\xE9. Durante la otra mitad, el procesador no puede continuar,\
\ pero el bus queda libre para atender las solicitudes de otros procesadores.\
\ En promedio, cada instrucci\xF3n requiere 2 referencias a la memoria. En promedio,\
\ los errores de cach\xE9 ocurren en el 1 por ciento de las referencias. \xBF\
Qu\xE9 proporci\xF3n de la capacidad del bus consumir\xEDa un solo procesador,\
\ ignorando los retrasos debidos a la competencia de otros procesadores?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_computer_science
tag: mmlu_es_llama_stem_tasks
task: mmlu_es_llama_college_computer_science
task_alias: college_computer_science
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: EST = 0
B: ST = T
C: ST = TS
D: "ST - TS es el mapa de identidad de V sobre s\xED mismo."
input_correct_responses:
- D
input_question: "Sea V el conjunto de todos los polinomios reales p(x). Definamos\
\ las transformaciones T, S en V por T:p(x) -> xp(x) y S:p(x) -> p'(x)\
\ = d/dx p(x), e interpretemos (ST) (p(x)) como S(T(p(x))). \xBFCual de los\
\ siguientes es verdadero?"
- input_choice_list:
A: '2'
B: 2-e^-2
C: 2 + e^-2
D: 2 + e^-4
input_correct_responses:
- D
input_question: "Un tanque contiene inicialmente una soluci\xF3n salina de 3 gramos\
\ de sal disueltos en 100 litros de agua. Se pulveriza en el tanque una soluci\xF3\
n salina que contiene 0,02 gramos de sal por litro de agua a una velocidad de\
\ 4 litros por minuto. La soluci\xF3n pulverizada se mezcla continuamente con\
\ la soluci\xF3n salina en el tanque y la mezcla sale del tanque a una velocidad\
\ de 4 litros por minuto. Si la mezcla es instant\xE1nea \xBFcu\xE1ntos gramos\
\ de sal quedan en el tanque despu\xE9s de transcurridos 100 minutos?"
- input_choice_list:
A: yo solo
B: Yo solo
C: solo III
D: "S\xF3lo II y III"
input_correct_responses:
- B
input_question: "Sea A una matriz real de 2x2. \xBFCu\xE1l de las siguientes afirmaciones\
\ debe ser cierta? I. Todas las entradas de A^2 no son negativas. II. El determinante\
\ de A^2 no es negativo. III. Si A tiene dos valores propios distintos, entonces\
\ A^2 tiene dos valores propios distintos."
- input_choice_list:
A: '-11'
B: '0'
C: '11'
D: 33/2
input_correct_responses:
- C
input_question: Supongamos que f(1 + x) = f(x) para todo x real. Si f es un polinomio
y f(5) = 11, entonces f(15/2)
- input_choice_list:
A: '-5'
B: '-4'
C: '-3'
D: '-2'
input_correct_responses:
- B
input_question: "Sea A el conjunto de todos los pares ordenados de enteros (m,\
\ n) tales que 7m + 12n = 22. \xBFCu\xE1l es el mayor n\xFAmero negativo del\
\ conjunto B = {m + n : (m, n) \\in A}?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_mathematics
tag: mmlu_es_llama_stem_tasks
task: mmlu_es_llama_college_mathematics
task_alias: college_mathematics
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "a trav\xE9s de transportadores de prote\xEDnas llamados GLUT4."
B: "s\xF3lo en presencia de insulina."
C: "v\xEDa hexoquinasa."
D: "mediante transportadores de \xE1cido monocarb\xEDlico."
input_correct_responses:
- A
input_question: "La glucosa se transporta a la c\xE9lula muscular:"
- input_choice_list:
A: "El gluc\xF3geno muscular se descompone enzim\xE1ticamente en glucosa-1-fosfato."
B: "Los corredores de resistencia de \xE9lite tienen una alta proporci\xF3n\
\ de fibras tipo I en los m\xFAsculos de las piernas"
C: "El gluc\xF3geno hep\xE1tico es importante en el mantenimiento de la concentraci\xF3\
n de glucosa en sangre."
D: "La insulina promueve la absorci\xF3n de glucosa por todos los tejidos del\
\ cuerpo."
input_correct_responses:
- D
input_question: "\xBFCu\xE1l de las siguientes no es una afirmaci\xF3n verdadera?"
- input_choice_list:
A: "Todos los descendientes por l\xEDnea materna padecer\xE1n el trastorno."
B: "Las mujeres se ver\xE1n aproximadamente dos veces m\xE1s afectadas que los\
\ hombres en esta familia."
C: "Todas las hijas de un var\xF3n afectado se ver\xE1n afectadas."
D: "Habr\xE1 una distribuci\xF3n equitativa de hombres y mujeres afectados."
input_correct_responses:
- C
input_question: "En una prueba gen\xE9tica de un reci\xE9n nacido, se encuentra\
\ un trastorno gen\xE9tico poco com\xFAn que tiene transmisi\xF3n recesiva ligada\
\ al cromosoma X. \xBFCu\xE1l de las siguientes afirmaciones es probablemente\
\ cierta con respecto al pedigr\xED de este trastorno?"
- input_choice_list:
A: Aumento de temperatura, aumento de moles de gas.
B: Aumento de temperatura, aumento de volumen.
C: "Disminuci\xF3n del volumen, disminuci\xF3n de la temperatura."
D: "Disminuci\xF3n de moles de gas, aumento de volumen."
input_correct_responses:
- A
input_question: "Un profesor de ciencias de secundaria llena una botella de 1\
\ litro con nitr\xF3geno puro y sella la tapa. La presi\xF3n es de 1,70 atm\
\ y la temperatura ambiente es de 25\xB0C. \xBFCu\xE1les dos variables aumentar\xE1\
n la presi\xF3n del sistema si todas las dem\xE1s variables se mantienen constantes?"
- input_choice_list:
A: debilidad muscular.
B: ganancia de masa corporal.
C: calambres musculares.
D: "p\xE9rdida de electrolitos."
input_correct_responses:
- B
input_question: "Un efecto secundario esperado de la suplementaci\xF3n con creatina\
\ es:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_medicine
tag: mmlu_es_llama_other_tasks
task: mmlu_es_llama_college_medicine
task_alias: college_medicine
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment