Commit abd17276 authored by Baber's avatar Baber
Browse files

Merge branch 'smolrefact' into tasklist

# Conflicts:
#	lm_eval/__main__.py
#	lm_eval/api/group.py
#	lm_eval/api/task.py
#	lm_eval/evaluator_utils.py
#	lm_eval/tasks/__init__.py
#	lm_eval/utils.py
#	pyproject.toml
parents 00afd536 70314843
description: 'Ecco una domanda a scelta multipla su informatica (con risposta). Si
prega di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)",
dove X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_computer_science
task_alias: computer_science
process_docs: !function utils.process_computer_science
description: 'Ecco una domanda a scelta multipla su economia (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_economics
task_alias: economics
process_docs: !function utils.process_economics
description: 'Ecco una domanda a scelta multipla su ingegneria (con risposta). Si
prega di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)",
dove X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_engineering
task_alias: engineering
process_docs: !function utils.process_engineering
description: 'Ecco una domanda a scelta multipla su salute (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_health
task_alias: health
process_docs: !function utils.process_health
description: 'Ecco una domanda a scelta multipla su storia (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_history
task_alias: history
process_docs: !function utils.process_history
description: 'Ecco una domanda a scelta multipla su diritto (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_law
task_alias: law
process_docs: !function utils.process_law
description: 'Ecco una domanda a scelta multipla su matematica (con risposta). Si
prega di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)",
dove X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_math
task_alias: math
process_docs: !function utils.process_math
description: 'Ecco una domanda a scelta multipla su altro (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_other
task_alias: other
process_docs: !function utils.process_other
description: 'Ecco una domanda a scelta multipla su filosofia (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_philosophy
task_alias: philosophy
process_docs: !function utils.process_philosophy
description: 'Ecco una domanda a scelta multipla su fisica (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_physics
task_alias: physics
process_docs: !function utils.process_physics
description: 'Ecco una domanda a scelta multipla su psicologia (con risposta). Si
prega di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)",
dove X è la lettera dell''opzione corretta.
'
include: _it_template_yaml
task: mmlu_prox_it_psychology
task_alias: psychology
process_docs: !function utils.process_psychology
description: 'Ecco una domanda a scelta multipla su biologia (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_lite_template_yaml
task: mmlu_prox_lite_it_biology
task_alias: biology
process_docs: !function utils.process_biology
description: 'Ecco una domanda a scelta multipla su affari (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_lite_template_yaml
task: mmlu_prox_lite_it_business
task_alias: business
process_docs: !function utils.process_business
description: 'Ecco una domanda a scelta multipla su chimica (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_lite_template_yaml
task: mmlu_prox_lite_it_chemistry
task_alias: chemistry
process_docs: !function utils.process_chemistry
description: 'Ecco una domanda a scelta multipla su informatica (con risposta). Si
prega di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)",
dove X è la lettera dell''opzione corretta.
'
include: _it_lite_template_yaml
task: mmlu_prox_lite_it_computer_science
task_alias: computer_science
process_docs: !function utils.process_computer_science
description: 'Ecco una domanda a scelta multipla su economia (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_lite_template_yaml
task: mmlu_prox_lite_it_economics
task_alias: economics
process_docs: !function utils.process_economics
description: 'Ecco una domanda a scelta multipla su ingegneria (con risposta). Si
prega di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)",
dove X è la lettera dell''opzione corretta.
'
include: _it_lite_template_yaml
task: mmlu_prox_lite_it_engineering
task_alias: engineering
process_docs: !function utils.process_engineering
description: 'Ecco una domanda a scelta multipla su salute (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_lite_template_yaml
task: mmlu_prox_lite_it_health
task_alias: health
process_docs: !function utils.process_health
description: 'Ecco una domanda a scelta multipla su storia (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_lite_template_yaml
task: mmlu_prox_lite_it_history
task_alias: history
process_docs: !function utils.process_history
description: 'Ecco una domanda a scelta multipla su diritto (con risposta). Si prega
di ragionare passo dopo passo e terminare la risposta con "La risposta è (X)", dove
X è la lettera dell''opzione corretta.
'
include: _it_lite_template_yaml
task: mmlu_prox_lite_it_law
task_alias: law
process_docs: !function utils.process_law
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment