tag: evalita-mp_at_tasks
include: _at_template_yaml
task: evalita-mp_at_prompt-1
task_alias: prompt-1
#doc_to_text: "Rispondi alla domanda a scelta multipla considerando le informazioni del testo seguente.\nTesto: {{background}}\nDomanda: {{domanda}}\nOpzioni: A: {{A}} B: {{B}} C: {{C}} D: {{D}}"
#doc_to_text: "Dato il seguente caso clinico: '{{background}}' qual è la risposta corretta alla domanda: '{{domanda}}'?"
doc_to_text: "Dato il seguente quesito di medicina: '{{Question}}' qual è la risposta corretta?"
doc_to_choice: "{{[A,B,C,D,E]}}"
doc_to_target: "{{ A if Correct == 'A' else B if Correct == 'B' else C if Correct == 'C' else D if Correct == 'D' else E}}"
metric_list:
  - metric: acc
    aggregation: mean
    higher_is_better: true
  - metric: acc_norm
    aggregation: mean
    higher_is_better: true
metadata:
  version: 1
