tag: evalita-mp_hs_tasks
include: _hs_template_yaml
task: evalita-mp_hs_prompt-5
task_alias: prompt-5
doc_to_choice: ["non contiene incitamento all'odio", "contiene incitamento all'odio"]
#doc_to_text: "Dato il seguente testo, rispondi Vero se il testo contiene hate speech, altrimenti rispondi Falso. Testo:\n{{full_text}} Risposta:"
doc_to_text: "Il tweet: '{{full_text}}'"
metric_list:
  - metric: f1
    higher_is_better: true
    average: macro
    aggregation: f1
metadata:
  version: 1.0
