Merge branch 'main' into llama

lm_eval/tasks/evalita_llm/_evalita-mp_ner-adg_group.yaml

+group: evalita-mp_ner_adg_group
+group_alias: 'evalita NER: ADG'
+task:
+  - evalita-mp_ner-v2_tasks_adg
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm_eval/tasks/evalita_llm/_evalita-mp_ner-adg_group_p1.yaml

+include: _ner_template_yaml
+dataset_name: adg
+test_split: reduced_test
+fewshot_split: dev
+task_alias: prompt-1
+tag: evalita-mp_ner-v2_tasks_adg
+task: evalita-mp_ner-v2_adg_p1
+
+# English
+#doc_to_text: "Given the following text, write the entity mentions in the text, indicating their type: [PER] (person), [LOC] (location), [ORG] (organization). Respond with the following format: Entity$Type. Separate each entity-type pair with the '%' character. Text: {{text}}"
+# Italian
+doc_to_text: "Dato il seguente testo, scrivi le menzioni di entità nel testo, indicandone il tipo: PER (persona), LOC (luogo), ORG (organizzazione). Rispondi con il seguente formato: Entità$Tipo%Entità$Tipo. Separa ogni coppia entità-tipo con il carattere '%' ad esempio:  Entità_2$Tipo%Entità_2$Tipo. In caso non ci siano entita' rispondi '&&NOENT&&'.
+Testo: {{text}}"

lm_eval/tasks/evalita_llm/_evalita-mp_ner-adg_group_p2.yaml

+include: _ner_template_yaml
+dataset_name: adg
+test_split: reduced_test
+fewshot_split: dev
+task_alias: prompt-2
+tag: evalita-mp_ner-v2_tasks_adg
+task: evalita-mp_ner-v2_adg_p2
+
+# English
+#doc_to_text: "Given the following text, write the entity mentions in the text, indicating their type: [PER] (person), [LOC] (location), [ORG] (organization). Respond with the following format: Entity$Type. Separate each entity-type pair with the '%' character. Text: {{text}}"
+# Italian
+doc_to_text: "Dato il seguente testo, scrivi le menzioni di entità nel testo, indicandone il tipo: PER (persona), LOC (luogo), ORG (organizzazione). Rispondi con il seguente formato: Entità$Tipo%Entità$Tipo. Separa ogni coppia entità-tipo con il carattere '%' ad esempio:  Entità_2$Tipo%Entità_2$Tipo. In caso non ci siano entita' rispondi '&&NOENT&&'.
+Testo: {{text}}"

lm_eval/tasks/evalita_llm/_evalita-mp_ner-fic_group.yaml

+group: evalita-mp_ner_fic_group
+group_alias: 'evalita NER: FIC'
+task:
+  - evalita-mp_ner-v2_tasks_fic
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm_eval/tasks/evalita_llm/_evalita-mp_ner-fic_group_p1.yaml

+include: _ner_template_yaml
+dataset_name: fic
+test_split: reduced_test
+test_split: dev
+fewshot_split: dev
+task_alias: prompt-1
+tag: evalita-mp_ner-v2_tasks_fic
+task: evalita-mp_ner-v2_fic_p1
+
+#
+doc_to_target: !function utils.filter_per_entities_from_lines
+doc_to_target: entities
+
+# English
+#doc_to_text: "Given the following text, write the entity mentions in the text, indicating their type: [PER] (person), [LOC] (location), [ORG] (organization). Respond with the following format: Entity$Type. Separate each entity-type pair with the '%' character. Text: {{text}}"
+# Italian
+doc_to_text: "Dato il seguente testo, scrivi le menzioni di entità nel testo, indicandone il tipo: PER (persona), LOC (luogo), ORG (organizzazione). Rispondi con il seguente formato: Entità$Tipo%Entità$Tipo. Separa ogni coppia entità-tipo con il carattere '%' ad esempio:  Entità_2$Tipo%Entità_2$Tipo. In caso non ci siano entita' rispondi '&&NOENT&&'. Testo: {{text}}"

lm_eval/tasks/evalita_llm/_evalita-mp_ner-fic_group_p2.yaml

+include: _ner_template_yaml
+dataset_name: fic
+test_split: reduced_test
+fewshot_split: dev
+task_alias: prompt-2
+tag: evalita-mp_ner-v2_tasks_fic
+task: evalita-mp_ner-v2_fic_p2
+
+# English
+#doc_to_text: "Given the following text, write the entity mentions in the text, indicating their type: [PER] (person), [LOC] (location), [ORG] (organization). Respond with the following format: Entity$Type. Separate each entity-type pair with the '%' character. Text: {{text}}"
+# Italian
+doc_to_text: "Dato il seguente testo, scrivi le menzioni di entità nel testo, indicandone il tipo: PER (persona), LOC (luogo), ORG (organizzazione). Rispondi con il seguente formato: Entità$Tipo%Entità$Tipo. Separa ogni coppia entità-tipo con il carattere '%' ad esempio:  Entità_2$Tipo%Entità_2$Tipo. In caso non ci siano entita' rispondi '&&NOENT&&'.
+Testo: {{text}}"

lm_eval/tasks/evalita_llm/_evalita-mp_ner-wn_group.yaml

+group: evalita-mp_ner_wn_group
+group_alias: 'evalita NER: WN'
+task:
+  - evalita-mp_ner-v2_tasks_wn
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm_eval/tasks/evalita_llm/_evalita-mp_ner-wn_group_p1.yaml

+include: _ner_template_yaml
+dataset_name: wn
+test_split: reduced_test
+fewshot_split: dev
+task_alias: prompt-1
+tag: evalita-mp_ner-v2_tasks_wn
+task: evalita-mp_ner-v2_wn_p1
+
+# English
+#doc_to_text: "Given the following text, write the entity mentions in the text, indicating their type: [PER] (person), [LOC] (location), [ORG] (organization). Respond with the following format: Entity$Type. Separate each entity-type pair with the '%' character. Text: {{text}}"
+# Italian
+doc_to_text: "Dato il seguente testo, scrivi le menzioni di entità nel testo, indicandone il tipo: PER (persona), LOC (luogo), ORG (organizzazione). Rispondi con il seguente formato: Entità$Tipo%Entità$Tipo. Separa ogni coppia entità-tipo con il carattere '%' ad esempio:  Entità_2$Tipo%Entità_2$Tipo. In caso non ci siano entita' rispondi '&&NOENT&&'.
+Testo: {{text}}"

lm_eval/tasks/evalita_llm/_evalita-mp_ner-wn_group_p2.yaml

+include: _ner_template_yaml
+dataset_name: wn
+test_split: reduced_test
+fewshot_split: dev
+task_alias: prompt-2
+tag: evalita-mp_ner-v2_tasks_wn
+task: evalita-mp_ner-v2_wn_p2
+
+# English
+#doc_to_text: "Given the following text, write the entity mentions in the text, indicating their type: [PER] (person), [LOC] (location), [ORG] (organization). Respond with the following format: Entity$Type. Separate each entity-type pair with the '%' character. Text: {{text}}"
+# Italian
+doc_to_text: "Dato il seguente testo, scrivi le menzioni di entità nel testo, indicandone il tipo: PER (persona), LOC (luogo), ORG (organizzazione). Rispondi con il seguente formato: Entità$Tipo%Entità$Tipo. Separa ogni coppia entità-tipo con il carattere '%' ad esempio:  Entità_2$Tipo%Entità_2$Tipo. In caso non ci siano entita' rispondi '&&NOENT&&'.
+Testo: {{text}}"

lm_eval/tasks/evalita_llm/_evalita-mp_ner_adg.yaml

+group: evalita-mp_ner_tasks_adg
+group_alias: evalita NER adg
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm_eval/tasks/evalita_llm/_evalita-mp_ner_adg_p1.yaml

+include: _ner_template_yaml
+dataset_name: adg
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: ADG prompt-1
+tag: evalita-mp_ner_tasks_adg
+task: evalita-mp_ner_adg_p1
+
+
+#p1
+doc_to_text: "Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm_eval/tasks/evalita_llm/_evalita-mp_ner_adg_p2.yaml

+include: _ner_template_yaml
+dataset_name: adg
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: ADG prompt-2
+tag: evalita-mp_ner_tasks_adg
+task: evalita-mp_ner_adg_p2
+
+
+#p8
+doc_to_text: "Devi svolgere un compito di riconoscimento delle entità nei testi. Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm_eval/tasks/evalita_llm/_evalita-mp_ner_fic.yaml

+
+group: evalita-mp_ner_tasks_fic
+group_alias: evalita NER fic
+
+task_alias: NER fic

lm_eval/tasks/evalita_llm/_evalita-mp_ner_fic_p1.yaml

+include: _ner_template_yaml
+dataset_name: fic
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: FIC prompt-1
+tag: evalita-mp_ner_tasks_fic
+task: evalita-mp_ner_fic_p1
+
+
+
+#p1
+doc_to_text: "Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm_eval/tasks/evalita_llm/_evalita-mp_ner_fic_p2.yaml

+include: _ner_template_yaml
+dataset_name: fic
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: FIC prompt-2
+tag: evalita-mp_ner_tasks_fic
+task: evalita-mp_ner_fic_p2
+
+#p8
+doc_to_text: "Devi svolgere un compito di riconoscimento delle entità nei testi. Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm_eval/tasks/evalita_llm/_evalita-mp_ner_group.yaml

+group: evalita-mp_ner_group
+group_alias: evalita NER
+task:
+  - evalita-mp_ner_tasks_fic
+  - evalita-mp_ner_tasks_adg
+  - evalita-mp_ner_tasks_wn
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm_eval/tasks/evalita_llm/_evalita-mp_ner_wn.yaml

+group: evalita-mp_ner_tasks_wn
+group_alias: evalita NER wn
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm_eval/tasks/evalita_llm/_evalita-mp_ner_wn_p1.yaml

+include: _ner_template_yaml
+dataset_name: wn
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: WN prompt-1
+tag: evalita-mp_ner_tasks_wn
+task: evalita-mp_ner_wn_p1
+
+
+doc_to_text: "Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm_eval/tasks/evalita_llm/_evalita-mp_ner_wn_p2.yaml

+include: _ner_template_yaml
+dataset_name: wn
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: WN prompt-2
+tag: evalita-mp_ner_tasks_wn
+task: evalita-mp_ner_wn_p2
+
+
+doc_to_text: "Devi svolgere un compito di riconoscimento delle entità nei testi. Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm_eval/tasks/evalita_llm/_evalita-mp_re_p1.yaml

+tag: evalita-mp_re_tasks
+include: _re_template_yaml
+task: evalita-mp_re_prompt-1
+fewshot_split: dev
+task_alias: prompt-1
+
+#p4
+doc_to_text: "Dato un documento medico devi estrarre tutte le misurazioni degli esami medici presenti. Riporta ogni relazione nel formato: misurazione$esame, separando ciascuna coppia con '%'. Se non ci sono relazioni da estrarre, rispondi con '&&NOREL&&'.
+Testo: '{{text}}'
+Relazioni:"