Commit 44a602ab authored by haileyschoelkopf's avatar haileyschoelkopf
Browse files

add many explicit group configs

parent c9801daf
group: csatqa
task:
- csatqa_gr
- csatqa_li
- csatqa_rch
- csatqa_rcs
- csatqa_rcss
- csatqa_wr
aggregate_metric_list:
- metric: acc
aggregation: mean
weight_by_size: true
- metric: acc_norm
aggregation: mean
weight_by_size: true
metadata:
version: 0.0
group: csatqa
dataset_path: EleutherAI/csatqa
test_split: test
output_type: multiple_choice
......
group:
- fld
task: fld_default
dataset_path: hitachi-nlp/FLD.v2
dataset_name: default
......
......@@ -20,9 +20,9 @@ This benchmark is constructed both from openly available datasets, as well as ne
}
```
### Groups and Tasks
### Groups, Tags, and Tasks
#### Groups
#### Tags
- `french_bench`: All tasks (non-perplexity based)
- `french_bench_gen`: All official generative tasks
......
group:
tag:
- french_bench
- french_bench_mc
task: french_bench_arc_challenge
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "D'après l'information dans le contexte donné, quelle est la réponse à la question ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "D'après l'information présente dans le contexte, est il possible de répondre à la question ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "D'après l'information dans le contexte donné, quelle question a été posée pour obtenir la réponse donnée ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_mc
description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
group:
tag:
- french_bench
- french_bench_mc
task: french_bench_hellaswag
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques extraits du contexte."
......
group:
tag:
- french_bench_perplexity
task: french_bench_opus_perplexity
dataset_path: manu/opus100-en-fr
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "Résume l'article en une phrase."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "Trouve le titre de l'article."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
# description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "A propos du thème spécifié, l'avis client est il positif, négatif, ou neutre ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
task: french_bench_trivia
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_mc
# description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment