Commit 44a602ab authored by haileyschoelkopf's avatar haileyschoelkopf
Browse files

add many explicit group configs

parent c9801daf
group: csatqa
task:
- csatqa_gr
- csatqa_li
- csatqa_rch
- csatqa_rcs
- csatqa_rcss
- csatqa_wr
aggregate_metric_list:
- metric: acc
aggregation: mean
weight_by_size: true
- metric: acc_norm
aggregation: mean
weight_by_size: true
metadata:
version: 0.0
group: csatqa
dataset_path: EleutherAI/csatqa dataset_path: EleutherAI/csatqa
test_split: test test_split: test
output_type: multiple_choice output_type: multiple_choice
......
group:
- fld
task: fld_default task: fld_default
dataset_path: hitachi-nlp/FLD.v2 dataset_path: hitachi-nlp/FLD.v2
dataset_name: default dataset_name: default
......
...@@ -20,9 +20,9 @@ This benchmark is constructed both from openly available datasets, as well as ne ...@@ -20,9 +20,9 @@ This benchmark is constructed both from openly available datasets, as well as ne
} }
``` ```
### Groups and Tasks ### Groups, Tags, and Tasks
#### Groups #### Tags
- `french_bench`: All tasks (non-perplexity based) - `french_bench`: All tasks (non-perplexity based)
- `french_bench_gen`: All official generative tasks - `french_bench_gen`: All official generative tasks
......
group: tag:
- french_bench - french_bench
- french_bench_mc - french_bench_mc
task: french_bench_arc_challenge task: french_bench_arc_challenge
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "D'après l'information dans le contexte donné, quelle est la réponse à la question ?" description: "D'après l'information dans le contexte donné, quelle est la réponse à la question ?"
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'." description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'."
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "D'après l'information présente dans le contexte, est il possible de répondre à la question ?" description: "D'après l'information présente dans le contexte, est il possible de répondre à la question ?"
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_gen - french_bench_gen
description: "D'après l'information dans le contexte donné, quelle question a été posée pour obtenir la réponse donnée ?" description: "D'après l'information dans le contexte donné, quelle question a été posée pour obtenir la réponse donnée ?"
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_gen - french_bench_gen
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'." description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'."
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_mc - french_bench_mc
description: "Répond au mieux en complétant la question avec une des réponses proposées." description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
group: tag:
- french_bench - french_bench
- french_bench_mc - french_bench_mc
task: french_bench_hellaswag task: french_bench_hellaswag
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_gen - french_bench_gen
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques extraits du contexte." description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques extraits du contexte."
......
group: tag:
- french_bench_perplexity - french_bench_perplexity
task: french_bench_opus_perplexity task: french_bench_opus_perplexity
dataset_path: manu/opus100-en-fr dataset_path: manu/opus100-en-fr
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_gen - french_bench_gen
description: "Résume l'article en une phrase." description: "Résume l'article en une phrase."
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "Trouve le titre de l'article." description: "Trouve le titre de l'article."
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
# description: "Répond au mieux en complétant la question avec une des réponses proposées." # description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "A propos du thème spécifié, l'avis client est il positif, négatif, ou neutre ?" description: "A propos du thème spécifié, l'avis client est il positif, négatif, ou neutre ?"
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_gen - french_bench_gen
task: french_bench_trivia task: french_bench_trivia
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_mc - french_bench_mc
# description: "Répond au mieux en complétant la question avec une des réponses proposées." # description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment