Commit 948f120f authored by Baber's avatar Baber
Browse files

Merge branch 'main' into autobatchtest

# Conflicts:
#	lm_eval/models/huggingface.py
parents a5b1c7a8 bd80a6c0
group:
- fld
task: fld_default
dataset_path: hitachi-nlp/FLD.v2
dataset_name: default
......
......@@ -20,9 +20,9 @@ This benchmark is constructed both from openly available datasets, as well as ne
}
```
### Groups and Tasks
### Groups, Tags, and Tasks
#### Groups
#### Tags
- `french_bench`: All tasks (non-perplexity based)
- `french_bench_gen`: All official generative tasks
......
group:
tag:
- french_bench
- french_bench_mc
task: french_bench_arc_challenge
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "D'après l'information dans le contexte donné, quelle est la réponse à la question ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "D'après l'information présente dans le contexte, est il possible de répondre à la question ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "D'après l'information dans le contexte donné, quelle question a été posée pour obtenir la réponse donnée ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_mc
description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
group:
tag:
- french_bench
- french_bench_mc
task: french_bench_hellaswag
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques extraits du contexte."
......
group:
tag:
- french_bench_perplexity
task: french_bench_opus_perplexity
dataset_path: manu/opus100-en-fr
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "Résume l'article en une phrase."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "Trouve le titre de l'article."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
# description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "A propos du thème spécifié, l'avis client est il positif, négatif, ou neutre ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
task: french_bench_trivia
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_mc
# description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
group:
tag:
- french_bench_perplexity
task: french_bench_wikitext_fr
dataset_path: asi/wikitext_fr
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "La prémisse et l'hypothèse sont elles en accord, neutres en elles, ou en contradiction ?"
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment