Commit 948f120f authored by Baber's avatar Baber
Browse files

Merge branch 'main' into autobatchtest

# Conflicts:
#	lm_eval/models/huggingface.py
parents a5b1c7a8 bd80a6c0
group:
- fld
task: fld_default task: fld_default
dataset_path: hitachi-nlp/FLD.v2 dataset_path: hitachi-nlp/FLD.v2
dataset_name: default dataset_name: default
......
...@@ -20,9 +20,9 @@ This benchmark is constructed both from openly available datasets, as well as ne ...@@ -20,9 +20,9 @@ This benchmark is constructed both from openly available datasets, as well as ne
} }
``` ```
### Groups and Tasks ### Groups, Tags, and Tasks
#### Groups #### Tags
- `french_bench`: All tasks (non-perplexity based) - `french_bench`: All tasks (non-perplexity based)
- `french_bench_gen`: All official generative tasks - `french_bench_gen`: All official generative tasks
......
group: tag:
- french_bench - french_bench
- french_bench_mc - french_bench_mc
task: french_bench_arc_challenge task: french_bench_arc_challenge
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "D'après l'information dans le contexte donné, quelle est la réponse à la question ?" description: "D'après l'information dans le contexte donné, quelle est la réponse à la question ?"
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'." description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'."
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "D'après l'information présente dans le contexte, est il possible de répondre à la question ?" description: "D'après l'information présente dans le contexte, est il possible de répondre à la question ?"
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_gen - french_bench_gen
description: "D'après l'information dans le contexte donné, quelle question a été posée pour obtenir la réponse donnée ?" description: "D'après l'information dans le contexte donné, quelle question a été posée pour obtenir la réponse donnée ?"
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_gen - french_bench_gen
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'." description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'."
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_mc - french_bench_mc
description: "Répond au mieux en complétant la question avec une des réponses proposées." description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
group: tag:
- french_bench - french_bench
- french_bench_mc - french_bench_mc
task: french_bench_hellaswag task: french_bench_hellaswag
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_gen - french_bench_gen
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques extraits du contexte." description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques extraits du contexte."
......
group: tag:
- french_bench_perplexity - french_bench_perplexity
task: french_bench_opus_perplexity task: french_bench_opus_perplexity
dataset_path: manu/opus100-en-fr dataset_path: manu/opus100-en-fr
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_gen - french_bench_gen
description: "Résume l'article en une phrase." description: "Résume l'article en une phrase."
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "Trouve le titre de l'article." description: "Trouve le titre de l'article."
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
# description: "Répond au mieux en complétant la question avec une des réponses proposées." # description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "A propos du thème spécifié, l'avis client est il positif, négatif, ou neutre ?" description: "A propos du thème spécifié, l'avis client est il positif, négatif, ou neutre ?"
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_gen - french_bench_gen
task: french_bench_trivia task: french_bench_trivia
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_mc - french_bench_mc
# description: "Répond au mieux en complétant la question avec une des réponses proposées." # description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
group: tag:
- french_bench_perplexity - french_bench_perplexity
task: french_bench_wikitext_fr task: french_bench_wikitext_fr
dataset_path: asi/wikitext_fr dataset_path: asi/wikitext_fr
......
include: "_default_template_yaml" include: "_default_template_yaml"
group: tag:
- french_bench - french_bench
- french_bench_extra - french_bench_extra
description: "La prémisse et l'hypothèse sont elles en accord, neutres en elles, ou en contradiction ?" description: "La prémisse et l'hypothèse sont elles en accord, neutres en elles, ou en contradiction ?"
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment