"examples/asr/emformer_rnnt/common.py" did not exist on "87d7694d08d9873b1c9e8cf7e8fe92ea398a1488"
Commit 7d09b24c authored by haileyschoelkopf's avatar haileyschoelkopf
Browse files

fix alllll the merge conflicts

parents 96dfe976 6348b947
group: csatqa
dataset_path: EleutherAI/csatqa
test_split: test
output_type: multiple_choice
......
......@@ -12,7 +12,7 @@ class FDA(ConfigurableTask):
DATASET_PATH = "hazyresearch/based-fda"
DATASET_NAME = "default"
def __init__(self):
def __init__(self, **kwargs):
super().__init__(config={"metadata": {"version": self.VERSION}})
def has_training_docs(self):
......
group:
- fld
task: fld_default
dataset_path: hitachi-nlp/FLD.v2
dataset_name: default
......
......@@ -20,9 +20,9 @@ This benchmark is constructed both from openly available datasets, as well as ne
}
```
### Groups and Tasks
### Groups, Tags, and Tasks
#### Groups
#### Tags
- `french_bench`: All tasks (non-perplexity based)
- `french_bench_gen`: All official generative tasks
......
group:
tag:
- french_bench
- french_bench_mc
task: french_bench_arc_challenge
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "D'après l'information dans le contexte donné, quelle est la réponse à la question ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "D'après l'information présente dans le contexte, est il possible de répondre à la question ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "D'après l'information dans le contexte donné, quelle question a été posée pour obtenir la réponse donnée ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques mots du contexte. Si il est impossible de répondre avec les informations du contexte, répond 'Impossible'."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_mc
description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
group:
tag:
- french_bench
- french_bench_mc
task: french_bench_hellaswag
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "D'après l'information dans le contexte donné, donne la réponse à la question en citant quelques extraits du contexte."
......
group:
tag:
- french_bench_perplexity
task: french_bench_opus_perplexity
dataset_path: manu/opus100-en-fr
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
description: "Résume l'article en une phrase."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "Trouve le titre de l'article."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
# description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_extra
description: "A propos du thème spécifié, l'avis client est il positif, négatif, ou neutre ?"
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_gen
task: french_bench_trivia
......
include: "_default_template_yaml"
group:
tag:
- french_bench
- french_bench_mc
# description: "Répond au mieux en complétant la question avec une des réponses proposées."
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment