group: catalan_bench
task:
    - belebele_cat_Latn
    - xnli_ca
    - catcola
    - copa_ca
    - openbookqa_ca
    - parafraseja
    - paws_ca
    - piqa_ca
    - siqa_ca
    - teca
    - wnli_ca
    - arc_ca_easy
    - arc_ca_challenge
    - xstorycloze_ca
    - xquad_ca
    - catalanqa
    - coqcat
    - flores_ca
    - cabreu
    - mgsm_direct_ca
    - phrases_va
metadata:
  version: 1.0