Merge branch 'main' of https://github.com/EleutherAI/lm-evaluation-harness into mela

741a6a69 · lintangsutawika · 494a4515 · b536f067 · 741a6a69 · 741a6a69
Commit 741a6a69 authored Aug 20, 2024 by lintangsutawika
20 changed files
--- a/lm_eval/tasks/afrimgsm/direct/afrimgsm_direct_zul.yaml
+++ b/lm_eval/tasks/afrimgsm/direct/afrimgsm_direct_zul.yaml
--- a/lm_eval/tasks/afrimgsm/direct/direct_yaml
+++ b/lm_eval/tasks/afrimgsm/direct/direct_yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_amh.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_amh.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_eng.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_eng.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_ewe.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_ewe.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_fra.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_fra.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_hau.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_hau.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_ibo.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_ibo.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_kin.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_kin.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_lin.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_lin.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_lug.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_lug.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_orm.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_orm.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_sna.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_sna.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_sot.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_sot.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_swa.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_swa.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_twi.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_twi.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_wol.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_wol.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_xho.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_xho.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_yor.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_yor.yaml
--- a/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_zul.yaml
+++ b/lm_eval/tasks/afrimgsm/en_cot/afrimgsm_en_cot_zul.yaml