Merge branch 'main' into comma

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_lite_ur_math.yaml

+description: 'درج ذیل ریاضی کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔ براہ
+  کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں، جہاں
+  X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_lite_template_yaml
+task: mmlu_prox_lite_ur_math
+task_alias: math
+process_docs: !function utils.process_math

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_lite_ur_other.yaml

+description: 'درج ذیل دیگر کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔ براہ
+  کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں، جہاں
+  X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_lite_template_yaml
+task: mmlu_prox_lite_ur_other
+task_alias: other
+process_docs: !function utils.process_other

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_lite_ur_philosophy.yaml

+description: 'درج ذیل فلسفہ کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔ براہ
+  کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں، جہاں
+  X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_lite_template_yaml
+task: mmlu_prox_lite_ur_philosophy
+task_alias: philosophy
+process_docs: !function utils.process_philosophy

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_lite_ur_physics.yaml

+description: 'درج ذیل طبیعیات کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔
+  براہ کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں،
+  جہاں X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_lite_template_yaml
+task: mmlu_prox_lite_ur_physics
+task_alias: physics
+process_docs: !function utils.process_physics

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_lite_ur_psychology.yaml

+description: 'درج ذیل نفسیات کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔
+  براہ کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں،
+  جہاں X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_lite_template_yaml
+task: mmlu_prox_lite_ur_psychology
+task_alias: psychology
+process_docs: !function utils.process_psychology

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_biology.yaml

+description: 'درج ذیل حیاتیات کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔
+  براہ کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں،
+  جہاں X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_biology
+task_alias: biology
+process_docs: !function utils.process_biology

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_business.yaml

+description: 'درج ذیل کاروبار کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔
+  براہ کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں،
+  جہاں X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_business
+task_alias: business
+process_docs: !function utils.process_business

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_chemistry.yaml

+description: 'درج ذیل کیمیا کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔ براہ
+  کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں، جہاں
+  X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_chemistry
+task_alias: chemistry
+process_docs: !function utils.process_chemistry

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_computer_science.yaml

+description: 'درج ذیل کمپیوٹر سائنس کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے
+  ساتھ)۔ براہ کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم
+  کریں، جہاں X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_computer_science
+task_alias: computer_science
+process_docs: !function utils.process_computer_science

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_economics.yaml

+description: 'درج ذیل معاشیات کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔
+  براہ کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں،
+  جہاں X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_economics
+task_alias: economics
+process_docs: !function utils.process_economics

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_engineering.yaml

+description: 'درج ذیل انجینئرنگ کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔
+  براہ کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں،
+  جہاں X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_engineering
+task_alias: engineering
+process_docs: !function utils.process_engineering

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_health.yaml

+description: 'درج ذیل صحت کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔ براہ
+  کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں، جہاں
+  X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_health
+task_alias: health
+process_docs: !function utils.process_health

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_history.yaml

+description: 'درج ذیل تاریخ کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔ براہ
+  کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں، جہاں
+  X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_history
+task_alias: history
+process_docs: !function utils.process_history

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_law.yaml

+description: 'درج ذیل قانون کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔ براہ
+  کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں، جہاں
+  X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_law
+task_alias: law
+process_docs: !function utils.process_law

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_math.yaml

+description: 'درج ذیل ریاضی کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔ براہ
+  کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں، جہاں
+  X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_math
+task_alias: math
+process_docs: !function utils.process_math

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_other.yaml

+description: 'درج ذیل دیگر کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔ براہ
+  کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں، جہاں
+  X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_other
+task_alias: other
+process_docs: !function utils.process_other

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_philosophy.yaml

+description: 'درج ذیل فلسفہ کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔ براہ
+  کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں، جہاں
+  X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_philosophy
+task_alias: philosophy
+process_docs: !function utils.process_philosophy

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_physics.yaml

+description: 'درج ذیل طبیعیات کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔
+  براہ کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں،
+  جہاں X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_physics
+task_alias: physics
+process_docs: !function utils.process_physics

lm_eval/tasks/mmlu_prox/ur/mmlu_prox_ur_psychology.yaml

+description: 'درج ذیل نفسیات کے متعلق ایک متعدد انتخابی سوال ہے (جوابات کے ساتھ)۔
+  براہ کرم قدم بہ قدم سوچیں، اور پھر اپنے جواب کو "جواب (X) ہے" کے ساتھ ختم کریں،
+  جہاں X درست آپشن کا حرف ہے۔
+
+  '
+include: _ur_template_yaml
+task: mmlu_prox_ur_psychology
+task_alias: psychology
+process_docs: !function utils.process_psychology

lm_eval/tasks/mmlu_prox/ur/utils.py

+from functools import partial
+from os.path import basename, dirname
+
+from lm_eval.tasks.mmlu_prox.lang_libs import LANG_LIBS
+
+
+lang_abbr = basename(dirname(__file__))
+lang_dict = LANG_LIBS[lang_abbr]
+
+choices = [
+    "A",
+    "B",
+    "C",
+    "D",
+    "E",
+    "F",
+    "G",
+    "H",
+    "I",
+    "J",
+    "K",
+    "L",
+    "M",
+    "N",
+    "O",
+    "P",
+]
+
+max_opt_num = 10
+
+
+def format_cot_example(example, including_answer=True):
+    prompt = f"{lang_dict[0]}\n"
+    question = example["question"]
+    prompt += question + "\n"
+    prompt += f"{lang_dict[1]}\n"
+    for i in range(max_opt_num):
+        opt = example[f"option_{i}"]
+        if opt is not None:
+            prompt += "{}. {}\n".format(choices[i], opt)
+    if including_answer:
+        cot_content = example["cot_content"].replace(lang_dict[4], lang_dict[2])
+        prompt += cot_content + "\n\n"
+    else:
+        prompt += lang_dict[2]
+    return prompt
+
+
+doc_to_text = partial(format_cot_example, including_answer=False)
+fewshot_to_text = partial(format_cot_example, including_answer=True)
+
+
+def process_docs(dataset, subject):
+    return dataset.filter(lambda x: x["category"] == subject)
+
+
+process_biology = partial(process_docs, subject="biology")
+process_business = partial(process_docs, subject="business")
+process_chemistry = partial(process_docs, subject="chemistry")
+process_computer_science = partial(process_docs, subject="computer science")
+process_economics = partial(process_docs, subject="economics")
+process_engineering = partial(process_docs, subject="engineering")
+process_health = partial(process_docs, subject="health")
+process_history = partial(process_docs, subject="history")
+process_law = partial(process_docs, subject="law")
+process_math = partial(process_docs, subject="math")
+process_other = partial(process_docs, subject="other")
+process_philosophy = partial(process_docs, subject="philosophy")
+process_physics = partial(process_docs, subject="physics")
+process_psychology = partial(process_docs, subject="psychology")