Merge branch 'smolrefact' into tasklist

# Conflicts:
#	lm_eval/__main__.py
#	lm_eval/api/group.py
#	lm_eval/api/task.py
#	lm_eval/evaluator_utils.py
#	lm_eval/tasks/__init__.py
#	lm_eval/utils.py
#	pyproject.toml

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_computer_science.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur informatique.
+  Réfléchissez étape par étape, puis terminez votre réponse par "La réponse est (X)"
+  où X est la lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_computer_science
+task_alias: computer_science
+process_docs: !function utils.process_computer_science

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_economics.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur économie.
+  Réfléchissez étape par étape, puis terminez votre réponse par "La réponse est (X)"
+  où X est la lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_economics
+task_alias: economics
+process_docs: !function utils.process_economics

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_engineering.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur ingénierie.
+  Réfléchissez étape par étape, puis terminez votre réponse par "La réponse est (X)"
+  où X est la lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_engineering
+task_alias: engineering
+process_docs: !function utils.process_engineering

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_health.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur santé. Réfléchissez
+  étape par étape, puis terminez votre réponse par "La réponse est (X)" où X est la
+  lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_health
+task_alias: health
+process_docs: !function utils.process_health

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_history.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur histoire.
+  Réfléchissez étape par étape, puis terminez votre réponse par "La réponse est (X)"
+  où X est la lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_history
+task_alias: history
+process_docs: !function utils.process_history

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_law.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur droit. Réfléchissez
+  étape par étape, puis terminez votre réponse par "La réponse est (X)" où X est la
+  lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_law
+task_alias: law
+process_docs: !function utils.process_law

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_math.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur mathématiques.
+  Réfléchissez étape par étape, puis terminez votre réponse par "La réponse est (X)"
+  où X est la lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_math
+task_alias: math
+process_docs: !function utils.process_math

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_other.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur autre. Réfléchissez
+  étape par étape, puis terminez votre réponse par "La réponse est (X)" où X est la
+  lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_other
+task_alias: other
+process_docs: !function utils.process_other

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_philosophy.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur philosophie.
+  Réfléchissez étape par étape, puis terminez votre réponse par "La réponse est (X)"
+  où X est la lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_philosophy
+task_alias: philosophy
+process_docs: !function utils.process_philosophy

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_physics.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur physique.
+  Réfléchissez étape par étape, puis terminez votre réponse par "La réponse est (X)"
+  où X est la lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_physics
+task_alias: physics
+process_docs: !function utils.process_physics

lm_eval/tasks/mmlu_prox/fr/mmlu_prox_lite_fr_psychology.yaml

+description: 'Voici des questions à choix multiples (avec réponses) sur psychologie.
+  Réfléchissez étape par étape, puis terminez votre réponse par "La réponse est (X)"
+  où X est la lettre correspondant au bon choix.
+
+  '
+include: _fr_lite_template_yaml
+task: mmlu_prox_lite_fr_psychology
+task_alias: psychology
+process_docs: !function utils.process_psychology

lm_eval/tasks/mmlu_prox/hi/_hi_lite_template_yaml

+dataset_path: li-lab/MMLU-ProX-Lite
+dataset_name: hi
+test_split: test
+fewshot_split: validation
+fewshot_config:
+  sampler: first_n
+  doc_to_text: !function utils.fewshot_to_text
+  doc_to_target: ""
+output_type: generate_until
+doc_to_text: !function utils.doc_to_text
+doc_to_target: answer
+filter_list:
+  - name: "custom-extract"
+    filter:
+      - function: "regex"
+        regex_pattern: 'उत्तर है \(?([ABCDEFGHIJ])\)?'
+      - function: "take_first"
+generation_kwargs:
+  until:
+    - "</s>"
+    - "Q:"
+    - "प्रश्न:"
+    - "<|im_end|>"
+  do_sample: false
+  temperature: 0.0
+  max_gen_toks: 2048
+num_fewshot: 5
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+metadata:
+  version: 0.0

lm_eval/tasks/mmlu_prox/hi/_mmlu_prox_lite_hi.yaml

+group: mmlu_prox_lite_hi
+task:
+- mmlu_prox_lite_hi_biology
+- mmlu_prox_lite_hi_business
+- mmlu_prox_lite_hi_chemistry
+- mmlu_prox_lite_hi_computer_science
+- mmlu_prox_lite_hi_economics
+- mmlu_prox_lite_hi_engineering
+- mmlu_prox_lite_hi_health
+- mmlu_prox_lite_hi_history
+- mmlu_prox_lite_hi_law
+- mmlu_prox_lite_hi_math
+- mmlu_prox_lite_hi_other
+- mmlu_prox_lite_hi_philosophy
+- mmlu_prox_lite_hi_physics
+- mmlu_prox_lite_hi_psychology
+aggregate_metric_list:
+- aggregation: mean
+  metric: exact_match
+  weight_by_size: true
+  filter_list: custom-extract
+metadata:
+  version: 0.0

lm_eval/tasks/mmlu_prox/hi/mmlu_prox_lite_hi_biology.yaml

+description: 'निम्नलिखित जीव विज्ञान के बारे में बहुविकल्पीय प्रश्न (उत्तरों के साथ)
+  हैं। चरण-दर-चरण सोचें और फिर अपने उत्तर को "उत्तर है (X)" के साथ समाप्त करें जहां
+  X सही विकल्प का अक्षर है।
+
+  '
+include: _hi_lite_template_yaml
+task: mmlu_prox_lite_hi_biology
+task_alias: biology
+process_docs: !function utils.process_biology

lm_eval/tasks/mmlu_prox/hi/mmlu_prox_lite_hi_business.yaml

+description: 'निम्नलिखित व्यापार के बारे में बहुविकल्पीय प्रश्न (उत्तरों के साथ) हैं।
+  चरण-दर-चरण सोचें और फिर अपने उत्तर को "उत्तर है (X)" के साथ समाप्त करें जहां X सही
+  विकल्प का अक्षर है।
+
+  '
+include: _hi_lite_template_yaml
+task: mmlu_prox_lite_hi_business
+task_alias: business
+process_docs: !function utils.process_business

lm_eval/tasks/mmlu_prox/hi/mmlu_prox_lite_hi_chemistry.yaml

+description: 'निम्नलिखित रसायन विज्ञान के बारे में बहुविकल्पीय प्रश्न (उत्तरों के
+  साथ) हैं। चरण-दर-चरण सोचें और फिर अपने उत्तर को "उत्तर है (X)" के साथ समाप्त करें
+  जहां X सही विकल्प का अक्षर है।
+
+  '
+include: _hi_lite_template_yaml
+task: mmlu_prox_lite_hi_chemistry
+task_alias: chemistry
+process_docs: !function utils.process_chemistry

lm_eval/tasks/mmlu_prox/hi/mmlu_prox_lite_hi_computer_science.yaml

+description: 'निम्नलिखित कंप्यूटर विज्ञान के बारे में बहुविकल्पीय प्रश्न (उत्तरों
+  के साथ) हैं। चरण-दर-चरण सोचें और फिर अपने उत्तर को "उत्तर है (X)" के साथ समाप्त
+  करें जहां X सही विकल्प का अक्षर है।
+
+  '
+include: _hi_lite_template_yaml
+task: mmlu_prox_lite_hi_computer_science
+task_alias: computer_science
+process_docs: !function utils.process_computer_science

lm_eval/tasks/mmlu_prox/hi/mmlu_prox_lite_hi_economics.yaml

+description: 'निम्नलिखित अर्थशास्त्र के बारे में बहुविकल्पीय प्रश्न (उत्तरों के साथ)
+  हैं। चरण-दर-चरण सोचें और फिर अपने उत्तर को "उत्तर है (X)" के साथ समाप्त करें जहां
+  X सही विकल्प का अक्षर है।
+
+  '
+include: _hi_lite_template_yaml
+task: mmlu_prox_lite_hi_economics
+task_alias: economics
+process_docs: !function utils.process_economics

lm_eval/tasks/mmlu_prox/hi/mmlu_prox_lite_hi_engineering.yaml

+description: 'निम्नलिखित इंजीनियरिंग के बारे में बहुविकल्पीय प्रश्न (उत्तरों के साथ)
+  हैं। चरण-दर-चरण सोचें और फिर अपने उत्तर को "उत्तर है (X)" के साथ समाप्त करें जहां
+  X सही विकल्प का अक्षर है।
+
+  '
+include: _hi_lite_template_yaml
+task: mmlu_prox_lite_hi_engineering
+task_alias: engineering
+process_docs: !function utils.process_engineering

lm_eval/tasks/mmlu_prox/hi/mmlu_prox_lite_hi_health.yaml

+description: 'निम्नलिखित स्वास्थ्य के बारे में बहुविकल्पीय प्रश्न (उत्तरों के साथ)
+  हैं। चरण-दर-चरण सोचें और फिर अपने उत्तर को "उत्तर है (X)" के साथ समाप्त करें जहां
+  X सही विकल्प का अक्षर है।
+
+  '
+include: _hi_lite_template_yaml
+task: mmlu_prox_lite_hi_health
+task_alias: health
+process_docs: !function utils.process_health