Merge branch 'main' into metrics

# Conflicts:
#	lm_eval/models/vllm_causallms.py
#	pyproject.toml

lm_eval/tasks/mmlu_prox/sr/_sr_template_yaml

+dataset_path: li-lab/MMLU-ProX
+dataset_name: sr
+test_split: test
+fewshot_split: validation
+fewshot_config:
+  sampler: first_n
+  doc_to_text: !function utils.fewshot_to_text
+  doc_to_target: ""
+output_type: generate_until
+doc_to_text: !function utils.doc_to_text
+doc_to_target: answer
+filter_list:
+  - name: "custom-extract"
+    filter:
+      - function: "regex"
+        regex_pattern: 'Odgovor je \(?([ABCDEFGHIJ])\)?'
+      - function: "take_first"
+generation_kwargs:
+  until:
+    - "</s>"
+    - "Q:"
+    - "Pitanje:"
+    - "<|im_end|>"
+  do_sample: false
+  temperature: 0.0
+  max_gen_toks: 2048
+num_fewshot: 5
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+metadata:
+  version: 0.0

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_biology.yaml

+description: 'Evo pitanja sa višestrukim izborom o biologija (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_biology
+task_alias: biology
+process_docs: !function utils.process_biology

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_business.yaml

+description: 'Evo pitanja sa višestrukim izborom o poslovanje (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_business
+task_alias: business
+process_docs: !function utils.process_business

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_chemistry.yaml

+description: 'Evo pitanja sa višestrukim izborom o hemija (sa odgovorom). Molimo vas
+  da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde je
+  X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_chemistry
+task_alias: chemistry
+process_docs: !function utils.process_chemistry

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_computer_science.yaml

+description: 'Evo pitanja sa višestrukim izborom o računarstvo (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_computer_science
+task_alias: computer_science
+process_docs: !function utils.process_computer_science

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_economics.yaml

+description: 'Evo pitanja sa višestrukim izborom o ekonomija (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_economics
+task_alias: economics
+process_docs: !function utils.process_economics

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_engineering.yaml

+description: 'Evo pitanja sa višestrukim izborom o inženjerstvo (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_engineering
+task_alias: engineering
+process_docs: !function utils.process_engineering

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_health.yaml

+description: 'Evo pitanja sa višestrukim izborom o zdravlje (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_health
+task_alias: health
+process_docs: !function utils.process_health

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_history.yaml

+description: 'Evo pitanja sa višestrukim izborom o istorija (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_history
+task_alias: history
+process_docs: !function utils.process_history

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_law.yaml

+description: 'Evo pitanja sa višestrukim izborom o pravo (sa odgovorom). Molimo vas
+  da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde je
+  X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_law
+task_alias: law
+process_docs: !function utils.process_law

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_math.yaml

+description: 'Evo pitanja sa višestrukim izborom o matematika (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_math
+task_alias: math
+process_docs: !function utils.process_math

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_other.yaml

+description: 'Evo pitanja sa višestrukim izborom o ostalo (sa odgovorom). Molimo vas
+  da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde je
+  X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_other
+task_alias: other
+process_docs: !function utils.process_other

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_philosophy.yaml

+description: 'Evo pitanja sa višestrukim izborom o filozofija (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_philosophy
+task_alias: philosophy
+process_docs: !function utils.process_philosophy

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_physics.yaml

+description: 'Evo pitanja sa višestrukim izborom o fizika (sa odgovorom). Molimo vas
+  da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde je
+  X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_physics
+task_alias: physics
+process_docs: !function utils.process_physics

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_lite_sr_psychology.yaml

+description: 'Evo pitanja sa višestrukim izborom o psihologija (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_lite_template_yaml
+task: mmlu_prox_lite_sr_psychology
+task_alias: psychology
+process_docs: !function utils.process_psychology

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_sr_biology.yaml

+description: 'Evo pitanja sa višestrukim izborom o biologija (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_template_yaml
+task: mmlu_prox_sr_biology
+task_alias: biology
+process_docs: !function utils.process_biology

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_sr_business.yaml

+description: 'Evo pitanja sa višestrukim izborom o poslovanje (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_template_yaml
+task: mmlu_prox_sr_business
+task_alias: business
+process_docs: !function utils.process_business

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_sr_chemistry.yaml

+description: 'Evo pitanja sa višestrukim izborom o hemija (sa odgovorom). Molimo vas
+  da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde je
+  X slovo tačne opcije.
+
+  '
+include: _sr_template_yaml
+task: mmlu_prox_sr_chemistry
+task_alias: chemistry
+process_docs: !function utils.process_chemistry

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_sr_computer_science.yaml

+description: 'Evo pitanja sa višestrukim izborom o računarstvo (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_template_yaml
+task: mmlu_prox_sr_computer_science
+task_alias: computer_science
+process_docs: !function utils.process_computer_science

lm_eval/tasks/mmlu_prox/sr/mmlu_prox_sr_economics.yaml

+description: 'Evo pitanja sa višestrukim izborom o ekonomija (sa odgovorom). Molimo
+  vas da razmislite korak po korak i završite svoj odgovor sa "Odgovor je (X)", gde
+  je X slovo tačne opcije.
+
+  '
+include: _sr_template_yaml
+task: mmlu_prox_sr_economics
+task_alias: economics
+process_docs: !function utils.process_economics