Unverified Commit 1b357a68 authored by Alexandre Marques's avatar Alexandre Marques Committed by GitHub
Browse files

Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency
parent 1afb190c
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0905\u092D\u0940 \u0924\u0915 \u092F\u0939 \u0938\u094D\u092A\u0937\u094D\
\u091F \u0928\u0939\u0940\u0902 \u0939\u0948 \u0915\u093F \u092E\u0943\u0924\
\u094D\u092F\u0941\u0926\u0902\u0921 \u0938\u0947 \u0938\u092E\u0941\u0926\
\u093E\u092F \u0915\u094B \u0939\u094B\u0928\u0947 \u0935\u093E\u0932\u0947\
\ \u0928\u0941\u0915\u0938\u093E\u0928 \u0938\u0947 \u092C\u091A\u093E\u0935\
\ \u0939\u094B\u0924\u093E \u0939\u0948 \u092F\u093E \u0928\u0939\u0940\u0902\
\u0964"
B: "\u0905\u092D\u0940 \u0924\u0915 \u092F\u0939 \u0938\u094D\u092A\u0937\u094D\
\u091F \u0928\u0939\u0940\u0902 \u0939\u0948 \u0915\u093F \u092E\u0943\u0924\
\u094D\u092F\u0941\u0926\u0902\u0921 \u0915\u093F\u0938\u0940 \u092D\u0940\
\ \u0935\u094D\u092F\u0915\u094D\u0924\u093F \u0915\u094B \u0939\u094B\u0928\
\u0947 \u0935\u093E\u0932\u0947 \u0928\u0941\u0915\u0938\u093E\u0928 \u0915\
\u094B \u0930\u094B\u0915\u0924\u093E \u0939\u0948 \u092F\u093E \u0928\u0939\
\u0940\u0902\u0964"
C: "\u092A\u0930\u093F\u0923\u093E\u092E\u0935\u093E\u0926 \u0905\u092B\u094D\
\u0930\u0940\u0915\u0940 \u092E\u0942\u0932\u094D\u092F\u094B\u0902 \u0926\
\u094D\u0935\u093E\u0930\u093E \u0938\u092E\u0930\u094D\u0925\u093F\u0924\
\ \u0928\u0939\u0940\u0902 \u0939\u0948\u0964"
D: "\u092D\u0932\u0947 \u0939\u0940 \u092A\u0930\u093F\u0923\u093E\u092E\u0935\
\u093E\u0926 \u0905\u092B\u094D\u0930\u0940\u0915\u0940 \u092E\u0942\u0932\
\u094D\u092F\u094B\u0902 \u0926\u094D\u0935\u093E\u0930\u093E \u0938\u092E\
\u0930\u094D\u0925\u093F\u0924 \u0939\u0948, \u0905\u092B\u094D\u0930\u0940\
\u0915\u0940 \u092E\u0942\u0932\u094D\u092F\u094B\u0902 \u0915\u0947 \u0938\
\u0902\u0926\u0930\u094D\u092D \u092E\u0947\u0902 \u0915\u094B\u0908 \u092A\
\u0930\u093F\u0923\u093E\u092E\u0935\u093E\u0926\u0940 \u0924\u0930\u094D\u0915\
\ \u092A\u0947\u0936 \u0928\u0939\u0940\u0902 \u0915\u093F\u092F\u093E \u0917\
\u092F\u093E \u0939\u0948\u0964"
input_correct_responses:
- A
input_question: "\u092E\u0947\u091F\u094D\u091C\u093C \u0915\u0947 \u0905\u0928\
\u0941\u0938\u093E\u0930, \u0905\u092B\u093C\u094D\u0930\u0940\u0915\u0940 \u092E\
\u0942\u0932\u094D\u092F\u094B\u0902 \u092A\u0930 \u0906\u0927\u093E\u0930\u093F\
\u0924 \u092E\u0943\u0924\u094D\u092F\u0941\u0926\u0902\u0921 \u0915\u0947 \u0916\
\u093C\u093F\u0932\u093E\u092B\u093C \u092A\u0930\u093F\u0923\u093E\u092E\u0935\
\u093E\u0926\u0940 \u0924\u0930\u094D\u0915\u094B\u0902 \u092E\u0947\u0902 \u0915\
\u094D\u092F\u093E \u0917\u093C\u0932\u0924 \u0939\u0948?"
- input_choice_list:
A: "\u090F\u0915 \u092F\u0941\u0917\u094D\u092E\u0928\u091C."
B: "\u090F\u0915 \u092D\u094D\u0930\u0942\u0923."
C: "\u090F\u0915 \u0935\u094D\u092F\u0935\u0939\u093E\u0930\u094D\u092F\u0924\
\u093E."
D: "\u090F\u0915 \u092C\u094D\u0932\u093E\u0938\u094D\u091F\u094B\u0938\u093F\
\u0938\u094D\u091F."
input_correct_responses:
- A
input_question: "\u0928\u093F\u0937\u0947\u091A\u093F\u0924 \u0921\u093F\u0902\
\u092C \u0915\u094B \u0928\u093F\u0937\u0947\u091A\u093F\u0924 \u0905\u0902\u0921\
\u093E\u0923\u0941 \u0915\u0947 \u0928\u093E\u092E \u0938\u0947 \u092D\u0940\
\ \u091C\u093E\u0928\u093E \u091C\u093E\u0924\u093E \u0939\u0948"
- input_choice_list:
A: "\u0909\u091A\u094D\u091A \u0935\u0930\u094D\u0917 \u092E\u0947\u0902 \u0939\
\u094B\u0928\u093E"
B: "\u0938\u092E\u0938\u094D\u092F\u093E\u0913\u0902 \u0915\u094B \u0938\u0940\
\u0916\u0928\u0947 \u0914\u0930 \u0939\u0932 \u0915\u0930\u0928\u0947 \u0915\
\u0940 \u0915\u094D\u0937\u092E\u0924\u093E"
C: "\u0905\u0927\u093F\u0915\u093E\u0902\u0936 \u0906\u092C\u093E\u0926\u0940\
\ \u0938\u0947 \u0905\u0927\u093F\u0915 \u0938\u0941\u0902\u0926\u0930 \u0939\
\u094B\u0928\u093E"
D: "\u0914\u0938\u0924 \u0938\u0947 \u091B\u094B\u091F\u093E \u0939\u094B\u0928\
\u093E"
input_correct_responses:
- B
input_question: "\u0938\u093F\u0902\u0917\u0930 \u0915\u0947 \u0905\u0928\u0941\
\u0938\u093E\u0930 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0906\u0902\
\u0924\u0930\u093F\u0915 \u0905\u091A\u094D\u091B\u093E \u0939\u0948?"
- input_choice_list:
A: "\u090F\u0938\u0938\u0940\u090F\u0928\u091F\u0940 \u090F\u0915 \u0905\u0932\
\u0917 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\u093E \u092A\u0941\u0928\
\u0930\u0941\u0924\u094D\u092A\u093E\u0926\u0928 \u0928\u0939\u0940\u0902\
\ \u0939\u0948 \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u0907\u0938\u0915\
\u0947 \u0914\u0930 \u092A\u0941\u0928\u0930\u0941\u0924\u094D\u092A\u093E\
\u0926\u0928 \u0915\u0947 \u0905\u0928\u094D\u092F \u0938\u094D\u0935\u0940\
\u0915\u093E\u0930\u094D\u092F \u0938\u093E\u0927\u0928\u094B\u0902 \u0915\
\u0947 \u092C\u0940\u091A \u0915\u094B\u0908 \u0928\u0948\u0924\u093F\u0915\
\ \u0930\u0942\u092A \u0938\u0947 \u092A\u094D\u0930\u093E\u0938\u0902\u0917\
\u093F\u0915 \u0905\u0902\u0924\u0930 \u0928\u0939\u0940\u0902 \u0939\u0948\
\u0964"
B: "\u0915\u094D\u092F\u094B\u0902\u0915\u093F \u092A\u094D\u0930\u093E\u0915\
\u0943\u0924\u093F\u0915 \u0930\u0942\u092A \u0938\u0947 \u091C\u0941\u0921\
\u093C\u0928\u0947 \u092A\u0930 \u0928\u0941\u0915\u0938\u093E\u0928 \u0915\
\u093E \u091C\u094B\u0916\u093F\u092E \u0915\u092E \u0939\u094B\u0924\u093E\
\ \u0939\u0948, SCNT \u0915\u0947 \u0932\u093F\u090F \u0928\u0941\u0915\u0938\
\u093E\u0928 \u0915\u093E \u091C\u094B\u0916\u093F\u092E \u0915\u092E \u0939\
\u094B\u0917\u093E\u0964"
C: "a \u0914\u0930 B \u0926\u094B\u0928\u094B\u0902"
D: "\u090F \u0914\u0930 \u092C\u0940 \u0926\u094B\u0928\u094B\u0902 \u0928\u0939\
\u0940\u0902"
input_correct_responses:
- A
input_question: "\u092A\u0947\u0902\u0938 \u0928\u0947 \u092A\u094D\u0930\u091C\
\u0928\u0928 \u0915\u0947 \u091B\u0939 \u0905\u0932\u0917-\u0905\u0932\u0917\
\ \u092E\u093E\u092E\u0932\u094B\u0902 \u0915\u0940 \u0924\u0941\u0932\u0928\
\u093E \u0915\u0940, \u092A\u094D\u0930\u093E\u0915\u0943\u0924\u093F\u0915\
\ \u091C\u0941\u0921\u093C\u0935\u093E\u0901 \u0938\u0947 \u0932\u0947\u0915\
\u0930 \u090F\u0938\u0938\u0940\u090F\u0928\u091F\u0940 \u0924\u0915\u0964 \u0907\
\u0938 \u0924\u0941\u0932\u0928\u093E \u0938\u0947 \u0935\u0939 \u0915\u094D\
\u092F\u093E \u0928\u093F\u0937\u094D\u0915\u0930\u094D\u0937 \u0928\u093F\u0915\
\u093E\u0932\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u0905\u0927\u093F\u0915\u093E\u0902\u0936 \u092A\u093E\u0930\u0902\u092A\
\u0930\u093F\u0915 \u0926\u093E\u0930\u094D\u0936\u0928\u093F\u0915 \u0909\
\u0926\u093E\u0939\u0930\u0923\u094B\u0902 \u0915\u0940 \u092E\u0942\u0930\
\u094D\u0916\u0924\u093E\u0964"
B: "\u0909\u0928\u094D\u0928\u0924 \u0921\u093F\u0917\u094D\u0930\u0940 \u0935\
\u093E\u0932\u0947 \u0932\u094B\u0917\u094B\u0902 \u092E\u0947\u0902 \u092C\
\u0941\u0926\u094D\u0927\u093F \u0915\u0940 \u0938\u093E\u092E\u093E\u0928\
\u094D\u092F \u0915\u092E\u0940\u0964"
C: "\u092F\u093E\u0924\u0928\u093E \u0915\u0940 \u0917\u093C\u0932\u0924\u0940\
."
D: "\u0906\u0924\u0902\u0915\u0935\u093E\u0926 \u0938\u0947 \u0928\u093F\u092A\
\u091F\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092F\u093E\u0924\u0928\
\u093E \u0915\u094B \u0938\u0930\u094D\u0935\u094B\u0924\u094D\u0924\u092E\
\ \u0938\u092E\u093E\u0927\u093E\u0928 \u0915\u0947 \u0930\u0942\u092A \u092E\
\u0947\u0902 \u0926\u0947\u0916\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
\ \u0915\u0908 \u092C\u0941\u0926\u094D\u0927\u093F\u092E\u093E\u0928 \u0932\
\u094B\u0917\u094B\u0902 \u0915\u0940 \u0924\u0924\u094D\u092A\u0930\u0924\
\u093E\u0964"
input_correct_responses:
- D
input_question: "\u092C\u0948\u0930\u0928 \u0938\u094D\u0935\u0940\u0915\u093E\
\u0930 \u0915\u0930\u0924\u0940 \u0939\u0948\u0902 \u0915\u093F \u091F\u093F\
\u0915-\u091F\u093F\u0915 \u092C\u092E \u0915\u0947 \u091C\u093F\u0928 \u0915\
\u093E\u0932\u094D\u092A\u0928\u093F\u0915 \u0938\u0902\u0938\u094D\u0915\u0930\
\u0923\u094B\u0902 \u0915\u0940 \u0935\u0939 \u091A\u0930\u094D\u091A\u093E\
\ \u0915\u0930\u0924\u0940 \u0939\u0948\u0902 \u0935\u0947 "\u0906\u0936\
\u094D\u091A\u0930\u094D\u092F\u091C\u0928\u0915 \u0930\u0942\u092A \u0938\u0947\
\ \u092E\u0942\u0930\u094D\u0916\u0924\u093E\u092A\u0942\u0930\u094D\u0923"\
\ \u0939\u0948\u0902, \u0932\u0947\u0915\u093F\u0928 \u0909\u0928\u0915\u093E\
\ \u0926\u093E\u0935\u093E \u0939\u0948 \u0915\u093F \u092F\u0939 \u0935\u093E\
\u0938\u094D\u0924\u0935 \u092E\u0947\u0902 \u0907\u0938\u0915\u093E \u092A\u094D\
\u0930\u092E\u093E\u0923 \u0939\u0948"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_moral_disputes
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_moral_disputes
task_alias: moral_disputes
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0917\u0932\u0924 \u0917\u0932\u0924"
B: "\u0917\u093C\u0932\u0924, \u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902"
C: "\u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902, \u0917\u093C\u0932\u0924"
D: "\u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902, \u0917\u093C\u0932\u0924\
\ \u0928\u0939\u0940\u0902"
input_correct_responses:
- C
input_question: "2020 \u0924\u0915 \u0905\u092E\u0947\u0930\u093F\u0915\u093E\
\ \u092E\u0947\u0902 \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0928\u0948\
\u0924\u093F\u0915 \u092E\u093E\u0928\u0915\u094B\u0902 \u0915\u0947 \u0905\u0928\
\u0941\u0938\u093E\u0930, \u0907\u0928 \u0926\u094B\u0928\u094B\u0902 \u092E\
\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u092A\u0930\u093F\u0926\u0943\u0936\
\u094D\u092F \u0915\u0947 \u0932\u093F\u090F \u092E\u0941\u0916\u094D\u092F\
\ \u092A\u093E\u0924\u094D\u0930 (\u091C\u094B I/me/my \u0915\u093E \u0909\u092A\
\u092F\u094B\u0917 \u0915\u0930\u0924\u093E \u0939\u0948) \u0938\u094D\u092A\
\u0937\u094D\u091F \u0930\u0942\u092A \u0938\u0947 \u0928\u0948\u0924\u093F\u0915\
\ \u0930\u0942\u092A \u0938\u0947 \u0915\u0941\u091B \u0917\u0932\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948? \u092A\u0930\u093F\u0926\u0943\u0936\u094D\u092F\
\ 1 | \u092E\u0948\u0902 \u0935\u093E\u0938\u094D\u0924\u0935 \u092E\u0947\u0902\
\ \u0905\u092A\u0928\u0947 \u0928\u0935\u091C\u093E\u0924 \u0936\u093F\u0936\
\u0941 \u0938\u0947 \u092A\u094D\u092F\u093E\u0930 \u0915\u0930\u0924\u0940\
\ \u0925\u0940\u0964 \u092A\u0930\u093F\u0926\u0943\u0936\u094D\u092F 2 | \u0928\
\u0908 \u0932\u0921\u093C\u0915\u0940 \u0915\u094B \u091F\u094D\u0930\u0947\u0932\
\u0930 \u092A\u093E\u0930\u094D\u0915 \u092E\u0947\u0902 \u0930\u0939\u0928\u0947\
\ \u092E\u0947\u0902 \u0936\u0930\u094D\u092E \u0906\u0924\u0940 \u0939\u0948\
, \u0907\u0938\u0932\u093F\u090F \u092E\u0948\u0902 \u0915\u094D\u0932\u093E\
\u0938 \u0915\u094B \u0909\u0938\u0915\u0947 \u0918\u0930 \u092A\u0930 \u0906\
\u092E\u0902\u0924\u094D\u0930\u093F\u0924 \u0915\u0930\u0924\u093E \u0939\u0942\
\u0902\u0964"
- input_choice_list:
A: "\u0917\u0932\u0924 \u0917\u0932\u0924"
B: "\u0917\u093C\u0932\u0924, \u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902"
C: "\u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902, \u0917\u093C\u0932\u0924"
D: "\u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902, \u0917\u093C\u0932\u0924\
\ \u0928\u0939\u0940\u0902"
input_correct_responses:
- C
input_question: "2020 \u0924\u0915 \u0905\u092E\u0947\u0930\u093F\u0915\u093E\
\ \u092E\u0947\u0902 \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0928\u0948\
\u0924\u093F\u0915 \u092E\u093E\u0928\u0915\u094B\u0902 \u0915\u0947 \u0905\u0928\
\u0941\u0938\u093E\u0930, \u0907\u0928 \u0926\u094B\u0928\u094B\u0902 \u092E\
\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u092A\u0930\u093F\u0926\u0943\u0936\
\u094D\u092F \u0915\u0947 \u0932\u093F\u090F \u092E\u0941\u0916\u094D\u092F\
\ \u092A\u093E\u0924\u094D\u0930 (\u091C\u094B I/me/my \u0915\u093E \u0909\u092A\
\u092F\u094B\u0917 \u0915\u0930\u0924\u093E \u0939\u0948) \u0938\u094D\u092A\
\u0937\u094D\u091F \u0930\u0942\u092A \u0938\u0947 \u0928\u0948\u0924\u093F\u0915\
\ \u0930\u0942\u092A \u0938\u0947 \u0915\u0941\u091B \u0917\u0932\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948? \u092A\u0930\u093F\u0926\u0943\u0936\u094D\u092F\
\ 1 | \u092E\u0948\u0902\u0928\u0947 \u0926\u0941\u0915\u093E\u0928 \u0915\u0947\
\ \u092C\u093E\u0939\u0930 \u090F\u0915 \u0906\u0926\u092E\u0940 \u0938\u0947\
\ \u0938\u093F\u0917\u0930\u0947\u091F \u092E\u093E\u0902\u0917\u0940\u0964\
\ \u092A\u0930\u093F\u0926\u0943\u0936\u094D\u092F 2 | \u091C\u092C \u0938\u0941\
\u0930\u0915\u094D\u0937\u093E \u0917\u093E\u0930\u094D\u0921 \u0928\u0947 \u0905\
\u092A\u0928\u093E \u092A\u0926 \u091B\u094B\u0921\u093C\u093E, \u0924\u094B\
\ \u092E\u0947\u0930\u0940 \u091C\u0947\u092C \u092E\u0947\u0902 \u090F\u0915\
\ \u0926\u0941\u0930\u094D\u0932\u092D \u0938\u093F\u0915\u094D\u0915\u093E\
\ \u091A\u0932\u093E \u0917\u092F\u093E\u0964"
- input_choice_list:
A: "\u0917\u0932\u0924 \u0917\u0932\u0924"
B: "\u0917\u093C\u0932\u0924, \u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902"
C: "\u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902, \u0917\u093C\u0932\u0924"
D: "\u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902, \u0917\u093C\u0932\u0924\
\ \u0928\u0939\u0940\u0902"
input_correct_responses:
- D
input_question: "2020 \u0924\u0915 \u0905\u092E\u0947\u0930\u093F\u0915\u093E\
\ \u092E\u0947\u0902 \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0928\u0948\
\u0924\u093F\u0915 \u092E\u093E\u0928\u0915\u094B\u0902 \u0915\u0947 \u0905\u0928\
\u0941\u0938\u093E\u0930, \u0907\u0928 \u0926\u094B\u0928\u094B\u0902 \u092E\
\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u092A\u0930\u093F\u0926\u0943\u0936\
\u094D\u092F \u0915\u0947 \u0932\u093F\u090F \u092E\u0941\u0916\u094D\u092F\
\ \u092A\u093E\u0924\u094D\u0930 (\u091C\u094B I/me/my \u0915\u093E \u0909\u092A\
\u092F\u094B\u0917 \u0915\u0930\u0924\u093E \u0939\u0948) \u0938\u094D\u092A\
\u0937\u094D\u091F \u0930\u0942\u092A \u0938\u0947 \u0928\u0948\u0924\u093F\u0915\
\ \u0930\u0942\u092A \u0938\u0947 \u0915\u0941\u091B \u0917\u0932\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948? \u092A\u0930\u093F\u0926\u0943\u0936\u094D\u092F\
\ 1 | \u092E\u0948\u0902\u0928\u0947 \u0915\u093E\u092E \u0915\u0947 \u0932\u093F\
\u090F \u090F\u0915 \u092A\u0941\u0930\u093E\u0928\u093E \u092A\u093F\u0915\
-\u0905\u092A \u091F\u094D\u0930\u0915 \u0916\u0930\u0940\u0926\u093E\u0964\
\ \u092A\u0930\u093F\u0926\u0943\u0936\u094D\u092F 2 | \u092E\u0948\u0902\u0928\
\u0947 \u0916\u0942\u092C\u0938\u0942\u0930\u0924 \u091D\u0930\u0928\u0947 \u0915\
\u0940 \u0913\u0930 \u0926\u0947\u0916\u093E \u0914\u0930 \u0909\u0938 \u092A\
\u0930 \u090F\u0915 \u091A\u091F\u094D\u091F\u093E\u0928 \u092B\u0947\u0902\u0915\
\u0940\u0964"
- input_choice_list:
A: "\u0917\u0932\u0924 \u0917\u0932\u0924"
B: "\u0917\u093C\u0932\u0924, \u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902"
C: "\u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902, \u0917\u093C\u0932\u0924"
D: "\u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902, \u0917\u093C\u0932\u0924\
\ \u0928\u0939\u0940\u0902"
input_correct_responses:
- B
input_question: "2020 \u0924\u0915 \u0905\u092E\u0947\u0930\u093F\u0915\u093E\
\ \u092E\u0947\u0902 \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0928\u0948\
\u0924\u093F\u0915 \u092E\u093E\u0928\u0915\u094B\u0902 \u0915\u0947 \u0905\u0928\
\u0941\u0938\u093E\u0930, \u0907\u0928 \u0926\u094B\u0928\u094B\u0902 \u092E\
\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u092A\u0930\u093F\u0926\u0943\u0936\
\u094D\u092F \u0915\u0947 \u0932\u093F\u090F \u092E\u0941\u0916\u094D\u092F\
\ \u092A\u093E\u0924\u094D\u0930 (\u091C\u094B I/me/my \u0915\u093E \u0909\u092A\
\u092F\u094B\u0917 \u0915\u0930\u0924\u093E \u0939\u0948) \u0938\u094D\u092A\
\u0937\u094D\u091F \u0930\u0942\u092A \u0938\u0947 \u0928\u0948\u0924\u093F\u0915\
\ \u0930\u0942\u092A \u0938\u0947 \u0915\u0941\u091B \u0917\u0932\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948? \u092A\u0930\u093F\u0926\u0943\u0936\u094D\u092F\
\ 1 | \u0918\u0930 \u0924\u094B\u0921\u093C\u0928\u0947 \u0915\u0947 \u0926\u094C\
\u0930\u093E\u0928 \u092E\u0948\u0902\u0928\u0947 \u0909\u0938\u0947 \u0926\u0940\
\u0935\u093E\u0930 \u092E\u0947\u0902 \u0927\u0915\u094D\u0915\u093E \u0926\u0947\
\ \u0926\u093F\u092F\u093E. \u092A\u0930\u093F\u0926\u0943\u0936\u094D\u092F\
\ 2 | \u091C\u092C \u092E\u0948\u0902 \u0905\u092A\u0928\u0940 \u091C\u0941\u0921\
\u093C\u0935\u093E\u0901 \u092D\u0924\u0940\u091C\u093F\u092F\u094B\u0902 \u0915\
\u0947 \u0932\u093F\u090F \u090F\u0915 \u0926\u093E\u0908 \u0915\u093E \u091A\
\u092F\u0928 \u0915\u0930\u0924\u093E \u0939\u0942\u0901, \u0924\u094B \u092E\
\u0941\u091D\u0947 \u0909\u0938\u0915\u0940 \u0928\u0938\u094D\u0932\u0940\u092F\
\ \u092A\u0943\u0937\u094D\u0920\u092D\u0942\u092E\u093F \u0915\u0940 \u092A\
\u0930\u0935\u093E\u0939 \u0928\u0939\u0940\u0902 \u0939\u094B\u0924\u0940\u0964"
- input_choice_list:
A: "\u0917\u0932\u0924 \u0917\u0932\u0924"
B: "\u0917\u093C\u0932\u0924, \u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902"
C: "\u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902, \u0917\u093C\u0932\u0924"
D: "\u0917\u093C\u0932\u0924 \u0928\u0939\u0940\u0902, \u0917\u093C\u0932\u0924\
\ \u0928\u0939\u0940\u0902"
input_correct_responses:
- A
input_question: "2020 \u0924\u0915 \u0905\u092E\u0947\u0930\u093F\u0915\u093E\
\ \u092E\u0947\u0902 \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0928\u0948\
\u0924\u093F\u0915 \u092E\u093E\u0928\u0915\u094B\u0902 \u0915\u0947 \u0905\u0928\
\u0941\u0938\u093E\u0930, \u0907\u0928 \u0926\u094B\u0928\u094B\u0902 \u092E\
\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u092A\u0930\u093F\u0926\u0943\u0936\
\u094D\u092F \u0915\u0947 \u0932\u093F\u090F \u092E\u0941\u0916\u094D\u092F\
\ \u092A\u093E\u0924\u094D\u0930 (\u091C\u094B I/me/my \u0915\u093E \u0909\u092A\
\u092F\u094B\u0917 \u0915\u0930\u0924\u093E \u0939\u0948) \u0938\u094D\u092A\
\u0937\u094D\u091F \u0930\u0942\u092A \u0938\u0947 \u0928\u0948\u0924\u093F\u0915\
\ \u0930\u0942\u092A \u0938\u0947 \u0915\u0941\u091B \u0917\u0932\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948? \u092A\u0930\u093F\u0926\u0943\u0936\u094D\u092F\
\ 1 | \u092C\u093E\u0930 \u092E\u0947\u0902 \u0909\u0938\u0928\u0947 \u092E\u0941\
\u091D\u0947 \u092A\u0930\u0947\u0936\u093E\u0928 \u0915\u093F\u092F\u093E \u0924\
\u094B \u092E\u0948\u0902\u0928\u0947 \u0909\u0938\u0915\u093E \u092C\u091F\u0941\
\u0906 \u0932\u0947 \u0932\u093F\u092F\u093E\u0964 \u092A\u0930\u093F\u0926\u0943\
\u0936\u094D\u092F 2 | \u092E\u0948\u0902\u0928\u0947 \u0905\u092A\u0928\u0947\
\ \u0928\u0935\u091C\u093E\u0924 \u0936\u093F\u0936\u0941 \u0915\u094B \u092A\
\u094D\u092F\u093E\u0930 \u0915\u093F\u092F\u093E\u0964"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_moral_scenarios
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_moral_scenarios
task_alias: moral_scenarios
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u091A\u093E\u092F \u092A\u0940\u0928\u0947 \u0935\u093E\u0932\u094B\u0902\
\ \u0915\u094B \u092E\u0927\u0941\u092E\u0947\u0939 \u0939\u094B\u0928\u0947\
\ \u0915\u093E \u0916\u0924\u0930\u093E \u0915\u092E \u0939\u094B\u0924\u093E\
\ \u0939\u0948\u0964"
B: "\u091A\u093E\u092F \u092A\u0940\u0928\u0947 \u0935\u093E\u0932\u094B\u0902\
\ \u0915\u094B \u092E\u0927\u0941\u092E\u0947\u0939 \u0939\u094B\u0928\u0947\
\ \u0915\u093E \u0916\u0924\u0930\u093E \u0905\u0927\u093F\u0915 \u0939\u094B\
\u0924\u093E \u0939\u0948\u0964"
C: "\u0926\u0940 \u0917\u0908 \u091C\u093E\u0928\u0915\u093E\u0930\u0940 \u0915\
\u0947 \u0906\u0927\u093E\u0930 \u092A\u0930 \u0939\u092E \u092F\u0939 \u0928\
\u0939\u0940\u0902 \u092C\u0924\u093E \u0938\u0915\u0924\u0947 \u0915\u093F\
\ \u092C\u0940\u092E\u093E\u0930\u0940 \u0915\u0947 \u091C\u094B\u0916\u093F\
\u092E \u092E\u0947\u0902 \u0926\u0947\u0916\u093E \u0917\u092F\u093E \u0905\
\u0902\u0924\u0930 \u0938\u0902\u092F\u094B\u0917 \u0915\u093E \u092A\u0930\
\u093F\u0923\u093E\u092E \u0939\u0948 \u092F\u093E \u0928\u0939\u0940\u0902\
\u0964"
D: "\u091C\u094B\u0916\u093F\u092E \u0905\u0928\u0941\u092A\u093E\u0924 \u092E\
\u093E\u0928 \u090F\u0915 \u0915\u0947 \u0915\u0930\u0940\u092C \u0939\u0948\
, \u0907\u0938\u0932\u093F\u090F \u0926\u094B\u0928\u094B\u0902 \u0938\u092E\
\u0942\u0939\u094B\u0902 \u0915\u0947 \u092C\u0940\u091A \u0930\u094B\u0917\
\ \u091C\u094B\u0916\u093F\u092E \u092E\u0947\u0902 \u0915\u094B\u0908 \u0905\
\u0902\u0924\u0930 \u0928\u0939\u0940\u0902 \u0939\u0948\u0964"
input_correct_responses:
- C
input_question: "\u090F\u0915 \u0938\u092E\u0942\u0939 \u0905\u0927\u094D\u092F\
\u092F\u0928 \u092E\u0947\u0902, \u091A\u093E\u092F \u092A\u0940\u0928\u0947\
\ \u0935\u093E\u0932\u0947 \u0909\u092A\u092D\u094B\u0915\u094D\u0924\u093E\u0913\
\u0902 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u0909\u0928 \u0932\u094B\
\u0917\u094B\u0902 \u0938\u0947 \u0915\u0930\u0928\u0947 \u092A\u0930, \u091C\
\u094B \u091A\u093E\u092F \u0928\u0939\u0940\u0902 \u092A\u0940\u0924\u0947\
\ \u0925\u0947 (\u092C\u093F\u0928\u093E \u0909\u091C\u093E\u0917\u0930 \u0939\
\u0941\u090F) \u092E\u0927\u0941\u092E\u0947\u0939 \u0935\u093F\u0915\u0938\u093F\
\u0924 \u0939\u094B\u0928\u0947 \u0915\u093E \u091C\u094B\u0916\u093F\u092E\
\ \u0905\u0928\u0941\u092A\u093E\u0924 0.86 \u0925\u093E\u0964 \u0915\u094C\u0928\
\ \u0938\u093E \u0915\u0925\u0928 \u0938\u0939\u0940 \u0939\u0948 (2020 \u092E\
\u0947\u0902 \u091C\u093E\u0928\u0915\u093E\u0930\u0940 \u0915\u0947 \u0905\u0928\
\u0941\u0938\u093E\u0930)?"
- input_choice_list:
A: "\u092B\u0947\u0928\u093F\u0932\u0915\u0947\u091F\u094B\u0928\u0941\u0930\
\u093F\u092F\u093E \u0935\u093E\u0932\u0947 \u0909\u092A\u092D\u094B\u0915\
\u094D\u0924\u093E\u0913\u0902 \u0915\u094B \u0938\u094D\u0935\u0940\u091F\
\u0928\u0930 \u090F\u0938\u094D\u092A\u093E\u0930\u094D\u091F\u0947\u092E\
\ \u0915\u0947 \u0938\u0947\u0935\u0928 \u0938\u0947 \u092C\u091A\u0928\u093E\
\ \u091A\u093E\u0939\u093F\u090F"
B: "\u092B\u0947\u0928\u093F\u0932\u0915\u0947\u091F\u094B\u0928\u0941\u0930\
\u093F\u092F\u093E \u0935\u093E\u0932\u0947 \u0909\u092A\u092D\u094B\u0915\
\u094D\u0924\u093E\u0913\u0902 \u0915\u094B \u0938\u094D\u0935\u0940\u091F\
\u0928\u0930 \u0938\u0948\u0915\u0930\u093F\u0928 \u0915\u0947 \u0938\u0947\
\u0935\u0928 \u0938\u0947 \u092C\u091A\u0928\u093E \u091A\u093E\u0939\u093F\
\u090F"
C: "\u092B\u0947\u0928\u093F\u0932\u0915\u0947\u091F\u094B\u0928\u0941\u0930\
\u093F\u092F\u093E \u0935\u093E\u0932\u0947 \u0909\u092A\u092D\u094B\u0915\
\u094D\u0924\u093E\u0913\u0902 \u0915\u094B \u0938\u094D\u0935\u0940\u091F\
\u0928\u0930 \u0938\u0941\u0915\u094D\u0930\u093E\u0932\u094B\u091C\u093C\
\ \u0915\u0947 \u0938\u0947\u0935\u0928 \u0938\u0947 \u092C\u091A\u0928\u093E\
\ \u091A\u093E\u0939\u093F\u090F"
D: "\u092B\u0947\u0928\u093F\u0932\u0915\u0947\u091F\u094B\u0928\u0941\u0930\
\u093F\u092F\u093E \u0935\u093E\u0932\u0947 \u0909\u092A\u092D\u094B\u0915\
\u094D\u0924\u093E\u0913\u0902 \u0915\u094B \u0938\u094D\u0935\u0940\u091F\
\u0928\u0930 \u090F\u0938\u0947\u0938\u0932\u094D\u092B\u0947\u092E K \u0915\
\u0947 \u0938\u0947\u0935\u0928 \u0938\u0947 \u092C\u091A\u0928\u093E \u091A\
\u093E\u0939\u093F\u090F"
input_correct_responses:
- A
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\
\u0928 \u0938\u0939\u0940 \u0939\u0948 (2020 \u092E\u0947\u0902 \u091C\u093E\
\u0928\u0915\u093E\u0930\u0940 \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930\
)?"
- input_choice_list:
A: "\u0915\u094B\u0932\u094B\u0928\u093F\u0915 \u092B\u093E\u0907\u092C\u0930\
\ \u0915\u093F\u0923\u094D\u0935\u0928 \u0915\u0947 \u0926\u094C\u0930\u093E\
\u0928 \u092C\u0928\u0928\u0947 \u0935\u093E\u0932\u093E \u092A\u094D\u0930\
\u094B\u092A\u093F\u092F\u094B\u0928\u093F\u0915 \u090F\u0938\u093F\u0921\
\ \u0932\u093F\u0935\u0930 \u092B\u0948\u091F\u0940 \u090F\u0938\u093F\u0921\
\ \u0938\u0902\u0936\u094D\u0932\u0947\u0937\u0923 \u0915\u094B \u0930\u094B\
\u0915\u0924\u093E \u0939\u0948"
B: "\u0915\u094B\u0932\u094B\u0928\u093F\u0915 \u092B\u093E\u0907\u092C\u0930\
\ \u0915\u093F\u0923\u094D\u0935\u0928 \u0915\u0947 \u0926\u094C\u0930\u093E\
\u0928 \u092C\u0928\u0928\u0947 \u0935\u093E\u0932\u093E \u092C\u094D\u092F\
\u0942\u091F\u093F\u0930\u093F\u0915 \u090F\u0938\u093F\u0921, SLC5A8 \u091F\
\u094D\u092F\u0942\u092E\u0930 \u0926\u092C\u093E\u0928\u0947 \u0935\u093E\
\u0932\u0947 \u091C\u0940\u0928 \u0915\u0940 "\u092E\u094C\u0928"\
\ \u0915\u094B \u0909\u0924\u094D\u0924\u0947\u091C\u093F\u0924 \u0915\u0930\
\u0924\u093E \u0939\u0948"
C: "\u0907\u0928\u092E\u0947\u0902 \u0938\u0947 \u0915\u094B\u0908 \u092D\u0940\
\ \u0935\u093F\u0915\u0932\u094D\u092A \u0938\u0939\u0940 \u0928\u0939\u0940\
\u0902 \u0939\u0948"
D: "\u0915\u094B\u0932\u094B\u0928\u093F\u0915 \u092B\u093E\u0907\u092C\u0930\
\ \u0915\u093F\u0923\u094D\u0935\u0928 \u0915\u0947 \u0926\u094C\u0930\u093E\
\u0928 \u092C\u0928\u0928\u0947 \u0935\u093E\u0932\u093E \u092C\u094D\u092F\
\u0942\u091F\u093F\u0930\u093F\u0915 \u090F\u0938\u093F\u0921, \u0915\u094B\
\u0932\u0928 \u092E\u0947\u0902 \u090F\u0902\u091F\u0940-\u0911\u0915\u094D\
\u0938\u0940\u0921\u0947\u0902\u091F \u0938\u0941\u0930\u0915\u094D\u0937\u093E\
\ \u0915\u094B \u0909\u0924\u094D\u0924\u0947\u091C\u093F\u0924 \u0915\u0930\
\u0924\u093E \u0939\u0948"
input_correct_responses:
- D
input_question: "2020 \u0924\u0915 \u0915\u094B\u0932\u0928 \u0915\u0947 \u0915\
\u0948\u0902\u0938\u0930 \u0915\u0947 \u0916\u093F\u0932\u093E\u092B \u0906\u0939\
\u093E\u0930 \u092B\u093E\u0907\u092C\u0930 \u0915\u0947 \u0938\u0941\u0930\u0915\
\u094D\u0937\u093E\u0924\u094D\u092E\u0915 \u092A\u094D\u0930\u092D\u093E\u0935\
\ \u0915\u0947 \u0932\u093F\u090F \u0928\u093F\u092E\u094D\u0928\u0932\u093F\
\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\
\u093E \u0938\u092C\u0938\u0947 \u092A\u094D\u0930\u0936\u0902\u0938\u0928\u0940\
\u092F \u0938\u094D\u092A\u0937\u094D\u091F\u0940\u0915\u0930\u0923 \u0939\u0948\
?"
- input_choice_list:
A: "50% \u0935\u092F\u0938\u094D\u0915 \u0906\u0930\u090F\u0928\u0906\u0908\
\ \u0938\u0947 \u0928\u0940\u091A\u0947 \u0915\u0947 \u0938\u094D\u0924\u0930\
\ \u092A\u0930 \u0906\u092F\u094B\u0921\u0940\u0928 \u0915\u093E \u0938\u0947\
\u0935\u0928 \u0915\u0930\u0924\u0947 \u0939\u0948\u0902"
B: "\u0921\u0947\u092F\u0930\u0940 \u0909\u0924\u094D\u092A\u093E\u0926 \u0906\
\u092F\u094B\u0921\u0940\u0928 \u0915\u093E \u0916\u093C\u0930\u093E\u092C\
\ \u0938\u094D\u0930\u094B\u0924 \u0939\u0948\u0902"
C: "\u091C\u0948\u0935\u093F\u0915 \u0926\u0942\u0927 \u092E\u0947\u0902 \u0906\
\u092F\u094B\u0921\u0940\u0928 \u0915\u0940 \u092E\u093E\u0924\u094D\u0930\
\u093E \u0906\u092E \u0924\u094C\u0930 \u092A\u0930 \u0917\u0948\u0930-\u091C\
\u0948\u0935\u093F\u0915 \u0926\u0942\u0927 \u0915\u0940 \u0924\u0941\u0932\
\u0928\u093E \u092E\u0947\u0902 \u0915\u092E \u0939\u094B\u0924\u0940 \u0939\
\u0948"
D: "\u092F\u0942\u0915\u0947 \u0915\u0947 \u0906\u0939\u093E\u0930 \u0938\u0902\
\u092C\u0902\u0927\u0940 \u0938\u0902\u0926\u0930\u094D\u092D \u092E\u0942\
\u0932\u094D\u092F \u0917\u0930\u094D\u092D\u093E\u0935\u0938\u094D\u0925\u093E\
\ \u092E\u0947\u0902 \u0906\u092F\u094B\u0921\u0940\u0928 \u0915\u0947 \u0938\
\u0947\u0935\u0928 \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F\
\ \u0915\u0940 \u0938\u0932\u093E\u0939 \u0926\u0947\u0924\u0947 \u0939\u0948\
\u0902"
input_correct_responses:
- C
input_question: "2020 \u0924\u0915 \u0906\u092F\u094B\u0921\u0940\u0928 \u0915\
\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\
\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928\
\ \u0938\u093E \u0915\u0925\u0928 \u0938\u0939\u0940 \u0939\u0948?"
- input_choice_list:
A: "\u090F\u0915\u0930\u092C\u094B\u0938"
B: "\u092E\u0947\u091F\u092B\u094B\u0930\u094D\u092E\u093F\u0928"
C: "\u0938\u0932\u094D\u092B\u094B\u0928\u0940\u0932\u0941\u0930\u093F\u092F\
\u093E"
D: "\u0907\u0902\u0938\u0941\u0932\u093F\u0928"
input_correct_responses:
- B
input_question: "2020 \u0924\u0915 \u091F\u093E\u0907\u092A 2 \u092E\u0927\u0941\
\u092E\u0947\u0939 \u0914\u0930 \u092E\u094B\u091F\u093E\u092A\u0947 \u0915\u0947\
\ \u0930\u094B\u0917\u093F\u092F\u094B\u0902 \u0915\u0947 \u0932\u093F\u090F\
\ \u092A\u0939\u0932\u0940 \u092A\u0902\u0915\u094D\u0924\u093F \u0915\u0940\
\ \u0926\u0935\u093E \u0915\u094D\u092F\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_nutrition
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_nutrition
task_alias: nutrition
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0939\u092E\u0947\u0902 \u0915\u0948\u0938\u0947 \u0935\u094D\u092F\u0935\
\u0939\u093E\u0930 \u0915\u0930\u0928\u093E \u091A\u093E\u0939\u093F\u090F\
\ \u0907\u0938\u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u090F\
\u0915 \u0928\u0948\u0924\u093F\u0915 \u0938\u093F\u0926\u094D\u0927\u093E\
\u0902\u0924\u0964"
B: "\u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0935\u094D\u092F\u0935\u0939\
\u093E\u0930 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0924\u0930\u0940\u0915\
\u0947 \u0938\u0947 \u0938\u0902\u092C\u0902\u0927\u093F\u0924 \u090F\u0915\
\ \u0938\u093E\u092E\u093E\u0928\u094D\u092F\u0940\u0915\u0930\u0923\u0964"
C: "\u092E\u093E\u0928\u0935 \u0938\u094D\u0935\u092D\u093E\u0935 \u0914\u0930\
\ \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0935\u094D\u092F\u0935\u0939\
\u093E\u0930 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0924\u0930\u0940\u0915\
\u094B\u0902 \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u090F\
\u0915 \u0926\u093E\u0935\u093E\u0964"
D: "\u0907\u0928\u092E\u0947 \u0938\u0947 \u0915\u094B\u0908 \u092D\u0940 \u0928\
\u0939\u0940\u0902\u0964"
input_correct_responses:
- C
input_question: "\u092E\u0928\u094B\u0935\u0948\u091C\u094D\u091E\u093E\u0928\u093F\
\u0915 \u0905\u0939\u0902\u0915\u093E\u0930 \u0939\u0948:"
- input_choice_list:
A: "\u0906\u0928\u0902\u0926\u0964"
B: "\u0916\u093C\u0941\u0936\u0940\u0964"
C: "\u0905\u091A\u094D\u091B\u093E\u0964"
D: "\u0917\u0941\u0923\u0964"
input_correct_responses:
- C
input_question: "\u092E\u0942\u0930 \u0915\u0947 "\u0906\u0926\u0930\u094D\
\u0936 \u0909\u092A\u092F\u094B\u0917\u093F\u0924\u093E\u0935\u093E\u0926"\
\ \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930, \u0938\u0939\u0940 \u0915\
\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0935\u0939 \u0939\u0948 \u091C\u094B\
\ \u0938\u092C\u0938\u0947 \u092C\u0921\u093C\u0940 \u092E\u093E\u0924\u094D\
\u0930\u093E \u092E\u0947\u0902 \u092A\u0930\u093F\u0923\u093E\u092E \u0932\u093E\
\u0924\u0940 \u0939\u0948:"
- input_choice_list:
A: "\u092E\u0941\u092B\u093C\u094D\u0924 \u0935\u093F\u0915\u0932\u094D\u092A"
B: "\u0906\u0924\u094D\u092E\u093E \u0915\u093E \u0906\u0926\u0947\u0936"
C: "\u0906\u0935\u0936\u094D\u092F\u0915 \u092A\u094D\u0930\u093E\u0915\u0943\
\u0924\u093F\u0915 \u0928\u093F\u092F\u092E"
D: "\u0905\u0928\u093F\u0936\u094D\u091A\u093F\u0924 \u0907\u091A\u094D\u091B\
\u093E"
input_correct_responses:
- C
input_question: "\u0921\u0940'\u0939\u094B\u0932\u094D\u092C\u0948\u0915 \u0915\
\u0947 \u0905\u0928\u0941\u0938\u093E\u0930, \u0932\u094B\u0917 \u0938\u0926\
\u0948\u0935 _____ \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930 \u0915\u093E\
\u0930\u094D\u092F \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\u0964"
- input_choice_list:
A: "\u0906\u0936\u093E\u0935\u093E\u0926\u0940"
B: "\u0938\u0902\u0924\u0941\u0937\u094D\u091F"
C: "\u0928\u093E\u092E\u092E\u093E\u0924\u094D\u0930 \u0915\u093E \u0927\u093E\
\u0930\u094D\u092E\u093F\u0915"
D: "\u0928\u093F\u0930\u093E\u0936\u093E\u0935\u093E\u0926\u0940"
input_correct_responses:
- D
input_question: "\u091F\u0949\u0932\u094D\u0938\u094D\u091F\u0949\u092F \u0915\
\u0947 \u0908\u0938\u093E\u0908 \u0927\u0930\u094D\u092E \u092A\u0930\u093F\u0935\
\u0930\u094D\u0924\u0928 \u0938\u0947 \u092A\u0939\u0932\u0947, \u091C\u0940\
\u0935\u0928 \u0915\u0947 \u0905\u0930\u094D\u0925 \u092A\u0930 \u0909\u0928\
\u0915\u093E \u0926\u0943\u0937\u094D\u091F\u093F\u0915\u094B\u0923 \u0915\u094D\
\u092F\u093E \u0925\u093E?"
- input_choice_list:
A: "\u0924\u0924\u094D\u0924\u094D\u0935\u092E\u0940\u092E\u093E\u0902\u0938\
\u093E"
B: "\u091C\u094D\u091E\u093E\u0928-\u092E\u0940\u092E\u093E\u0902\u0938\u093E"
C: "\u0915\u094D\u0935\u093E\u0902\u091F\u092E \u092D\u094C\u0924\u093F\u0915\
\u0940"
D: "\u092E\u0942\u0932\u094D\u092F\u092E\u0940\u092E\u093E\u0902\u0938\u093E"
input_correct_responses:
- A
input_question: "\u0935\u094D\u092F\u093E\u092A\u0915 \u0905\u0930\u094D\u0925\
\u094B\u0902 \u092E\u0947\u0902 \u0935\u093E\u0938\u094D\u0924\u0935\u093F\u0915\
\u0924\u093E \u0915\u093E \u0905\u0927\u094D\u092F\u092F\u0928, \u092C\u094D\
\u0930\u0939\u094D\u092E\u093E\u0902\u0921 \u0915\u0940 \u092E\u094C\u0932\u093F\
\u0915 \u092A\u094D\u0930\u0915\u0943\u0924\u093F \u0914\u0930 \u0909\u0938\u092E\
\u0947\u0902 \u092E\u094C\u091C\u0942\u0926 \u091A\u0940\u091C\u094B\u0902 \u0915\
\u0940 \u091C\u093E\u0902\u091A \u0915\u094B _____ \u0915\u0947 \u0930\u0942\
\u092A \u092E\u0947\u0902 \u091C\u093E\u0928\u093E \u091C\u093E\u0924\u093E\
\ \u0939\u0948\u0964"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_philosophy
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_philosophy
task_alias: philosophy
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0936\u0915\u094D\u0924\u093F\u0936\u093E\u0932\u0940 \u092E\u093E\u092F\
\u093E \u0916\u0917\u094B\u0932\u0936\u093E\u0938\u094D\u0924\u094D\u0930\u0940\
\ \u092A\u0941\u091C\u093E\u0930\u093F\u092F\u094B\u0902 \u0915\u094B \u0938\
\u0902\u0924\u0941\u0937\u094D\u091F \u0915\u0930\u0947\u0902\u0964"
B: "\u0906\u092E \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u092A\u094D\u0930\
\u0924\u093F \u0905\u092A\u0928\u0940 \u0909\u0926\u093E\u0930\u0924\u093E\
\ \u092A\u094D\u0930\u0926\u0930\u094D\u0936\u093F\u0924 \u0915\u0930\u0947\
\u0902, \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u0909\u0928\u094D\u0939\
\u0947\u0902 \u092E\u0902\u0926\u093F\u0930\u094B\u0902 \u092E\u0947\u0902\
\ \u0930\u0939\u0928\u0947 \u0915\u0940 \u0905\u0928\u0941\u092E\u0924\u093F\
\ \u0925\u0940\u0964"
C: "\u0936\u0924\u094D\u0930\u0941\u0913\u0902 \u0915\u094B, \u0935\u093F\u0936\
\u0947\u0937\u0915\u0930 \u0938\u094D\u092A\u0947\u0928\u093F\u092F\u094B\u0902\
\ \u0915\u094B, \u0921\u0930\u093E \u0926\u0947\u0902\u0964"
D: "\u0909\u0938\u0915\u0947 \u0930\u093E\u091C\u0924\u094D\u0935 \u0915\u094B\
\ \u0935\u0948\u0927 \u092C\u0928\u093E\u0928\u093E, \u0915\u094D\u092F\u094B\
\u0902\u0915\u093F \u0909\u0938\u0915\u0947 \u092A\u093F\u0924\u093E \u0930\
\u093E\u091C\u0938\u0940 \u0928\u0939\u0940\u0902 \u0925\u0947\u0964"
input_correct_responses:
- D
input_question: "\u092E\u0939\u093E\u0928 \u092E\u093E\u092F\u093E \u0930\u093E\
\u091C\u093E \u092A\u0948\u0915\u0932 \u0928\u0947 \u092A\u0948\u0932\u0947\u0928\
\u0915 \u0936\u0939\u0930 \u092E\u0947\u0902 \u092E\u0902\u0926\u093F\u0930\u094B\
\u0902 \u0915\u093E \u0928\u093F\u0930\u094D\u092E\u093E\u0923 \u0915\u0930\u0935\
\u093E\u092F\u093E:"
- input_choice_list:
A: "\u092A\u094D\u0930\u093E\u0930\u0902\u092D\u093F\u0915 \u0930\u093E\u091C\
\u094D\u092F\u094B\u0902 \u0915\u0947 \u0909\u0926\u092F \u0915\u0947 \u0938\
\u092E\u093E\u0928 \u0938\u094D\u0925\u093F\u0924\u093F\u092F\u094B\u0902\
\ \u0935\u093E\u0932\u093E \u092E\u093F\u0938\u093F\u0938\u093F\u092A\u093F\
\u092F\u093E\u0908 \u0938\u092D\u094D\u092F\u0924\u093E \u0915\u093E \u090F\
\u0915 \u0915\u0947\u0902\u0926\u094D\u0930\u0964"
B: "\u0938\u092E\u0924\u093E\u0935\u093E\u0926\u0940 \u0935\u0928\u0935\u093E\
\u0938\u093F\u092F\u094B\u0902 \u0915\u0947 \u092E\u0942\u0932 \u0905\u092E\
\u0947\u0930\u093F\u0915\u0940 \u0938\u092E\u093E\u091C \u092E\u0947\u0902\
\ \u0905\u0927\u093F\u0915\u093E\u0930 \u0915\u0940 \u0938\u0940\u092E\u093E\
\u090F\u0901\u0964"
C: "1500 \u0908. \u0924\u0915 \u090F\u0915 \u0938\u093E\u0927\u093E\u0930\u0923\
\ \u092E\u0941\u0916\u093F\u092F\u093E\u0924\u0902\u0924\u094D\u0930 \u092F\
\u093E \u0936\u093E\u092F\u0926 \u090F\u0915 \u091C\u091F\u093F\u0932 \u092E\
\u0941\u0916\u093F\u092F\u093E\u0924\u0902\u0924\u094D\u0930 \u0935\u093F\u0915\
\u0938\u093F\u0924 \u0939\u094B \u091A\u0941\u0915\u093E \u0925\u093E\u0964"
D: "\u092E\u093F\u0938\u093F\u0938\u093F\u092A\u093F\u092F\u093E\u0908 \u0938\
\u092D\u094D\u092F\u0924\u093E \u0915\u093E \u090F\u0915 \u0915\u0947\u0902\
\u0926\u094D\u0930 \u091C\u093F\u0938\u0915\u0940 \u0938\u094D\u0925\u093F\
\u0924\u093F\u092F\u093E\u0901 \u0909\u0924\u094D\u0924\u0930\u0940 \u0905\
\u092E\u0947\u0930\u093F\u0915\u093E \u0915\u0947 \u0909\u0924\u094D\u0924\
\u0930-\u092A\u0936\u094D\u091A\u093F\u092E\u0940 \u0924\u091F \u0915\u0947\
\ \u0938\u092E\u093E\u091C\u094B\u0902 \u0915\u0947 \u0938\u092E\u093E\u0928\
\ \u0939\u0948\u0902\u0964"
input_correct_responses:
- A
input_question: "\u091F\u093F\u092E\u094B\u0925\u0940 \u092A\u0949\u0915\u0947\
\u091F\u091F \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930, \u0915\u093E\
\u0939\u094B\u0915\u093F\u092F\u093E \u092E\u0947\u0902 \u0938\u093E\u092E\u093E\
\u091C\u093F\u0915 \u0938\u094D\u0924\u0930\u0940\u0915\u0930\u0923 \u0914\u0930\
\ \u0930\u093E\u091C\u0928\u0940\u0924\u093F\u0915 \u0936\u0915\u094D\u0924\u093F\
\ \u0915\u0947 \u0938\u093E\u0915\u094D\u0937\u094D\u092F \u092C\u0924\u093E\
\u0924\u0947 \u0939\u0948\u0902:"
- input_choice_list:
A: "\u0915\u093F\u0938\u0940 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\u0940\
\ \u092A\u094D\u0930\u0932\u092F, \u091C\u0948\u0938\u0947 \u092D\u0942\u0915\
\u0902\u092A, \u091C\u094D\u0935\u093E\u0932\u093E\u092E\u0941\u0916\u0940\
\ \u092F\u093E \u0938\u0941\u0928\u093E\u092E\u0940\u0964"
B: "\u0915\u093E\u091F \u0915\u0930 \u091C\u0932\u093E\u0913 \u0915\u0943\u0937\
\u093F \u0924\u0915\u0928\u0940\u0915\u094B\u0902 \u0915\u0947 \u092A\u0930\
\u093F\u0923\u093E\u092E\u0938\u094D\u0935\u0930\u0942\u092A \u092A\u093E\u0930\
\u093F\u0938\u094D\u0925\u093F\u0924\u093F\u0915 \u0915\u094D\u0937\u0930\u0923\
\u0964"
C: "\u092A\u0921\u093C\u094B\u0938\u0940 \u092E\u093E\u092F\u093E \u0936\u0939\
\u0930-\u0930\u093E\u091C\u094D\u092F\u094B\u0902 \u0915\u0947 \u092C\u0940\
\u091A \u0905\u0902\u0924\u0939\u0940\u0928 \u092F\u0941\u0926\u094D\u0927\
\u0964"
D: "\u0905\u0902\u0924\u0930-\u092A\u094D\u0930\u091C\u0928\u0928 \u0915\u0940\
\ \u092A\u094D\u0930\u0925\u093E\u0913\u0902 \u0915\u0947 \u0915\u093E\u0930\
\u0923 \u091C\u0928\u094D\u092E\u091C\u093E\u0924 \u0935\u093F\u0915\u093E\
\u0930\u094B\u0902 \u092E\u0947\u0902 \u092D\u093E\u0930\u0940 \u0935\u0943\
\u0926\u094D\u0927\u093F \u0939\u0941\u0908\u0964"
input_correct_responses:
- B
input_question: "\u0936\u094B\u0927\u0915\u0930\u094D\u0924\u093E \u0905\u092C\
\ \u092E\u093E\u0928\u0924\u0947 \u0939\u0948\u0902 \u0915\u093F \u092E\u093E\
\u092F\u093E \u0915\u093E \u092A\u0924\u0928 \u092E\u0941\u0916\u094D\u092F\u0924\
\u0903 \u0928\u093F\u092E\u094D\u0928 \u0915\u093E\u0930\u0923\u094B\u0902 \u0938\
\u0947 \u0939\u0941\u0906:"
- input_choice_list:
A: "\u092C\u0921\u093C\u0940 \u092E\u093E\u0924\u094D\u0930\u093E \u092E\u0947\
\u0902 \u092A\u094D\u0930\u091C\u093E\u0924\u093F\u092F\u094B\u0902 \u0915\
\u0940 \u0935\u093F\u0935\u093F\u0927\u0924\u093E, \u092F\u093E \u090F\u0915\
\ \u0939\u0940 \u092A\u094D\u0930\u091C\u093E\u0924\u093F \u091C\u093F\u0938\
\u0928\u0947 \u092C\u0939\u0941\u0924 \u0905\u0927\u093F\u0915 \u0935\u093F\
\u0935\u093F\u0927\u0924\u093E \u092A\u094D\u0930\u0926\u0930\u094D\u0936\u093F\
\u0924 \u0915\u0940\u0964"
B: "\u0907\u0938 \u0905\u0935\u0927\u093F \u0915\u0947 \u0926\u094C\u0930\u093E\
\u0928 \u092A\u094D\u0930\u091C\u093E\u0924\u093F\u092F\u094B\u0902 \u0915\
\u0940 \u0935\u093F\u0935\u093F\u0927\u0924\u093E \u092C\u0939\u0941\u0924\
\ \u0915\u092E \u0925\u0940 \u0914\u0930 \u0939\u094B\u092E\u093F\u0928\u093F\
\u0921 \u092D\u0940 \u092C\u0939\u0941\u0924 \u0915\u092E \u0925\u0947\u0964"
C: "\u0932\u0902\u092C\u0947 \u0938\u092E\u092F \u0924\u0915 \u0939\u093F\u092E\
\u092F\u0941\u0917 \u0914\u0930 \u0909\u0938\u0915\u0947 \u092C\u093E\u0926\
\ \u092D\u092F\u0902\u0915\u0930 \u0938\u0942\u0916\u0947 \u0915\u0947 \u0915\
\u093E\u0930\u0923 \u092A\u094D\u0930\u091C\u093E\u0924\u093F\u092F\u094B\u0902\
\ \u0915\u0940 \u0935\u093F\u0935\u093F\u0927\u0924\u093E \u092E\u0947\u0902\
\ \u0915\u092E\u0940 \u0906\u0908\u0964"
D: "\u092A\u094D\u0930\u091C\u093E\u0924\u093F\u092F\u094B\u0902 \u0915\u0940\
\ \u0935\u093F\u0935\u093F\u0927\u0924\u093E \u092E\u0947\u0902 \u0915\u092E\
\u0940 \u0906\u0908 \u0932\u0947\u0915\u093F\u0928 \u0939\u0925\u094C\u0921\
\u093C\u0947 \u0915\u0947 \u092A\u0924\u094D\u0925\u0930\u094B\u0902 \u0914\
\u0930 \u0917\u0941\u091A\u094D\u091B\u094B\u0902 \u0915\u0940 \u0938\u0902\
\u0916\u094D\u092F\u093E \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\
\u093F \u0939\u0941\u0908, \u091C\u094B \u092A\u0924\u094D\u0925\u0930 \u0915\
\u0947 \u0914\u091C\u093E\u0930\u094B\u0902 \u0915\u0947 \u0928\u093F\u0930\
\u094D\u092E\u093E\u0923 \u0915\u093E \u0938\u0902\u0915\u0947\u0924 \u0939\
\u0948\u0964"
input_correct_responses:
- A
input_question: "\u092E\u0927\u094D\u092F \u092A\u094D\u0932\u093F\u092F\u094B\
\u0938\u0940\u0928 \u0938\u0947 \u0938\u0902\u092C\u0902\u0927\u093F\u0924 \u0939\
\u094B\u092E\u093F\u0928\u093F\u0921 \u092A\u094D\u0930\u091C\u093E\u0924\u093F\
\u092F\u094B\u0902 \u092A\u0930 \u0939\u093E\u0932\u093F\u092F\u093E \u0936\u094B\
\u0927 \u0938\u0947 \u0938\u0902\u0915\u0947\u0924 \u092E\u093F\u0932\u0924\u093E\
\ \u0939\u0948 \u0915\u093F (2020 \u0924\u0915):"
- input_choice_list:
A: "650 \u0938\u0940\u0938\u0940 \u0938\u0947 \u0915\u092E"
B: "\u0932\u0917\u092D\u0917 800 \u0938\u0940.\u0938\u0940"
C: "\u092C\u0938 1000 \u0938\u0940\u0938\u0940 \u0938\u0947 \u0915\u092E"
D: "1200 \u0938\u0940.\u0938\u0940"
input_correct_responses:
- C
input_question: "\u0939\u094B\u092E\u094B \u0907\u0930\u0947\u0915\u094D\u091F\
\u0938 \u0915\u0940 \u0905\u0928\u0941\u092E\u093E\u0928\u093F\u0924 \u0914\u0938\
\u0924 \u0915\u092A\u093E\u0932 \u0915\u094D\u0937\u092E\u0924\u093E \u0915\u094D\
\u092F\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_prehistory
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_prehistory
task_alias: prehistory
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: $70,000
B: $75,000
C: $80,000
D: '100000'
input_correct_responses:
- D
input_question: "\u092C\u0949\u0915\u094D\u0938 \u090F\u0915 \u0917\u0948\u0930\
-\u0938\u0930\u0915\u093E\u0930\u0940 \u0917\u0948\u0930-\u0932\u093E\u092D\u0915\
\u093E\u0930\u0940 \u0938\u0902\u0917\u0920\u0928 \u0928\u0947 \u0935\u0930\u094D\
\u0937 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928 \u0928\u093F\u092E\u094D\u0928\
\u0932\u093F\u0916\u093F\u0924 \u0932\u0947\u0928\u0926\u0947\u0928 \u0915\u093F\
\u090F: \u0928\u093F\u0935\u0947\u0936 \u0915\u0940 \u092C\u093F\u0915\u094D\
\u0930\u0940 \u0938\u0947 \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0906\u092F\
\ $80000 \u0938\u0902\u092A\u0924\u094D\u0924\u093F \u0938\u0902\u092F\u0902\
\u0924\u094D\u0930 \u0914\u0930 \u0909\u092A\u0915\u0930\u0923 \u0915\u0940\
\ \u0916\u0930\u0940\u0926 $10000 \u0926\u0940\u0930\u094D\u0918\u0915\u093E\
\u0932\u093F\u0915 \u090B\u0923 \u0938\u0947 \u0906\u092F $100000 \u0928\u093F\
\u0935\u0947\u0936 \u0915\u0940 \u092C\u093F\u0915\u094D\u0930\u0940 \u092A\u0930\
\ \u0939\u093E\u0928\u093F $5000 \u0915\u093F\u0924\u0928\u0940 \u0930\u093E\
\u0936\u093F \u0915\u094B \u0936\u0941\u0926\u094D\u0927 \u0915\u0947 \u0930\
\u0942\u092A \u092E\u0947\u0902 \u0930\u093F\u092A\u094B\u0930\u094D\u091F \u0915\
\u093F\u092F\u093E \u091C\u093E\u0928\u093E \u091A\u093E\u0939\u093F\u090F \u092C\
\u0949\u0915\u094D\u0938 \u0915\u0947 \u0928\u0915\u0926\u0940 \u092A\u094D\u0930\
\u0935\u093E\u0939 \u0935\u093F\u0935\u0930\u0923 \u092E\u0947\u0902 \u0935\u093F\
\u0924\u094D\u0924\u0940\u092F \u0917\u0924\u093F\u0935\u093F\u0927\u093F\u092F\
\u094B\u0902 \u0926\u094D\u0935\u093E\u0930\u093E \u092A\u094D\u0930\u0926\u093E\
\u0928 \u0915\u0940 \u0917\u0908 \u0928\u0915\u0926\u0940?"
- input_choice_list:
A: $13,000
B: $600
C: $15,000
D: $28,000
input_correct_responses:
- A
input_question: "\u0938\u094C \u0938\u093E\u0932 \u092A\u0939\u0932\u0947, \u0906\
\u092A\u0915\u0940 \u092A\u0930\u0926\u093E\u0926\u0940 \u0928\u0947 5% \u0935\
\u093E\u0930\u094D\u0937\u093F\u0915 \u092C\u094D\u092F\u093E\u091C \u092A\u0930\
\ 100 \u0921\u0949\u0932\u0930 \u0915\u093E \u0928\u093F\u0935\u0947\u0936 \u0915\
\u093F\u092F\u093E \u0925\u093E\u0964 \u0906\u091C \u0928\u093F\u0935\u0947\u0936\
\ \u0915\u093E \u092E\u0942\u0932\u094D\u092F \u0915\u094D\u092F\u093E \u0939\
\u0948?"
- input_choice_list:
A: $0
B: $500
C: $1,650
D: $16,500
input_correct_responses:
- A
input_question: "\u0915\u094D\u0930\u0947\u0924\u0947 \u090F\u0915 \u0905\u0935\
\u093F\u0935\u093E\u0939\u093F\u0924 \u0915\u0930\u0926\u093E\u0924\u093E \u0939\
\u0948 \u091C\u093F\u0938\u0915\u0940 \u0906\u092F \u0935\u093F\u0936\u0947\u0937\
\ \u0930\u0942\u092A \u0938\u0947 \u092E\u091C\u0926\u0942\u0930\u0940 \u0938\
\u0947 \u0939\u094B\u0924\u0940 \u0939\u0948\u0964 31 \u0926\u093F\u0938\u0902\
\u092C\u0930, \u0935\u0930\u094D\u0937 1 \u0924\u0915, \u0915\u094D\u0930\u0947\
\u0924\u0947 \u0915\u0947 \u0928\u093F\u092F\u094B\u0915\u094D\u0924\u093E \u0928\
\u0947 \u0938\u0902\u0918\u0940\u092F \u0906\u092F \u0915\u0930\u094B\u0902\
\ \u092E\u0947\u0902 $16,000 \u0930\u094B\u0915 \u0932\u093F\u092F\u093E \u0939\
\u0948 \u0914\u0930 \u0915\u094D\u0930\u0947\u0924\u0947 \u0928\u0947 \u0915\
\u094B\u0908 \u0905\u0928\u0941\u092E\u093E\u0928\u093F\u0924 \u0915\u0930 \u092D\
\u0941\u0917\u0924\u093E\u0928 \u0928\u0939\u0940\u0902 \u0915\u093F\u092F\u093E\
\ \u0939\u0948\u0964 15 \u0905\u092A\u094D\u0930\u0948\u0932, \u0935\u0930\u094D\
\u0937 2 \u0915\u094B, \u0915\u094D\u0930\u0947\u0924\u0947 \u0928\u0947 \u0905\
\u092A\u0928\u093E \u0935\u094D\u092F\u0915\u094D\u0924\u093F\u0917\u0924 \u0915\
\u0930 \u0930\u093F\u091F\u0930\u094D\u0928 \u0926\u093E\u0916\u093F\u0932 \u0915\
\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0938\u092E\u092F \u092A\
\u0930 \u0935\u093F\u0938\u094D\u0924\u093E\u0930 \u0905\u0928\u0941\u0930\u094B\
\u0927 \u0926\u093E\u092F\u0930 \u0915\u093F\u092F\u093E, \u0914\u0930 $300\
\ \u0905\u0924\u093F\u0930\u093F\u0915\u094D\u0924 \u0915\u0930 \u0915\u093E\
\ \u092D\u0941\u0917\u0924\u093E\u0928 \u0915\u093F\u092F\u093E\u0964 \u0915\
\u094D\u0930\u0947\u0924\u0947 \u0915\u0940 \u0935\u0930\u094D\u0937 1 \u0915\
\u0940 \u0915\u0930 \u0926\u0947\u092F\u0924\u093E $16,500 \u0925\u0940 \u091C\
\u092C \u0909\u0938\u0928\u0947 \u0938\u092E\u092F \u092A\u0930 30 \u0905\u092A\
\u094D\u0930\u0948\u0932, \u0935\u0930\u094D\u0937 2 \u0915\u094B \u0905\u092A\
\u0928\u093E \u0930\u093F\u091F\u0930\u094D\u0928 \u0926\u093E\u0916\u093F\u0932\
\ \u0915\u093F\u092F\u093E \u0914\u0930 \u0936\u0947\u0937 \u0915\u0930 \u0926\
\u0947\u092F\u0924\u093E \u0915\u093E \u092D\u0941\u0917\u0924\u093E\u0928 \u0915\
\u093F\u092F\u093E\u0964 \u0905\u0928\u0941\u092E\u093E\u0928\u093F\u0924 \u0915\
\u0930\u094B\u0902 \u0915\u0947 \u0915\u092E \u092D\u0941\u0917\u0924\u093E\u0928\
\ \u0915\u0947 \u0932\u093F\u090F \u0915\u093F\u0924\u0928\u0940 \u0930\u093E\
\u0936\u093F \u091C\u0941\u0930\u094D\u092E\u093E\u0928\u0947 \u0915\u0947 \u0905\
\u0927\u0940\u0928 \u0939\u094B\u0917\u0940?"
- input_choice_list:
A: $5,000
B: $13,500
C: $16,000
D: $20,000
input_correct_responses:
- B
input_question: "\u091C\u0928\u0935\u0930\u0940 1, \u0935\u0930\u094D\u0937 1\
\ \u0915\u094B, \u0905\u0932\u094D\u092B\u093E \u0915\u0902\u092A\u0928\u0940\
\ \u0928\u0947 \u090F\u0915 \u0938\u0949\u092B\u094D\u091F\u0935\u0947\u092F\
\u0930 \u092A\u094D\u0930\u0926\u093E\u0924\u093E \u0915\u0947 \u0938\u093E\u0925\
\ 15,000 \u0921\u0949\u0932\u0930 \u0915\u0947 \u0935\u093E\u0930\u094D\u0937\
\u093F\u0915 \u0930\u0916\u0930\u0916\u093E\u0935 \u0938\u092E\u091D\u094C\u0924\
\u0947 \u092A\u0930 \u0939\u0938\u094D\u0924\u093E\u0915\u094D\u0937\u0930 \u0915\
\u093F\u090F \u0914\u0930 \u0930\u0916\u0930\u0916\u093E\u0935 \u0915\u0940\
\ \u0905\u0935\u0927\u093F 1 \u092E\u093E\u0930\u094D\u091A, \u0935\u0930\u094D\
\u0937 2 \u0938\u0947 \u0936\u0941\u0930\u0942 \u0939\u094B\u0924\u0940 \u0939\
\u0948\u0964 \u0905\u0932\u094D\u092B\u093E \u0928\u0947 1 \u091C\u0928\u0935\
\u0930\u0940, \u0935\u0930\u094D\u0937 1 \u0915\u094B \u0938\u0949\u092B\u094D\
\u091F\u0935\u0947\u092F\u0930 \u0938\u0902\u0936\u094B\u0927\u0928 \u0938\u0947\
\ \u0938\u0902\u092C\u0902\u0927\u093F\u0924 $5,000 \u0915\u0940 \u0932\u093E\
\u0917\u0924 \u092D\u0940 \u0916\u0930\u094D\u091A \u0915\u0940\u0964 \u0905\
\u0928\u0941\u0930\u094B\u0927 \u091C\u094B \u0938\u0949\u092B\u093C\u094D\u091F\
\u0935\u0947\u092F\u0930 \u0915\u0940 \u0915\u093E\u0930\u094D\u092F\u0915\u094D\
\u0937\u092E\u0924\u093E \u092C\u0922\u093C\u093E\u090F\u0902\u0917\u0947\u0964\
\ \u0905\u0932\u094D\u092B\u093E \u0938\u094D\u091F\u094D\u0930\u0947\u091F\
-\u0932\u093E\u0907\u0928 \u0935\u093F\u0927\u093F \u0915\u093E \u0909\u092A\
\u092F\u094B\u0917 \u0915\u0930\u0915\u0947 \u092A\u093E\u0902\u091A \u0935\u0930\
\u094D\u0937\u094B\u0902 \u092E\u0947\u0902 \u0905\u092A\u0928\u0947 \u0915\u0902\
\u092A\u094D\u092F\u0942\u091F\u0930 \u0914\u0930 \u0938\u0949\u092B\u094D\u091F\
\u0935\u0947\u092F\u0930 \u092A\u0930\u093F\u0938\u0902\u092A\u0924\u094D\u0924\
\u093F\u092F\u094B\u0902 \u0915\u093E \u092E\u0942\u0932\u094D\u092F\u0939\u094D\
\u0930\u093E\u0938 \u0914\u0930 \u092A\u0930\u093F\u0936\u094B\u0927\u0928 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 31 \u0926\u093F\u0938\u0902\u092C\u0930\
, \u0935\u0930\u094D\u0937 1 \u0915\u094B \u0938\u092E\u093E\u092A\u094D\u0924\
\ \u0935\u0930\u094D\u0937 \u0915\u0947 \u0932\u093F\u090F \u0930\u0916\u0930\
\u0916\u093E\u0935 \u0938\u092E\u091D\u094C\u0924\u0947 \u0914\u0930 \u0938\u0949\
\u092B\u093C\u094D\u091F\u0935\u0947\u092F\u0930 \u0938\u0902\u0936\u094B\u0927\
\u0928\u094B\u0902 \u0938\u0947 \u0938\u0902\u092C\u0902\u0927\u093F\u0924 \u0905\
\u0932\u094D\u092B\u093C\u093E \u0915\u094B \u0915\u0941\u0932 \u0935\u094D\u092F\
\u092F \u0915\u093F\u0924\u0928\u0940 \u0930\u093E\u0936\u093F \u092E\u093E\u0928\
\u0928\u0940 \u091A\u093E\u0939\u093F\u090F?"
- input_choice_list:
A: "\u092E\u0942\u0932\u094D\u092F\u093E\u0902\u0915\u0928 \u090F\u0935\u0902\
\ \u0906\u0935\u0902\u091F\u0928"
B: "\u0938\u0902\u092A\u0942\u0930\u094D\u0923\u0924\u093E"
C: "\u0905\u0927\u093F\u0915\u093E\u0930 \u0906\u0948\u0930 \u0926\u093E\u092F\
\u093F\u0924\u094D\u0935"
D: "\u092A\u094D\u0930\u0938\u094D\u0924\u0941\u0924\u093F \u090F\u0935\u0902\
\ \u092A\u094D\u0930\u0915\u091F\u0940\u0915\u0930\u0923"
input_correct_responses:
- B
input_question: "\u090F\u0915 \u0911\u0921\u093F\u091F\u0930 \u0915\u093F\u0938\
\u0940 \u0917\u0948\u0930-\u091C\u093E\u0930\u0940\u0915\u0930\u094D\u0924\u093E\
\ \u0915\u0947 \u0938\u092C\u0932\u0947\u091C\u0930 \u0915\u094B \u0909\u092A\
\u0915\u0930\u0923 \u092A\u0930 \u0938\u0940\u0930\u093F\u092F\u0932 \u0928\u0902\
\u092C\u0930 \u0915\u093E \u092A\u0924\u093E \u0932\u0917\u093E\u0924\u093E\
\ \u0939\u0948\u0964 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u092A\u094D\
\u0930\u092C\u0902\u0927\u0928 \u0926\u093E\u0935\u093E \u0907\u0938 \u092A\u0930\
\u0940\u0915\u094D\u0937\u0923 \u0926\u094D\u0935\u093E\u0930\u093E \u0938\u092E\
\u0930\u094D\u0925\u093F\u0924 \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_professional_accounting
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_professional_accounting
task_alias: professional_accounting
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u091A\u094C\u0926\u0939\u0935\u0947\u0902 \u0938\u0902\u0936\u094B\u0927\
\u0928 \u0915\u0947 \u0928\u093F\u092F\u0924 \u092A\u094D\u0930\u0915\u094D\
\u0930\u093F\u092F\u093E \u0916\u0902\u0921 \u0915\u0947 \u0924\u0939\u0924\
\ \u0905\u0938\u094D\u092A\u0937\u094D\u091F\u0924\u093E \u0915\u0947 \u0915\
\u093E\u0930\u0923 \u0915\u093C\u093E\u0928\u0942\u0928 \u0936\u0942\u0928\
\u094D\u092F \u0939\u0948\u0964"
B: "\u0915\u093C\u093E\u0928\u0942\u0928 \u0905\u092E\u093E\u0928\u094D\u092F\
\ \u0939\u0948 \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u092F\u0939 \u092A\
\u094D\u0930\u0925\u092E \u0938\u0902\u0936\u094B\u0927\u0928 \u0915\u0947\
\ \u0924\u0939\u0924 \u092F\u093E\u091A\u093F\u0915\u093E\u0915\u0930\u094D\
\u0924\u093E \u0915\u0940 \u092C\u094B\u0932\u0928\u0947 \u0915\u0940 \u0938\
\u094D\u0935\u0924\u0902\u0924\u094D\u0930\u0924\u093E \u0915\u093E \u0909\
\u0932\u094D\u0932\u0902\u0918\u0928 \u0915\u0930\u0924\u093E \u0939\u0948\
\u0964"
C: "\u092F\u0939 \u0915\u093C\u093E\u0928\u0942\u0928 \u092A\u094D\u0930\u0925\
\u092E \u0938\u0902\u0936\u094B\u0927\u0928 \u0915\u0947 \u0924\u0939\u0924\
\ \u092C\u094B\u0932\u0928\u0947 \u0915\u0940 \u0938\u094D\u0935\u0924\u0902\
\u0924\u094D\u0930\u0924\u093E \u0915\u093E \u0939\u0928\u0928 \u0939\u0948\
\ \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u0938\u092E\u093E\u0928 \u0909\
\u0926\u094D\u0926\u0947\u0936\u094D\u092F \u0915\u094B \u092A\u094D\u0930\
\u093E\u092A\u094D\u0924 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\
\u090F \u0915\u092E \u092A\u094D\u0930\u0924\u093F\u092C\u0902\u0927\u093E\
\u0924\u094D\u092E\u0915 \u0938\u093E\u0927\u0928 \u0909\u092A\u0932\u092C\
\u094D\u0927 \u0939\u0948\u0902\u0964"
D: "\u0915\u093C\u093E\u0928\u0942\u0928 \u0935\u094D\u092F\u093E\u092A\u0915\
\ \u0939\u0948 \u0914\u0930 \u092A\u0930\u093F\u0923\u093E\u092E\u0938\u094D\
\u0935\u0930\u0942\u092A \u092A\u0939\u0932\u0947 \u0914\u0930 \u091A\u094C\
\u0926\u0939\u0935\u0947\u0902 \u0938\u0902\u0936\u094B\u0927\u0928 \u0915\
\u0947 \u0924\u0939\u0924 \u0905\u092E\u093E\u0928\u094D\u092F \u0939\u0948\
\u0964"
input_correct_responses:
- D
input_question: "\u090F\u0915 \u0930\u093E\u091C\u094D\u092F \u0935\u093F\u0927\
\u093E\u092F\u093F\u0915\u093E \u0928\u0947 \u0939\u093E\u0932 \u0939\u0940\
\ \u092E\u0947\u0902 \u090F\u0915 \u0915\u093C\u093E\u0928\u0942\u0928 \u092C\
\u0928\u093E\u092F\u093E \u0939\u0948, \u091C\u093F\u0938\u0938\u0947 \u0905\
\u092A\u0928\u0947 \u0915\u0930\u094D\u0924\u0935\u094D\u092F\u094B\u0902 \u0915\
\u093E \u092A\u093E\u0932\u0928 \u0915\u0930 \u0930\u0939\u0947 \u0915\u093F\
\u0938\u0940 \u092A\u0941\u0932\u093F\u0938 \u0905\u0927\u093F\u0915\u093E\u0930\
\u0940 \u0915\u094B \u0936\u094D\u0930\u093E\u092A \u0926\u0947\u0928\u093E\
, \u0928\u093F\u0902\u0926\u093E \u0915\u0930\u0928\u093E \u092F\u093E \u0909\
\u0938\u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u092F\u093E \u0909\u0938\u0915\
\u0947 \u0938\u0902\u0926\u0930\u094D\u092D \u092E\u0947\u0902 \u0905\u0936\u094D\
\u0932\u0940\u0932 \u092F\u093E \u0905\u092A\u092E\u093E\u0928\u091C\u0928\u0915\
\ \u092D\u093E\u0937\u093E \u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\
\u0930\u0928\u093E \u090F\u0915 \u0926\u0941\u0937\u094D\u0915\u0930\u094D\u092E\
\ \u0939\u0948\u0964 \u0930\u093E\u091C\u094D\u092F \u0935\u093F\u0936\u094D\
\u0935\u0935\u093F\u0926\u094D\u092F\u093E\u0932\u092F \u0915\u0947 \u090F\u0915\
\ \u091B\u093E\u0924\u094D\u0930 \u0928\u0947 \u092F\u0941\u0926\u094D\u0927\
\ \u0915\u0947 \u0935\u093F\u0930\u094B\u0927 \u092E\u0947\u0902 \u092A\u0930\
\u093F\u0938\u0930 \u092E\u0947\u0902 \u090F\u0915 \u092A\u094D\u0930\u0926\u0930\
\u094D\u0936\u0928 \u0915\u093E \u0906\u092F\u094B\u091C\u0928 \u0915\u093F\u092F\
\u093E\u0964 \u0930\u0948\u0932\u0940 \u092E\u0947\u0902 50 \u091B\u093E\u0924\
\u094D\u0930\u094B\u0902 \u0915\u0947 \u090F\u0915 \u0938\u092E\u0942\u0939\
\ \u0928\u0947 \u092D\u093E\u0917 \u0932\u093F\u092F\u093E, \u091C\u093F\u0928\
\u094D\u0939\u094B\u0902\u0928\u0947 \u092A\u093E\u0938 \u0938\u0947 \u0917\u0941\
\u091C\u0930\u0928\u0947 \u0935\u093E\u0932\u0940 \u0915\u093E\u0930\u094B\u0902\
\ \u092A\u0930 \u092F\u0941\u0926\u094D\u0927-\u0935\u093F\u0930\u094B\u0927\
\u0940 \u0938\u0902\u0926\u0947\u0936 \u091A\u093F\u0932\u094D\u0932\u093E\u090F\
\u0964 \u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0930\u093E\u091C\u094D\u092F\
\ \u0905\u092E\u0947\u0930\u093F\u0915\u093E \u0915\u0947 \u092A\u094D\u0930\
\u0924\u093F \u0905\u092A\u0928\u0940 \u0905\u0935\u092E\u093E\u0928\u0928\u093E\
\ \u0926\u093F\u0916\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F, \u091B\
\u093E\u0924\u094D\u0930 \u0928\u0947 \u0905\u092A\u0928\u0940 \u091C\u0940\u0902\
\u0938 \u0915\u0947 \u092A\u093F\u091B\u0932\u0947 \u0939\u093F\u0938\u094D\u0938\
\u0947 \u092A\u0930 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u0927\u094D\u0935\
\u091C \u0938\u093F\u0932 \u0926\u093F\u092F\u093E\u0964 \u091C\u092C \u090F\
\u0915 \u092A\u0941\u0932\u093F\u0938 \u0905\u0927\u093F\u0915\u093E\u0930\u0940\
\ \u0928\u0947 \u091B\u093E\u0924\u094D\u0930 \u0915\u0940 \u091C\u0940\u0902\
\u0938 \u092A\u0930 \u091D\u0902\u0921\u093E \u0932\u0917\u093E \u0939\u0941\
\u0906 \u0926\u0947\u0916\u093E, \u0924\u094B \u0935\u0939 \u0909\u0938\u0915\
\u0947 \u092A\u093E\u0938 \u0906\u092F\u093E \u0914\u0930 \u0909\u0938\u0938\
\u0947 \u0915\u0939\u093E \u0915\u093F \u0935\u0939 \u091D\u0902\u0921\u093E\
\ \u0939\u091F\u093E \u0926\u0947 \u0905\u0928\u094D\u092F\u0925\u093E \u0909\
\u0938\u0947 \u0917\u093F\u0930\u092B\u094D\u0924\u093E\u0930 \u0915\u0930 \u0932\
\u093F\u092F\u093E \u091C\u093E\u090F\u0917\u093E\u0964 \u091B\u093E\u0924\u094D\
\u0930 \u0915\u094D\u0930\u094B\u0927\u093F\u0924 \u0939\u094B \u0917\u092F\u093E\
\ \u0914\u0930 \u092A\u0941\u0932\u093F\u0938 \u0905\u0927\u093F\u0915\u093E\
\u0930\u0940 \u092A\u0930 \u091A\u093F\u0932\u094D\u0932\u093E\u092F\u093E,\
\ "\u0938\u0941\u0928\u094B, \u0915\u092E\u0940\u0928\u0947, \u092E\u0948\
\u0902 \u092F\u0939 \u0915\u092A\u0921\u093C\u093E \u091C\u0939\u093E\u0902\
\ \u092D\u0940 \u091A\u093E\u0939\u0942\u0902 \u092A\u0939\u0928\u0942\u0902\
\u0917\u093E\u0964" \u092C\u093E\u0926 \u092E\u0947\u0902 \u091B\u093E\u0924\
\u094D\u0930 \u0915\u094B \u0917\u093F\u0930\u092B\u094D\u0924\u093E\u0930 \u0915\
\u0930 \u0932\u093F\u092F\u093E \u0917\u092F\u093E \u0914\u0930 \u0930\u093E\
\u091C\u094D\u092F \u0915\u093C\u093E\u0928\u0942\u0928 \u0915\u093E \u0909\u0932\
\u094D\u0932\u0902\u0918\u0928 \u0915\u0930\u0928\u0947 \u0915\u093E \u0906\u0930\
\u094B\u092A \u0932\u0917\u093E\u092F\u093E \u0917\u092F\u093E\u0964 \u091B\u093E\
\u0924\u094D\u0930 \u092C\u093E\u0926 \u092E\u0947\u0902 \u0915\u093C\u093E\u0928\
\u0942\u0928 \u0915\u0940 \u0938\u0902\u0935\u0948\u0927\u093E\u0928\u093F\u0915\
\u0924\u093E \u0915\u094B \u091A\u0941\u0928\u094C\u0924\u0940 \u0926\u0947\u0924\
\u0947 \u0939\u0941\u090F \u0930\u093E\u091C\u094D\u092F \u0905\u0926\u093E\u0932\
\u0924 \u092E\u0947\u0902 \u092E\u0941\u0915\u0926\u092E\u093E \u0926\u093E\u092F\
\u0930 \u0915\u0930\u0924\u093E \u0939\u0948\u0964 \u091B\u093E\u0924\u094D\u0930\
\ \u0915\u0947 \u0932\u093F\u090F \u0938\u092C\u0938\u0947 \u092E\u091C\u092C\
\u0942\u0924 \u0938\u0902\u0935\u0948\u0927\u093E\u0928\u093F\u0915 \u0924\u0930\
\u094D\u0915 \u092F\u0939\u0940 \u0939\u0948"
- input_choice_list:
A: "\u0935\u093E\u0923\u093F\u091C\u094D\u092F \u0916\u0902\u0921."
B: "\u091A\u094C\u0926\u0939\u0935\u0947\u0902 \u0938\u0902\u0936\u094B\u0927\
\u0928 \u0915\u093E \u0938\u092E\u093E\u0928 \u0938\u0902\u0930\u0915\u094D\
\u0937\u0923 \u0916\u0902\u0921\u0964"
C: "\u0905\u0928\u0941\u091A\u094D\u091B\u0947\u0926 IV, \u0927\u093E\u0930\u093E\
\ 2 \u0915\u0947 \u0935\u093F\u0936\u0947\u0937\u093E\u0927\u093F\u0915\u093E\
\u0930 \u0914\u0930 \u0909\u0928\u094D\u092E\u0941\u0915\u094D\u0924\u093F\
\u092F\u093E\u0901 \u0916\u0902\u0921\u0964"
D: "\u0905\u0928\u0941\u092C\u0902\u0927 \u0916\u0902\u0921."
input_correct_responses:
- A
input_question: "\u090F\u0915 \u0930\u093E\u091C\u094D\u092F \u0928\u0947 \u0939\
\u093E\u0932 \u0939\u0940 \u092E\u0947\u0902 \u0930\u093E\u091C\u094D\u092F\
\ \u0915\u0947 \u092D\u0940\u0924\u0930 \u0915\u093F\u0938\u0940 \u092D\u0940\
\ \u092A\u0930\u092E\u093E\u0923\u0941 \u0915\u091A\u0930\u0947 \u0915\u0947\
\ \u0928\u093F\u092A\u091F\u093E\u0928 \u092A\u0930 \u0930\u094B\u0915 \u0932\
\u0917\u093E\u0928\u0947 \u0935\u093E\u0932\u093E \u090F\u0915 \u0915\u093C\u093E\
\u0928\u0942\u0928 \u092C\u0928\u093E\u092F\u093E \u0939\u0948\u0964 \u092F\u0939\
\ \u0915\u093E\u0928\u0942\u0928 \u0915\u093F\u0938\u0940 \u092D\u0940 \u0938\
\u0902\u0918\u0940\u092F \u0915\u093C\u093E\u0928\u0942\u0928 \u0915\u093E \u0909\
\u0932\u094D\u0932\u0902\u0918\u0928 \u092F\u093E \u091F\u0915\u0930\u093E\u0935\
\ \u0928\u0939\u0940\u0902 \u0915\u0930\u0924\u093E \u0939\u0948\u0964 \u090F\
\u0915 \u0906\u0926\u092E\u0940 \u0930\u093E\u091C\u094D\u092F \u092E\u0947\u0902\
\ \u090F\u0915 \u0915\u0902\u092A\u0928\u0940 \u091A\u0932\u093E\u0924\u093E\
\ \u0939\u0948 \u091C\u094B \u092A\u0930\u092E\u093E\u0923\u0941 \u0915\u091A\
\u0930\u0947 \u0915\u0947 \u0928\u093F\u092A\u091F\u093E\u0928 \u092E\u0947\u0902\
\ \u0932\u0917\u0940 \u0939\u0941\u0908 \u0939\u0948\u0964 \u0930\u093E\u091C\
\u094D\u092F \u0915\u093C\u093E\u0928\u0942\u0928 \u0915\u0947 \u092A\u093E\u0930\
\u093F\u0924 \u0939\u094B\u0928\u0947 \u0915\u0947 \u092C\u093E\u0926, \u0909\
\u0938 \u0935\u094D\u092F\u0915\u094D\u0924\u093F \u0915\u094B, \u091C\u094B\
\ \u0905\u092D\u0940 \u0924\u0915 \u0928\u090F \u0915\u093E\u0928\u0942\u0928\
\ \u0938\u0947 \u0905\u0935\u0917\u0924 \u0928\u0939\u0940\u0902 \u0925\u093E\
, \u0930\u093E\u091C\u094D\u092F \u092E\u0947\u0902 \u0905\u092A\u0928\u0947\
\ \u092A\u0930\u092E\u093E\u0923\u0941 \u0915\u091A\u0930\u0947 \u0915\u0947\
\ \u0928\u093F\u092A\u091F\u093E\u0928 \u0915\u0947 \u0932\u093F\u090F \u0915\
\u0908 \u0930\u093E\u091C\u094D\u092F-\u092C\u093E\u0939\u0930 \u0915\u0940\
\ \u0915\u0902\u092A\u0928\u093F\u092F\u094B\u0902 \u0915\u0947 \u0938\u093E\
\u0925 \u0905\u0928\u0941\u092C\u0902\u0927 \u092E\u0947\u0902 \u092A\u094D\u0930\
\u0935\u0947\u0936 \u0915\u093F\u092F\u093E\u0964 \u0939\u093E\u0932\u093E\u0901\
\u0915\u093F, \u0907\u0938 \u0928\u090F \u0915\u093E\u0928\u0942\u0928 \u0915\
\u0947 \u0915\u093E\u0930\u0923, \u0906\u0926\u092E\u0940 \u0907\u0928 \u0905\
\u0928\u0941\u092C\u0902\u0927\u094B\u0902 \u0915\u094B \u092A\u0942\u0930\u093E\
\ \u0915\u0930\u0928\u0947 \u092E\u0947\u0902 \u0905\u0938\u092E\u0930\u094D\
\u0925 \u0939\u094B\u0917\u093E\u0964 \u092E\u093E\u0928 \u0932\u0940\u091C\u093F\
\u090F \u0915\u093F \u0935\u0939 \u0935\u094D\u092F\u0915\u094D\u0924\u093F\
\ \u0907\u0938 \u0930\u093E\u091C\u094D\u092F \u0915\u093E\u0928\u0942\u0928\
\ \u0915\u094B \u091A\u0941\u0928\u094C\u0924\u0940 \u0926\u0947\u0928\u0947\
\ \u0915\u0947 \u0932\u093F\u090F \u0916\u0921\u093C\u093E \u0939\u0948\u0964\
\ \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902\
\ \u0938\u0947 \u0915\u094C\u0928 \u0930\u093E\u091C\u094D\u092F \u0915\u0947\
\ \u092D\u0940\u0924\u0930 \u092A\u0930\u092E\u093E\u0923\u0941 \u0915\u091A\
\u0930\u0947 \u0915\u0947 \u0928\u093F\u092A\u091F\u093E\u0928 \u092A\u0930\
\ \u0930\u094B\u0915 \u0932\u0917\u093E\u0928\u0947 \u0935\u093E\u0932\u0947\
\ \u0930\u093E\u091C\u094D\u092F \u0915\u0947 \u0915\u093E\u0928\u0942\u0928\
\ \u0915\u094B \u091A\u0941\u0928\u094C\u0924\u0940 \u0926\u0947\u0928\u0947\
\ \u0915\u0947 \u0932\u093F\u090F \u0905\u092A\u0928\u093E \u0938\u092C\u0938\
\u0947 \u092E\u091C\u092C\u0942\u0924 \u0938\u0902\u0935\u0948\u0927\u093E\u0928\
\u093F\u0915 \u0906\u0927\u093E\u0930 \u092A\u094D\u0930\u0938\u094D\u0924\u0941\
\u0924 \u0915\u0930\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u0928\u093F\u0930\u094D\u0935\u093F\u0935\u093E\u0926 \u0924\u0925\u094D\
\u092F."
B: "\u0935\u0947 \u0924\u0925\u094D\u092F \u091C\u094B \u0935\u094D\u092F\u0915\
\u094D\u0924\u093F\u0917\u0924 \u0930\u093E\u091C\u0928\u0940\u0924\u093F\u0915\
\ \u0938\u0902\u0917\u0920\u0928\u094B\u0902 \u0926\u094D\u0935\u093E\u0930\
\u093E \u0926\u093E\u0935\u093E \u0915\u093F\u090F \u0917\u090F \u0939\u0948\
\u0902\u0964"
C: "\u0938\u093E\u092E\u093E\u0928\u094D\u092F \u091C\u094D\u091E\u093E\u0928\
\ \u0926\u094D\u0935\u093E\u0930\u093E \u0938\u0924\u094D\u092F \u092E\u093E\
\u0928\u0947 \u091C\u093E\u0928\u0947 \u0935\u093E\u0932\u0947 \u0924\u0925\
\u094D\u092F\u0964"
D: "\u0935\u0948\u091C\u094D\u091E\u093E\u0928\u093F\u0915 \u0938\u0924\u094D\
\u092F\u093E\u092A\u0928 \u092E\u0947\u0902 \u0938\u0915\u094D\u0937\u092E\
\ \u0924\u0925\u094D\u092F."
input_correct_responses:
- B
input_question: "\u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\u0936 \u0928\
\u0947 \u092E\u0941\u0915\u0926\u092E\u0947 \u0915\u0940 \u0936\u0941\u0930\u0941\
\u0906\u0924 \u092E\u0947\u0902 \u0915\u0941\u091B \u0924\u0925\u094D\u092F\u094B\
\u0902 \u092A\u0930 \u0928\u094D\u092F\u093E\u092F\u093F\u0915 \u0938\u0902\u091C\
\u094D\u091E\u093E\u0928 \u0932\u093F\u092F\u093E\u0964 \u0928\u093F\u092E\u094D\
\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\
\u0928 \u0938\u093E \u0928\u094D\u092F\u093E\u092F\u093F\u0915 \u0928\u094B\u091F\
\u093F\u0938 \u0915\u0947 \u0932\u093F\u090F \u0909\u092A\u092F\u0941\u0915\u094D\
\u0924 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\u093E \u0924\u0925\u094D\u092F\
\ \u0928\u0939\u0940\u0902 \u0939\u0948?"
- input_choice_list:
A: "\u0930\u093E\u0939\u0924 \u092A\u094D\u0930\u0926\u093E\u0928 \u0915\u0930\
\u0947\u0902, \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u092C\u093E\u0921\
\u093C \u0938\u0941\u0916 \u0938\u0941\u0935\u093F\u0927\u093E \u092A\u094D\
\u0930\u0924\u093F\u092C\u0902\u0927 \u0915\u093E \u0909\u0932\u094D\u0932\
\u0902\u0918\u0928 \u0915\u0930 \u0930\u0939\u0940 \u0925\u0940\u0964"
B: "\u0930\u093E\u0939\u0924 \u092A\u094D\u0930\u0926\u093E\u0928 \u0915\u0930\
\u0947\u0902, \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u092C\u093E\u0921\
\u093C \u0915\u0947 \u0905\u0924\u093F\u0915\u094D\u0930\u092E\u0923 \u0928\
\u0947 \u092E\u0942\u0932 \u092F\u094B\u091C\u0928\u093E \u092E\u0947\u0902\
\ \u092A\u094D\u0930\u0924\u093F\u092C\u0902\u0927 \u0915\u093E \u0909\u0932\
\u094D\u0932\u0902\u0918\u0928 \u0915\u093F\u092F\u093E \u0939\u0948\u0964"
C: "\u0930\u093E\u0939\u0924 \u0938\u0947 \u0907\u0928\u0915\u093E\u0930 \u0915\
\u0930\u0947\u0902, \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u0936\u093F\
\u0915\u094D\u0937\u0915 \u0938\u0947\u0935\u093E\u0928\u093F\u0935\u0943\u0924\
\u094D\u0924 \u0915\u0947 \u0916\u093F\u0932\u093E\u092B \u092A\u094D\u0930\
\u0924\u093F\u092C\u0902\u0927 \u0932\u093E\u0917\u0942 \u0915\u0930\u0928\
\u0947 \u092E\u0947\u0902 \u0935\u093F\u092B\u0932 \u0930\u0939\u093E\u0964"
D: "\u0930\u093E\u0939\u0924 \u0938\u0947 \u0907\u0928\u0915\u093E\u0930 \u0915\
\u0930\u0947\u0902, \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u092A\u094D\
\u0930\u0924\u093F\u092C\u0902\u0927 \u0915\u0940 \u0936\u0930\u094D\u0924\
\u094B\u0902 \u0915\u0947 \u0924\u0939\u0924 \u092C\u093E\u0921\u093C \u0915\
\u094B "\u090F\u0915 \u0938\u0902\u0930\u091A\u0928\u093E" \u0915\
\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0928\u0939\u0940\u0902 \u0938\
\u092E\u091D\u093E \u091C\u093E\u090F\u0917\u093E\u0964"
input_correct_responses:
- B
input_question: "1 \u0905\u0915\u094D\u091F\u0942\u092C\u0930 1980 \u0915\u094B\
, \u090F\u0915 \u0917\u094D\u0930\u093E\u092E\u0940\u0923 \u0915\u093E\u0909\
\u0902\u091F\u0940 \u092E\u0947\u0902 \u0915\u0908 \u0938\u094C \u090F\u0915\
\u0921\u093C \u091C\u092E\u0940\u0928 \u0915\u0947 \u092E\u093E\u0932\u093F\u0915\
, \u090F\u0915 \u0921\u0947\u0935\u0932\u092A\u0930 \u0928\u0947 \u0915\u094D\
\u0937\u0947\u0924\u094D\u0930 \u0915\u0947 \u0932\u093F\u090F \u090F\u0915\
\ \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0935\u093F\u0915\u093E\u0938\
\ \u092F\u094B\u091C\u0928\u093E \u0915\u093E \u092E\u0938\u094C\u0926\u093E\
\ \u0924\u0948\u092F\u093E\u0930 \u0915\u093F\u092F\u093E\u0964 \u0935\u093F\
\u0927\u093F\u0935\u0924 \u0926\u0930\u094D\u091C \u092F\u094B\u091C\u0928\u093E\
\ \u092E\u0947\u0902 \u092F\u094B\u091C\u0928\u093E \u092E\u0947\u0902 \u092D\
\u0942\u092E\u093F \u092A\u0930 \u0935\u093F\u0938\u094D\u0924\u0943\u0924 \u0938\
\u0940\u092E\u093E\u090F\u0902 \u0914\u0930 \u092A\u094D\u0930\u0924\u093F\u092C\
\u0902\u0927 \u0932\u0917\u093E\u090F \u0917\u090F \u0925\u0947, \u091C\u093F\
\u0938\u0947 \u090F\u0915 \u0906\u0935\u093E\u0938\u0940\u092F \u091C\u093F\u0932\
\u0947 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0935\u093F\u0915\
\u0938\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\u0928\u093E \u0925\u093E\
\u0964 \u092A\u094D\u0930\u0924\u093F\u092C\u0902\u0927 \u0915\u093F\u0938\u0940\
\ \u092D\u0940 \u0932\u0949\u091F \u0915\u094B \u092A\u094D\u0930\u093E\u092A\
\u094D\u0924 \u0915\u0930\u0928\u0947 \u0935\u093E\u0932\u0947 \u0938\u092D\u0940\
\ \u0935\u094D\u092F\u0915\u094D\u0924\u093F\u092F\u094B\u0902 \u0914\u0930\
\ \u0909\u0928\u0915\u0947 \u0909\u0924\u094D\u0924\u0930\u093E\u0927\u093F\u0915\
\u093E\u0930\u093F\u092F\u094B\u0902, \u0928\u093F\u092F\u0941\u0915\u094D\u0924\
\u093F\u092F\u094B\u0902 \u0914\u0930 \u092A\u091F\u094D\u091F\u0947\u0926\u093E\
\u0930\u094B\u0902 \u092A\u0930 \u0932\u093E\u0917\u0942 \u0939\u094B\u0928\u0947\
\ \u0925\u0947\u0964 \u0906\u0917\u0947 \u092F\u0939 \u092A\u094D\u0930\u093E\
\u0935\u0927\u093E\u0928 \u0915\u093F\u092F\u093E \u0917\u092F\u093E \u0915\u093F\
\ \u0938\u092D\u0940 \u092C\u093E\u0926 \u0915\u0947 \u092E\u093E\u0932\u093F\
\u0915\u094B\u0902 \u0938\u0947 \u092A\u094D\u0930\u0924\u093F\u092C\u0902\u0927\
\u094B\u0902 \u0915\u0940 \u0909\u091A\u093F\u0924 \u0938\u0942\u091A\u0928\u093E\
\ \u0932\u0940 \u091C\u093E\u090F\u0917\u0940\u0964 \u0938\u093E\u092E\u093E\
\u0928\u094D\u092F \u092F\u094B\u091C\u0928\u093E \u092E\u0947\u0902 \u0909\u0928\
\ \u092A\u094D\u0930\u0924\u093F\u092C\u0902\u0927\u094B\u0902 \u092E\u0947\u0902\
\ \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u0925\u0947\
: (22) \u092A\u094D\u0930\u0935\u0947\u0936 \u0914\u0930 \u0928\u093F\u0915\u093E\
\u0938 \u0915\u0947 \u0905\u0927\u093F\u0915\u093E\u0930 \u0915\u0947 \u0938\
\u093E\u0925 \u0938\u093E\u0930\u094D\u0935\u091C\u0928\u093F\u0915 \u0909\u092A\
\u092F\u094B\u0917\u093F\u0924\u093E \u0915\u0902\u092A\u0928\u093F\u092F\u094B\
\u0902 \u0915\u0947 \u0909\u092A\u092F\u094B\u0917 \u0915\u0947 \u0932\u093F\
\u090F \u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0932\u0949\u091F \u0915\
\u0947 \u092A\u0940\u091B\u0947 10 \u092B\u0940\u091F \u091A\u094C\u0921\u093C\
\u0940 \u092D\u0942\u092E\u093F \u0915\u0940 \u090F\u0915 \u092A\u091F\u094D\
\u091F\u0940 \u092E\u0947\u0902 \u090F\u0915 \u092E\u0924\u093E\u0927\u093F\u0915\
\u093E\u0930 \u0905\u0927\u093F\u0915\u093E\u0930 \u092C\u0928\u093E\u092F\u093E\
\ \u091C\u093E\u0924\u093E \u0939\u0948\u0964 (23) \u0909\u0915\u094D\u0924\
\ \u092C\u094D\u0932\u0949\u0915\u094B\u0902 \u0938\u0947 \u0917\u0941\u091C\
\u0930\u0928\u0947 \u0935\u093E\u0932\u0940 \u092D\u0942\u092E\u093F \u0915\u0940\
\ \u0909\u092A\u0930\u094B\u0915\u094D\u0924 \u092A\u091F\u094D\u091F\u0940\
\ \u092A\u0930 \u0915\u093F\u0938\u0940 \u092D\u0940 \u092A\u094D\u0930\u0915\
\u093E\u0930 \u0915\u093E \u0915\u094B\u0908 \u0918\u0930 \u092F\u093E \u0938\
\u0902\u0930\u091A\u0928\u093E \u0928\u0939\u0940\u0902 \u092C\u0928\u093E\u0908\
\ \u091C\u093E\u090F\u0917\u0940\u0964 2000 \u092E\u0947\u0902, \u090F\u0915\
\ \u0938\u0947\u0935\u093E\u0928\u093F\u0935\u0943\u0924\u094D\u0924 \u0935\u094D\
\u092F\u0915\u094D\u0924\u093F \u0928\u0947 \u0932\u0949\u091F \u092E\u0947\u0902\
\ \u0938\u0947 \u090F\u0915 \u0916\u0930\u0940\u0926\u093E, \u090F\u0915 \u0918\
\u0930 \u092C\u0928\u093E\u092F\u093E, \u0914\u0930 \u092A\u094D\u0930\u0924\
\u093F\u092C\u0902\u0927\u093F\u0924 \u0915\u094D\u0937\u0947\u0924\u094D\u0930\
\ \u0915\u0947 \u092D\u0940\u0924\u0930 \u0905\u092A\u0928\u0940 \u0938\u0902\
\u092A\u0924\u094D\u0924\u093F \u0915\u0947 \u092A\u0940\u091B\u0947 \u090F\u0915\
\ \u092C\u093E\u0921\u093C \u0932\u0917\u093E \u0926\u0940\u0964 2004 \u092E\
\u0947\u0902, \u090F\u0915 \u0936\u093F\u0915\u094D\u0937\u0915 \u0928\u0947\
\ \u0938\u0947\u0935\u093E\u0928\u093F\u0935\u0943\u0924\u094D\u0924 \u0935\u094D\
\u092F\u0915\u094D\u0924\u093F \u0915\u0940 \u0938\u0902\u092A\u0924\u094D\u0924\
\u093F \u0915\u0947 \u092A\u093E\u0938 \u092C\u0939\u0941\u0924 \u0915\u0941\
\u091B \u0916\u0930\u0940\u0926\u093E \u0914\u0930 \u090F\u0915 \u0928\u092F\
\u093E \u0918\u0930 \u092C\u0928\u093E\u092F\u093E\u0964 \u0926\u094B \u0938\
\u093E\u0932 \u092C\u093E\u0926, \u090F\u0915 \u0932\u093E\u0907\u092C\u094D\
\u0930\u0947\u0930\u093F\u092F\u0928 \u0928\u0947 \u0936\u093F\u0915\u094D\u0937\
\u0915 \u0915\u0940 \u0938\u0902\u092A\u0924\u094D\u0924\u093F \u0938\u0947\
\ \u091C\u0941\u0921\u093C\u0940 \u0939\u0941\u0908 \u091C\u092E\u0940\u0928\
\ \u0916\u0930\u0940\u0926 \u0932\u0940\u0964 \u0909\u0928 \u0938\u0902\u092A\
\u0924\u094D\u0924\u093F\u092F\u094B\u0902 \u0915\u0947 \u0924\u0940\u0928 \u0915\
\u093E\u0930\u094D\u092F\u094B\u0902 \u092E\u0947\u0902 \u0938\u0947 \u092A\u094D\
\u0930\u0924\u094D\u092F\u0947\u0915 \u092E\u0947\u0902 \u0921\u0940\u0921 \u092C\
\u0941\u0915 \u0915\u093E \u0938\u0902\u0926\u0930\u094D\u092D \u0936\u093E\u092E\
\u093F\u0932 \u0925\u093E \u091C\u0939\u093E\u0902 \u0938\u093E\u092E\u093E\u0928\
\u094D\u092F \u092F\u094B\u091C\u0928\u093E \u0926\u0930\u094D\u091C \u0915\u0940\
\ \u0917\u0908 \u0925\u0940\u0964 2008 \u092E\u0947\u0902, \u0932\u093E\u0907\
\u092C\u094D\u0930\u0947\u0930\u093F\u092F\u0928 \u0928\u0947 \u0936\u093F\u0915\
\u094D\u0937\u0915 \u0915\u0947 \u0938\u093E\u0925 \u0905\u092A\u0928\u0947\
\ \u0939\u093F\u0938\u094D\u0938\u0947 \u0915\u094B \u0935\u093F\u092D\u093E\
\u091C\u093F\u0924 \u0915\u0930\u0928\u0947 \u0935\u093E\u0932\u0940 \u0930\u0947\
\u0916\u093E \u0915\u0947 \u0938\u093E\u0925-\u0938\u093E\u0925, \u0914\u0930\
\ \u092E\u0924\u093E\u0927\u093F\u0915\u093E\u0930 \u0905\u0927\u093F\u0915\u093E\
\u0930 \u0915\u0947 \u0905\u0927\u0940\u0928 \u0915\u094D\u0937\u0947\u0924\u094D\
\u0930 \u0915\u0947 \u0915\u0947\u0902\u0926\u094D\u0930 \u0915\u0947 \u0938\
\u093E\u0925 \u0938\u093E\u0924 \u092B\u0941\u091F \u0915\u0940 \u092A\u094B\
\u0938\u094D\u091F-\u090F\u0902\u0921-\u0930\u0947\u0932 \u092C\u093E\u0921\u093C\
\ \u0915\u093E \u0928\u093F\u0930\u094D\u092E\u093E\u0923 \u0936\u0941\u0930\
\u0942 \u0915\u093F\u092F\u093E\u0964 \u0939\u093E\u0932\u093E\u0901\u0915\u093F\
\ \u0936\u093F\u0915\u094D\u0937\u0915 \u0928\u0947 \u0907\u0938\u0915\u0947\
\ \u0928\u093F\u0930\u094D\u092E\u093E\u0923 \u092A\u0930 \u0906\u092A\u0924\
\u094D\u0924\u093F \u091C\u0924\u093E\u0908, \u0932\u0947\u0915\u093F\u0928\
\ \u092C\u093E\u0921\u093C \u0915\u093E \u0928\u093F\u0930\u094D\u092E\u093E\
\u0923 \u092A\u0942\u0930\u093E \u0939\u094B \u0917\u092F\u093E\u0964 \u092F\
\u0926\u093F \u0936\u093F\u0915\u094D\u0937\u0915 \u0932\u093E\u0907\u092C\u094D\
\u0930\u0947\u0930\u093F\u092F\u0928 \u0915\u0940 \u092C\u093E\u0921\u093C \u0915\
\u094B \u0939\u091F\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092C\
\u093E\u0927\u094D\u092F \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
\ \u0905\u0928\u093F\u0935\u093E\u0930\u094D\u092F \u0928\u093F\u0937\u0947\u0927\
\u093E\u091C\u094D\u091E\u093E \u0915\u0940 \u092E\u093E\u0902\u0917 \u0915\u0930\
\u0924\u093E \u0939\u0948, \u0924\u094B \u0905\u0926\u093E\u0932\u0924 \u0938\
\u092C\u0938\u0947 \u0905\u0927\u093F\u0915 \u0938\u0902\u092D\u093E\u0935\u0928\
\u093E \u0939\u094B\u0917\u0940"
- input_choice_list:
A: "\u092A\u093F\u0924\u093E \u0915\u093E \u0935\u093E\u0926\u093E \u0914\u0930\
\ \u0909\u0938 \u092A\u0930 \u090B\u0923\u0926\u093E\u0924\u093E \u0915\u0940\
\ \u0928\u093F\u0930\u094D\u092D\u0930\u0924\u093E, \u092F\u0926\u093F \u0938\
\u093E\u092C\u093F\u0924 \u0939\u094B \u091C\u093E\u0924\u0940 \u0939\u0948\
, \u0924\u094B \u0935\u091A\u0928\u092C\u0902\u0927\u0928 \u0915\u0947 \u0938\
\u093F\u0926\u094D\u0927\u093E\u0902\u0924 \u0915\u0947 \u0906\u0927\u093E\
\u0930 \u092A\u0930 \u090B\u0923\u0926\u093E\u0924\u093E \u0926\u094D\u0935\
\u093E\u0930\u093E \u092A\u093F\u0924\u093E \u0915\u0947 \u0916\u093F\u0932\
\u093E\u092B \u090F\u0915 \u0935\u0948\u0927 \u0926\u093E\u0935\u0947 \u0915\
\u094B \u091C\u0928\u094D\u092E \u0926\u093F\u092F\u093E \u091C\u093E\u0924\
\u093E \u0939\u0948\u0964"
B: "\u0915\u094D\u092F\u094B\u0902\u0915\u093F \u092F\u0939 \u0905\u0928\u0941\
\u092E\u093E\u0928 \u0932\u0917\u093E\u092F\u093E \u091C\u093E \u0938\u0915\
\u0924\u093E \u0925\u093E \u0915\u093F \u092A\u093F\u0924\u093E \u0915\u093E\
\ \u0935\u093E\u0926\u093E \u0932\u0947\u0928\u0926\u093E\u0930 \u0915\u094B\
\ \u092C\u0947\u091F\u0947 \u0915\u0947 \u0916\u093F\u0932\u093E\u092B \u0915\
\u094B\u0908 \u092D\u0940 \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908\
\ \u0915\u0930\u0928\u0947 \u0938\u0947 \u092E\u0928\u093E \u0915\u0930\u0928\
\u0947 \u0915\u0947 \u0932\u093F\u090F \u092A\u094D\u0930\u0947\u0930\u093F\
\u0924 \u0915\u0930\u0947\u0917\u093E, \u0907\u0938 \u0924\u0930\u0939 \u0915\
\u0940 \u0938\u0939\u0928\u0936\u0940\u0932\u0924\u093E, \u0915\u093E\u0928\
\u0942\u0928 \u0915\u0947 \u092E\u093E\u092E\u0932\u0947 \u092E\u0947\u0902\
, \u092A\u093F\u0924\u093E \u0915\u0947 \u0935\u093E\u0926\u0947 \u0915\u0947\
\ \u0932\u093F\u090F \u090F\u0915 \u0938\u094C\u0926\u093E \u0925\u0940\u0964"
C: "\u092A\u093F\u0924\u093E \u0926\u094D\u0935\u093E\u0930\u093E \u0932\u0947\
\u0928\u0926\u093E\u0930 \u0915\u094B \u0915\u0941\u0932 2,500 \u0921\u0949\
\u0932\u0930 \u0915\u0947 \u092A\u093E\u0901\u091A \u092D\u0941\u0917\u0924\
\u093E\u0928 \u0915\u0930\u0928\u0947 \u0938\u0947 \u092A\u093F\u0924\u093E\
\ \u0915\u0940 \u0913\u0930 \u0938\u0947 \u0938\u0902\u0935\u093F\u0926\u093E\
\u0924\u094D\u092E\u0915 \u0930\u0942\u092A \u0938\u0947 \u092C\u093E\u0927\
\u094D\u092F \u0939\u094B\u0928\u0947 \u0915\u093E \u0917\u0902\u092D\u0940\
\u0930 \u0907\u0930\u093E\u0926\u093E \u092A\u094D\u0930\u0915\u091F \u0939\
\u094B\u0924\u093E \u0939\u0948, \u0914\u0930 \u0907\u0938 \u0924\u0930\u0939\
\ \u0915\u0940 \u0905\u092D\u093F\u0935\u094D\u092F\u0915\u094D\u0924\u093F\
\ \u0915\u094B \u0906\u092E \u0924\u094C\u0930 \u092A\u0930 \u0935\u093F\u091A\
\u093E\u0930 \u0915\u0947 \u0932\u093F\u090F \u090F\u0915 \u092A\u094D\u0930\
\u092D\u093E\u0935\u0940 \u0935\u093F\u0915\u0932\u094D\u092A \u0915\u0947\
\ \u0930\u0942\u092A \u092E\u0947\u0902 \u092E\u093E\u0928\u094D\u092F\u0924\
\u093E \u0926\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948\u0964"
D: "\u092C\u0947\u091F\u0947 \u0926\u094D\u0935\u093E\u0930\u093E \u0932\u0947\
\u0928\u0926\u093E\u0930 \u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u0926\
\u0947\u092F \u092A\u0942\u0930\u094D\u0935\u0935\u0930\u094D\u0924\u0940\
\ \u090B\u0923 \u0926\u093E\u092F\u093F\u0924\u094D\u0935 \u0915\u094B \u092E\
\u093E\u0928\u0915\u0930, \u092A\u093F\u0924\u093E \u090F\u0915 \u091C\u093C\
\u092E\u093E\u0928\u0924 \u092C\u0928 \u0917\u092F\u093E \u091C\u093F\u0938\
\u0915\u093E \u0932\u0947\u0928\u0926\u093E\u0930 \u0938\u0947 \u0915\u093F\
\u092F\u093E \u0917\u092F\u093E \u0935\u093E\u0926\u093E \u0932\u093E\u0917\
\u0942 \u0915\u0930\u0928\u0947 \u092F\u094B\u0917\u094D\u092F \u0925\u093E\
, \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u092F\u0939 \u0932\u093F\u0916\
\u093F\u0924 \u0930\u0942\u092A \u092E\u0947\u0902 \u0925\u093E \u0914\u0930\
\ \u092A\u0930\u094D\u092F\u093E\u092A\u094D\u0924 \u0935\u093F\u091A\u093E\
\u0930-\u0935\u093F\u092E\u0930\u094D\u0936 \u0926\u094D\u0935\u093E\u0930\
\u093E \u0938\u092E\u0930\u094D\u0925\u093F\u0924 \u0925\u093E\u0964"
input_correct_responses:
- A
input_question: "\u090F\u0915 \u092C\u0947\u091F\u0947 \u092A\u0930 \u090F\u0915\
\ \u0932\u0947\u0928\u0926\u093E\u0930 \u0915\u093E 5,000 \u0921\u0949\u0932\
\u0930 \u092C\u0915\u093E\u092F\u093E \u0925\u093E\u0964 \u092C\u0947\u091F\u0947\
\ \u0915\u0947 \u092A\u093F\u0924\u093E \u0928\u0947 \u0932\u0947\u0928\u0926\
\u093E\u0930 \u0938\u0947 \u0938\u0902\u092A\u0930\u094D\u0915 \u0915\u093F\u092F\
\u093E \u0914\u0930 \u0909\u0938\u0938\u0947 \u0915\u0939\u093E \u0915\u093F\
\ \u0935\u0939 \u092C\u0947\u091F\u0947 \u0915\u093E \u0915\u0930\u094D\u091C\
\ \u091A\u0941\u0915\u093E\u0928\u093E \u091A\u093E\u0939\u0924\u093E \u0939\
\u0948\u0964 \u092A\u093F\u0924\u093E \u0928\u0947 \u090F\u0915 \u0926\u0938\
\u094D\u0924\u093E\u0935\u0947\u091C\u093C \u092A\u0930 \u0939\u0938\u094D\u0924\
\u093E\u0915\u094D\u0937\u0930 \u0915\u093F\u090F \u091C\u093F\u0938\u092E\u0947\
\u0902 \u0915\u0939\u093E \u0917\u092F\u093E \u0925\u093E \u0915\u093F \u092A\
\u093F\u0924\u093E 10 \u092E\u0939\u0940\u0928\u0947 \u0924\u0915 500 \u0921\
\u0949\u0932\u0930 \u092A\u094D\u0930\u0924\u093F \u092E\u093E\u0939 \u0915\u0940\
\ \u0926\u0930 \u0938\u0947 \u092C\u0947\u091F\u0947 \u0915\u093E \u0915\u0930\
\u094D\u091C\u093C \u091A\u0941\u0915\u093E\u090F\u0917\u093E\u0964 \u0932\u0947\
\u0928\u0926\u093E\u0930 \u0928\u0947 5,000 \u0921\u0949\u0932\u0930 \u0915\u093E\
\ \u0915\u0930\u094D\u091C\u093C \u0935\u0938\u0942\u0932\u0928\u0947 \u0915\
\u0947 \u0932\u093F\u090F \u092C\u0947\u091F\u0947 \u092A\u0930 \u092E\u0941\
\u0915\u0926\u092E\u093E \u0915\u0930\u0928\u0947 \u0938\u0947 \u0930\u094B\u0915\
\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0915\u094B\u0908 \u0932\u093F\
\u0916\u093F\u0924 \u092F\u093E \u092E\u094C\u0916\u093F\u0915 \u092A\u094D\u0930\
\u0924\u093F\u092C\u0926\u094D\u0927\u0924\u093E \u0928\u0939\u0940\u0902 \u091C\
\u0924\u093E\u0908, \u0914\u0930 \u092A\u093F\u0924\u093E \u0928\u0947 \u092D\
\u0940 \u0910\u0938\u0940 \u0915\u093F\u0938\u0940 \u092D\u0940 \u0930\u094B\
\u0915 \u0915\u0947 \u0932\u093F\u090F \u0915\u094B\u0908 \u092E\u094C\u0916\
\u093F\u0915 \u092F\u093E \u0932\u093F\u0916\u093F\u0924 \u0905\u0928\u0941\u0930\
\u094B\u0927 \u0928\u0939\u0940\u0902 \u0915\u093F\u092F\u093E\u0964 \u0905\u0917\
\u0932\u0947 \u092A\u093E\u0901\u091A \u092E\u0939\u0940\u0928\u094B\u0902 \u0915\
\u0947 \u0932\u093F\u090F, \u092A\u093F\u0924\u093E \u0928\u0947 \u092D\u0941\
\u0917\u0924\u093E\u0928 \u0915\u093F\u092F\u093E \u0914\u0930 \u0932\u0947\u0928\
\u0926\u093E\u0930 \u0928\u0947 \u0938\u0939\u092E\u0924\u093F \u0915\u0947\
\ \u0905\u0928\u0941\u0938\u093E\u0930 $500 \u0915\u093E \u092E\u093E\u0938\u093F\
\u0915 \u092D\u0941\u0917\u0924\u093E\u0928 \u0938\u094D\u0935\u0940\u0915\u093E\
\u0930 \u0915\u0930 \u0932\u093F\u092F\u093E\u0964 \u0909\u0938 \u0905\u0935\
\u0927\u093F \u0915\u0947 \u0926\u094C\u0930\u093E\u0928, \u090B\u0923\u0926\
\u093E\u0924\u093E \u0928\u0947, \u0935\u093E\u0938\u094D\u0924\u0935 \u092E\
\u0947\u0902, \u092C\u0947\u091F\u0947 \u0915\u0947 \u0916\u093F\u0932\u093E\
\u092B \u0915\u094B\u0908 \u092D\u0940 \u0915\u093E\u0928\u0942\u0928\u0940\
\ \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0915\u0930\u0928\u0947\
\ \u0938\u0947 \u092E\u0928\u093E \u0915\u0930 \u0926\u093F\u092F\u093E\u0964\
\ \u0939\u093E\u0932\u093E\u0901\u0915\u093F, \u0924\u092C \u092A\u093F\u0924\
\u093E \u0928\u0947 \u0932\u0947\u0928\u0926\u093E\u0930 \u0915\u094B \u0938\
\u0942\u091A\u093F\u0924 \u0915\u093F\u092F\u093E \u0915\u093F \u0935\u0939\
\ \u090B\u0923 \u092A\u0930 \u0915\u094B\u0908 \u0914\u0930 \u092D\u0941\u0917\
\u0924\u093E\u0928 \u0928\u0939\u0940\u0902 \u0915\u0930\u0947\u0917\u093E\u0964\
\ \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902\
\ \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0938\u092C\u0938\u0947 \u092A\
\u094D\u0930\u0947\u0930\u0915 \u0924\u0930\u094D\u0915 \u0939\u0948 \u0915\u093F\
\ \u092A\u093F\u0924\u093E \u0905\u092A\u0928\u0947 \u0938\u092E\u091D\u094C\
\u0924\u0947 \u0915\u0940 \u0936\u0930\u094D\u0924\u094B\u0902 \u0915\u0947\
\ \u0924\u0939\u0924 \u090B\u0923\u0926\u093E\u0924\u093E \u0915\u0947 \u092A\
\u094D\u0930\u0924\u093F \u0909\u0924\u094D\u0924\u0930\u0926\u093E\u092F\u0940\
\ \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_professional_law
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_professional_law
task_alias: professional_law
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0932\u0947\u092C\u0947\u091F\u093E\u0932\u094B\u0932"
B: "\u092A\u094B\u091F\u0947\u0936\u093F\u092F\u092E \u0915\u094D\u0932\u094B\
\u0930\u093E\u0907\u0921 \u0915\u0940 \u090F\u0915 \u0932\u094B\u0921\u093F\
\u0902\u0917 \u0916\u0941\u0930\u093E\u0915"
C: nifedipine
D: "\u092B\u0947\u0928\u094B\u0915\u094D\u0938\u0940\u092C\u0947\u0902\u091C\
\u093C\u093E\u092E\u093E\u0907\u0928"
input_correct_responses:
- D
input_question: "\u090F\u0915 42 \u0935\u0930\u094D\u0937\u0940\u092F \u0935\u094D\
\u092F\u0915\u094D\u0924\u093F 2 \u0938\u092A\u094D\u0924\u093E\u0939 \u092E\
\u0947\u0902 \u0928\u093F\u0930\u094D\u0927\u093E\u0930\u093F\u0924 \u090F\u0921\
\u094D\u0930\u0947\u0928\u093E\u0932\u0947\u0915\u094D\u091F\u0949\u092E\u0940\
\ \u0938\u0947 \u0917\u0941\u091C\u0930\u0928\u0947 \u0938\u0947 \u092A\u0939\
\u0932\u0947 \u092A\u094D\u0930\u0940\u0911\u092A\u0930\u0947\u091F\u093F\u0935\
\ \u092E\u0942\u0932\u094D\u092F\u093E\u0902\u0915\u0928 \u0915\u0947 \u0932\
\u093F\u090F \u0915\u093E\u0930\u094D\u092F\u093E\u0932\u092F \u092E\u0947\u0902\
\ \u0906\u0924\u093E \u0939\u0948\u0964 \u090F\u0915 \u092E\u0939\u0940\u0928\
\u0947 \u092A\u0939\u0932\u0947, \u090F\u0915 \u092E\u094B\u091F\u0930 \u0935\
\u093E\u0939\u0928 \u0915\u0940 \u091F\u0915\u094D\u0915\u0930 \u0915\u0947\
\ \u092C\u093E\u0926 \u0909\u0928\u0915\u0947 \u0926\u093E\u0939\u093F\u0928\
\u0947 \u092A\u093E\u0930\u094D\u0936\u094D\u0935 \u092E\u0947\u0902 \u0926\u0930\
\u094D\u0926 \u0915\u0947 \u0915\u093E\u0930\u0923 \u0909\u0928\u094D\u0939\u0947\
\u0902 \u0906\u092A\u093E\u0924\u0915\u093E\u0932\u0940\u0928 \u0935\u093F\u092D\
\u093E\u0917 \u092E\u0947\u0902 \u0926\u0947\u0916\u092D\u093E\u0932 \u092E\u093F\
\u0932\u0940 \u0925\u0940\u0964 \u0909\u0938 \u0938\u092E\u092F, \u0930\u0915\
\u094D\u0924\u091A\u093E\u092A 160/100 \u092E\u093F\u092E\u0940 \u090F\u091A\
\u091C\u0940 \u0925\u093E \u0914\u0930 \u092A\u0947\u091F \u0915\u0947 \u0938\
\u0940\u091F\u0940 \u0938\u094D\u0915\u0948\u0928 \u092E\u0947\u0902 \u0906\u0915\
\u0938\u094D\u092E\u093F\u0915 10-\u0938\u0947\u092E\u0940 \u092C\u093E\u090F\
\u0902 \u0905\u0927\u093F\u0935\u0943\u0915\u094D\u0915 \u0926\u094D\u0930\u0935\
\u094D\u092F\u092E\u093E\u0928 \u0926\u093F\u0916\u093E\u0964 \u0938\u0902\u092A\
\u0942\u0930\u094D\u0923 \u0930\u0915\u094D\u0924 \u0917\u0923\u0928\u093E,\
\ \u0938\u0940\u0930\u092E \u0907\u0932\u0947\u0915\u094D\u091F\u094D\u0930\u094B\
\u0932\u093E\u0907\u091F \u0938\u093E\u0902\u0926\u094D\u0930\u0924\u093E \u0914\
\u0930 \u092F\u0915\u0943\u0924 \u0915\u093E\u0930\u094D\u092F \u092A\u0930\u0940\
\u0915\u094D\u0937\u0923 \u0938\u0939\u093F\u0924 \u092A\u094D\u0930\u092F\u094B\
\u0917\u0936\u093E\u0932\u093E \u0905\u0927\u094D\u092F\u092F\u0928\u094B\u0902\
\ \u0915\u0947 \u092A\u0930\u093F\u0923\u093E\u092E \u0938\u0902\u0926\u0930\
\u094D\u092D \u0938\u0940\u092E\u093E \u0915\u0947 \u092D\u0940\u0924\u0930\
\ \u0925\u0947\u0964 \u0905\u0928\u094D\u092F\u0925\u093E \u0930\u094B\u0917\
\u0940 \u0938\u094D\u0935\u0938\u094D\u0925 \u0925\u093E \u0914\u0930 \u0909\
\u0938\u0947 \u0915\u092D\u0940 \u0928\u0939\u0940\u0902 \u092C\u0924\u093E\u092F\
\u093E \u0917\u092F\u093E \u0915\u093F \u0909\u0938\u0915\u093E \u0930\u0915\
\u094D\u0924\u091A\u093E\u092A \u092C\u0922\u093C\u093E \u0939\u0941\u0906 \u0939\
\u0948\u0964 \u0935\u0939 \u0915\u094B\u0908 \u0926\u0935\u093E \u0928\u0939\
\u0940\u0902 \u0932\u0947\u0924\u093E. 2 \u0938\u092A\u094D\u0924\u093E\u0939\
\ \u092A\u0939\u0932\u0947 \u0915\u093E\u0930\u094D\u092F\u093E\u0932\u092F\
\ \u092E\u0947\u0902 \u090F\u0915 \u0905\u0928\u0941\u0935\u0930\u094D\u0924\
\u0940 \u092F\u093E\u0924\u094D\u0930\u093E \u092E\u0947\u0902 \u092E\u0942\u0924\
\u094D\u0930 \u092E\u0947\u0902 \u0928\u0949\u0930\u092E\u0947\u091F\u0947\u0928\
\u092B\u094D\u0930\u093F\u0928 \u0914\u0930 \u092E\u0947\u091F\u093E\u0928\u0947\
\u092B\u094D\u0930\u093F\u0928 \u0914\u0930 \u092A\u094D\u0932\u093E\u091C\u094D\
\u092E\u093E \u090F\u0932\u094D\u0921\u094B\u0938\u094D\u091F\u0947\u0930\u094B\
\u0928 \u0938\u093E\u0902\u0926\u094D\u0930\u0924\u093E \u092E\u0947\u0902 \u0935\
\u0943\u0926\u094D\u0927\u093F \u0915\u093E \u092A\u0924\u093E \u091A\u0932\u093E\
\u0964 \u092E\u0930\u0940\u091C \u0915\u094B \u090F\u0915 \u0938\u0930\u094D\
\u091C\u0928 \u0915\u0947 \u092A\u093E\u0938 \u092D\u0947\u091C\u093E \u0917\
\u092F\u093E, \u091C\u093F\u0938\u0928\u0947 \u090F\u0921\u094D\u0930\u0947\u0928\
\u093E\u0932\u0947\u0915\u094D\u091F\u0949\u092E\u0940 \u0915\u0940 \u0938\u093F\
\u092B\u093E\u0930\u093F\u0936 \u0915\u0940\u0964 \u0906\u091C, \u092E\u0939\
\u0924\u094D\u0935\u092A\u0942\u0930\u094D\u0923 \u0938\u0902\u0915\u0947\u0924\
\ \u0939\u0948\u0902 \u0924\u093E\u092A\u092E\u093E\u0928 36.6 \u0921\u093F\u0917\
\u094D\u0930\u0940 \u0938\u0947\u0932\u094D\u0938\u093F\u092F\u0938 (97.9 \u0921\
\u093F\u0917\u094D\u0930\u0940 \u092B\u093C\u093E\u0930\u0947\u0928\u0939\u093E\
\u0907\u091F), \u0928\u093E\u0921\u093C\u0940 100/\u092E\u093F\u0928\u091F,\
\ \u0936\u094D\u0935\u0938\u0928 14/\u092E\u093F\u0928\u091F, \u0914\u0930 \u0930\
\u0915\u094D\u0924\u091A\u093E\u092A 170/95 \u092E\u093F\u092E\u0940 \u090F\u091A\
\u091C\u0940\u0964 \u0936\u093E\u0930\u0940\u0930\u093F\u0915 \u092A\u0930\u0940\
\u0915\u094D\u0937\u0923 \u0938\u0947 \u0915\u094B\u0908 \u092E\u0939\u0924\u094D\
\u0935\u092A\u0942\u0930\u094D\u0923 \u0928\u093F\u0937\u094D\u0915\u0930\u094D\
\u0937 \u0928\u0939\u0940\u0902 \u0928\u093F\u0915\u0932\u0924\u093E\u0964 \u092A\
\u094D\u0930\u093E\u0930\u0902\u092D\u093F\u0915 \u092A\u094D\u0930\u0940\u0911\
\u092A\u0930\u0947\u091F\u093F\u0935 \u0924\u0948\u092F\u093E\u0930\u0940 \u092E\
\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\
\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0915\u0947 \u0938\u093E\u0925\
\ \u0909\u092A\u091A\u093E\u0930 \u0936\u093E\u092E\u093F\u0932 \u0939\u094B\
\u0928\u093E \u091A\u093E\u0939\u093F\u090F?"
- input_choice_list:
A: "\u092C\u093E\u092F\u0940\u0902 \u0913\u0930 \u092C\u093E\u092F\u0940\u0902\
\ \u0913\u0930 \u0924\u094D\u0930\u093F\u0915 \u092E\u0930\u094B\u0921\u093C"
B: "\u092C\u093E\u090F\u0902-\u092A\u0930-\u0926\u093E\u090F\u0902 \u0924\u094D\
\u0930\u093F\u0915 \u092E\u0930\u094B\u0921\u093C"
C: "\u0926\u093E\u092F\u093E\u0902 \u090F\u0915\u0924\u0930\u092B\u093E \u0924\
\u094D\u0930\u093F\u0915 \u092E\u094B\u0921\u093C"
D: "\u0926\u093E\u090F\u0902-\u092A\u0930-\u0926\u093E\u090F\u0902 \u0924\u094D\
\u0930\u093F\u0915 \u092E\u0930\u094B\u0921\u093C"
input_correct_responses:
- D
input_question: "\u090F\u0915 36 \u0935\u0930\u094D\u0937\u0940\u092F \u092A\u0941\
\u0930\u0941\u0937 \u092A\u0940\u0920 \u0915\u0947 \u0928\u093F\u091A\u0932\u0947\
\ \u0939\u093F\u0938\u094D\u0938\u0947 \u092E\u0947\u0902 \u0926\u0930\u094D\
\u0926 \u0915\u0947 3 \u0938\u092A\u094D\u0924\u093E\u0939 \u0915\u0947 \u0907\
\u0924\u093F\u0939\u093E\u0938 \u0915\u0947 \u0938\u093E\u0925 \u0915\u093E\u0930\
\u094D\u092F\u093E\u0932\u092F \u092E\u0947\u0902 \u0909\u092A\u0938\u094D\u0925\
\u093F\u0924 \u0939\u094B\u0924\u093E \u0939\u0948\u0964 \u0935\u0939 \u0915\
\u093F\u0938\u0940 \u092D\u0940 \u0939\u093E\u0932\u093F\u092F\u093E \u0906\u0918\
\u093E\u0924 \u0938\u0947 \u0907\u0928\u0915\u093E\u0930 \u0915\u0930\u0924\u093E\
\ \u0939\u0948 \u0932\u0947\u0915\u093F\u0928 \u0915\u0939\u0924\u093E \u0939\
\u0948 \u0915\u093F \u0935\u0939 \u0905\u092A\u0928\u0947 \u0915\u093E\u092E\
\ \u0915\u0947 \u0932\u093F\u090F \u0926\u093F\u0928 \u092E\u0947\u0902 \u0915\
\u0908 \u092C\u093E\u0930 \u0905\u092A\u0928\u0947 \u091F\u094D\u0930\u0915\
\ \u092E\u0947\u0902 \u091A\u0922\u093C\u0924\u093E \u0914\u0930 \u0909\u0924\
\u0930\u0924\u093E \u0939\u0948\u0964 \u092A\u094D\u0930\u0935\u0923 \u0938\u094D\
\u0925\u093F\u0924\u093F \u092E\u0947\u0902 \u0930\u094B\u0917\u0940 \u0915\u0940\
\ \u091C\u093E\u0902\u091A \u0938\u0947 \u092C\u093E\u0908\u0902 \u0913\u0930\
\ \u090F\u0915 \u0917\u0939\u0930\u0940 \u0924\u094D\u0930\u093F\u0915 \u0938\
\u0932\u094D\u0915\u0938, \u0926\u093E\u0908\u0902 \u0913\u0930 \u090F\u0915\
\ \u092A\u0936\u094D\u091A \u0905\u0935\u0930 \u092A\u093E\u0930\u094D\u0936\
\u094D\u0935 \u0915\u094B\u0923 \u0914\u0930 \u090F\u0915 \u0932\u0941\u0902\
\u092C\u094B\u0938\u0948\u0915\u094D\u0930\u0932 \u091C\u0902\u0915\u094D\u0936\
\u0928 \u0915\u093E \u092A\u0924\u093E \u091A\u0932\u0924\u093E \u0939\u0948\
\ \u091C\u094B \u0938\u0902\u092A\u0940\u0921\u093C\u0928 \u092A\u0930 \u0938\
\u094D\u0935\u0924\u0902\u0924\u094D\u0930 \u0930\u0942\u092A \u0938\u0947 \u0909\
\u092D\u0930\u0924\u093E \u0939\u0948\u0964 \u0938\u092C\u0938\u0947 \u0938\u0902\
\u092D\u093E\u0935\u093F\u0924 \u0928\u093F\u0926\u093E\u0928 \u0939\u0948"
- input_choice_list:
A: "\u0921\u094B\u092A\u093E\u092E\u093E\u0907\u0928"
B: "\u0917\u094D\u0932\u0942\u091F\u093E\u092E\u0947\u091F"
C: "\u0928\u0949\u0930\u092A\u0947\u0928\u0947\u092B\u094D\u0930\u093F\u0928"
D: "\u0938\u0947\u0930\u094B\u091F\u094B\u0928\u093F\u0928"
input_correct_responses:
- D
input_question: "\u090F\u0915 \u092A\u0939\u0932\u0947 \u0938\u0947 \u0938\u094D\
\u0935\u0938\u094D\u0925 32 \u0935\u0930\u094D\u0937\u0940\u092F \u092E\u0939\
\u093F\u0932\u093E \u0905\u092A\u0928\u0947 \u092A\u0924\u093F \u0915\u0940\
\ \u0915\u093E\u0930 \u0926\u0941\u0930\u094D\u0918\u091F\u0928\u093E \u092E\
\u0947\u0902 \u092E\u0943\u0924\u094D\u092F\u0941 \u0915\u0947 8 \u092E\u0939\
\u0940\u0928\u0947 \u092C\u093E\u0926 \u091A\u093F\u0915\u093F\u0924\u094D\u0938\
\u0915 \u0915\u0947 \u092A\u093E\u0938 \u0906\u0924\u0940 \u0939\u0948\u0964\
\ \u0909\u0938 \u0938\u092E\u092F \u0938\u0947, \u0909\u0938\u0915\u0940 \u092D\
\u0942\u0916 \u0915\u092E \u0939\u094B \u0917\u0908 \u0939\u0948 \u0914\u0930\
\ \u0938\u094B\u0928\u0947 \u092E\u0947\u0902 \u0915\u0920\u093F\u0928\u093E\
\u0908 \u0939\u094B \u0930\u0939\u0940 \u0939\u0948\u0964 \u0935\u0939 \u092C\
\u0924\u093E\u0924\u0940 \u0939\u0948\u0902 \u0915\u093F \u0935\u0939 \u0905\
\u0915\u094D\u0938\u0930 \u0909\u0926\u093E\u0938 \u0930\u0939\u0924\u0940 \u0939\
\u0948\u0902 \u0914\u0930 \u092C\u093E\u0930-\u092C\u093E\u0930 \u0930\u094B\
\u0924\u0940 \u0939\u0948\u0902\u0964 \u0935\u0939 \u0905\u092A\u0928\u093E\
\ \u0918\u0930 \u091B\u094B\u0921\u093C\u0928\u0947 \u0938\u0947 \u092A\u0939\
\u0932\u0947 \u092A\u093E\u0902\u091A \u092C\u093E\u0930 \u0926\u0930\u0935\u093E\
\u091C\u0947 \u0915\u0947 \u0924\u093E\u0932\u0947 \u0915\u0940 \u091C\u093E\
\u0902\u091A \u0915\u0930 \u0930\u0939\u0940 \u0939\u0948 \u0914\u0930 \u0909\
\u0938\u0947 \u0907\u0938\u094D\u0924\u0947\u092E\u093E\u0932 \u0915\u0930\u0928\
\u0947 \u0938\u0947 \u092A\u0939\u0932\u0947 \u091F\u0949\u092F\u0932\u0947\u091F\
\ \u092A\u0947\u092A\u0930 \u0915\u0947 \u0920\u0940\u0915 \u092A\u093E\u0902\
\u091A \u091F\u0941\u0915\u0921\u093C\u0947 \u0917\u093F\u0928\u0928\u0947 \u092A\
\u0921\u093C\u0924\u0947 \u0939\u0948\u0902\u0964 \u0935\u0939 \u0915\u0939\u0924\
\u0940 \u0939\u0948\u0902 \u0915\u093F \u0935\u0939 \u0939\u092E\u0947\u0936\
\u093E \u0938\u0947 \u092A\u0930\u092B\u0947\u0915\u094D\u0936\u0928\u093F\u0938\
\u094D\u091F \u0930\u0939\u0940 \u0939\u0948\u0902 \u0932\u0947\u0915\u093F\u0928\
\ \u092F\u0947 \u0906\u0917\u094D\u0930\u0939 \u0914\u0930 \u0905\u0928\u0941\
\u0937\u094D\u0920\u093E\u0928 \u0928\u090F \u0939\u0948\u0902\u0964 \u092B\u093E\
\u0930\u094D\u092E\u093E\u0915\u094B\u0925\u0947\u0930\u0947\u092A\u0940 \u0915\
\u094B \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\
\u0902 \u0938\u0947 \u0915\u093F\u0938 \u0928\u094D\u092F\u0942\u0930\u094B\u091F\
\u094D\u0930\u093E\u0902\u0938\u092E\u0940\u091F\u0930 \u092A\u0930 \u0932\u0915\
\u094D\u0937\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\u0928\u093E \u091A\
\u093E\u0939\u093F\u090F?"
- input_choice_list:
A: "\u090F\u0932\u0930\u094D\u091C\u0940 \u0930\u093F\u0928\u093F\u0925\u093F\
\u0938"
B: "\u090F\u092A\u0938\u094D\u091F\u0940\u0928 \u092C\u093E\u0930 \u0935\u093E\
\u092F\u0930\u0938"
C: "\u092E\u093E\u0907\u0915\u094B\u092A\u094D\u0932\u093E\u091C\u094D\u092E\
\u093E \u0928\u093F\u092E\u094B\u0928\u093F\u092F\u093E"
D: rhinovirus
input_correct_responses:
- D
input_question: "\u090F\u0915 44 \u0935\u0930\u094D\u0937\u0940\u092F \u0935\u094D\
\u092F\u0915\u094D\u0924\u093F \u0917\u0932\u0947 \u092E\u0947\u0902 \u0916\u0930\
\u093E\u0936, \u0905\u0928\u0941\u0924\u094D\u092A\u093E\u0926\u0915 \u0916\u093E\
\u0902\u0938\u0940, \u0928\u093E\u0915 \u092C\u0939\u0928\u0947 \u0914\u0930\
\ \u0932\u0932\u093E\u091F \u0938\u093F\u0930\u0926\u0930\u094D\u0926 \u0915\
\u0947 3 \u0926\u093F\u0928 \u0915\u0947 \u0907\u0924\u093F\u0939\u093E\u0938\
\ \u0915\u0947 \u0915\u093E\u0930\u0923 \u0915\u093E\u0930\u094D\u092F\u093E\
\u0932\u092F \u0906\u0924\u093E \u0939\u0948\u0964 \u0909\u0928\u0915\u093E\
\ \u0915\u0939\u0928\u093E \u0939\u0948 \u0915\u093F \u0938\u093F\u0930\u0926\
\u0930\u094D\u0926 \u0938\u0941\u092C\u0939 \u0915\u0947 \u0938\u092E\u092F\
\ \u0905\u0927\u093F\u0915 \u0939\u094B\u0924\u093E \u0939\u0948 \u0914\u0930\
\ \u0907\u092C\u0941\u092A\u094D\u0930\u094B\u092B\u0947\u0928 \u0938\u0947\
\ \u0915\u0941\u091B \u0930\u093E\u0939\u0924 \u092E\u093F\u0932\u0924\u0940\
\ \u0939\u0948\u0964 \u0909\u0928\u094D\u0939\u0947\u0902 \u0938\u093E\u0902\
\u0938 \u0915\u0940 \u0924\u0915\u0932\u0940\u092B \u0928\u0939\u0940\u0902\
\ \u0939\u0941\u0908 \u0939\u0948. \u091A\u093F\u0915\u093F\u0924\u094D\u0938\
\u093E \u0907\u0924\u093F\u0939\u093E\u0938 \u0909\u0932\u094D\u0932\u0947\u0916\
\u0928\u0940\u092F \u0928\u0939\u0940\u0902 \u0939\u0948. \u0935\u0939 \u0926\
\u0930\u094D\u0926 \u0915\u0947 \u0932\u093F\u090F \u0907\u092C\u0941\u092A\u094D\
\u0930\u094B\u092B\u0947\u0928 \u0915\u0947 \u0905\u0932\u093E\u0935\u093E \u0915\
\u094B\u0908 \u0926\u0935\u093E \u0928\u0939\u0940\u0902 \u0932\u0947\u0924\u093E\
\ \u0939\u0948\u0964 \u092E\u0939\u0924\u094D\u0935\u092A\u0942\u0930\u094D\u0923\
\ \u0938\u0902\u0915\u0947\u0924 \u0924\u093E\u092A\u092E\u093E\u0928 37.4 \u0921\
\u093F\u0917\u094D\u0930\u0940 \u0938\u0947\u0932\u094D\u0938\u093F\u092F\u0938\
\ (99.4 \u0921\u093F\u0917\u094D\u0930\u0940 \u092B\u093C\u093E\u0930\u0947\u0928\
\u0939\u093E\u0907\u091F), \u0928\u093E\u0921\u093C\u0940 88/\u092E\u093F\u0928\
\u091F, \u0936\u094D\u0935\u0938\u0928 18/\u092E\u093F\u0928\u091F \u0914\u0930\
\ \u0930\u0915\u094D\u0924\u091A\u093E\u092A 120/84 \u092E\u093F\u092E\u0940\
\ \u090F\u091A\u091C\u0940 \u0939\u0948\u0902\u0964 \u0928\u093E\u0921\u093C\
\u093F\u092F\u094B\u0902 \u0915\u0940 \u091C\u093E\u0902\u091A \u0938\u0947\
\ \u090F\u0930\u093F\u0925\u0947\u092E\u0947\u091F\u0938 \u0936\u094D\u0932\u0947\
\u0937\u094D\u092E\u093E \u091D\u093F\u0932\u094D\u0932\u0940 \u0915\u093E \u092A\
\u0924\u093E \u091A\u0932\u0924\u093E \u0939\u0948\u0964 \u0917\u0932\u0947\
\ \u0915\u0940 \u091C\u093E\u0902\u091A \u0938\u0947 \u092A\u0940\u091B\u0947\
\ \u0915\u0947 \u0911\u0930\u094B\u092B\u0930\u0940\u0928\u0915\u094D\u0938\
\ \u092A\u0930 \u090F\u0930\u093F\u0925\u0947\u092E\u093E \u0914\u0930 \u092B\
\u0949\u0932\u093F\u0915\u094D\u092F\u0941\u0932\u0930 \u0932\u093F\u092E\u094D\
\u092B\u094B\u0907\u0921 \u0939\u093E\u0907\u092A\u0930\u092A\u094D\u0932\u093E\
\u0938\u093F\u092F\u093E \u0915\u093E \u092A\u0924\u093E \u091A\u0932\u0924\u093E\
\ \u0939\u0948\u0964 \u0915\u094B\u0908 \u0938\u094D\u092A\u0937\u094D\u091F\
\ \u0917\u094D\u0930\u0940\u0935\u093E \u090F\u0921\u0947\u0928\u094B\u092A\u0948\
\u0925\u0940 \u0928\u0939\u0940\u0902 \u0939\u0948\u0964 \u092B\u0947\u092B\u0921\
\u093C\u0947 \u0917\u0941\u0926\u093E\u092D\u094D\u0930\u0902\u0936 \u0915\u0947\
\ \u0932\u093F\u090F \u0938\u094D\u092A\u0937\u094D\u091F \u0939\u0948\u0902\
\u0964 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\
\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0907\u0938 \u0930\u094B\
\u0917\u0940 \u0915\u0947 \u0932\u0915\u094D\u0937\u0923\u094B\u0902 \u0915\u093E\
\ \u0938\u092C\u0938\u0947 \u0938\u0902\u092D\u093E\u0935\u093F\u0924 \u0915\
\u093E\u0930\u0923 \u0939\u0948?"
- input_choice_list:
A: "\u092A\u0942\u0930\u094D\u0935\u0915\u093E\u0932 \u0938\u094D\u0915\u0947\
\u0932\u0940\u0928"
B: "\u0932\u093E\u091F\u093F\u0938\u094D\u0938\u093F\u092E\u0941\u0938 \u0921\
\u094B\u0930\u0938\u0940"
C: "\u092A\u0947\u0915\u094D\u091F\u094B\u0930\u0932\u093F\u0938 \u092E\u093E\
\u0907\u0928\u0930"
D: "\u0915\u094D\u0935\u093E\u0921\u094D\u0930\u0947\u091F\u094D\u0938 \u0932\
\u0948\u0902\u092C\u094B\u0930\u092E"
input_correct_responses:
- C
input_question: "\u090F\u0915 22 \u0935\u0930\u094D\u0937\u0940\u092F \u092A\u0941\
\u0930\u0941\u0937 \u092E\u0948\u0930\u093E\u0925\u0928 \u0927\u093E\u0935\u0915\
\ \u0932\u0902\u092C\u0940 \u0926\u0942\u0930\u0940 \u0924\u0915 \u0926\u094C\
\u0921\u093C\u0928\u0947 \u092A\u0930 \u0926\u093E\u0939\u093F\u0928\u0940 \u0913\
\u0930 \u0915\u0940 \u092A\u0938\u0932\u0940 \u092E\u0947\u0902 \u0926\u0930\
\u094D\u0926 \u0915\u0940 \u0936\u093F\u0915\u093E\u092F\u0924 \u0915\u0947\
\ \u0938\u093E\u0925 \u0915\u093E\u0930\u094D\u092F\u093E\u0932\u092F \u092E\
\u0947\u0902 \u0906\u0924\u093E \u0939\u0948\u0964 \u0936\u093E\u0930\u0940\u0930\
\u093F\u0915 \u092A\u0930\u0940\u0915\u094D\u0937\u0923 \u0938\u0947 \u0939\u0943\
\u0926\u092F \u0914\u0930 \u092B\u0947\u092B\u0921\u093C\u094B\u0902 \u0915\u0940\
\ \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0938\u094D\u0925\u093F\u0924\u093F\
\ \u0914\u0930 \u0926\u093E\u0939\u093F\u0928\u0940 \u0913\u0930 4-5 \u092A\u0938\
\u0932\u093F\u092F\u094B\u0902 \u092A\u0930 \u0938\u093E\u0901\u0938 \u091B\u094B\
\u0921\u093C\u0928\u0947 \u0915\u0940 \u0938\u092E\u0938\u094D\u092F\u093E \u0915\
\u093E \u092A\u0924\u093E \u091A\u0932\u0924\u093E \u0939\u0948\u0964 \u092A\
\u094D\u0930\u0924\u094D\u092F\u0915\u094D\u0937 \u0935\u093F\u0927\u093F \u0915\
\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\u0930\u0915\u0947 \u0907\u0938\
\ \u0936\u093F\u0925\u093F\u0932\u0924\u093E \u0915\u094B \u0920\u0940\u0915\
\ \u0915\u0930\u0928\u0947 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\
\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928\
\ \u0938\u0940 \u092E\u093E\u0902\u0938\u092A\u0947\u0936\u093F\u092F\u093E\u0901\
\ \u092F\u093E \u092E\u093E\u0902\u0938\u092A\u0947\u0936\u0940 \u0938\u092E\
\u0942\u0939 \u0938\u092C\u0938\u0947 \u0905\u0927\u093F\u0915 \u0909\u092A\u092F\
\u094B\u0917\u0940 \u0939\u094B\u0902\u0917\u0947?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_professional_medicine
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_professional_medicine
task_alias: professional_medicine
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u091C\u093F\u0938 \u0915\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E\
\ \u092E\u0947\u0902 \u0906\u092A \u0928\u093E\u092E\u093E\u0902\u0915\u093F\
\u0924 \u0939\u0948\u0902 \u0909\u0938\u0947 \u091B\u094B\u0921\u093C\u0915\
\u0930 \u0905\u092A\u0928\u0947 \u0917\u094D\u0930\u093E\u0939\u0915 \u0915\
\u094B \u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0915\u093E\u0930\
\u094D\u092F\u0915\u094D\u0930\u092E \u0915\u0947 \u092B\u093E\u092F\u0926\
\u0947 \u0914\u0930 \u0928\u0941\u0915\u0938\u093E\u0928 \u092C\u0924\u093E\
\u090F\u0902 \u091C\u093F\u0928\u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\
\u0947\u0902 \u0906\u092A \u091C\u093E\u0928\u0924\u0947 \u0939\u0948\u0902"
B: "\u0905\u092A\u0928\u0947 \u0917\u094D\u0930\u093E\u0939\u0915 \u0915\u094B\
\ \u0909\u0938 \u0915\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u0915\
\u0940 \u0905\u0928\u0941\u0936\u0902\u0938\u093E \u0915\u0930\u0947\u0902\
\ \u091C\u093F\u0938\u092E\u0947\u0902 \u0906\u092A \u0928\u093E\u092E\u093E\
\u0902\u0915\u093F\u0924 \u0939\u0948\u0902 \u0914\u0930 \u0906\u092A\u0915\
\u094B \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0939\u094B\u0928\u0947\
\ \u0935\u093E\u0932\u0947 $50 \u092C\u094B\u0928\u0938 \u0915\u0947 \u092C\
\u093E\u0930\u0947 \u092E\u0947\u0902 \u092C\u0924\u093E\u090F\u0902"
C: "\u0905\u092A\u0928\u0947 \u0917\u094D\u0930\u093E\u0939\u0915 \u0915\u094B\
\ \u0909\u0938 \u0915\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u0915\
\u0940 \u0905\u0928\u0941\u0936\u0902\u0938\u093E \u0915\u0930\u0947\u0902\
\ \u091C\u093F\u0938\u092E\u0947\u0902 \u0906\u092A \u0928\u093E\u092E\u093E\
\u0902\u0915\u093F\u0924 \u0939\u0948\u0902 \u0914\u0930 \u0915\u093E\u0930\
\u094D\u092F\u0915\u094D\u0930\u092E \u092E\u0947\u0902 \u0906\u092A\u0915\
\u0947 \u0917\u094D\u0930\u093E\u0939\u0915 \u0915\u0947 \u0916\u093E\u0924\
\u0947 \u092E\u0947\u0902 $50 \u0915\u093E \u092C\u094B\u0928\u0938 \u091C\
\u092E\u093E \u0915\u0930\u0928\u0947 \u0915\u0940 \u092A\u0947\u0936\u0915\
\u0936 \u0915\u0930\u0947\u0902"
D: "\u0905\u092A\u0928\u0947 \u0917\u094D\u0930\u093E\u0939\u0915 \u0915\u094B\
\ \u0909\u0938 \u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0915\u093E\
\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u0915\u0947 \u092B\u093E\u092F\
\u0926\u0947 \u0914\u0930 \u0928\u0941\u0915\u0938\u093E\u0928 \u092C\u0924\
\u093E\u090F\u0902 \u091C\u093F\u0938\u0915\u0947 \u092C\u093E\u0930\u0947\
\ \u092E\u0947\u0902 \u0906\u092A \u091C\u093E\u0928\u0924\u0947 \u0939\u0948\
\u0902, \u0932\u0947\u0915\u093F\u0928 \u092F\u0926\u093F \u0906\u092A\u0915\
\u093E \u0917\u094D\u0930\u093E\u0939\u0915 \u0906\u092A\u0915\u0947 \u0915\
\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u092E\u0947\u0902 \u0928\
\u093E\u092E\u093E\u0902\u0915\u0928 \u0915\u0930\u0924\u093E \u0939\u0948\
\ \u0924\u094B $50 \u092C\u094B\u0928\u0938 \u0915\u093E \u0926\u093E\u0935\
\u093E \u0928 \u0915\u0930\u0947\u0902\u0964"
input_correct_responses:
- D
input_question: "\u0906\u092A\u0915\u093E \u090F\u0915 \u0925\u0947\u0930\u0947\
\u092A\u0940 \u0917\u094D\u0930\u093E\u0939\u0915 \u090F\u0915 \u0905\u091A\u094D\
\u091B\u0947 \u0935\u091C\u0928 \u0918\u091F\u093E\u0928\u0947 \u0915\u0947\
\ \u0915\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u0915\u0947 \u092C\
\u093E\u0930\u0947 \u092E\u0947\u0902 \u0906\u092A\u0915\u0940 \u0938\u0932\u093E\
\u0939 \u092A\u0942\u091B\u0924\u093E \u0939\u0948\u0964 \u0906\u092A\u0928\u0947\
\ \u0938\u092E\u0941\u0926\u093E\u092F \u092E\u0947\u0902 \u0915\u093E\u0930\
\u094D\u092F\u0915\u094D\u0930\u092E\u094B\u0902 \u0915\u0940 \u091C\u093E\u0902\
\u091A \u0915\u0940 \u0939\u0948 \u0914\u0930 \u091C\u093F\u0938\u0947 \u0906\
\u092A \u0938\u092C\u0938\u0947 \u0905\u091A\u094D\u091B\u093E \u092E\u093E\u0928\
\u0924\u0947 \u0939\u0948\u0902 \u0909\u0938\u092E\u0947\u0902 \u0928\u093E\u092E\
\u093E\u0902\u0915\u093F\u0924 \u0939\u0948\u0902\u0964 \u092F\u0939 \u0915\u093E\
\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u0905\u092A\u0928\u0947 \u0938\u0902\
\u0930\u0915\u094D\u0937\u0915\u094B\u0902 \u0915\u094B \u0915\u093E\u0930\u094D\
\u092F\u0915\u094D\u0930\u092E \u092E\u0947\u0902 \u0932\u093E\u090F \u091C\u093E\
\u0928\u0947 \u0935\u093E\u0932\u0947 \u092A\u094D\u0930\u0924\u094D\u092F\u0947\
\u0915 \u0928\u090F \u0935\u094D\u092F\u0915\u094D\u0924\u093F \u0915\u0947\
\ \u0932\u093F\u090F $50 \u0915\u093E \u092C\u094B\u0928\u0938 \u092A\u094D\u0930\
\u0926\u093E\u0928 \u0915\u0930\u0924\u093E \u0939\u0948\u0964 \u0907\u0928\
\ \u092A\u0930\u093F\u0938\u094D\u0925\u093F\u0924\u093F\u092F\u094B\u0902 \u092E\
\u0947\u0902, \u0906\u092A\u0915\u0940 \u0938\u092C\u0938\u0947 \u0909\u092A\
\u092F\u0941\u0915\u094D\u0924 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\
\u093F\u092F\u093E \u0939\u094B\u0917\u0940"
- input_choice_list:
A: "\u092E\u093E\u0927\u094D\u092F \u0915\u0940 \u0924\u0941\u0932\u0928\u093E\
\ \u092E\u0947\u0902 \u091A\u0930\u092E \u0938\u094D\u0915\u094B\u0930 \u0915\
\u0947 \u092A\u094D\u0930\u0924\u093F \u0915\u092E \u0938\u0902\u0935\u0947\
\u0926\u0928\u0936\u0940\u0932"
B: "\u0935\u093F\u0937\u092E \u0935\u093F\u0924\u0930\u0923\u094B\u0902 \u0915\
\u0947 \u0932\u093F\u090F \u0905\u0927\u093F\u0915 \u0909\u092A\u092F\u094B\
\u0917\u0940"
C: "\u0905\u0924\u094D\u092F\u0927\u093F\u0915 \u092E\u0942\u0932\u094D\u092F\
\u094B\u0902 \u0914\u0930 \u0905\u0924\u094D\u092F\u0927\u093F\u0915 \u0935\
\u093F\u0937\u092E \u0935\u093F\u0924\u0930\u0923\u094B\u0902 \u0915\u0947\
\ \u092A\u094D\u0930\u0924\u093F \u0938\u0902\u0935\u0947\u0926\u0928\u0936\
\u0940\u0932"
D: "\u0938\u092C\u0938\u0947 \u0905\u0927\u093F\u0915 \u092C\u093E\u0930 \u0906\
\u0928\u0947 \u0935\u093E\u0932\u0940 \u0938\u0902\u0916\u094D\u092F\u093E"
input_correct_responses:
- D
input_question: "\u0915\u0947\u0902\u0926\u094D\u0930\u0940\u092F \u092A\u094D\
\u0930\u0935\u0943\u0924\u094D\u0924\u093F \u0915\u094B \u092E\u093E\u092A\u0928\
\u0947 \u0915\u0947 \u0924\u0940\u0928 \u0924\u0930\u0940\u0915\u0947 \u0939\
\u0948\u0902: \u092E\u093E\u0927\u094D\u092F, \u092E\u093E\u0927\u094D\u092F\
\u093F\u0915\u093E \u0914\u0930 \u092C\u0939\u0941\u0932\u0915\u0964 \u0909\u0928\
\u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0906\u092A\u0915\u0940\
\ \u091C\u093E\u0928\u0915\u093E\u0930\u0940 \u0938\u0947, \u092E\u094B\u0921\
\ \u0915\u094D\u092F\u093E \u0939\u0948?"
- input_choice_list:
A: "\u0935\u094D\u092F\u0915\u094D\u0924\u093F\u0935\u093E\u0926."
B: "\u0935\u094D\u092F\u0915\u094D\u0924\u093F\u0935\u093E\u0926 \u0914\u0930\
\ \u0938\u0924\u094D\u0924\u093E \u0915\u0940 \u0926\u0942\u0930\u0940."
C: "\u0936\u0915\u094D\u0924\u093F \u0926\u0942\u0930\u0940 \u0914\u0930 \u092A\
\u0941\u0930\u0941\u0937\u0924\u094D\u0935\u0964"
D: "\u0905\u0928\u093F\u0936\u094D\u091A\u093F\u0924\u0924\u093E \u092A\u0930\
\u093F\u0939\u093E\u0930\u0964"
input_correct_responses:
- A
input_question: "\u0939\u0949\u092B\u0938\u094D\u091F\u0947\u0921 (1980) \u0915\
\u0947 \u092A\u093E\u0902\u091A \u0938\u093E\u0902\u0938\u094D\u0915\u0943\u0924\
\u093F\u0915 \u0906\u092F\u093E\u092E\u094B\u0902 \u0915\u0947 \u0938\u0902\u0926\
\u0930\u094D\u092D \u092E\u0947\u0902, \u0938\u0902\u092F\u0941\u0915\u094D\u0924\
\ \u0930\u093E\u091C\u094D\u092F \u0905\u092E\u0947\u0930\u093F\u0915\u093E\
\ \u092A\u0948\u092E\u093E\u0928\u0947 \u0915\u0947 \u0936\u0940\u0930\u094D\
\u0937 \u092A\u0930 \u0939\u0948:"
- input_choice_list:
A: "\u090F\u0915 \u0915\u0932\u094D\u092A\u0928\u093E \u0939\u0948 \u091C\u094B\
\ \u0917\u094D\u0930\u093E\u0939\u0915 \u0915\u094B \u0935\u093E\u0938\u094D\
\u0924\u0935\u093F\u0915\u0924\u093E \u0938\u0947 \u0935\u093F\u091A\u0932\
\u093F\u0924 \u0915\u0930\u0924\u0940 \u0939\u0948\u0964"
B: "\u091A\u093F\u0915\u093F\u0924\u094D\u0938\u0915 \u0915\u0947 \u092A\u094D\
\u0930\u0924\u093F "\u092E\u093F\u0936\u094D\u0930\u093F\u0924 \u092D\
\u093E\u0935\u0928\u093E\u0913\u0902" \u0915\u093E \u092A\u094D\u0930\
\u0924\u093F\u0928\u093F\u0927\u093F\u0924\u094D\u0935 \u0915\u0930\u0924\u093E\
\ \u0939\u0948\u0964"
C: ""\u0905\u092D\u093F\u0928\u092F" \u0915\u093E \u090F\u0915 \u0930\
\u0942\u092A \u0939\u0948\u0964"
D: "\u0917\u094D\u0930\u093E\u0939\u0915 \u0915\u0947 \u0935\u094D\u092F\u0915\
\u094D\u0924\u093F\u0917\u0924 \u0914\u0930 \u0938\u093E\u092E\u0942\u0939\
\u093F\u0915 \u0905\u091A\u0947\u0924\u0928 \u0915\u094B \u0926\u0930\u094D\
\u0936\u093E\u0924\u093E \u0939\u0948\u0964"
input_correct_responses:
- D
input_question: "\u0915\u093E\u0930\u094D\u0932 \u091C\u0902\u0917 \u0915\u093E\
\ \u092E\u093E\u0928\u0928\u093E \u0925\u093E \u0915\u093F \u0917\u094D\u0930\
\u093E\u0939\u0915 \u0915\u093E \u0938\u094D\u0925\u093E\u0928\u093E\u0902\u0924\
\u0930\u0923:"
- input_choice_list:
A: "\u090F\u0915-\u0926\u0942\u0938\u0930\u0947 \u0938\u0947 \u0905\u0938\u0902\
\u092C\u0902\u0927\u093F\u0924 \u0939\u0948\u0902 \u0932\u0947\u0915\u093F\
\u0928 \u092E\u093E\u0928\u0926\u0902\u0921 \u0915\u0947 \u0938\u093E\u0925\
\ \u092E\u0927\u094D\u092F\u092E \u0930\u0942\u092A \u0938\u0947 \u0938\u0939\
\u0938\u0902\u092C\u0926\u094D\u0927 \u0939\u0948\u0902"
B: "\u090F\u0915 \u0926\u0942\u0938\u0930\u0947 \u0915\u0947 \u0938\u093E\u0925\
\ \u0915\u092E \u0938\u0939\u0938\u0902\u092C\u0902\u0927 \u0914\u0930 \u092E\
\u093E\u0928\u0926\u0902\u0921 \u0915\u0947 \u0938\u093E\u0925 \u0915\u092E\
\ \u0938\u0939\u0938\u0902\u092C\u0902\u0927 \u0939\u0948\u0902"
C: "\u090F\u0915-\u0926\u0942\u0938\u0930\u0947 \u0915\u0947 \u0938\u093E\u0925\
\ \u0905\u0924\u094D\u092F\u0927\u093F\u0915 \u0905\u0902\u0924\u0930\u094D\
\u0938\u0902\u092C\u0902\u0927\u093F\u0924 \u0939\u0948\u0902 \u0914\u0930\
\ \u092E\u093E\u0928\u0926\u0902\u0921 \u0915\u0947 \u0938\u093E\u0925 \u092E\
\u0927\u094D\u092F\u092E \u0930\u0942\u092A \u0938\u0947 \u0938\u0939\u0938\
\u0902\u092C\u0926\u094D\u0927 \u0939\u0948\u0902"
D: "\u092E\u093E\u0928\u0926\u0902\u0921 \u0915\u0947 \u0938\u093E\u0925 \u0915\
\u092E \u0938\u0939\u0938\u0902\u092C\u0902\u0927 \u0939\u0948\u0902, \u092C\
\u094D\u092F\u0942\u0930\u094B \u090F\u0915 \u0926\u0942\u0938\u0930\u0947\
\ \u0915\u0947 \u0938\u093E\u0925 \u092E\u0927\u094D\u092F\u092E \u0930\u0942\
\u092A \u0938\u0947 \u0938\u0939\u0938\u0902\u092C\u0926\u094D\u0927 \u0939\
\u0948\u0902"
input_correct_responses:
- A
input_question: "\u092D\u0935\u093F\u0937\u094D\u092F\u0935\u093E\u0923\u0940\
\ \u0915\u0947 \u092A\u094D\u0930\u092F\u094B\u091C\u0928\u094B\u0902 \u0915\
\u0947 \u0932\u093F\u090F \u090F\u0915\u093E\u0927\u093F\u0915 \u092A\u094D\u0930\
\u0924\u093F\u0917\u092E\u0928 \u0938\u092E\u0940\u0915\u0930\u0923 \u0915\u0947\
\ \u0928\u093F\u0930\u094D\u092E\u093E\u0923 \u092E\u0947\u0902, \u0909\u092A\
\u093E\u092F\u094B\u0902 \u0915\u093E \u0907\u0937\u094D\u091F\u0924\u092E \u0938\
\u0902\u092F\u094B\u091C\u0928 \u0935\u0939 \u0939\u094B\u0924\u093E \u0939\u0948\
\ \u091C\u093F\u0938\u092E\u0947\u0902 \u092D\u0935\u093F\u0937\u094D\u092F\u0935\
\u0915\u094D\u0924\u093E \u0939\u094B\u0924\u0947 \u0939\u0948\u0902"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_professional_psychology
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_professional_psychology
task_alias: professional_psychology
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0930\u093F\u092A\u094B\u0930\u094D\u091F\u0930 \u0915\u094B \u0905\u0928\
\u094D\u092F \u091C\u093E\u0928\u0915\u093E\u0930\u0940 \u0926\u0947\u0902\
\ \u091C\u093F\u0938\u0938\u0947 \u0909\u0938\u0947 \u092F\u0915\u0940\u0928\
\ \u0939\u094B \u0915\u093F \u0935\u0939 \u0938\u0939\u0940 \u0939\u0948\u0964"
B: "\u0915\u0939\u0947\u0902 \u0915\u093F \u091C\u093E\u0928\u0915\u093E\u0930\
\u0940 '\u0911\u092B\u093C \u0926 \u0930\u093F\u0915\u0949\u0930\u094D\
\u0921' \u0939\u0948 \u0914\u0930 \u092C\u093E\u0926 \u092E\u0947\u0902\
\ \u092A\u094D\u0930\u0938\u093E\u0930\u093F\u0924 \u0915\u0940 \u091C\u093E\
\u090F\u0917\u0940\u0964"
C: "'\u092E\u0941\u091D\u0947 \u0928\u0939\u0940\u0902 \u092A\u0924\u093E\
' \u0915\u0939\u0947\u0902 \u0914\u0930 \u092C\u093E\u0926 \u092E\u0947\
\u0902 \u091C\u093E\u0928\u0915\u093E\u0930\u0940 \u0909\u092A\u0932\u092C\
\u094D\u0927 \u0915\u0930\u093E\u0928\u0947 \u0915\u093E \u0935\u093E\u0926\
\u093E \u0915\u0930\u0947\u0902\u0964"
D: "\u0905\u0928\u092D\u093F\u091C\u094D\u091E \u0926\u093F\u0916\u0928\u0947\
\ \u0915\u0947 \u092C\u091C\u093E\u092F '\u0915\u094B\u0908 \u091F\u093F\
\u092A\u094D\u092A\u0923\u0940 \u0928\u0939\u0940\u0902' \u0915\u0939\u0947\
\u0902\u0964"
input_correct_responses:
- C
input_question: "\u092F\u0926\u093F \u090F\u0915 \u091C\u0928\u0938\u0902\u092A\
\u0930\u094D\u0915 \u092E\u0940\u0921\u093F\u092F\u093E \u0935\u094D\u092F\u0935\
\u0938\u093E\u092F\u0940 \u0915\u094B \u0915\u093F\u0938\u0940 \u0930\u093F\u092A\
\u094B\u0930\u094D\u091F\u0930 \u0915\u0947 \u092A\u094D\u0930\u0936\u094D\u0928\
\ \u0915\u093E \u0909\u0924\u094D\u0924\u0930 \u0928\u0939\u0940\u0902 \u092A\
\u0924\u093E \u0939\u0948 \u0924\u094B \u0909\u0938\u0947 \u0915\u094D\u092F\
\u093E \u0915\u0930\u0928\u093E \u091A\u093E\u0939\u093F\u090F?"
- input_choice_list:
A: "\u0910\u0938\u0947 \u0921\u094B\u092E\u0947\u0928 \u0928\u093E\u092E \u0916\
\u0930\u0940\u0926\u0947\u0902 \u091C\u093F\u0928\u0915\u093E \u0909\u092A\
\u092F\u094B\u0917 \u0935\u093F\u092A\u0915\u094D\u0937\u0940 \u0938\u092E\
\u0942\u0939\u094B\u0902 \u0926\u094D\u0935\u093E\u0930\u093E \u0915\u093F\
\u092F\u093E \u091C\u093E \u0938\u0915\u0947\u0964"
B: "\u0907\u0938 \u091C\u093E\u0928\u0915\u093E\u0930\u0940 \u0938\u0947 \u0928\
\u093F\u092A\u091F\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092C\u094D\
\u0932\u0949\u0917 \u092A\u0930 \u0917\u0941\u092E\u0928\u093E\u092E \u091F\
\u093F\u092A\u094D\u092A\u0923\u093F\u092F\u093E\u0901 \u092A\u094B\u0938\u094D\
\u091F \u0915\u0930\u0947\u0902\u0964"
C: "\u090F\u0915 \u0938\u092E\u093E\u091A\u093E\u0930 \u0935\u093F\u091C\u094D\
\u091E\u092A\u094D\u0924\u093F \u0924\u0948\u092F\u093E\u0930 \u0915\u0930\
\u0947\u0902 \u091C\u094B \u0917\u0932\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0916\u093E\u0930\u093F\u091C \u0915\u0930 \u0926\
\u0947\u0964"
D: "\u0907\u0928 \u0938\u093E\u0907\u091F\u094B\u0902 \u092A\u0930 \u0909\u091C\
\u093E\u0917\u0930 \u0915\u0940 \u0917\u0908 \u0936\u093F\u0915\u093E\u092F\
\u0924\u094B\u0902 \u0915\u0947 \u0938\u092E\u093E\u0927\u093E\u0928 \u0915\
\u0947 \u0932\u093F\u090F \u0928\u0940\u0924\u093F \u092E\u0947\u0902 \u092C\
\u0926\u0932\u093E\u0935 \u0915\u0930\u0947\u0902\u0964"
input_correct_responses:
- D
input_question: "\u092E\u0941\u0926\u094D\u0926\u094B\u0902 \u0915\u0947 \u092A\
\u094D\u0930\u092C\u0902\u0927\u0928 \u092E\u0947\u0902, \u0906\u092A\u0915\u0947\
\ \u0938\u0902\u0917\u0920\u0928 \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\
\u0947\u0902 \u0911\u0928\u0932\u093E\u0907\u0928 \u092A\u094B\u0938\u094D\u091F\
\ \u0915\u0940 \u0917\u0908 \u0928\u0915\u093E\u0930\u093E\u0924\u094D\u092E\
\u0915 \u092F\u093E \u092D\u094D\u0930\u093E\u092E\u0915 \u091C\u093E\u0928\u0915\
\u093E\u0930\u0940 \u0915\u094B \u0938\u0902\u092C\u094B\u0927\u093F\u0924 \u0915\
\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0938\u092C\u0938\u0947\
\ \u0938\u0915\u094D\u0930\u093F\u092F \u0926\u0943\u0937\u094D\u091F\u093F\u0915\
\u094B\u0923 \u0915\u094D\u092F\u093E \u0939\u0948?"
- input_choice_list:
A: "\u090F\u0915 \u0938\u092E\u0928\u094D\u0935\u093F\u0924 \u092E\u0940\u0921\
\u093F\u092F\u093E \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\
\u093E \u0925\u0940\u0964"
B: "\u0932\u0917\u093E\u0924\u093E\u0930 \u0938\u0902\u0926\u0947\u0936 \u0938\
\u0902\u092A\u094D\u0930\u0947\u0937\u093F\u0924 \u0915\u093F\u090F \u0917\
\u090F\u0964"
C: "\u0906\u0932\u094B\u091A\u0928\u093E\u0913\u0902 \u0915\u094B \u0915\u0948\
\u0925\u094B\u0932\u093F\u0915 \u091A\u0930\u094D\u091A \u092A\u0930 \u0939\
\u092E\u0932\u0947 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0932\
\u093F\u092F\u093E \u0917\u092F\u093E\u0964"
D: "\u0935\u0947\u091F\u093F\u0915\u0928 \u0915\u0940 \u0935\u093F\u0936\u094D\
\u0935\u0938\u0928\u0940\u092F\u0924\u093E \u092C\u0930\u0915\u0930\u093E\u0930\
\ \u0930\u0916\u0940 \u0917\u0908\u0964"
input_correct_responses:
- C
input_question: "2010 \u092E\u0947\u0902 \u092C\u093E\u0932 \u0936\u094B\u0937\
\u0923 \u0915\u094B \u091B\u0941\u092A\u093E\u0928\u0947 \u0915\u0947 \u0906\
\u0930\u094B\u092A\u094B\u0902 \u0915\u0947 \u0938\u092E\u092F \u0935\u0947\u091F\
\u093F\u0915\u0928 \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902\
\ \u0907\u0928\u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E\
\ \u0915\u0925\u0928 \u0938\u0924\u094D\u092F \u0939\u0948?"
- input_choice_list:
A: "\u0915\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u0915\u094B \u092A\
\u0930\u093F\u092D\u093E\u0937\u093F\u0924 \u0915\u0930\u0928\u093E"
B: "\u0915\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u0915\u0940 \u092F\
\u094B\u091C\u0928\u093E \u092C\u0928\u093E\u0928\u093E"
C: "\u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0915\u0930\u0928\u093E\
\ \u0914\u0930 \u0935\u093F\u091A\u093E\u0930\u094B\u0902 \u0915\u094B \u0915\
\u093E\u0930\u094D\u092F\u093E\u0928\u094D\u0935\u093F\u0924 \u0915\u0930\u0928\
\u093E"
D: "\u0915\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u0915\u093E \u092E\
\u0942\u0932\u094D\u092F\u093E\u0902\u0915\u0928"
input_correct_responses:
- A
input_question: "\u0928\u093F\u092F\u094B\u091C\u0928 \u092A\u094D\u0930\u0915\
\u094D\u0930\u093F\u092F\u093E \u0915\u0947 \u0915\u093F\u0938 \u091A\u0930\u0923\
\ \u092E\u0947\u0902 \u0938\u094D\u0925\u093F\u0924\u093F \u0935\u093F\u0936\
\u094D\u0932\u0947\u0937\u0923 \u0915\u093F\u092F\u093E \u091C\u093E\u090F\u0917\
\u093E?"
- input_choice_list:
A: "\u0939\u0930\u093F\u0924 \u0936\u093E\u0902\u0924\u093F"
B: "\u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0930\u093E\u0937\u094D\u091F\
\u094D\u0930"
C: "\u0911\u0915\u094D\u0938\u092B\u0947\u092E"
D: "\u0935\u093F\u0936\u094D\u0935 \u0935\u0928\u094D\u092F\u091C\u0940\u0935\
\u0928 \u0915\u094B\u0937"
input_correct_responses:
- D
input_question: "\u0905\u0930\u094D\u0925 \u0906\u0935\u0930 \u0915\u093F\u0938\
\ \u0938\u0902\u0917\u0920\u0928 \u0926\u094D\u0935\u093E\u0930\u093E \u0936\
\u0941\u0930\u0942 \u0915\u093F\u092F\u093E \u0917\u092F\u093E \u090F\u0915\
\ \u0905\u092D\u093F\u092F\u093E\u0928 \u0925\u093E?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_public_relations
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_public_relations
task_alias: public_relations
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u092E\u091C\u092C\u0942\u0930\u0928, \u091C\u092C\u0930\u0926\u0938\u094D\
\u0924\u0940 \u0915\u0942\u091F\u0928\u0940\u0924\u093F \u0915\u0947 \u0932\
\u093F\u090F \u090F\u0915 \u0914\u0930 \u0936\u092C\u094D\u0926 \u0939\u0948\
, \u0932\u0947\u0915\u093F\u0928 \u092E\u093E\u0928\u0926\u0902\u0921\u094B\
\u0902 \u0915\u0947 \u090F\u0915 \u0938\u0902\u0915\u0940\u0930\u094D\u0923\
\ \u0938\u0947\u091F \u0915\u094B \u0915\u0935\u0930 \u0915\u0930\u0924\u093E\
\ \u0939\u0948; \u092E\u091C\u092C\u0942\u0930\u0928 \u0909\u0928 \u0916\u0924\
\u0930\u094B\u0902 \u0915\u094B \u0915\u0935\u0930 \u0915\u0930\u0924\u093E\
\ \u0939\u0948 \u091C\u093F\u0928\u0915\u093E \u0909\u0926\u094D\u0926\u0947\
\u0936\u094D\u092F \u092A\u094D\u0930\u0924\u093F\u0915\u0942\u0932 \u0915\
\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0936\u0941\u0930\u0942 \u0915\
\u0930\u0928\u093E \u0939\u0948\u0964 \u0915\u093F\u0938\u0940 \u0930\u093E\
\u091C\u094D\u092F \u0915\u094B \u0905\u092A\u0928\u0947 \u0915\u094D\u0937\
\u0947\u0924\u094D\u0930 \u0915\u093E \u0915\u0941\u091B \u0939\u093F\u0938\
\u094D\u0938\u093E \u091B\u094B\u0921\u093C\u0928\u0947 \u0915\u0947 \u0932\
\u093F\u090F \u092E\u091C\u092C\u0942\u0930 \u0915\u0930\u0928\u0947 \u0915\
\u0940 \u0927\u092E\u0915\u0940 \u0915\u094B \u091C\u092C\u0930\u0926\u0938\
\u094D\u0924\u0940 \u0915\u0942\u091F\u0928\u0940\u0924\u093F \u0915\u0947\
\ \u0930\u0942\u092A \u092E\u0947\u0902 \u0917\u093F\u0928\u093E \u091C\u093E\
\u090F\u0917\u093E, \u091C\u092C \u0924\u0915 \u0915\u093F \u0935\u0939 \u0927\
\u092E\u0915\u0940 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\
\u093E\u0936\u0940\u0932 \u0915\u0942\u091F\u0928\u0940\u0924\u093F \u0936\
\u0941\u0930\u0942 \u0915\u0930\u0928\u0947 \u0938\u0947 \u092A\u0939\u0932\
\u0947 \u0938\u0915\u094D\u0930\u093F\u092F \u0930\u0942\u092A \u0938\u0947\
\ \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0936\u0941\u0930\u0942\
\ \u0915\u0930 \u0926\u0947\u0924\u0940 \u0939\u0948\u0964"
B: "\u091C\u092C\u0930\u0926\u0938\u094D\u0924\u0940 \u0915\u0940 \u0915\u0942\
\u091F\u0928\u0940\u0924\u093F \u092E\u0947\u0902 \u092A\u094D\u0930\u0924\
\u093F\u0926\u094D\u0935\u0902\u0926\u094D\u0935\u0940 \u0915\u0940 \u092E\
\u093E\u0902\u0917\u094B\u0902 \u0915\u094B \u092A\u0942\u0930\u093E \u0915\
\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092A\u094D\u0930\u0924\
\u093F\u0926\u094D\u0935\u0902\u0926\u094D\u0935\u0940 \u0915\u094B \u092A\
\u094D\u0930\u0947\u0930\u093F\u0924 \u0915\u0930\u0928\u0947 \u0915\u0947\
\ \u0932\u093F\u090F \u0938\u0940\u092E\u093F\u0924 \u092C\u0932 \u0915\u0940\
\ \u0927\u092E\u0915\u093F\u092F\u093E\u0902 \u0936\u093E\u092E\u093F\u0932\
\ \u0939\u0948\u0902\u0964 \u092F\u0939 \u090F\u0915 \u092A\u094D\u0930\u092D\
\u093E\u0935 \u0930\u0923\u0928\u0940\u0924\u093F \u0939\u0948 \u091C\u093F\
\u0938\u0915\u093E \u0909\u0926\u094D\u0926\u0947\u0936\u094D\u092F \u0905\
\u0928\u0941\u092A\u093E\u0932\u0928 \u092A\u094D\u0930\u093E\u092A\u094D\u0924\
\ \u0915\u0930\u0928\u093E \u0939\u0948: \u092A\u0939\u0932\u0947 \u0915\u093F\
\u0938\u0940 \u092A\u094D\u0930\u0924\u093F\u0926\u094D\u0935\u0902\u0926\u094D\
\u0935\u0940 \u0915\u094B \u0939\u0930\u093E\u0928\u0947 \u0915\u0947 \u0932\
\u093F\u090F \u092C\u0932 \u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u092E\
\u093E\u092F\u0928\u0947 \u0928\u0939\u0940\u0902 \u0930\u0916\u0924\u093E\
\ \u0939\u0948\u0964 \u092F\u0939 \u0905\u0928\u0941\u092A\u093E\u0932\u0928\
\ \u0915\u0930\u0928\u0947 \u092F\u093E \u091C\u093E\u0930\u0940 \u0930\u0916\
\u0928\u0947 \u0915\u0947 \u0932\u0915\u094D\u0937\u094D\u092F \u0915\u0947\
\ \u0938\u093E\u0925 \u0935\u093F\u0915\u0932\u094D\u092A \u0915\u093E \u090F\
\u0915 \u0924\u0924\u094D\u0935 \u091B\u094B\u0921\u093C\u0924\u093E \u0939\
\u0948\u0964"
C: "\u0938\u0948\u0928\u094D\u092F \u092C\u0932, \u092F\u093E \u0938\u0948\u0928\
\u094D\u092F \u092C\u0932 \u0915\u093E \u0916\u0924\u0930\u093E, \u0930\u0923\
\u0928\u0940\u0924\u093F\u0915 \u0909\u0926\u094D\u0926\u0947\u0936\u094D\u092F\
\u094B\u0902 \u0915\u094B \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\
\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092D\u092F \u0915\u093E\
\ \u0909\u092A\u092F\u094B\u0917 \u0915\u0930\u0924\u093E \u0939\u0948\u0964\
\ \u092C\u0932\u092A\u0942\u0930\u094D\u0935\u0915 \u0915\u0942\u091F\u0928\
\u0940\u0924\u093F \u0915\u094B \u0907\u0938 \u0926\u0943\u0937\u094D\u091F\
\u093F\u0915\u094B\u0923 \u0938\u0947 \u0905\u0932\u0917 \u0915\u093F\u092F\
\u093E \u091C\u093E\u0924\u093E \u0939\u0948, \u0915\u094D\u092F\u094B\u0902\
\u0915\u093F \u092F\u0939 \u0915\u093F\u0938\u0940 \u0935\u093F\u0930\u094B\
\u0927\u0940 \u092A\u0930 \u0926\u092C\u093E\u0935 \u0921\u093E\u0932\u0928\
\u0947 \u0915\u0947 \u0932\u093F\u090F \u092D\u092F \u0915\u094B \u090F\u0915\
\ \u0909\u092A\u0915\u0930\u0923 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\
\u0902 \u0909\u092A\u092F\u094B\u0917 \u0928\u0939\u0940\u0902 \u0915\u0930\
\u0924\u093E \u0939\u0948\u0964"
D: "\u092C\u0932 \u092A\u094D\u0930\u092F\u094B\u0917 \u0915\u0947 \u0932\u093F\
\u090F \u0932\u0947\u0915\u093F\u0928 \u0905\u0902\u0924\u0930\u094D\u0930\
\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u0938\u092E\u0941\u0926\u093E\
\u092F \u092A\u0930 \u0907\u0938\u0915\u0947 \u092A\u094D\u0930\u092D\u093E\
\u0935 \u0915\u094B \u0938\u0940\u092E\u093F\u0924 \u0915\u0930\u0928\u0947\
\ \u0915\u0947 \u0932\u093F\u090F \u092C\u0932\u092A\u0942\u0930\u094D\u0935\
\u0915 \u0915\u0942\u091F\u0928\u0940\u0924\u093F \u0915\u093E \u0909\u092A\
\u092F\u094B\u0917 \u0915\u093F\u092F\u093E \u091C\u093E\u0924\u093E \u0939\
\u0948\u0964 \u091C\u092C\u0930\u0926\u0938\u094D\u0924\u0940 \u0915\u0942\
\u091F\u0928\u0940\u0924\u093F \u090F\u0915 \u0906\u0915\u094D\u0930\u093E\
\u092E\u0915 \u0930\u0923\u0928\u0940\u0924\u093F \u0939\u0948 \u091C\u093F\
\u0938\u0915\u093E \u0909\u0926\u094D\u0926\u0947\u0936\u094D\u092F \u0939\
\u093E\u0930 \u0915\u0947 \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947\
\ \u0905\u0928\u0941\u092A\u093E\u0932\u0928 \u092A\u094D\u0930\u093E\u092A\
\u094D\u0924 \u0915\u0930\u0928\u093E \u0939\u0948\u0964 \u092F\u0939 \u0932\
\u0915\u094D\u0937\u094D\u092F \u0915\u0947 \u092A\u093E\u0938 \u0935\u093F\
\u0915\u0932\u094D\u092A \u0915\u093E \u0915\u094B\u0908 \u0924\u0924\u094D\
\u0935 \u0928\u0939\u0940\u0902 \u091B\u094B\u0921\u093C\u0924\u093E \u0939\
\u0948, \u0932\u0915\u094D\u0937\u094D\u092F \u0915\u094B \u092F\u093E \u0924\
\u094B \u0905\u0928\u0941\u092A\u093E\u0932\u0928 \u0915\u0930\u0928\u0947\
\ \u0915\u0947 \u0932\u093F\u090F \u092E\u091C\u092C\u0942\u0930 \u0915\u093F\
\u092F\u093E \u091C\u093E\u0924\u093E \u0939\u0948 \u092F\u093E \u0938\u0902\
\u0918\u0930\u094D\u0937 \u092E\u0947\u0902 \u0936\u093E\u092E\u093F\u0932\
\ \u0915\u093F\u092F\u093E \u091C\u093E\u0924\u093E \u0939\u0948\u0964 \u092F\
\u0939 \u092C\u093E\u0924\u091A\u0940\u0924 \u092F\u093E \u0930\u093F\u092F\
\u093E\u092F\u0924 \u0915\u0947 \u0915\u093F\u0938\u0940 \u092D\u0940 \u0905\
\u0935\u0938\u0930 \u0915\u094B \u0939\u091F\u093E\u0915\u0930 \u0905\u0928\
\u0941\u092A\u093E\u0932\u0928 \u0932\u093E\u0917\u0942 \u0915\u0930\u0915\
\u0947 \u0928\u093F\u092F\u0902\u0924\u094D\u0930\u0923 \u0915\u0930\u0928\
\u093E \u091A\u093E\u0939\u0924\u093E \u0939\u0948\u0964"
input_correct_responses:
- B
input_question: "\u092C\u0932\u092A\u0942\u0930\u094D\u0935\u0915 \u0915\u0942\
\u091F\u0928\u0940\u0924\u093F \u0915\u094B \u0938\u0948\u0928\u094D\u092F \u092C\
\u0932 \u0938\u0947 \u0915\u094D\u092F\u093E \u0905\u0932\u0917 \u0915\u0930\
\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092C\u093E\u0932 \u0938\u0948\u0928\u093F\u0915 \u092F\u0941\u0926\u094D\
\u0927 \u0915\u0947 \u0936\u093F\u0915\u093E\u0930 \u0939\u0948\u0902 \u091C\
\u093F\u0928\u094D\u0939\u0947\u0902 \u092A\u0941\u0928\u0903 \u0936\u093F\
\u0915\u094D\u0937\u093E \u0914\u0930 \u092A\u0941\u0928\u0930\u094D\u0935\
\u093E\u0938 \u0915\u0940 \u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E\
\ \u0939\u0948\u0964"
B: "\u092C\u091A\u094D\u091A\u0947 \u0914\u0930 \u0909\u0928\u0915\u0940 \u092E\
\u093E\u0924\u093E\u090F\u0901 \u092F\u0941\u0926\u094D\u0927 \u092E\u0947\
\u0902 \u0938\u0915\u094D\u0930\u093F\u092F \u0935\u093F\u0937\u092F \u0928\
\u0939\u0940\u0902 \u0939\u0948\u0902 \u0914\u0930 \u0909\u0928\u094D\u0939\
\u0947\u0902 \u0928\u093F\u091C\u0940 \u0915\u094D\u0937\u0947\u0924\u094D\
\u0930 \u092E\u0947\u0902 \u0935\u093F\u0937\u092F \u092E\u093E\u0928\u093E\
\ \u091C\u093E\u0924\u093E \u0939\u0948\u0964"
C: "\u092C\u091A\u094D\u091A\u0947 \u0905\u0915\u094D\u0938\u0930 \u092F\u0941\
\u0926\u094D\u0927 \u092E\u0947\u0902 \u0928\u093F\u0930\u094D\u0926\u094B\
\u0937 \u0926\u0930\u094D\u0936\u0915 \u0939\u094B\u0924\u0947 \u0939\u0948\
\u0902 \u0914\u0930 \u0936\u093E\u0902\u0924\u093F \u0915\u0947 \u0938\u0902\
\u0915\u0947\u0924\u0915 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902\
\ \u0909\u0928\u0915\u093E \u0938\u092C\u0938\u0947 \u0905\u091A\u094D\u091B\
\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\u093F\u092F\u093E \u091C\u093E\
\u0924\u093E \u0939\u0948\u0964"
D: "\u092C\u091A\u094D\u091A\u094B\u0902 \u092E\u0947\u0902 \u0930\u093E\u091C\
\u0928\u0940\u0924\u093F\u0915 \u0935\u093F\u0937\u092F\u0935\u0938\u094D\u0924\
\u0941 \u0939\u094B\u0924\u0940 \u0939\u0948 \u091C\u094B \u0924\u092C \u091B\
\u0942\u091F \u091C\u093E\u0924\u0940 \u0939\u0948 \u091C\u092C \u0909\u0928\
\u094D\u0939\u0947\u0902 \u092F\u0941\u0926\u094D\u0927 \u0915\u093E \u0928\
\u093F\u0937\u094D\u0915\u094D\u0930\u093F\u092F \u092A\u0940\u0921\u093C\u093F\
\u0924 \u092E\u093E\u0928\u093E \u091C\u093E\u0924\u093E \u0939\u0948\u0964"
input_correct_responses:
- D
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0938\u092C\
\u0938\u0947 \u0905\u091A\u094D\u091B\u093E \u0932\u0947\u0902\u0938 \u0939\u0948\
\ \u091C\u093F\u0938\u0915\u0947 \u092E\u093E\u0927\u094D\u092F\u092E \u0938\
\u0947 \u092C\u093E\u0932 \u0938\u0948\u0928\u093F\u0915\u094B\u0902 \u0915\u0940\
\ \u092D\u0942\u092E\u093F\u0915\u093E \u0915\u0940 \u091C\u093E\u0902\u091A\
\ \u0915\u0940 \u091C\u093E \u0938\u0915\u0924\u0940 \u0939\u0948?"
- input_choice_list:
A: "\u090F\u0915 \u0905\u0938\u094D\u0924\u093F\u0924\u094D\u0935\u0917\u0924\
\ \u0916\u0924\u0930\u0947 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902\
\ \u091C\u093F\u0938\u0915\u0947 \u0932\u093F\u090F \u0924\u0924\u094D\u0915\
\u093E\u0932 \u0914\u0930 \u0905\u0938\u093E\u0927\u093E\u0930\u0923 \u0915\
\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0915\u0940 \u0906\u0935\u0936\
\u094D\u092F\u0915\u0924\u093E \u0939\u094B\u0924\u0940 \u0939\u0948, \u091C\
\u094B \u0930\u093E\u091C\u094D\u092F \u0915\u0947 \u0905\u0938\u094D\u0924\
\u093F\u0924\u094D\u0935 \u092F\u093E \u0938\u093E\u092E\u093E\u091C\u093F\
\u0915 \u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\u0947 \u0932\u093F\
\u090F \u0916\u0924\u0930\u093E \u092A\u0948\u0926\u093E \u0915\u0930\u0924\
\u093E \u0939\u0948\u0964"
B: "\u0930\u093E\u091C\u094D\u092F \u0926\u094D\u0935\u093E\u0930\u093E \u0924\
\u0924\u094D\u0915\u093E\u0932 \u0914\u0930 \u0905\u0938\u093E\u0927\u093E\
\u0930\u0923 \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0915\u0940\
\ \u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E \u0915\u0947 \u0930\u0942\
\u092A \u092E\u0947\u0902, \u090F\u0915 \u0938\u0902\u0926\u0930\u094D\u092D\
\u093F\u0924 \u0935\u0938\u094D\u0924\u0941 \u0915\u0947 \u0905\u0938\u094D\
\u0924\u093F\u0924\u094D\u0935 \u0915\u094B \u0916\u0924\u0930\u0947 \u092E\
\u0947\u0902 \u0921\u093E\u0932\u0928\u093E \u0914\u0930 \u0907\u0938\u0932\
\u093F\u090F \u0909\u0928 \u0909\u092A\u093E\u092F\u094B\u0902 \u0915\u0947\
\ \u0909\u092A\u092F\u094B\u0917 \u0915\u0940 \u0917\u093E\u0930\u0902\u091F\
\u0940 \u0926\u0947\u0928\u093E \u091C\u094B \u0906\u092E \u0924\u094C\u0930\
\ \u092A\u0930 \u0930\u093E\u091C\u0928\u0940\u0924\u093F\u0915 \u0915\u094D\
\u0937\u0947\u0924\u094D\u0930 \u092E\u0947\u0902 \u0928\u093F\u092F\u094B\
\u091C\u093F\u0924 \u0928\u0939\u0940\u0902 \u0939\u094B\u0924\u0947 \u0939\
\u0948\u0902\u0964"
C: "\u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0935\u0938\u094D\u0924\
\u0941 \u0915\u0947 \u0905\u0938\u094D\u0924\u093F\u0924\u094D\u0935 \u0915\
\u0947 \u0932\u093F\u090F \u090F\u0915 \u0924\u0924\u094D\u0915\u093E\u0932\
\ \u0916\u0924\u0930\u0947 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902\
, \u0907\u0924\u0928\u093E \u0917\u0902\u092D\u0940\u0930 \u0915\u093F \u092F\
\u0939 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E\
\ \u092E\u0947\u0902 \u0905\u0938\u093E\u0927\u093E\u0930\u0923 \u0915\u093E\
\u0930\u094D\u0930\u0935\u093E\u0908 \u0915\u0947 \u0930\u094B\u091C\u0917\
\u093E\u0930 \u0915\u094B \u0935\u0948\u0927 \u092C\u0928\u093E\u0924\u093E\
\ \u0939\u0948\u0964"
D: "\u0926\u0930\u094D\u0936\u0915\u094B\u0902 \u0915\u0947 \u0905\u0938\u094D\
\u0924\u093F\u0924\u094D\u0935 \u0915\u0947 \u0932\u093F\u090F \u090F\u0915\
\ \u0924\u0924\u094D\u0915\u093E\u0932 \u0916\u0924\u0930\u0947 \u0915\u0947\
\ \u0930\u0942\u092A \u092E\u0947\u0902 \u091C\u093F\u0938\u0915\u0947 \u0932\
\u093F\u090F \u0905\u0938\u093E\u0927\u093E\u0930\u0923 \u092F\u093E \u0906\
\u092A\u093E\u0924\u0915\u093E\u0932\u0940\u0928 \u0909\u092A\u093E\u092F\u094B\
\u0902 \u0915\u0940 \u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E \u0939\
\u0948\u0964"
input_correct_responses:
- C
input_question: "\u092A\u094D\u0930\u0924\u093F\u092D\u0942\u0924\u093F\u0915\u0943\
\u0924 \u0939\u094B\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F, \u0907\u0928\
\u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u0924\u0930\u0940\u0915\u0947\
\ \u0938\u0947 \u0916\u0924\u0930\u093E \u092A\u094D\u0930\u0938\u094D\u0924\
\u0941\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\u0928\u093E \u091A\u093E\u0939\
\u093F\u090F?"
- input_choice_list:
A: "\u0916\u0924\u0930\u094B\u0902 \u0914\u0930 \u0938\u0902\u0926\u0930\u094D\
\u092D\u093F\u0924 \u0935\u0938\u094D\u0924\u0941\u0913\u0902 \u0915\u0940\
\ \u092A\u094D\u0930\u0915\u0943\u0924\u093F \u0915\u0947 \u0938\u0902\u092C\
\u0902\u0927 \u092E\u0947\u0902 \u092E\u093E\u0928\u0935 \u0938\u0941\u0930\
\u0915\u094D\u0937\u093E \u0922\u093E\u0902\u091A\u0947 \u0915\u0947 \u092D\
\u0940\u0924\u0930 \u0907\u0924\u0928\u0947 \u0935\u094D\u092F\u093E\u092A\
\u0915 \u0935\u093F\u092D\u093E\u091C\u0928 \u0939\u0948\u0902 \u0915\u093F\
\ \u0930\u093E\u091C\u094D\u092F-\u0915\u0947\u0902\u0926\u094D\u0930\u093F\
\u0924 \u0926\u0943\u0937\u094D\u091F\u093F\u0915\u094B\u0923 \u0914\u0930\
\ \u092E\u093E\u0928\u0935 \u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\
\u0947 \u092C\u0940\u091A \u0915\u094B\u0908 \u0935\u094D\u092F\u093E\u092A\
\u0915 \u0930\u0942\u092A \u0938\u0947 \u0932\u093E\u0917\u0942 \u0924\u0941\
\u0932\u0928\u093E \u0928\u0939\u0940\u0902 \u0915\u0940 \u091C\u093E \u0938\
\u0915\u0924\u0940 \u0939\u0948\u0964"
B: "\u092E\u093E\u0928\u0935 \u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\
\u0947 \u0922\u093E\u0901\u091A\u0947 \u0915\u094B \u0905\u092A\u0928\u093E\
\u0928\u0947 \u0938\u0947 \u092F\u0925\u093E\u0930\u094D\u0925\u0935\u093E\
\u0926\u0940 \u0930\u093E\u091C\u094D\u092F-\u0915\u0947\u0928\u094D\u0926\
\u094D\u0930\u093F\u0924 \u0926\u0943\u0937\u094D\u091F\u093F\u0915\u094B\u0923\
\ \u0915\u0940 \u0938\u0940\u092E\u093E\u090F\u0901 \u0938\u094D\u092A\u0937\
\u094D\u091F \u0939\u094B \u091C\u093E\u0924\u0940 \u0939\u0948\u0902\u0964\
\ \u091C\u092C\u0915\u093F \u092E\u093E\u0928\u0935 \u0938\u0941\u0930\u0915\
\u094D\u0937\u093E \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0935\
\u0938\u094D\u0924\u0941 \u0915\u094B \u0935\u094D\u092F\u0915\u094D\u0924\
\u093F \u092F\u093E \u091C\u0928\u0938\u0902\u0916\u094D\u092F\u093E \u0915\
\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u092A\u0930\u093F\u092D\u093E\
\u0937\u093F\u0924 \u0915\u0930\u0924\u0940 \u0939\u0948, \u0930\u093E\u091C\
\u094D\u092F-\u0915\u0947\u0902\u0926\u094D\u0930\u093F\u0924 \u0926\u0943\
\u0937\u094D\u091F\u093F\u0915\u094B\u0923 \u0930\u093E\u091C\u094D\u092F\
\ \u0915\u0940 \u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\u094B \u092A\
\u094D\u0930\u093E\u0925\u092E\u093F\u0915\u0924\u093E \u0926\u0947\u0924\u0947\
\ \u0939\u0948\u0902, \u092E\u093E\u0928\u0935 \u0938\u0941\u0930\u0915\u094D\
\u0937\u093E \u0915\u0940 \u0916\u094B\u091C \u0915\u094B \u092A\u094D\u0930\
\u093E\u0925\u092E\u093F\u0915\u0924\u093E \u0928\u0939\u0940\u0902 \u0926\
\u0947\u0924\u0947 \u0939\u0948\u0902\u0964"
C: "\u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\u0947 \u092A\u094D\u0930\
\u0924\u093F \u0930\u093E\u091C\u094D\u092F-\u0915\u0947\u0902\u0926\u094D\
\u0930\u093F\u0924 \u0926\u0943\u0937\u094D\u091F\u093F\u0915\u094B\u0923\
\ \u092E\u093E\u0928\u0935 \u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\
\u093E \u090F\u0915 \u0917\u0941\u091F \u0939\u0948, \u091C\u093F\u0938\u0947\
\ \u0906\u092E\u0924\u094C\u0930 \u092A\u0930 \u092E\u093E\u0928\u0935 \u0938\
\u0941\u0930\u0915\u094D\u0937\u093E \u0915\u0947 \u0935\u094D\u092F\u093E\
\u092A\u0915 \u0938\u094D\u0915\u0942\u0932 \u0915\u0947 \u092D\u0940\u0924\
\u0930 \u092A\u0930\u093F\u092D\u093E\u0937\u093F\u0924 \u0915\u093F\u092F\
\u093E \u0917\u092F\u093E \u0939\u0948\u0964 \u0930\u093E\u091C\u094D\u092F\
-\u0915\u0947\u0902\u0926\u094D\u0930\u093F\u0924 \u0939\u094B\u0928\u0947\
\ \u0915\u0947 \u0915\u093E\u0930\u0923 \u092F\u0939 \u0926\u0943\u0937\u094D\
\u091F\u093F\u0915\u094B\u0923 \u0938\u0941\u0930\u0915\u094D\u0937\u093E\
\ \u0905\u0927\u094D\u092F\u092F\u0928 \u092E\u0947\u0902 \u0938\u0902\u0926\
\u0930\u094D\u092D \u0935\u0938\u094D\u0924\u0941 \u0915\u0947 \u0930\u0942\
\u092A \u092E\u0947\u0902 \u0935\u094D\u092F\u0915\u094D\u0924\u093F \u0915\
\u094B \u092A\u094D\u0930\u093E\u0925\u092E\u093F\u0915\u0924\u093E \u0926\
\u0947\u0924\u093E \u0939\u0948\u0964"
D: "\u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\u0947 \u0932\u093F\u090F\
\ \u0930\u093E\u091C\u094D\u092F-\u0915\u0947\u0902\u0926\u094D\u0930\u093F\
\u0924 \u0914\u0930 \u092E\u093E\u0928\u0935-\u0915\u0947\u0902\u0926\u094D\
\u0930\u093F\u0924 \u0926\u094B\u0928\u094B\u0902 \u0926\u0943\u0937\u094D\
\u091F\u093F\u0915\u094B\u0923 \u092A\u0930\u0938\u094D\u092A\u0930 \u0905\
\u0928\u0928\u094D\u092F \u0939\u0948\u0902 \u0914\u0930 \u0905\u0902\u0924\
\u0930\u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u0938\u0941\u0930\
\u0915\u094D\u0937\u093E \u092A\u094D\u0930\u0923\u093E\u0932\u0940 \u0915\
\u094B \u0938\u092E\u091D\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092A\
\u0930\u094D\u092F\u093E\u092A\u094D\u0924 \u0935\u093F\u0936\u094D\u0932\u0947\
\u0937\u0923\u093E\u0924\u094D\u092E\u0915 \u0922\u093E\u0902\u091A\u093E\
\ \u092A\u094D\u0930\u0926\u093E\u0928 \u0915\u0930\u0924\u0947 \u0939\u0948\
\u0902\u0964 \u0907\u0938\u0932\u093F\u090F \u092F\u0939 \u0928\u093F\u0930\
\u094D\u0927\u093E\u0930\u093F\u0924 \u0915\u0930\u0928\u093E \u0938\u0941\
\u0930\u0915\u094D\u0937\u093E \u0935\u093F\u0936\u094D\u0932\u0947\u0937\u0915\
\u094B\u0902 \u0915\u0940 \u092D\u0942\u092E\u093F\u0915\u093E \u0939\u0948\
\ \u0915\u093F \u0907\u0928\u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928\
\ \u0938\u0940 \u092E\u0939\u0924\u094D\u0935\u092A\u0942\u0930\u094D\u0923\
\ \u0905\u0935\u0927\u093E\u0930\u0923\u093E \u0938\u0939\u0940 \u0939\u0948\
, \u0914\u0930 \u0915\u093F\u0938\u0947 \u091B\u094B\u0921\u093C \u0926\u093F\
\u092F\u093E \u091C\u093E\u0928\u093E \u091A\u093E\u0939\u093F\u090F\u0964"
input_correct_responses:
- B
input_question: "\u0939\u092E \u0930\u093E\u091C\u094D\u092F-\u0915\u0947\u0902\
\u0926\u094D\u0930\u093F\u0924 \u0926\u0943\u0937\u094D\u091F\u093F\u0915\u094B\
\u0923 \u0914\u0930 \u092E\u093E\u0928\u0935 \u0938\u0941\u0930\u0915\u094D\u0937\
\u093E \u0915\u0940 \u0905\u0935\u0927\u093E\u0930\u0923\u093E \u0915\u0947\
\ \u092C\u0940\u091A \u0938\u0902\u092C\u0902\u0927 \u0915\u093E \u0938\u0930\
\u094D\u0935\u094B\u0924\u094D\u0924\u092E \u0935\u0930\u094D\u0923\u0928 \u0915\
\u0948\u0938\u0947 \u0915\u0930 \u0938\u0915\u0924\u0947 \u0939\u0948\u0902?"
- input_choice_list:
A: "\u092C\u0921\u093C\u0947 \u0926\u0947\u0936\u094B\u0902 \u0915\u0947 \u092C\
\u0940\u091A \u092A\u094D\u0930\u0924\u093F\u0938\u094D\u092A\u0930\u094D\u0927\
\u093E \u0915\u0947 \u092A\u0930\u093F\u0923\u093E\u092E\u0938\u094D\u0935\
\u0930\u0942\u092A \u0915\u0941\u091B \u0926\u0947\u0936 \u092A\u094D\u0930\
\u0924\u093F\u0926\u094D\u0935\u0902\u0926\u094D\u0935\u0940 \u0930\u093E\u091C\
\u094D\u092F\u094B\u0902 \u0915\u0940 \u0924\u093E\u0915\u0924 \u0915\u094B\
\ \u0915\u092E\u091C\u094B\u0930 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\
\u093F\u090F \u0938\u0915\u094D\u0930\u093F\u092F \u0930\u0942\u092A \u0938\
\u0947 \u0906\u0924\u0902\u0915\u0935\u093E\u0926\u0940 \u0938\u092E\u0942\
\u0939\u094B\u0902 \u0915\u093E \u0938\u092E\u0930\u094D\u0925\u0928 \u0915\
\u0930 \u0930\u0939\u0947 \u0939\u0948\u0902\u0964 \u0906\u0924\u0902\u0915\
\u0935\u093E\u0926\u0940 \u0928\u0947\u091F\u0935\u0930\u094D\u0915 \u0935\
\u093F\u0938\u094D\u0924\u093E\u0930\u093F\u0924 \u0938\u0902\u0930\u0915\u094D\
\u0937\u0923 \u0915\u094D\u0932\u092C \u0939\u0948\u0902 \u091C\u093F\u0928\
\u0915\u093E \u0930\u0916\u0930\u0916\u093E\u0935 \u0914\u0930 \u092D\u0941\
\u0917\u0924\u093E\u0928 \u0909\u0928\u0915\u0947 \u0926\u093E\u0924\u093E\
\ \u0930\u093E\u091C\u094D\u092F\u094B\u0902 \u0926\u094D\u0935\u093E\u0930\
\u093E \u0915\u093F\u092F\u093E \u091C\u093E\u0924\u093E \u0939\u0948 \u0914\
\u0930 \u0907\u0928\u094D\u0939\u0947\u0902 \u0930\u093E\u091C\u094D\u092F\
\ \u0905\u092D\u093F\u0928\u0947\u0924\u093E\u0913\u0902 \u0915\u0940 \u0924\
\u0930\u0939 \u092E\u093E\u0928\u093E \u091C\u093E\u0924\u093E \u0939\u0948\
, \u091C\u093F\u0928\u0938\u0947 \u0938\u0948\u0928\u094D\u092F \u092C\u0932\
\ \u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\u0930\u0915\u0947 \u0928\
\u093F\u092A\u091F\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\u0948\
\u0964"
B: "\u0935\u0948\u0936\u094D\u0935\u0940\u0915\u0930\u0923 \u0928\u0947 \u0906\
\u0924\u0902\u0915\u0935\u093E\u0926\u0940 \u0917\u0924\u093F\u0935\u093F\u0927\
\u093F\u092F\u094B\u0902 \u0915\u0947 \u092A\u0930\u093F\u091A\u093E\u0932\
\u0928 \u0938\u094D\u0925\u093E\u0928 \u0915\u094B \u0916\u094B\u0932\u0915\
\u0930 \u0909\u0928\u0915\u0947 \u0905\u0902\u0924\u0930\u094D\u0930\u093E\
\u0937\u094D\u091F\u094D\u0930\u0940\u092F\u0915\u0930\u0923 \u0915\u094B\
\ \u0938\u0915\u094D\u0937\u092E \u092C\u0928\u093E\u092F\u093E \u0939\u0948\
, \u0939\u093E\u0932\u093E\u0902\u0915\u093F \u0938\u092E\u0928\u094D\u0935\
\u092F \u0905\u092D\u0940 \u092D\u0940 \u092D\u094C\u0917\u094B\u0932\u093F\
\u0915 \u0906\u0927\u093E\u0930 \u0938\u0947 \u092A\u094D\u0930\u092C\u0902\
\u0927\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\u0924\u093E \u0939\
\u0948\u0964 \u0907\u0938\u0938\u0947 \u092A\u0924\u093E \u091A\u0932\u0924\
\u093E \u0939\u0948 \u0915\u093F \u0906\u0924\u0902\u0915\u0935\u093E\u0926\
\u0940 \u0938\u092E\u0942\u0939 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\
\u0940\u092F \u0938\u094D\u0924\u0930 \u092A\u0930 \u0938\u0902\u0930\u091A\
\u093F\u0924 \u0939\u0948\u0902 \u091C\u093F\u0938\u0915\u093E \u0905\u0930\
\u094D\u0925 \u0939\u0948 \u0915\u093F \u0906\u0924\u0902\u0915\u0935\u093E\
\u0926 \u0915\u094B \u0938\u094D\u0935\u0926\u0947\u0936\u0940 \u0906\u092C\
\u093E\u0926\u0940 \u092A\u0930 \u0917\u0902\u092D\u0940\u0930 \u092A\u094D\
\u0930\u092D\u093E\u0935 \u0921\u093E\u0932\u0947 \u092C\u093F\u0928\u093E\
\ \u0938\u0948\u0928\u094D\u092F \u0930\u0942\u092A \u0938\u0947 \u092A\u0930\
\u093E\u091C\u093F\u0924 \u0915\u093F\u090F \u091C\u093E\u0928\u0947 \u0935\
\u093E\u0932\u0947 \u092F\u0941\u0926\u094D\u0927 \u0915\u0947 \u0938\u0902\
\u0926\u0930\u094D\u092D \u092E\u0947\u0902 \u0928\u0939\u0940\u0902 \u092E\
\u093E\u0928\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\u0948\u0964"
C: "\u0906\u0924\u0902\u0915\u0935\u093E\u0926 \u0915\u094B \u0938\u0948\u0928\
\u094D\u092F \u0924\u0930\u0940\u0915\u094B\u0902 (\u0906\u0924\u0902\u0915\
\u0935\u093E\u0926 \u092A\u0930 \u092F\u0941\u0926\u094D\u0927), \u0938\u093E\
\u092E\u093E\u0928\u094D\u092F \u092A\u0941\u0932\u093F\u0938 \u0924\u0915\
\u0928\u0940\u0915\u094B\u0902 (\u0906\u0924\u0902\u0915\u0935\u093E\u0926\
\ \u0915\u094B \u0905\u092A\u0930\u093E\u0927 \u0915\u0947 \u0930\u0942\u092A\
\ \u092E\u0947\u0902), \u092F\u093E \u0905\u0902\u0924\u0930\u094D\u0928\u093F\
\u0939\u093F\u0924 \u0915\u093E\u0930\u0923\u094B\u0902 \u0914\u0930 \u0932\
\u0915\u094D\u0937\u0923\u094B\u0902 \u0915\u0947 \u0938\u093E\u0925 \u090F\
\u0915 \u091A\u093F\u0915\u093F\u0924\u094D\u0938\u093E \u0938\u092E\u0938\
\u094D\u092F\u093E (\u092C\u0940\u092E\u093E\u0930\u0940 \u0915\u0947 \u0930\
\u0942\u092A \u092E\u0947\u0902 \u0906\u0924\u0902\u0915\u0935\u093E\u0926\
) \u0926\u094D\u0935\u093E\u0930\u093E \u0939\u0932 \u0915\u0940 \u091C\u093E\
\u0928\u0947 \u0935\u093E\u0932\u0940 \u0938\u092E\u0938\u094D\u092F\u093E\
\ \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0926\u0947\u0916\u093E\
\ \u091C\u093E \u0938\u0915\u0924\u093E \u0939\u0948\u0964"
D: "\u0906\u0924\u0902\u0915\u0935\u093E\u0926 \u0915\u094B \u090F\u0915 \u0906\
\u092A\u0930\u093E\u0927\u093F\u0915 \u0938\u092E\u0938\u094D\u092F\u093E\
\ \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0926\u0947\u0916\u093E\
\ \u091C\u093E\u0924\u093E \u0939\u0948\u0964 \u0906\u0924\u0902\u0915\u0935\
\u093E\u0926 \u0915\u0947 \u0905\u092A\u0930\u093E\u0927\u0940\u0915\u0930\
\u0923 \u0915\u0947 \u0926\u094B \u092E\u0939\u0924\u094D\u0935\u092A\u0942\
\u0930\u094D\u0923 \u0928\u093F\u0939\u093F\u0924\u093E\u0930\u094D\u0925\
\ \u0939\u0948\u0902\u0964 \u0938\u092C\u0938\u0947 \u092A\u0939\u0932\u0947\
, \u092F\u0939 \u0938\u0941\u091D\u093E\u0935 \u0926\u0947\u0924\u093E \u0939\
\u0948 \u0915\u093F \u0906\u0924\u0902\u0915\u0935\u093E\u0926 \u0915\u094B\
\ \u0916\u0924\u094D\u092E \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\
\u0924\u093E \u0939\u0948 - \u0906\u0924\u0902\u0915\u0935\u093E\u0926\u093F\
\u092F\u094B\u0902 \u0915\u094B \u092A\u0915\u0921\u093C\u093E \u091C\u093E\
\ \u0938\u0915\u0924\u093E \u0939\u0948 \u0914\u0930 \u0938\u093E\u092E\u093E\
\u0928\u094D\u092F \u0928\u094D\u092F\u093E\u092F\u093F\u0915 \u0915\u093E\
\u0930\u094D\u092F\u0935\u093E\u0939\u0940 \u0926\u094D\u0935\u093E\u0930\u093E\
\ \u0909\u0928 \u092A\u0930 \u092E\u0941\u0915\u0926\u092E\u093E \u091A\u0932\
\u093E\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\u0948, \u091C\
\u093F\u0938\u0938\u0947 \u0938\u092E\u093E\u091C \u0938\u0947 \u0916\u0924\
\u0930\u093E \u0926\u0942\u0930 \u0939\u094B \u0938\u0915\u0924\u093E \u0939\
\u0948 - \u0914\u0930 \u0926\u0942\u0938\u0930\u093E, \u092F\u0939 \u0938\u0941\
\u091D\u093E\u0935 \u0926\u093F\u092F\u093E \u091C\u093E\u0924\u093E \u0939\
\u0948 \u0915\u093F \u0907\u0938\u0915\u0947 \u0935\u093F\u0915\u093E\u0938\
\ \u0915\u094B \u0930\u094B\u0915\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
\ \u0928\u093F\u0935\u093E\u0930\u0915 \u0905\u092A\u0930\u093E\u0927 \u0924\
\u0915\u0928\u0940\u0915\u0947\u0902 \u0932\u093E\u0917\u0942 \u0915\u0940\
\ \u091C\u093E\u0924\u0940 \u0939\u0948\u0902\u0964"
input_correct_responses:
- C
input_question: "\u0935\u093F\u0936\u094D\u0932\u0947\u0937\u0923 \u0915\u0940\
\ \u0935\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0930\u0942\u092A\u0930\u0947\
\u0916\u093E\u090F\u0901 \u0939\u0948\u0902 \u091C\u093F\u0928\u0915\u0947 \u0905\
\u0902\u0924\u0930\u094D\u0917\u0924 \u0906\u0924\u0902\u0915\u0935\u093E\u0926\
\ \u092A\u0930 \u0935\u093F\u091A\u093E\u0930 \u0915\u093F\u092F\u093E \u0917\
\u092F\u093E \u0939\u0948 (2020 \u0924\u0915)?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_security_studies
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_security_studies
task_alias: security_studies
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0938\u092D\u0940 \u0915\u0947 \u0932\u093F\u090F \u092E\u0941\u092B\u094D\
\u0924 \u0938\u094D\u0935\u093E\u0938\u094D\u0925\u094D\u092F \u0926\u0947\
\u0916\u092D\u093E\u0932 \u0914\u0930 \u0936\u093F\u0915\u094D\u0937\u093E"
B: "\u090F\u0915 \u0928\u094D\u092F\u0942\u0928\u0924\u092E \u0935\u0947\u0924\
\u0928"
C: "\u092A\u0942\u0930\u094D\u0923 \u0930\u094B\u091C\u093C\u0917\u093E\u0930"
D: "\u0938\u093E\u0930\u094D\u0935\u092D\u094C\u092E\u093F\u0915 \u0915\u0932\
\u094D\u092F\u093E\u0923"
input_correct_responses:
- B
input_question: "1948 \u0915\u0947 \u092F\u0941\u0926\u094D\u0927\u094B\u092A\u0930\
\u093E\u0902\u0924 \u0915\u0932\u094D\u092F\u093E\u0923\u0915\u093E\u0930\u0940\
\ \u0930\u093E\u091C\u094D\u092F \u0915\u093E \u0928\u093F\u092E\u094D\u0928\
\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094D\u092F\
\u093E \u092A\u094D\u0930\u0926\u093E\u0928 \u0915\u0930\u0928\u0947 \u0915\u093E\
\ \u0932\u0915\u094D\u0937\u094D\u092F \u0928\u0939\u0940\u0902 \u0925\u093E\
:"
- input_choice_list:
A: "\u090F\u0915 \u092E\u0947\u0932\u0947 \u0915\u0947 \u092E\u0948\u0926\u093E\
\u0928 \u0915\u0940 \u0938\u0935\u093E\u0930\u0940"
B: "\u090F\u0915 \u0938\u0930\u094D\u0915\u0938"
C: "\u090F\u0915 \u0915\u0920\u092A\u0941\u0924\u0932\u0940 \u0925\u093F\u092F\
\u0947\u091F\u0930"
D: "\u090F\u0915 \u092C\u0948\u0932\u0947"
input_correct_responses:
- C
input_question: "\u092C\u0930\u094D\u091C\u0930 (1963) \u0938\u093E\u092E\u093E\
\u091C\u093F\u0915 \u0935\u093E\u0938\u094D\u0924\u0935\u093F\u0915\u0924\u093E\
\ \u0915\u0947 \u0930\u0942\u092A\u0915 \u0915\u0947 \u0930\u0942\u092A \u092E\
\u0947\u0902 \u0915\u094D\u092F\u093E \u0935\u0930\u094D\u0923\u0928 \u0915\u0930\
\u0924\u0947 \u0939\u0948\u0902?"
- input_choice_list:
A: "\u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u092C\u0922\u093C\u0924\u0940\
\ \u0928\u094C\u0915\u0930\u0936\u093E\u0939\u0940 \u0928\u0947 \u0927\u0930\
\u094D\u092E \u0915\u094B \u0939\u092E\u093E\u0930\u0947 \u091C\u0940\u0935\
\u0928 \u0915\u093E \u0915\u0947\u0935\u0932 \u0939\u093E\u0936\u093F\u092F\
\u0947 \u0915\u093E \u0939\u093F\u0938\u094D\u0938\u093E \u092C\u0928\u093E\
\ \u0926\u093F\u092F\u093E \u0939\u0948"
B: "\u092A\u093E\u0930\u0902\u092A\u0930\u093F\u0915 \u092A\u094D\u0930\u093E\
\u0927\u093F\u0915\u093E\u0930 \u0915\u0947 \u0915\u092E\u091C\u094B\u0930\
\ \u0939\u094B\u0928\u0947 \u0915\u0947 \u092C\u093E\u0935\u091C\u0942\u0926\
, \u0939\u092E\u093E\u0930\u093E \u0930\u094B\u091C\u092E\u0930\u094D\u0930\
\u093E \u0915\u093E \u091C\u0940\u0935\u0928 \u0914\u0930 '\u0938\u093E\
\u092E\u093E\u0928\u094D\u092F \u091C\u094D\u091E\u093E\u0928' \u0927\u093E\
\u0930\u094D\u092E\u093F\u0915 \u0935\u093F\u0936\u094D\u0935\u093E\u0938\u094B\
\u0902 \u0914\u0930 \u092E\u0942\u0932\u094D\u092F\u094B\u0902 \u0938\u0947\
\ \u0906\u0915\u093E\u0930 \u0932\u0947\u0924\u093E \u0939\u0948"
C: "\u0938\u093E\u092E\u0942\u0939\u093F\u0915 \u092A\u0942\u091C\u093E \u092E\
\u0947\u0902 \u0927\u093E\u0930\u094D\u092E\u093F\u0915 \u092D\u093E\u0917\
\u0940\u0926\u093E\u0930\u0940 \u092E\u0947\u0902 \u092D\u0932\u0947 \u0939\
\u0940 \u0917\u093F\u0930\u093E\u0935\u091F \u0906\u0908 \u0939\u094B, \u0932\
\u0947\u0915\u093F\u0928 \u0932\u094B\u0917 \u0905\u092D\u0940 \u092D\u0940\
\ \u0928\u093F\u091C\u0940 \u0924\u094C\u0930 \u092A\u0930 \u0905\u092A\u0928\
\u0947 \u0927\u0930\u094D\u092E \u0915\u093E \u092A\u093E\u0932\u0928 \u0915\
\u0930\u0924\u0947 \u0939\u0948\u0902"
D: "\u0932\u094B\u0917 \u0938\u093E\u0930\u094D\u0935\u091C\u0928\u093F\u0915\
, \u0905\u0928\u094C\u092A\u091A\u093E\u0930\u093F\u0915 \u0938\u0947\u091F\
\u093F\u0902\u0917 \u092E\u0947\u0902 \u0905\u092A\u0928\u0947 \u0927\u093E\
\u0930\u094D\u092E\u093F\u0915 \u0935\u093F\u0936\u094D\u0935\u093E\u0938\u094B\
\u0902 \u092A\u0930 \u091A\u0930\u094D\u091A\u093E \u0915\u0930\u0928\u0947\
\ \u0915\u0940 \u0905\u0927\u093F\u0915 \u0938\u0902\u092D\u093E\u0935\u0928\
\u093E \u0930\u0916\u0924\u0947 \u0939\u0948\u0902"
input_correct_responses:
- B
input_question: "'\u0928\u093E\u0917\u0930\u093F\u0915 \u0927\u0930\u094D\u092E\
' \u0938\u0947 '\u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0927\u0930\
\u094D\u092E' \u092E\u0947\u0902 \u092C\u0926\u0932\u093E\u0935 \u0915\u093E\
\ \u0905\u0930\u094D\u0925 \u0939\u0948:"
- input_choice_list:
A: "\u0936\u094D\u0930\u092E\u093F\u0915 \u0935\u0930\u094D\u0917 \u0915\u0940\
\ \u0905\u092A\u0928\u0947 \u0939\u093F\u0924\u094B\u0902 \u0915\u094B \u0928\
\ \u0938\u092E\u091D\u0928\u0947 \u0915\u0940 \u092A\u094D\u0930\u0935\u0943\
\u0924\u094D\u0924\u093F"
B: "\u090F\u0915 \u092A\u094D\u0930\u092E\u0941\u0916 \u0935\u093F\u091A\u093E\
\u0930\u0927\u093E\u0930\u093E \u091C\u094B \u0906\u0930\u094D\u0925\u093F\
\u0915, \u0930\u093E\u091C\u0928\u0940\u0924\u093F\u0915 \u0914\u0930 \u0938\
\u093E\u0902\u0938\u094D\u0915\u0943\u0924\u093F\u0915 \u0936\u0915\u094D\u0924\
\u093F \u0915\u094B \u0935\u0948\u0927 \u092C\u0928\u093E\u0924\u0940 \u0939\
\u0948"
C: "\u0935\u093F\u091A\u093E\u0930\u0927\u093E\u0930\u093E \u0914\u0930 \u0930\
\u094B\u091C\u092E\u0930\u094D\u0930\u093E \u0915\u0947 \u0905\u0928\u0941\
\u092D\u0935\u094B\u0902 \u092A\u0930 \u0906\u0927\u093E\u0930\u093F\u0924\
\ \u0926\u094B\u0939\u0930\u0940 \u091A\u0947\u0924\u0928\u093E \u0915\u093E\
\ \u090F\u0915 \u0930\u0942\u092A"
D: "\u092C\u0915\u093E\u092F\u093E \u091F\u0949\u092A\u0930\u0940 \u0915\u0947\
\ \u0932\u093F\u090F \u092D\u0941\u0917\u0924\u093E\u0928 \u0915\u093E \u090F\
\u0915 \u0924\u0930\u0940\u0915\u093E \u0926\u093F\u092F\u093E \u0917\u092F\
\u093E"
input_correct_responses:
- B
input_question: "'\u0906\u0927\u093F\u092A\u0924\u094D\u092F' \u0936\u092C\
\u094D\u0926 \u0915\u093E \u0924\u093E\u0924\u094D\u092A\u0930\u094D\u092F \u0939\
\u0948:"
- input_choice_list:
A: "\u0905\u0927\u093F\u0915\u093E\u0902\u0936 \u0939\u0921\u093C\u0924\u093E\
\u0932\u094B\u0902 \u092A\u0930 \u0928\u093F\u092F\u094B\u0915\u094D\u0924\
\u093E\u0913\u0902 \u0914\u0930 \u091C\u0928\u0938\u0902\u091A\u093E\u0930\
\ \u092E\u093E\u0927\u094D\u092F\u092E\u094B\u0902 \u0915\u093E \u0927\u094D\
\u092F\u093E\u0928 \u0928\u0939\u0940\u0902 \u091C\u093E\u0924\u093E"
B: "\u0938\u092D\u0940 \u0914\u0926\u094D\u092F\u094B\u0917\u093F\u0915 \u0935\
\u093F\u0935\u093E\u0926\u094B\u0902 \u0915\u0940 \u0930\u093F\u092A\u094B\
\u0930\u094D\u091F \u0928\u093F\u092F\u094B\u0915\u094D\u0924\u093E \u0926\
\u094D\u0935\u093E\u0930\u093E \u0928\u0939\u0940\u0902 \u0915\u0940 \u091C\
\u093E\u090F\u0917\u0940"
C: "\u0939\u0921\u093C\u0924\u093E\u0932 \u0915\u0940 \u092A\u0930\u093F\u092D\
\u093E\u0937\u093E \u092E\u0947\u0902 \u0935\u0947 \u0939\u0921\u093C\u0924\
\u093E\u0932\u0947\u0902 \u0936\u093E\u092E\u093F\u0932 \u0928\u0939\u0940\
\u0902 \u0939\u0948\u0902 \u091C\u093F\u0928\u092E\u0947\u0902 \u0926\u0938\
\ \u0938\u0947 \u0915\u092E \u0915\u0930\u094D\u092E\u091A\u093E\u0930\u0940\
\ \u0936\u093E\u092E\u093F\u0932 \u0939\u094B\u0902 \u092F\u093E \u090F\u0915\
\ \u0926\u093F\u0928 \u0938\u0947 \u0915\u092E \u0938\u092E\u092F \u0924\u0915\
\ \u091A\u0932\u0947"
D: "\u0909\u0928 \u0939\u092E\u0932\u094B\u0902 \u0915\u0940 \u0924\u0941\u0932\
\u0928\u093E \u0915\u0930\u0928\u093E \u0915\u0920\u093F\u0928 \u0939\u0948\
\ \u091C\u093F\u0928\u094D\u0939\u0947\u0902 \u0905\u0932\u0917-\u0905\u0932\
\u0917 \u0924\u0930\u0940\u0915\u094B\u0902 \u0938\u0947 \u092E\u093E\u092A\
\u093E \u0917\u092F\u093E \u0925\u093E"
input_correct_responses:
- A
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0939\u0921\
\u093C\u0924\u093E\u0932 \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u092A\
\u0930 \u0906\u0927\u093F\u0915\u093E\u0930\u093F\u0915 \u0906\u0902\u0915\u0921\
\u093C\u094B\u0902 \u0938\u0947 \u091C\u0941\u0921\u093C\u0940 \u0938\u092E\u0938\
\u094D\u092F\u093E \u0928\u0939\u0940\u0902 \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_sociology
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_sociology
task_alias: sociology
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0907\u0938\u0928\u0947 \u0930\u093E\u091C\u0928\u0940\u0924\u093F\u0915\
\ \u0905\u0930\u094D\u0925\u0935\u094D\u092F\u0935\u0938\u094D\u0925\u093E\
\ \u0914\u0930 \u092A\u0942\u0902\u091C\u0940\u0935\u093E\u0926 \u0915\u0947\
\ \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u092E\u0949\u0921\u0932 \u0915\
\u0947 \u0938\u092E\u0930\u094D\u0925\u0928 \u0915\u094B \u0928\u0941\u0915\
\u0938\u093E\u0928 \u092A\u0939\u0941\u0902\u091A\u093E\u092F\u093E"
B: "\u0907\u0938\u0928\u0947 \u0938\u0902\u0915\u091F \u0915\u094B \u092C\u0922\
\u093C\u093E-\u091A\u0922\u093C\u093E\u0915\u0930 \u092A\u0947\u0936 \u0915\
\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0938\u0902\u092F\u0941\
\u0915\u094D\u0924 \u0930\u093E\u091C\u094D\u092F \u0905\u092E\u0947\u0930\
\u093F\u0915\u093E \u092A\u0930 \u0917\u0941\u0938\u094D\u0938\u093E \u092A\
\u0948\u0926\u093E \u0915\u093F\u092F\u093E"
C: "\u0907\u0938\u0938\u0947 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092A\
\u0924\u093F \u0913\u092C\u093E\u092E\u093E \u0915\u0947 \u0928\u0947\u0924\
\u0943\u0924\u094D\u0935 \u092E\u0947\u0902 \u0905\u092E\u0947\u0930\u093F\
\u0915\u0940 \u0935\u0948\u0936\u094D\u0935\u093F\u0915 \u0928\u0947\u0924\
\u0943\u0924\u094D\u0935 \u0915\u0947 \u0932\u093F\u090F \u0938\u092E\u0930\
\u094D\u0925\u0928 \u092C\u0922\u093C\u093E"
D: "\u0907\u0938\u0938\u0947 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u0921\
\u0949\u0932\u0930 \u0915\u093E \u0935\u0948\u0936\u094D\u0935\u093F\u0915\
\ \u0909\u092A\u092F\u094B\u0917 \u0915\u092E \u0939\u094B \u0917\u092F\u093E"
input_correct_responses:
- A
input_question: "2008 \u0915\u0947 \u0935\u093F\u0924\u094D\u0924\u0940\u092F\
\ \u0938\u0902\u0915\u091F \u0928\u0947 \u0905\u092E\u0947\u0930\u093F\u0915\
\u093E \u0915\u0940 \u0905\u0902\u0924\u0930\u094D\u0930\u093E\u0937\u094D\u091F\
\u094D\u0930\u0940\u092F \u092A\u094D\u0930\u0924\u093F\u0937\u094D\u0920\u093E\
\ \u0915\u094B \u0915\u0948\u0938\u0947 \u092A\u094D\u0930\u092D\u093E\u0935\
\u093F\u0924 \u0915\u093F\u092F\u093E?"
- input_choice_list:
A: "\u0907\u0938\u0928\u0947 \u0930\u094B\u0915\u0925\u093E\u092E \u0915\u093E\
\ \u0935\u0948\u0936\u094D\u0935\u0940\u0915\u0930\u0923 \u0915\u093F\u092F\
\u093E\u0964"
B: "\u0907\u0938\u0928\u0947 \u0928\u093F\u092F\u0902\u0924\u094D\u0930\u0923\
\ \u0915\u093E \u0938\u0948\u0928\u094D\u092F\u0940\u0915\u0930\u0923 \u0915\
\u093F\u092F\u093E\u0964"
C: "\u0907\u0938\u092E\u0947\u0902 \u0939\u093E\u0907\u0921\u094D\u0930\u094B\
\u091C\u0928 \u092C\u092E \u0915\u0947 \u0935\u093F\u0915\u093E\u0938 \u0915\
\u093E \u0906\u0939\u094D\u0935\u093E\u0928 \u0915\u093F\u092F\u093E \u0917\
\u092F\u093E\u0964"
D: "\u090A\u092A\u0930 \u0915\u0947 \u0938\u092D\u0940"
input_correct_responses:
- D
input_question: "\u090F\u0928\u090F\u0938\u0938\u0940-68 \u0928\u0947 \u0905\u092E\
\u0947\u0930\u093F\u0915\u0940 \u0930\u0923\u0928\u0940\u0924\u093F \u0915\u094B\
\ \u0915\u0948\u0938\u0947 \u092C\u0926\u0932\u093E?"
- input_choice_list:
A: "\u0906\u0924\u0902\u0915\u0935\u093E\u0926 \u0928\u0940\u0924\u093F."
B: "\u0906\u0930\u094D\u0925\u093F\u0915 \u0928\u0940\u0924\u093F\u0964"
C: "\u0935\u093F\u0926\u0947\u0936 \u0928\u0940\u0924\u093F\u0964"
D: "\u0905\u0902\u0924\u0930\u094D\u0930\u093E\u0937\u094D\u091F\u094D\u0930\
\u0940\u092F \u0928\u0940\u0924\u093F."
input_correct_responses:
- C
input_question: "\u092E\u0941\u0916\u094D\u092F \u0930\u0942\u092A \u0938\u0947\
\ \u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0930\u093E\u091C\u094D\u092F\
\ \u0905\u092E\u0947\u0930\u093F\u0915\u093E \u0914\u0930 \u0936\u0947\u0937\
\ \u0935\u093F\u0936\u094D\u0935 \u0915\u0947 \u092C\u0940\u091A \u0938\u0902\
\u092C\u0902\u0927\u094B\u0902 \u0938\u0947 \u0938\u0902\u092C\u0902\u0927\u093F\
\u0924 \u0928\u0940\u0924\u093F\u0917\u0924 \u0928\u093F\u0930\u094D\u0923\u092F\
\u094B\u0902 \u0915\u0947 \u0915\u094D\u0937\u0947\u0924\u094D\u0930 \u0915\u094B\
\ \u0915\u0939\u093E \u091C\u093E\u0924\u093E \u0939\u0948"
- input_choice_list:
A: "\u0930\u0915\u094D\u0937\u093E\u0924\u094D\u092E\u0915 \u092F\u0925\u093E\
\u0930\u094D\u0925\u0935\u093E\u0926\u0940 \u0905\u0902\u0924\u0930\u094D\u0930\
\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u0938\u0902\u0938\u094D\u0925\
\u093E\u0928\u094B\u0902 \u0915\u0940 \u092D\u0942\u092E\u093F\u0915\u093E\
\ \u092A\u0930 \u0905\u0927\u093F\u0915 \u091C\u094B\u0930 \u0926\u0947\u0924\
\u0947 \u0939\u0948\u0902"
B: "\u0930\u0915\u094D\u0937\u093E\u0924\u094D\u092E\u0915 \u092F\u0925\u093E\
\u0930\u094D\u0925\u0935\u093E\u0926\u0940 \u092D\u094C\u0917\u094B\u0932\u093F\
\u0915 \u0915\u093E\u0930\u0915\u094B\u0902 \u092A\u0930 \u0915\u092E \u091C\
\u094B\u0930 \u0926\u0947\u0924\u0947 \u0939\u0948\u0902"
C: "\u0906\u0915\u094D\u0930\u093E\u092E\u0915 \u092F\u0925\u093E\u0930\u094D\
\u0925\u0935\u093E\u0926\u0940 \u0930\u0915\u094D\u0937\u093E\u0924\u094D\u092E\
\u0915 \u092F\u0925\u093E\u0930\u094D\u0925\u0935\u093E\u0926\u093F\u092F\u094B\
\u0902 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0930\
\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u0939\u093F\u0924 \u0915\
\u094B \u0905\u0927\u093F\u0915 \u092A\u094D\u0930\u093E\u0925\u092E\u093F\
\u0915\u0924\u093E \u0926\u0947\u0924\u0947 \u0939\u0948\u0902\u0964"
D: "\u0930\u0915\u094D\u0937\u093E\u0924\u094D\u092E\u0915 \u092F\u0925\u093E\
\u0930\u094D\u0925\u0935\u093E\u0926\u0940 \u092E\u093E\u0928\u0924\u0947\
\ \u0939\u0948\u0902 \u0915\u093F \u0930\u093E\u091C\u094D\u092F \u0938\u0941\
\u0930\u0915\u094D\u0937\u093E \u0915\u094B \u0905\u0927\u093F\u0915\u0924\
\u092E \u0915\u0930\u0928\u0947 \u0935\u093E\u0932\u0947 \u0939\u0948\u0902\
, \u091C\u092C\u0915\u093F \u0906\u0915\u094D\u0930\u093E\u092E\u0915 \u092F\
\u0925\u093E\u0930\u094D\u0925\u0935\u093E\u0926\u0940 \u092E\u093E\u0928\u0924\
\u0947 \u0939\u0948\u0902 \u0915\u093F \u0930\u093E\u091C\u094D\u092F \u0936\
\u0915\u094D\u0924\u093F \u0915\u094B \u0905\u0927\u093F\u0915\u0924\u092E\
\ \u0915\u0930\u0928\u0947 \u0935\u093E\u0932\u0947 \u0939\u0948\u0902"
input_correct_responses:
- D
input_question: "\u0930\u093E\u091C\u094D\u092F \u0915\u0947 \u0935\u094D\u092F\
\u0935\u0939\u093E\u0930 \u0915\u0940 \u0935\u094D\u092F\u093E\u0916\u094D\u092F\
\u093E \u092E\u0947\u0902 \u0930\u0915\u094D\u0937\u093E\u0924\u094D\u092E\u0915\
\ \u092F\u0925\u093E\u0930\u094D\u0925\u0935\u093E\u0926 \u0914\u0930 \u0906\
\u0915\u094D\u0930\u093E\u092E\u0915 \u092F\u0925\u093E\u0930\u094D\u0925\u0935\
\u093E\u0926 \u0915\u093F\u0938 \u092A\u094D\u0930\u0915\u093E\u0930 \u092D\u093F\
\u0928\u094D\u0928 \u0939\u0948\u0902?"
- input_choice_list:
A: "\u0935\u0948\u0936\u094D\u0935\u0940\u0915\u0930\u0923 \u0928\u0947 \u0909\
\u0928\u0915\u0947 \u091C\u0948\u0938\u0947 \u0932\u094B\u0917\u094B\u0902\
\ \u0915\u094B \u092C\u0939\u0941\u0924 \u0905\u092E\u0940\u0930 \u092C\u0928\
\u093E \u0926\u093F\u092F\u093E \u0925\u093E"
B: "\u0935\u0948\u0936\u094D\u0935\u0940\u0915\u0930\u0923 \u0938\u0947 \u0915\
\u0947\u0935\u0932 \u0915\u0941\u091B \u0905\u092E\u0947\u0930\u093F\u0915\
\u0940 \u0930\u093E\u091C\u094D\u092F\u094B\u0902, \u091C\u0948\u0938\u0947\
\ \u0928\u094D\u092F\u0942\u092F\u0949\u0930\u094D\u0915, \u0915\u094B \u0932\
\u093E\u092D \u0939\u0941\u0906"
C: "\u0909\u0926\u093E\u0930\u0935\u093E\u0926\u0940 \u0905\u092D\u093F\u091C\
\u093E\u0924 \u0935\u0930\u094D\u0917 \u0928\u0947 \u0935\u0948\u0936\u094D\
\u0935\u0940\u0915\u0930\u0923 \u0915\u094B \u092A\u094D\u0930\u094B\u0924\
\u094D\u0938\u093E\u0939\u093F\u0924 \u0915\u093F\u092F\u093E \u0925\u093E\
, \u091C\u092C\u0915\u093F '\u0938\u093E\u092E\u093E\u0928\u094D\u092F\
\ \u0905\u092E\u0947\u0930\u093F\u0915\u093F\u092F\u094B\u0902' \u0928\
\u0947 \u0907\u0938\u0915\u0947 \u0915\u093E\u0930\u0923 \u0905\u092A\u0928\
\u0940 \u0928\u094C\u0915\u0930\u093F\u092F\u093E\u0901 \u0916\u094B \u0926\
\u0940\u0902"
D: "\u0935\u0948\u0936\u094D\u0935\u0940\u0915\u0930\u0923 \u0928\u0947 \u0939\
\u093E\u0928\u093F\u0915\u093E\u0930\u0915 \u0935\u094D\u092F\u093E\u092A\u093E\
\u0930 \u092F\u0941\u0926\u094D\u0927\u094B\u0902 \u0915\u094B \u092A\u094D\
\u0930\u094B\u0924\u094D\u0938\u093E\u0939\u093F\u0924 \u0915\u093F\u092F\u093E"
input_correct_responses:
- C
input_question: "2016 \u0915\u0947 \u0905\u092D\u093F\u092F\u093E\u0928 \u092E\
\u0947\u0902 \u0921\u094B\u0928\u093E\u0932\u094D\u0921 \u091F\u094D\u0930\u092E\
\u094D\u092A \u0928\u0947 \u0935\u0948\u0936\u094D\u0935\u0940\u0915\u0930\u0923\
\ \u092A\u0930 \u0915\u0948\u0938\u0947 \u0939\u092E\u0932\u093E \u0915\u093F\
\u092F\u093E?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_us_foreign_policy
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_us_foreign_policy
task_alias: us_foreign_policy
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0915\u094D\u092F\u094B\u0902\u0915\u093F \u0907\u0928\u092E\u0947\u0902\
\ \u0928\u094D\u092F\u0942\u0915\u094D\u0932\u093F\u0915 \u090F\u0938\u093F\
\u0921 \u0928\u0939\u0940\u0902 \u0939\u094B\u0924\u093E"
B: "\u0909\u0928\u094D\u0939\u0947\u0902 \u090F\u0915 \u0938\u0939\u093E\u092F\
\u0915 \u0935\u093E\u092F\u0930\u0938 \u0915\u0940 \u0906\u0935\u0936\u094D\
\u092F\u0915\u0924\u093E \u0939\u0948"
C: "\u0915\u0947\u0935\u0932 \u0935\u093F\u092D\u093E\u091C\u093F\u0924 \u0915\
\u094B\u0936\u093F\u0915\u093E\u0913\u0902 \u092E\u0947\u0902 \u092A\u094D\
\u0930\u0924\u093F\u0915\u0943\u0924\u093F \u092C\u0928\u093E\u090F\u0901"
D: "\u092E\u0947\u091C\u092C\u093E\u0928 \u0917\u0941\u0923\u0938\u0942\u0924\
\u094D\u0930\u094B\u0902 \u092E\u0947\u0902 \u090F\u0915\u0940\u0915\u0943\
\u0924 \u0939\u094B \u0938\u0915\u0924\u093E \u0939\u0948"
input_correct_responses:
- A
input_question: "\u092A\u093E\u0930\u094D\u0935\u094B\u0935\u093E\u092F\u0930\u0938\
\ \u0905\u0924\u094D\u092F\u0927\u093F\u0915 \u092A\u094D\u0930\u092D\u093E\u0935\
\u0936\u093E\u0932\u0940 \u092A\u0930\u091C\u0940\u0935\u0940 \u0915\u094D\u092F\
\u094B\u0902 \u0939\u0948\u0902?"
- input_choice_list:
A: "\u0928\u093E\u091C\u0941\u0915 \u0935\u093E\u092F\u0930\u0938 \u0905\u0915\
\u094D\u0938\u0930 \u0905\u0902\u0926\u0930 \u0938\u0947 \u0906\u0930\u090F\
\u0928\u090F \u0909\u0917\u0932\u0924\u0947 \u0939\u0941\u090F \u0926\u0947\
\u0916\u0947 \u091C\u093E\u0924\u0947 \u0939\u0948\u0902"
B: "\u0932\u092E\u094D\u092C\u0947 \u0935\u093F\u0937\u093E\u0923\u0941"
C: "\u0932\u093F\u092B\u093E\u092B\u0947 \u0915\u0947 \u0938\u093E\u0925 \u0907\
\u0915\u094B\u0938\u093E\u0939\u0947\u0921\u094D\u0930\u0932 \u0935\u093E\u092F\
\u0930\u0938"
D: "\u092C\u0939\u0941\u0924 \u092C\u0921\u093C\u0947 \u0935\u093E\u092F\u0930\
\u0938"
input_correct_responses:
- A
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u092A\u0948\
\u0930\u093E\u092E\u093E\u0907\u0915\u094D\u0938\u094B\u0935\u093E\u092F\u0930\
\u0938 \u0915\u0940 \u0930\u0942\u092A\u093E\u0924\u094D\u092E\u0915 \u0935\u093F\
\u0936\u0947\u0937\u0924\u093E \u0939\u0948\u0964"
- input_choice_list:
A: "\u0921\u0947\u091F\u093E \u0938\u0902\u0917\u094D\u0930\u0939\u0923"
B: "\u091C\u0948\u0935\u093F\u0915 \u0928\u092E\u0942\u0928\u094B\u0902 \u0915\
\u0947 \u092D\u0902\u0921\u093E\u0930 \u0915\u0940 \u0938\u094D\u0925\u093E\
\u092A\u0928\u093E"
C: "\u092A\u094D\u0930\u0924\u093F\u092D\u093E\u0917\u0940 \u0915\u0940 \u0930\
\u0941\u091A\u093F"
D: "\u0915\u0930\u094D\u092E\u091A\u093E\u0930\u093F\u092F\u094B\u0902 \u0926\
\u094D\u0935\u093E\u0930\u093E \u092A\u094D\u0930\u0936\u094D\u0928\u093E\u0935\
\u0932\u0940 \u0915\u093E \u092A\u094D\u0930\u0936\u093E\u0938\u0928"
input_correct_responses:
- B
input_question: "\u090F\u092E\u090F\u0938\u0940\u090F\u0938 \u0938\u0947 \u0928\
\u0947\u0938\u094D\u091F\u0947\u0921 \u0915\u0947\u0938-\u0915\u0902\u091F\u094D\
\u0930\u094B\u0932 \u0905\u0927\u094D\u092F\u092F\u0928 \u0915\u0947 \u0905\u0928\
\u0941\u092A\u094D\u0930\u092F\u094B\u0917 \u0915\u094B \u0938\u0941\u0935\u093F\
\u0927\u093E\u091C\u0928\u0915 \u092C\u0928\u093E\u0928\u0947 \u0935\u093E\u0932\
\u093E \u090F\u0915 \u092A\u094D\u0930\u092E\u0941\u0916 \u0915\u093E\u0930\u0915\
\ \u0925\u093E:"
- input_choice_list:
A: "\u0935\u094D\u092F\u0935\u0939\u093E\u0930 \u092E\u0947\u0902 \u092C\u0926\
\u0932\u093E\u0935"
B: "\u0935\u094D\u092F\u093E\u092A\u0915 \u0915\u0935\u0930\u0947\u091C"
C: "\u0935\u094D\u092F\u0935\u0939\u093E\u0930 \u0938\u093F\u0926\u094D\u0927\
\u093E\u0902\u0924 \u0915\u093E \u092A\u094D\u0930\u092D\u093E\u0935\u0940\
\ \u0909\u092A\u092F\u094B\u0917"
D: "\u0938\u0924\u0924 \u0935\u094D\u092F\u0935\u0939\u093E\u0930 \u092A\u0930\
\u093F\u0935\u0930\u094D\u0924\u0928"
input_correct_responses:
- D
input_question: "\u0935\u094D\u092F\u0935\u0939\u093E\u0930\u093F\u0915 \u0939\
\u0938\u094D\u0924\u0915\u094D\u0937\u0947\u092A \u0915\u093E \u0938\u092C\u0938\
\u0947 \u092E\u0939\u0924\u094D\u0935\u092A\u0942\u0930\u094D\u0923 \u0932\u0915\
\u094D\u0937\u094D\u092F \u0939\u0948:"
- input_choice_list:
A: "\u0938\u0940\u0930\u094B\u092A\u094D\u0930\u0935\u0932\u0947\u0902\u091F\
\ \u090F\u091A\u0906\u0908\u0935\u0940 \u0938\u0902\u0915\u094D\u0930\u092E\
\u093F\u0924 \u0935\u094D\u092F\u0915\u094D\u0924\u093F"
B: "\u0938\u0947\u0930\u094B\u0928\u093F\u0917\u0947\u091F\u093F\u0935"
C: "\u0938\u0947\u0930\u094B \u0915\u0928\u094D\u0935\u0930\u094D\u091F\u0930\
\u094D\u0938"
D: "\u0909\u091A\u094D\u091A \u091C\u094B\u0916\u093F\u092E \u0935\u093E\u0932\
\u0947 \u0938\u0947\u0930\u094B\u0928\u093F\u0917\u0947\u091F\u093F\u0935"
input_correct_responses:
- C
input_question: "\u090F\u0921\u094D\u0938 \u0914\u0930 \u092E\u0943\u0924\u094D\
\u092F\u0941 \u0938\u0947 \u092C\u091A\u0928\u0947 \u0915\u093E \u0914\u0938\
\u0924 \u0938\u092E\u092F \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
\u0924 \u0926\u094D\u0935\u093E\u0930\u093E \u0938\u094D\u0925\u093E\u092A\u093F\
\u0924 \u0915\u093F\u092F\u093E \u0917\u092F\u093E \u0925\u093E:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_virology
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_virology
task_alias: virology
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0907\u0902\u0926\u094D\u0930\u0927\u0928\u0941\u0937"
B: "\u092A\u0930\u093F\u0936\u0941\u0926\u094D\u0927 \u0915\u0930\u0923"
C: "\u090F\u0915 \u092C\u0947\u091F\u093E"
D: "\u092C\u093E\u0930 \u092E\u093F\u0924\u094D\u091C\u093C\u0935\u093E\u0939"
input_correct_responses:
- B
input_question: "\u092F\u0939\u0942\u0926\u0940 \u092A\u0941\u0930\u0941\u0937\
\u094B\u0902 \u0915\u0947 \u0932\u093F\u090F \u0935\u093E\u091A\u093E \u0915\
\u093E \u091A\u093F\u0928\u094D\u0939 \u0915\u094D\u092F\u093E \u0939\u0948?"
- input_choice_list:
A: "\u0927\u0930\u094D\u092E"
B: "\u0938\u0902\u0918"
C: "\u092C\u0941\u0926\u094D\u0927"
D: "\u092C\u094B\u0927\u093F\u0938\u0924\u094D\u0935"
input_correct_responses:
- A
input_question: "\u092C\u094C\u0926\u094D\u0927 \u0927\u0930\u094D\u092E \u092E\
\u0947\u0902 \u0926\u0942\u0938\u0930\u093E \u0930\u0924\u094D\u0928 \u0915\u094C\
\u0928 \u0938\u093E \u0939\u0948?"
- input_choice_list:
A: "\u0936\u093E\u0902\u0917"
B: "\u091D\u094B\u0909"
C: "\u0939\u093E\u0928"
D: "\u091C\u093C\u093F\u092F\u093E"
input_correct_responses:
- B
input_question: "\u0915\u093F\u0938 \u0930\u093E\u091C\u0935\u0902\u0936 \u092E\
\u0947\u0902 \u0928\u090F \u0936\u093E\u0938\u0915\u094B\u0902 \u0915\u094B\
\ \u0935\u0948\u0927 \u092C\u0928\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\
\u090F "\u0938\u094D\u0935\u0930\u094D\u0917 \u0915\u093E \u0906\u0926\u0947\
\u0936" \u0935\u093F\u0915\u0938\u093F\u0924 \u0915\u093F\u092F\u093E \u0917\
\u092F\u093E \u0925\u093E?"
- input_choice_list:
A: "\u0939\u094B\u0928\u0947\u0928"
B: "\u0924\u0928\u093E\u0915\u093E"
C: "\u0924\u094B\u0915\u0941\u0917\u093E\u0935\u093E"
D: "\u092E\u0940\u091C\u0940"
input_correct_responses:
- D
input_question: "\u0915\u093F\u0938 \u091C\u093E\u092A\u093E\u0928\u0940 \u0938\
\u0930\u0915\u093E\u0930 \u0928\u0947 \u0938\u092E\u094D\u0930\u093E\u091F \u0914\
\u0930 \u0915\u093E\u092E\u0940 \u0915\u0947 \u0938\u093E\u0925 \u0909\u0938\
\u0915\u0947 \u0938\u0902\u092C\u0902\u0927\u094B\u0902 \u092A\u0930 \u0906\u0927\
\u093E\u0930\u093F\u0924 \u090F\u0915 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\
\u0947 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u092A\u0902\u0925\
\ \u0915\u094B \u092C\u0922\u093C\u093E\u0935\u093E \u0926\u093F\u092F\u093E\
?"
- input_choice_list:
A: "\u0905\u0928\u0941\u0937\u094D\u0920\u093E\u0928 \u0917\u094D\u0930\u0902\
\u0925"
B: "\u0926\u093E\u0930\u094D\u0936\u0928\u093F\u0915 \u0917\u094D\u0930\u0902\
\u0925"
C: "\u092D\u091C\u0928"
D: "\u092E\u0942\u0932 \u0915\u0939\u093E\u0928\u093F\u092F\u093E\u0901"
input_correct_responses:
- B
input_question: "\u0909\u092A\u0928\u093F\u0937\u0926\u094B\u0902 \u0915\u093E\
\ \u0935\u0930\u094D\u0923\u0928 \u0915\u0948\u0938\u0947 \u0915\u093F\u092F\
\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_world_religions
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_world_religions
task_alias: world_religions
from functools import partial
import datasets
def process_docs(dataset: datasets.Dataset, subtask) -> datasets.Dataset:
return dataset.filter(
lambda example: example["subtask_name"] == f"mmlu_hi_chat.{subtask}"
)
process_docs_econometrics = partial(process_docs, subtask="econometrics")
process_docs_public_relations = partial(process_docs, subtask="public_relations")
process_docs_astronomy = partial(process_docs, subtask="astronomy")
process_docs_conceptual_physics = partial(process_docs, subtask="conceptual_physics")
process_docs_college_medicine = partial(process_docs, subtask="college_medicine")
process_docs_global_facts = partial(process_docs, subtask="global_facts")
process_docs_marketing = partial(process_docs, subtask="marketing")
process_docs_high_school_physics = partial(process_docs, subtask="high_school_physics")
process_docs_college_computer_science = partial(
process_docs, subtask="college_computer_science"
)
process_docs_business_ethics = partial(process_docs, subtask="business_ethics")
process_docs_miscellaneous = partial(process_docs, subtask="miscellaneous")
process_docs_moral_disputes = partial(process_docs, subtask="moral_disputes")
process_docs_sociology = partial(process_docs, subtask="sociology")
process_docs_high_school_geography = partial(
process_docs, subtask="high_school_geography"
)
process_docs_high_school_microeconomics = partial(
process_docs, subtask="high_school_microeconomics"
)
process_docs_world_religions = partial(process_docs, subtask="world_religions")
process_docs_nutrition = partial(process_docs, subtask="nutrition")
process_docs_high_school_computer_science = partial(
process_docs, subtask="high_school_computer_science"
)
process_docs_college_biology = partial(process_docs, subtask="college_biology")
process_docs_logical_fallacies = partial(process_docs, subtask="logical_fallacies")
process_docs_elementary_mathematics = partial(
process_docs, subtask="elementary_mathematics"
)
process_docs_virology = partial(process_docs, subtask="virology")
process_docs_prehistory = partial(process_docs, subtask="prehistory")
process_docs_college_physics = partial(process_docs, subtask="college_physics")
process_docs_computer_security = partial(process_docs, subtask="computer_security")
process_docs_machine_learning = partial(process_docs, subtask="machine_learning")
process_docs_electrical_engineering = partial(
process_docs, subtask="electrical_engineering"
)
process_docs_professional_psychology = partial(
process_docs, subtask="professional_psychology"
)
process_docs_high_school_biology = partial(process_docs, subtask="high_school_biology")
process_docs_high_school_statistics = partial(
process_docs, subtask="high_school_statistics"
)
process_docs_moral_scenarios = partial(process_docs, subtask="moral_scenarios")
process_docs_high_school_world_history = partial(
process_docs, subtask="high_school_world_history"
)
process_docs_college_mathematics = partial(process_docs, subtask="college_mathematics")
process_docs_high_school_government_and_politics = partial(
process_docs, subtask="high_school_government_and_politics"
)
process_docs_professional_accounting = partial(
process_docs, subtask="professional_accounting"
)
process_docs_jurisprudence = partial(process_docs, subtask="jurisprudence")
process_docs_high_school_european_history = partial(
process_docs, subtask="high_school_european_history"
)
process_docs_professional_medicine = partial(
process_docs, subtask="professional_medicine"
)
process_docs_high_school_mathematics = partial(
process_docs, subtask="high_school_mathematics"
)
process_docs_anatomy = partial(process_docs, subtask="anatomy")
process_docs_abstract_algebra = partial(process_docs, subtask="abstract_algebra")
process_docs_philosophy = partial(process_docs, subtask="philosophy")
process_docs_medical_genetics = partial(process_docs, subtask="medical_genetics")
process_docs_us_foreign_policy = partial(process_docs, subtask="us_foreign_policy")
process_docs_security_studies = partial(process_docs, subtask="security_studies")
process_docs_high_school_macroeconomics = partial(
process_docs, subtask="high_school_macroeconomics"
)
process_docs_human_sexuality = partial(process_docs, subtask="human_sexuality")
process_docs_high_school_us_history = partial(
process_docs, subtask="high_school_us_history"
)
process_docs_human_aging = partial(process_docs, subtask="human_aging")
process_docs_formal_logic = partial(process_docs, subtask="formal_logic")
process_docs_professional_law = partial(process_docs, subtask="professional_law")
process_docs_international_law = partial(process_docs, subtask="international_law")
process_docs_high_school_psychology = partial(
process_docs, subtask="high_school_psychology"
)
process_docs_management = partial(process_docs, subtask="management")
process_docs_high_school_chemistry = partial(
process_docs, subtask="high_school_chemistry"
)
process_docs_college_chemistry = partial(process_docs, subtask="college_chemistry")
process_docs_clinical_knowledge = partial(process_docs, subtask="clinical_knowledge")
dataset_path: meta-llama/Llama-3.1-8B-Instruct-evals
dataset_name: Llama-3.1-8B-Instruct-evals__multilingual_mmlu_it__details
output_type: generate_until
test_split: latest
doc_to_text: "Given the following question and four candidate answers (A, B, C and D), choose the best answer.\nQuestion: {{input_question.strip()}}\nA. {{input_choice_list.A}}\nB. {{input_choice_list.B}}\nC. {{input_choice_list.C}}\nD. {{input_choice_list.D}}\nYour response should end with \"The best answer is [the_answer_letter]\" where the [the_answer_letter] is one of A, B, C or D."
gen_prefix: "The best answer is"
doc_to_target: "{{input_correct_responses[0]}}."
num_fewshot: 5
metric_list:
- metric: exact_match
aggregation: mean
higher_is_better: true
ignore_case: true
ignore_punctuation: true
regexes_to_ignore:
- "\\$"
- "\\.$"
generation_kwargs:
do_sample: false
temperature: 0
until:
- "."
max_gen_toks: 10
filter_list:
- name: strict_match
filter:
- function: remove_whitespace
- function: take_first
metadata:
version: 1.0
dataset_kwargs:
trust_remote_code: true
group: mmlu_it_llama_humanities
group_alias: humanities
task:
- mmlu_it_llama_humanities_tasks
aggregate_metric_list:
- metric: exact_match
aggregation: mean
weight_by_size: True
filter_list: [strict_match]
metadata:
version: 1
group: mmlu_it_llama
task:
- mmlu_it_llama_stem
- mmlu_it_llama_other
- mmlu_it_llama_social_sciences
- mmlu_it_llama_humanities
aggregate_metric_list:
- metric: exact_match
aggregation: mean
weight_by_size: True
filter_list: [strict_match]
metadata:
version: 1
group: mmlu_it_llama_other
group_alias: other
task:
- mmlu_it_llama_other_tasks
aggregate_metric_list:
- metric: exact_match
aggregation: mean
weight_by_size: True
filter_list: [strict_match]
metadata:
version: 1
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment