"tasks/orqa/unsupervised/nq.py" did not exist on "fcfd094972ca77f016ee4c5ca074a40b213a04e4"
Unverified Commit 1b357a68 authored by Alexandre Marques's avatar Alexandre Marques Committed by GitHub
Browse files

Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency
parent 1afb190c
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0905\u092A\u0930\u093F\u0937\u094D\u0915\u0943\u0924 \u091C\u0928\u094D\
\u092E\u0924\u093F\u0925\u093F \u0938\u0947 \u0905\u092A\u0930\u093F\u0937\
\u094D\u0915\u0943\u0924 \u092E\u0943\u0924\u094D\u092F\u0941 \u0926\u0930\
\u0964"
B: "\u0905\u092A\u0930\u093F\u0937\u094D\u0915\u0943\u0924 \u091C\u0928\u094D\
\u092E \u0926\u0930 \u0938\u0947 \u0905\u092A\u0930\u093F\u0937\u094D\u0915\
\u0943\u0924 \u092E\u0943\u0924\u094D\u092F\u0941 \u0926\u0930\u0964"
C: "\u0905\u092A\u0930\u093F\u0937\u094D\u0915\u0943\u0924 \u091C\u0928\u094D\
\u092E \u0926\u0930 \u0938\u0947 \u0926\u094B\u0917\u0941\u0928\u093E \u0938\
\u092E\u092F\u0964"
D: "\u0905\u092A\u0930\u093F\u0937\u094D\u0915\u0943\u0924 \u092E\u0943\u0924\
\u094D\u092F\u0941 \u0926\u0930 \u0938\u0947 \u092A\u094D\u0930\u091C\u0928\
\u0928 \u0926\u0930\u0964"
input_correct_responses:
- A
input_question: "\u0915\u093F\u0938\u0940 \u091C\u0928\u0938\u0902\u0916\u094D\
\u092F\u093E \u0915\u0940 \u092A\u094D\u0930\u093E\u0915\u0943\u0924\u093F\u0915\
\ \u0935\u0943\u0926\u094D\u0927\u093F \u0926\u0930 \u0915\u094B \u0918\u091F\
\u093E\u0915\u0930 \u091C\u094D\u091E\u093E\u0924 \u0915\u093F\u092F\u093E \u091C\
\u093E\u0924\u093E \u0939\u0948"
- input_choice_list:
A: "\u091C\u0928\u094D\u092E \u0926\u0930 \u092C\u0922\u093C\u0924\u0940 \u0939\
\u0948 \u0914\u0930 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\u093E \u0935\
\u0943\u0926\u094D\u0927\u093F \u0926\u0930 \u0915\u092E \u0924\u0940\u0935\
\u094D\u0930 \u0939\u094B\u0924\u0940 \u0939\u0948\u0964"
B: "\u091C\u0928\u094D\u092E \u0926\u0930 \u092E\u0947\u0902 \u0917\u093F\u0930\
\u093E\u0935\u091F \u0914\u0930 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\
\u093E \u0935\u0943\u0926\u094D\u0927\u093F \u0926\u0930 \u0915\u092E \u0924\
\u0940\u0935\u094D\u0930 \u0939\u0948\u0964"
C: "\u091C\u0928\u094D\u092E \u0926\u0930 \u092C\u0922\u093C\u0924\u0940 \u0939\
\u0948 \u0914\u0930 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\u093E \u0935\
\u0943\u0926\u094D\u0927\u093F \u0926\u0930 \u092C\u0922\u093C\u0924\u0940\
\ \u0939\u0948\u0964"
D: "\u091C\u0928\u094D\u092E \u0926\u0930 \u0918\u091F\u0924\u0940 \u0939\u0948\
\ \u0914\u0930 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\u093E \u0935\u0943\
\u0926\u094D\u0927\u093F \u0926\u0930 \u092C\u0922\u093C\u0924\u0940 \u0939\
\u0948\u0964"
input_correct_responses:
- B
input_question: "\u091C\u0928\u0938\u093E\u0902\u0916\u094D\u092F\u093F\u0915\u0940\
\u092F \u0938\u0902\u0915\u094D\u0930\u092E\u0923 \u092E\u0949\u0921\u0932 \u0915\
\u0947 \u0924\u0940\u0938\u0930\u0947 \u091A\u0930\u0923 \u0915\u0947 \u0926\
\u094C\u0930\u093E\u0928, \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0938\
\u0924\u094D\u092F \u0939\u0948?"
- input_choice_list:
A: "\u092A\u094D\u0930\u092F\u093E\u0938\u094B\u0902 \u0915\u093E \u0926\u094B\
\u0939\u0930\u093E\u0935 \u0905\u0915\u094D\u0938\u0930 \u0939\u094B\u0924\
\u093E \u0939\u0948."
B: "\u0915\u0947\u0902\u0926\u094D\u0930\u0940\u092F \u0936\u0939\u0930 \u0915\
\u0940 \u0938\u093E\u092E\u093E\u091C\u093F\u0915 \u0938\u092E\u0938\u094D\
\u092F\u093E\u090F\u0902 \u0906\u0938\u092A\u093E\u0938 \u0915\u0947 \u0906\
\u0935\u093E\u0938\u0940\u092F \u0909\u092A\u0928\u0917\u0930\u094B\u0902\
\ \u092E\u0947\u0902 \u092B\u0948\u0932\u0924\u0940 \u0939\u0948\u0902\u0964"
C: "\u0938\u0947\u0935\u093E\u090F\u0901 \u092A\u094D\u0930\u0926\u093E\u0928\
\ \u0915\u0930\u0928\u0947 \u092E\u0947\u0902 \u0905\u0915\u094D\u0937\u092E\
\u0924\u093E \u0905\u0915\u094D\u0938\u0930 \u0939\u094B\u0924\u0940 \u0939\
\u0948\u0964"
D: "\u092A\u094D\u0930\u0926\u0942\u0937\u0923 \u0915\u092E \u0915\u0930\u0928\
\u0947 \u0915\u0947 \u090F\u0915 \u092A\u0921\u093C\u094B\u0938 \u0915\u0947\
\ \u092A\u094D\u0930\u092F\u093E\u0938\u094B\u0902 \u0915\u094B \u092A\u0921\
\u093C\u094B\u0938\u0940 \u0938\u092E\u0941\u0926\u093E\u092F\u094B\u0902\
\ \u0926\u094D\u0935\u093E\u0930\u093E \u0939\u092E\u0947\u0936\u093E \u0938\
\u092E\u0930\u094D\u0925\u0928 \u0926\u093F\u092F\u093E \u091C\u093E\u0924\
\u093E \u0939\u0948\u0964"
input_correct_responses:
- D
input_question: "\u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0930\u093E\u091C\
\u094D\u092F \u0905\u092E\u0947\u0930\u093F\u0915\u093E \u092E\u0947\u0902 \u0938\
\u094D\u0925\u093E\u0928\u0940\u092F \u0938\u0930\u0915\u093E\u0930\u094B\u0902\
\ \u0926\u094D\u0935\u093E\u0930\u093E \u092A\u094D\u0930\u0926\u093E\u0928\
\ \u0915\u0940 \u091C\u093E\u0928\u0947 \u0935\u093E\u0932\u0940 \u0938\u0947\
\u0935\u093E\u0913\u0902 \u0915\u0947 \u0938\u0902\u092C\u0902\u0927 \u092E\u0947\
\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\
\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\u0928 \u0938\
\u091F\u0940\u0915 \u0928\u0939\u0940\u0902 \u0939\u0948?"
- input_choice_list:
A: "\u0906\u0909\u091F\u0938\u094B\u0930\u094D\u0938\u093F\u0902\u0917."
B: "\u0911\u092B\u0936\u094B\u0930\u093F\u0902\u0917"
C: "\u092E\u093E\u0915\u094D\u0935\u093F\u0932\u093E\u0921\u094B\u0930\u0938"
D: "\u0938\u094D\u0925\u093E\u0928\u0940\u092F \u0905\u0902\u0924\u0930\u0928\
\u093F\u0930\u094D\u092D\u0930\u0924\u093E."
input_correct_responses:
- B
input_question: "\u0915\u093F\u0938\u0940 \u0911\u092A\u0930\u0947\u0936\u0928\
\ \u0915\u094B \u091A\u0932\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
\ \u0915\u093F\u0938\u0940 \u0935\u093F\u0926\u0947\u0936\u0940 \u0924\u0943\
\u0924\u0940\u092F-\u092A\u0915\u094D\u0937 \u0938\u0947\u0935\u093E \u092A\u094D\
\u0930\u0926\u093E\u0924\u093E \u0915\u094B \u0928\u093F\u092F\u0941\u0915\u094D\
\u0924 \u0915\u0930\u0928\u0947 \u0915\u0940 \u092A\u094D\u0930\u0925\u093E\
\ \u0915\u094B \u0915\u0939\u093E \u091C\u093E\u0924\u093E \u0939\u0948"
- input_choice_list:
A: "\u0915\u092C\u0942\u0924\u0930 \u0938\u093E\u092C\u0941\u0928"
B: "\u0921\u0935 \u0915\u0948\u0902\u0921\u0940 \u092C\u093E\u0930"
C: "\u0915\u092C\u0942\u0924\u0930 \u0915\u093E \u092A\u094D\u0930\u0924\u0940\
\u0915"
D: "\u090F\u0915 \u0915\u092C\u0942\u0924\u0930 (\u092A\u0915\u094D\u0937\u0940\
)"
input_correct_responses:
- C
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0935\u0938\
\u094D\u0924\u0941 \u0905\u092D\u094C\u0924\u093F\u0915 \u0938\u0902\u0938\u094D\
\u0915\u0943\u0924\u093F \u0915\u093E \u0909\u0926\u093E\u0939\u0930\u0923 \u0939\
\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_geography
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_high_school_geography
task_alias: high_school_geography
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0909\u0928 \u0936\u0915\u094D\u0924\u093F\u092F\u094B\u0902 \u0915\u0940\
\ \u0938\u0902\u0935\u0948\u0927\u093E\u0928\u093F\u0915 \u092A\u0930\u093F\
\u092D\u093E\u0937\u093E \u0935\u094D\u092F\u093E\u092A\u0915 \u0914\u0930\
\ \u0905\u0928\u093F\u0930\u094D\u0926\u093F\u0937\u094D\u091F \u0939\u0948"
B: "\u0905\u0927\u093F\u0915\u093E\u0902\u0936 \u0932\u094B\u0917 \u0907\u0938\
\ \u092C\u093E\u0924 \u0938\u0947 \u0938\u0939\u092E\u0924 \u0939\u0948\u0902\
\ \u0915\u093F \u0938\u0902\u0935\u093F\u0927\u093E\u0928 \u0930\u093E\u0937\
\u094D\u091F\u094D\u0930\u092A\u0924\u093F \u0915\u0940 \u0936\u0915\u094D\
\u0924\u093F \u092A\u0930 \u092C\u0939\u0941\u0924 \u0905\u0927\u093F\u0915\
\ \u0938\u0940\u092E\u093E\u090F\u0901 \u0932\u0917\u093E\u0924\u093E \u0939\
\u0948"
C: "\u0938\u0930\u094D\u0935\u094B\u091A\u094D\u091A \u0928\u094D\u092F\u093E\
\u092F\u093E\u0932\u092F \u0932\u0917\u093E\u0924\u093E\u0930 \u0930\u093E\
\u0937\u094D\u091F\u094D\u0930\u092A\u0924\u093F \u0915\u0940 \u0936\u0915\
\u094D\u0924\u093F\u092F\u094B\u0902 \u0938\u0947 \u0938\u0902\u092C\u0902\
\u0927\u093F\u0924 \u092E\u093E\u092E\u0932\u094B\u0902 \u092A\u0930 \u092B\
\u0948\u0938\u0932\u093E \u0926\u0947\u0928\u0947 \u0938\u0947 \u0907\u0928\
\u0915\u093E\u0930 \u0915\u0930\u0924\u093E \u0939\u0948"
D: "\u0938\u0902\u0935\u0948\u0927\u093E\u0928\u093F\u0915 \u0938\u0902\u0936\
\u094B\u0927\u0928\u094B\u0902 \u0928\u0947 \u0930\u093E\u0937\u094D\u091F\
\u094D\u0930\u092A\u0924\u093F \u0915\u0940 \u0936\u0915\u094D\u0924\u093F\
\u092F\u094B\u0902 \u092E\u0947\u0902 \u0915\u093E\u092B\u0940 \u0935\u0943\
\u0926\u094D\u0927\u093F \u0915\u0940 \u0939\u0948"
input_correct_responses:
- A
input_question: "\u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092A\u0924\u093F\
\ \u0915\u0940 \u0936\u0915\u094D\u0924\u093F \u0915\u0940 \u0938\u0940\u092E\
\u093E \u092A\u0930 \u0905\u0928\u093F\u0936\u094D\u091A\u093F\u0924\u0924\u093E\
\ \u092E\u0941\u0916\u094D\u092F \u0930\u0942\u092A \u0938\u0947 \u0907\u0938\
\ \u0924\u0925\u094D\u092F \u0915\u0947 \u0915\u093E\u0930\u0923 \u0939\u094B\
\u0924\u0940 \u0939\u0948"
- input_choice_list:
A: "\u0938\u0947\u0928\u093E \u092A\u0930 \u0938\u0902\u0918\u0940\u092F \u0916\
\u0930\u094D\u091A \u092E\u0947\u0902 \u0935\u093E\u0930\u094D\u0937\u093F\
\u0915 \u0935\u0943\u0926\u094D\u0927\u093F"
B: "\u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u090B\u0923 \u092A\
\u0930 \u092C\u094D\u092F\u093E\u091C \u0915\u0940 \u0930\u093E\u0936\u093F"
C: "\u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092A\u0924\u093F \u0914\u0930\
\ \u0915\u093E\u0902\u0917\u094D\u0930\u0947\u0938 \u0926\u094D\u0935\u093E\
\u0930\u093E \u0915\u093F\u090F \u0917\u090F \u092A\u094D\u0930\u093E\u0930\
\u0902\u092D\u093F\u0915 \u092C\u091C\u091F \u092A\u094D\u0930\u0938\u094D\
\u0924\u093E\u0935\u094B\u0902 \u0915\u0947 \u092C\u0940\u091A \u0905\u0902\
\u0924\u0930"
D: "\u0938\u0930\u0915\u093E\u0930 \u0905\u092A\u0928\u0947 \u0930\u093E\u091C\
\u0938\u094D\u0935 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0930\u093E\u0936\
\u093F \u0916\u0930\u094D\u091A \u0915\u0930\u0924\u0940 \u0939\u0948"
input_correct_responses:
- D
input_question: ""\u092C\u091C\u091F \u0918\u093E\u091F\u093E" \u0936\
\u092C\u094D\u0926 \u0915\u093E \u0924\u093E\u0924\u094D\u092A\u0930\u094D\u092F\
\ \u0939\u0948"
- input_choice_list:
A: "\u0935\u0940\u0915\u094D\u0938 \u092C\u0928\u093E\u092E \u0938\u0902\u092F\
\u0941\u0915\u094D\u0924 \u0930\u093E\u091C\u094D\u092F \u0905\u092E\u0947\
\u0930\u093F\u0915\u093E"
B: "\u092C\u0947\u091F\u094D\u0938 \u092C\u0928\u093E\u092E \u092C\u094D\u0930\
\u0948\u0921\u0940"
C: "\u092E\u0948\u092A \u092C\u0928\u093E\u092E \u0913\u0939\u093F\u092F\u094B"
D: "\u092E\u093F\u0930\u093E\u0902\u0921\u093E \u092C\u0928\u093E\u092E \u090F\
\u0930\u093F\u091C\u093C\u094B\u0928\u093E"
input_correct_responses:
- D
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u092E\u093E\u092E\u0932\
\u0947 \u0928\u0947 \u092E\u093F\u0938\u093E\u0932 \u0915\u093E\u092F\u092E\
\ \u0915\u0940 \u0915\u093F \u092A\u094D\u0930\u0924\u093F\u0935\u093E\u0926\
\u0940 \u0915\u094B \u091A\u0941\u092A \u0930\u0939\u0928\u0947 \u0915\u0947\
\ \u0905\u0927\u093F\u0915\u093E\u0930, \u0935\u0915\u0940\u0932 \u0915\u0947\
\ \u0905\u0927\u093F\u0915\u093E\u0930 \u0914\u0930 \u0906\u0924\u094D\u092E\
-\u0926\u094B\u0937\u093E\u0930\u094B\u092A\u0923 \u0938\u0947 \u0938\u0941\u0930\
\u0915\u094D\u0937\u093E \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902\
\ \u0938\u0942\u091A\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\u0928\
\u093E \u091A\u093E\u0939\u093F\u090F?"
- input_choice_list:
A: "\u0907\u0928\u0915\u0940 \u0938\u094D\u0925\u093E\u092A\u0928\u093E \u0935\
\u093F\u0927\u093E\u092F\u0940 \u0936\u093E\u0916\u093E \u0926\u094D\u0935\
\u093E\u0930\u093E \u0915\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948\u0964"
B: "\u0909\u0928\u0915\u0947 \u0938\u0926\u0938\u094D\u092F\u094B\u0902 \u0915\
\u093E \u0905\u0915\u094D\u0938\u0930 \u0930\u093E\u0937\u094D\u091F\u094D\
\u0930\u092A\u0924\u093F \u0915\u0947 \u0928\u093F\u0930\u094D\u0923\u092F\
\u094B\u0902 \u092A\u0930 \u0905\u0927\u093F\u0915 \u092A\u094D\u0930\u092D\
\u093E\u0935 \u0928\u0939\u0940\u0902 \u0939\u094B\u0924\u093E \u0939\u0948\
\u0964"
C: "\u0907\u0928 \u0938\u092D\u0940 \u0915\u094B \u0909\u0928 \u0928\u0947\u0924\
\u093E\u0913\u0902 \u0926\u094D\u0935\u093E\u0930\u093E \u0928\u0939\u0940\
\u0902 \u091A\u0932\u093E\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E\
\ \u0939\u0948 \u091C\u094B \u0909\u0938\u0940 \u0930\u093E\u091C\u0928\u0940\
\u0924\u093F\u0915 \u0926\u0932 \u0938\u0947 \u0938\u0902\u092C\u0902\u0927\
\u093F\u0924 \u0939\u0948\u0902 \u091C\u093F\u0938\u0915\u093E \u0905\u0927\
\u094D\u092F\u0915\u094D\u0937 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092A\
\u0924\u093F \u0939\u0948\u0964"
D: "\u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0938\u0902\u0918\u0940\
\u092F \u090F\u091C\u0947\u0902\u0938\u0940 \u090F\u0915 \u0915\u0948\u092C\
\u093F\u0928\u0947\u091F \u0935\u093F\u092D\u093E\u0917 \u0928\u0939\u0940\
\u0902 \u0939\u0948\u0964"
input_correct_responses:
- C
input_question: "\u0915\u0948\u092C\u093F\u0928\u0947\u091F \u0935\u093F\u092D\
\u093E\u0917\u094B\u0902 \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902\
\ \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902\
\ \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\u0928 \u0917\u0932\
\u0924 \u0939\u0948?"
- input_choice_list:
A: "\u0908\u092E\u093E\u0928\u0926\u093E\u0930 \u0930\u093E\u091C\u0928\u0947\
\u0924\u093E \u0917\u0941\u091F\u094B\u0902 \u0915\u094B \u0935\u093F\u0915\
\u0938\u093F\u0924 \u0939\u094B\u0928\u0947 \u0938\u0947 \u0930\u094B\u0915\
\ \u0938\u0915\u0924\u0947 \u0939\u0948\u0902\u0964"
B: "\u091B\u094B\u091F\u0947 \u0917\u0923\u0930\u093E\u091C\u094D\u092F\u094B\
\u0902 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u092C\
\u0921\u093C\u0947 \u0917\u0923\u0930\u093E\u091C\u094D\u092F\u094B\u0902\
\ \u092E\u0947\u0902 \u0917\u0941\u091F \u0939\u094B\u0928\u0947 \u0915\u0940\
\ \u0938\u0902\u092D\u093E\u0935\u0928\u093E \u0905\u0927\u093F\u0915 \u0939\
\u094B\u0924\u0940 \u0939\u0948\u0964"
C: "\u0917\u0941\u091F\u092C\u093E\u091C\u0940 \u0915\u0947 \u0928\u0915\u093E\
\u0930\u093E\u0924\u094D\u092E\u0915 \u092A\u094D\u0930\u092D\u093E\u0935\u094B\
\u0902 \u0915\u094B \u0917\u0923\u0924\u093E\u0902\u0924\u094D\u0930\u093F\
\u0915 \u0938\u0930\u0915\u093E\u0930 \u0926\u094D\u0935\u093E\u0930\u093E\
\ \u0915\u092E \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E\
\ \u0939\u0948\u0964"
D: "\u0938\u094D\u0935\u0924\u0902\u0924\u094D\u0930 \u091A\u0941\u0928\u093E\
\u0935 \u0917\u0941\u091F\u092C\u093E\u091C\u0940 \u0915\u0947 \u0916\u093F\
\u0932\u093E\u092B \u0932\u094B\u0917\u094B\u0902 \u0915\u093E \u0938\u092C\
\u0938\u0947 \u0905\u091A\u094D\u091B\u093E \u092C\u091A\u093E\u0935 \u0939\
\u0948\u0964"
input_correct_responses:
- C
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0926 \u092B\
\u0947\u0921\u0930\u0932\u093F\u0938\u094D\u091F \u0928\u0902\u092C\u0930 10\
\ \u092E\u0947\u0902 \u091C\u0947\u092E\u094D\u0938 \u092E\u0948\u0921\u093F\
\u0938\u0928 \u0926\u094D\u0935\u093E\u0930\u093E \u0926\u093F\u090F \u0917\u090F\
\ \u0924\u0930\u094D\u0915 \u0915\u094B \u0938\u092C\u0938\u0947 \u0905\u091A\
\u094D\u091B\u093E \u092C\u0924\u093E\u0924\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_government_and_politics
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_high_school_government_and_politics
task_alias: high_school_government_and_politics
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u0938\u0947\u0928\u093E \u0928\
\u0947 1000 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u0915\u0930\u094D\u092E\
\u093F\u092F\u094B\u0902 \u0915\u0947 \u0938\u093E\u0925 \u090F\u0915 \u0935\
\u093F\u0926\u0947\u0936\u0940 \u0926\u0947\u0936 \u092E\u0947\u0902 \u090F\
\u0915 \u0928\u092F\u093E \u092C\u0947\u0938 \u0916\u094B\u0932\u093E \u0939\
\u0948\u0964"
B: "\u091C\u093E\u092A\u093E\u0928\u0940 \u0909\u092A\u092D\u094B\u0915\u094D\
\u0924\u093E \u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0930\u093E\u091C\
\u094D\u092F \u0905\u092E\u0947\u0930\u093F\u0915\u093E \u092E\u0947\u0902\
\ \u0909\u0924\u094D\u092A\u093E\u0926\u093F\u0924 \u0939\u091C\u093E\u0930\
\u094B\u0902 \u0938\u0940\u0921\u0940 \u0916\u0930\u0940\u0926\u0924\u0947\
\ \u0939\u0948\u0902\u0964"
C: "\u090F\u0915 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u092A\u0949\u092A\
\ \u0917\u093E\u092F\u0915 \u092A\u0947\u0930\u093F\u0938 \u092E\u0947\u0902\
\ \u090F\u0915 \u092C\u093F\u0915\u093E\u090A \u0938\u0902\u0917\u0940\u0924\
\ \u0915\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u092A\u094D\u0930\
\u0938\u094D\u0924\u0941\u0924 \u0915\u0930\u0924\u093E \u0939\u0948\u0964"
D: "\u090F\u0915 \u092B\u093C\u094D\u0930\u093E\u0902\u0938\u0940\u0938\u0940\
\ \u0928\u093E\u091F\u094D\u092F \u092A\u094D\u0930\u0938\u094D\u0924\u0941\
\u0924\u093F \u0926\u0930\u094D\u091C\u0928\u094B\u0902 \u0905\u092E\u0947\
\u0930\u093F\u0915\u0940 \u0936\u0939\u0930\u094B\u0902 \u0915\u093E \u0926\
\u094C\u0930\u093E \u0915\u0930\u0924\u0940 \u0939\u0948\u0964"
input_correct_responses:
- C
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0905\u092E\u0947\u0930\
\u093F\u0915\u0940 \u0938\u0915\u0932 \u0918\u0930\u0947\u0932\u0942 \u0909\u0924\
\u094D\u092A\u093E\u0926 \u092E\u0947\u0902 \u0936\u093E\u092E\u093F\u0932 \u0928\
\u0939\u0940\u0902 \u0939\u0948?"
- input_choice_list:
A: "\u092C\u0947\u0930\u094B\u091C\u0917\u093E\u0930\u0940 \u0914\u0930 \u092E\
\u0941\u0926\u094D\u0930\u093E\u0938\u094D\u092B\u0940\u0924\u093F \u0915\u0947\
\ \u092C\u0940\u091A \u0938\u0940\u0927\u093E \u0938\u0902\u092C\u0902\u0927"
B: "\u0915\u0940\u092E\u0924 \u0914\u0930 \u092E\u093E\u0902\u0917 \u0915\u0940\
\ \u092E\u093E\u0924\u094D\u0930\u093E \u0915\u0947 \u092C\u0940\u091A \u0938\
\u0940\u0927\u093E \u0938\u0902\u092C\u0902\u0927"
C: "\u0915\u0940\u092E\u0924 \u0914\u0930 \u092E\u093E\u0902\u0917 \u0915\u0940\
\ \u092E\u093E\u0924\u094D\u0930\u093E \u0915\u0947 \u092C\u0940\u091A \u0935\
\u093F\u092A\u0930\u0940\u0924 \u0938\u0902\u092C\u0902\u0927"
D: "\u092C\u0947\u0930\u094B\u091C\u0917\u093E\u0930\u0940 \u0914\u0930 \u092E\
\u0941\u0926\u094D\u0930\u093E\u0938\u094D\u092B\u0940\u0924\u093F \u0915\u0947\
\ \u092C\u0940\u091A \u0935\u093F\u092A\u0930\u0940\u0924 \u0938\u0902\u092C\
\u0902\u0927"
input_correct_responses:
- D
input_question: "\u0905\u0932\u094D\u092A\u093E\u0935\u0927\u093F \u092B\u093F\
\u0932\u093F\u092A\u094D\u0938 \u0935\u0915\u094D\u0930 \u0907\u0902\u0917\u093F\
\u0924 \u0915\u0930\u0924\u093E \u0939\u0948"
- input_choice_list:
A: "\u0928\u093F\u0930\u094D\u092F\u093E\u0924 \u0906\u092F\u093E\u0924 \u0938\
\u0947 \u0905\u0927\u093F\u0915 \u0939\u0948\u0964"
B: "\u0906\u092F\u093E\u0924 \u0928\u093F\u0930\u094D\u092F\u093E\u0924 \u0938\
\u0947 \u0905\u0927\u093F\u0915 \u0939\u0948\u0964"
C: "\u0938\u0902\u0918\u0940\u092F \u0915\u0930 \u0938\u0902\u0917\u094D\u0930\
\u0939 \u0935\u094D\u092F\u092F \u0938\u0947 \u0905\u0927\u093F\u0915 \u0939\
\u0948\u0964"
D: "\u0938\u0902\u0918\u0940\u092F \u0935\u094D\u092F\u092F \u0938\u0902\u0918\
\u0940\u092F \u0915\u0930 \u0930\u093E\u091C\u0938\u094D\u0935 \u0938\u0947\
\ \u0905\u0927\u093F\u0915 \u0939\u0948\u0964"
input_correct_responses:
- D
input_question: "\u0938\u0902\u0918\u0940\u092F \u0918\u093E\u091F\u093E \u0924\
\u092C \u0939\u094B\u0924\u093E \u0939\u0948 \u091C\u092C"
- input_choice_list:
A: "\u091B\u0942\u091F \u0926\u0930 \u092C\u0922\u093C\u093E\u0928\u093E"
B: "\u0906\u0930\u0915\u094D\u0937\u093F\u0924 \u0905\u0928\u0941\u092A\u093E\
\u0924 \u092C\u0922\u093C\u093E\u0928\u093E"
C: "\u0938\u0930\u0915\u093E\u0930\u0940 \u092A\u094D\u0930\u0924\u093F\u092D\
\u0942\u0924\u093F\u092F\u093E\u0901 \u0916\u0930\u0940\u0926\u0928\u093E"
D: "\u091F\u0948\u0930\u093F\u092B \u0915\u092E \u0915\u0930\u0928\u093E"
input_correct_responses:
- C
input_question: "\u0905\u0928\u094D\u092F \u0938\u092D\u0940 \u0915\u094B \u0938\
\u092E\u093E\u0928 \u0930\u0916\u0924\u0947 \u0939\u0941\u090F \u0928\u093F\u092E\
\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\
\u093F\u0938 \u092E\u094C\u0926\u094D\u0930\u093F\u0915 \u0928\u0940\u0924\u093F\
\ \u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u0905\u092E\u0947\u0930\u093F\
\u0915\u0940 \u0928\u093F\u0930\u094D\u092F\u093E\u0924 \u0915\u094B \u092C\u0922\
\u093C\u093E\u0935\u093E \u0926\u0947\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
\ \u0915\u093F\u092F\u093E \u091C\u093E\u090F\u0917\u093E?"
- input_choice_list:
A: "\u092E\u0941\u0926\u094D\u0930\u093E \u0906\u092A\u0942\u0930\u094D\u0924\
\u093F \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F"
B: "\u0938\u0930\u0915\u093E\u0930\u0940 \u0916\u0930\u094D\u091A \u092C\u0922\
\u093C\u093E"
C: "\u0928\u0908 \u092A\u094D\u0930\u094C\u0926\u094D\u092F\u094B\u0917\u093F\
\u0915\u0940 \u0915\u0947 \u0905\u0928\u0941\u0938\u0902\u0927\u093E\u0928\
\ \u0914\u0930 \u0935\u093F\u0915\u093E\u0938 \u092A\u0930 \u0915\u092E \u0915\
\u0930"
D: "\u0918\u0930\u0947\u0932\u0942 \u0906\u092F \u092A\u0930 \u0905\u0927\u093F\
\u0915 \u0915\u0930"
input_correct_responses:
- C
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0928\u0940\
\u0924\u093F \u0906\u092A\u0942\u0930\u094D\u0924\u093F-\u092A\u0915\u094D\u0937\
\ \u0930\u093E\u091C\u0915\u094B\u0937\u0940\u092F \u0928\u0940\u0924\u093F\
\ \u0915\u093E \u0938\u092C\u0938\u0947 \u0905\u091A\u094D\u091B\u093E \u0935\
\u0930\u094D\u0923\u0928 \u0915\u0930\u0924\u0940 \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_macroeconomics
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_high_school_macroeconomics
task_alias: high_school_macroeconomics
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: '3'
B: '15'
C: '6'
D: '5'
input_correct_responses:
- B
input_question: "\u091C\u094B \u090F\u0915 \u0928\u0943\u0924\u094D\u092F \u0915\
\u0947 \u0932\u093F\u090F \u0930\u094B\u0936\u0928\u0940 \u0915\u093E \u092A\
\u094D\u0930\u092D\u093E\u0930\u0940 \u0925\u093E\u0964 \u0932\u093E\u0932 \u092C\
\u0924\u094D\u0924\u0940 \u0939\u0930 \u0926\u094B \u0938\u0947\u0915\u0902\u0921\
\ \u092E\u0947\u0902, \u092A\u0940\u0932\u0940 \u0930\u094B\u0936\u0928\u0940\
\ \u0939\u0930 \u0924\u0940\u0928 \u0938\u0947\u0915\u0902\u0921 \u092E\u0947\
\u0902 \u0914\u0930 \u0928\u0940\u0932\u0940 \u0930\u094B\u0936\u0928\u0940\
\ \u0939\u0930 \u092A\u093E\u0902\u091A \u0938\u0947\u0915\u0902\u0921 \u092E\
\u0947\u0902 \u091D\u092A\u0915\u0924\u0940 \u0939\u0948\u0964 \u092F\u0926\u093F\
\ \u0939\u092E \u0928\u0943\u0924\u094D\u092F \u0915\u0947 \u0906\u0930\u0902\
\u092D \u0914\u0930 \u0905\u0902\u0924 \u0915\u094B \u0936\u093E\u092E\u093F\
\u0932 \u0915\u0930\u0947\u0902, \u0924\u094B \u0938\u093E\u0924 \u092E\u093F\
\u0928\u091F \u0915\u0947 \u0928\u0943\u0924\u094D\u092F \u0915\u0947 \u0926\
\u094C\u0930\u093E\u0928 \u0915\u093F\u0924\u0928\u0940 \u092C\u093E\u0930 \u0938\
\u092D\u0940 \u0932\u093E\u0907\u091F\u0947\u0902 \u090F\u0915 \u0939\u0940\
\ \u0938\u092E\u092F \u092E\u0947\u0902 \u091C\u0932\u0947\u0902\u0917\u0940\
? (\u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F \u0915\u093F \u0928\u0943\
\u0924\u094D\u092F \u0915\u0940 \u0936\u0941\u0930\u0941\u0906\u0924 \u092E\u0947\
\u0902 \u0939\u0940 \u0924\u0940\u0928\u094B\u0902 \u0932\u093E\u0907\u091F\u0947\
\u0902 \u090F\u0915 \u0938\u093E\u0925 \u091D\u092A\u0915\u0924\u0940 \u0939\
\u0948\u0902\u0964)"
- input_choice_list:
A: '12'
B: '1'
C: '30'
D: '5'
input_correct_responses:
- C
input_question: "$x\\%$ \u092C\u094D\u092F\u093E\u091C \u0926\u0930 \u092A\u0930\
\ \u0938\u093E\u0932\u093E\u0928\u093E \u091A\u0915\u094D\u0930\u0935\u0943\u0926\
\u094D\u0927\u093F \u092A\u093E\u0902\u091A \u0939\u091C\u093E\u0930 \u0921\u0949\
\u0932\u0930 \u0915\u094B \u0926\u094B\u0917\u0941\u0928\u093E \u0939\u094B\u0928\
\u0947 \u092E\u0947\u0902 \u091B\u0939 \u0938\u093E\u0932 \u0932\u0917\u0924\
\u0947 \u0939\u0948\u0902\u0964 \u0938\u092E\u093E\u0928 \u092C\u094D\u092F\u093E\
\u091C \u0926\u0930 \u092A\u0930, $\\$300$ \u0915\u094B $\\$9600$ \u0924\u0915\
\ \u092C\u0922\u093C\u0928\u0947 \u092E\u0947\u0902 \u0915\u093F\u0924\u0928\
\u0947 \u0935\u0930\u094D\u0937 \u0932\u0917\u0947\u0902\u0917\u0947?"
- input_choice_list:
A: '-1'
B: '16'
C: -\frac{1}{256}
D: \frac{1}{16}
input_correct_responses:
- C
input_question: "\u0935\u0947\u0930\u093F\u090F\u092C\u0932 $x$ \u0938\u0940\u0927\
\u0947 $y$ \u0915\u0947 \u0935\u0930\u094D\u0917 \u0915\u0947 \u0930\u0942\u092A\
\ \u092E\u0947\u0902 \u092C\u0926\u0932\u0924\u093E \u0939\u0948, \u0914\u0930\
\ $y$ \u0938\u0940\u0927\u0947 $z$ \u0915\u0947 \u0918\u0928 \u0915\u0947 \u0930\
\u0942\u092A \u092E\u0947\u0902 \u092C\u0926\u0932\u0924\u093E \u0939\u0948\u0964\
\ \u092F\u0926\u093F $x$ \u092C\u0930\u093E\u092C\u0930 $-16$ \u0939\u0948 \u091C\
\u092C $z$ \u092C\u0930\u093E\u092C\u0930 2 \u0939\u0948, \u0924\u094B $x$ \u0915\
\u093E \u092E\u0942\u0932\u094D\u092F \u0915\u094D\u092F\u093E \u0939\u0948\
\ \u091C\u092C $z$ \u092C\u0930\u093E\u092C\u0930 $\\frac{1}{2}$ \u0939\u0948\
?"
- input_choice_list:
A: \frac{3\sqrt{3}}{3}
B: \frac{1}{3}
C: \sqrt{3}
D: \frac{\sqrt{3}}{3}
input_correct_responses:
- D
input_question: "\u092A\u0930\u093F\u0923\u093E\u092E \u0915\u094B \u0938\u0930\
\u0932 \u092C\u0928\u093E\u090F\u0902 \u0914\u0930 \u0924\u0930\u094D\u0915\u0938\
\u0902\u0917\u0924 \u0939\u0930 \u0915\u0947 \u0938\u093E\u0925 \u0932\u093F\
\u0916\u0947\u0902: $$\\sqrt{\\sqrt[3]{\\sqrt{\\frac{1}{729}}}}$$"
- input_choice_list:
A: '55'
B: '60'
C: '62'
D: '65'
input_correct_responses:
- D
input_question: "\u0926\u0938 \u091B\u093E\u0924\u094D\u0930 \u091C\u0940\u0935\
\ \u0935\u093F\u091C\u094D\u091E\u093E\u0928 \u0915\u0940 \u092A\u0930\u0940\
\u0915\u094D\u0937\u093E \u0926\u0947\u0924\u0947 \u0939\u0948\u0902 \u0914\u0930\
\ \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u0905\u0902\u0915\
\ \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0924\u0947 \u0939\
\u0948\u0902: 45, 55, 50, 70, 65, 80, 40, 90, 70, 85\u0964 \u091B\u093E\u0924\
\u094D\u0930\u094B\u0902 \u0915\u0947 \u092A\u0930\u0940\u0915\u094D\u0937\u0923\
\ \u0905\u0902\u0915\u094B\u0902 \u0915\u093E \u092E\u093E\u0927\u094D\u092F\
\ \u0915\u094D\u092F\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_mathematics
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_high_school_mathematics
task_alias: high_school_mathematics
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0907\u0938 \u0936\u094D\u0930\u092E \u092C\u093E\u091C\u093C\u093E\u0930\
\ \u092A\u0930 \u090F\u0915 \u092A\u094D\u0930\u092D\u093E\u0935\u0940 \u0928\
\u094D\u092F\u0942\u0928\u0924\u092E \u0935\u0947\u0924\u0928 \u0932\u0917\
\u093E\u092F\u093E \u0917\u092F\u093E\u0964"
B: "\u092A\u0947\u0902\u091F \u0915\u0947 \u0917\u0948\u0932\u0928 \u0915\u0940\
\ \u0915\u0940\u092E\u0924 \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\
\u093F."
C: "\u0928\u092F\u0947 \u092E\u0915\u093E\u0928\u094B\u0902 \u0915\u0947 \u0928\
\u093F\u0930\u094D\u092E\u093E\u0923 \u092E\u0947\u0902 \u0935\u0943\u0926\
\u094D\u0927\u093F\u0964"
D: "\u092E\u0948\u0915\u0947\u0928\u093F\u0915\u0932 \u092A\u0947\u0902\u091F\
\u0930\u094D\u0938 \u0915\u0940 \u0915\u0940\u092E\u0924 \u092E\u0947\u0902\
\ \u0924\u092C \u0924\u0915 \u0935\u0943\u0926\u094D\u0927\u093F \u091C\u092C\
\ \u0924\u0915 \u0906\u0909\u091F\u092A\u0941\u091F \u092A\u094D\u0930\u092D\
\u093E\u0935 \u092A\u094D\u0930\u0924\u093F\u0938\u094D\u0925\u093E\u092A\u0928\
\ \u092A\u094D\u0930\u092D\u093E\u0935 \u0938\u0947 \u0905\u0927\u093F\u0915\
\ \u0939\u094B \u091C\u093E\u0924\u093E \u0939\u0948\u0964"
input_correct_responses:
- C
input_question: "\u0939\u093E\u0909\u0938\u092A\u0947\u0902\u091F\u0930\u094B\u0902\
\ \u0915\u0947 \u0932\u093F\u090F \u092A\u094D\u0930\u0924\u093F\u0938\u094D\
\u092A\u0930\u094D\u0927\u0940 \u0936\u094D\u0930\u092E \u092C\u093E\u091C\u093E\
\u0930 \u092E\u0947\u0902, \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0938\u0947 \u0939\
\u093E\u0909\u0938\u092A\u0947\u0902\u091F\u0930\u094B\u0902 \u0915\u0940 \u092E\
\u093E\u0902\u0917 \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F \u0939\
\u094B\u0917\u0940?"
- input_choice_list:
A: "\u0909\u0924\u094D\u092A\u093E\u0926 \u0915\u0940 \u092E\u093E\u0902\u0917\
\ \u092C\u0922\u093C\u0947\u0917\u0940"
B: "\u0909\u0924\u094D\u092A\u093E\u0926 \u0915\u0940 \u092E\u093E\u0902\u0917\
\ \u0918\u091F \u091C\u093E\u092F\u0947\u0917\u0940"
C: "\u0909\u092A\u092D\u094B\u0915\u094D\u0924\u093E \u0905\u0927\u093F\u0936\
\u0947\u0937 \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F \u0939\
\u094B\u0917\u0940"
D: "\u0909\u092A\u092D\u094B\u0915\u094D\u0924\u093E \u0905\u0927\u093F\u0936\
\u0947\u0937 \u0915\u092E \u0939\u094B \u091C\u093E\u090F\u0917\u093E"
input_correct_responses:
- C
input_question: "\u092F\u0926\u093F \u0938\u0930\u0915\u093E\u0930 \u092A\u0942\
\u0930\u094D\u0923 \u092A\u094D\u0930\u0924\u093F\u0938\u094D\u092A\u0930\u094D\
\u0927\u0940 \u092C\u093E\u091C\u093E\u0930 \u092E\u0947\u0902 \u0909\u0924\u094D\
\u092A\u093E\u0926\u0915\u094B\u0902 \u0915\u094B \u0938\u092C\u094D\u0938\u093F\
\u0921\u0940 \u0926\u0947\u0924\u0940 \u0939\u0948, \u0924\u094B"
- input_choice_list:
A: '0'
B: '5'
C: '10'
D: '100'
input_correct_responses:
- D
input_question: "\u090F\u0915\u093E\u0927\u093F\u0915\u093E\u0930 \u0915\u0947\
\ \u0932\u093F\u090F \u090F\u0915\u093E\u0917\u094D\u0930\u0924\u093E \u0905\
\u0928\u0941\u092A\u093E\u0924 \u0939\u0948"
- input_choice_list:
A: "\u0915\u0940\u092E\u0924 \u0938\u094D\u0924\u0930 \u092E\u093E\u0902\u0917\
\ \u0935\u0915\u094D\u0930 \u0915\u094B \u092C\u093E\u0908\u0902 \u0913\u0930\
\ \u0938\u094D\u0925\u093E\u0928\u093E\u0902\u0924\u0930\u093F\u0924 \u0915\
\u0930 \u0926\u0947\u0924\u093E \u0939\u0948\u0964"
B: "\u090F\u0915 \u092A\u094D\u0930\u092D\u093E\u0935\u0940 \u092E\u0902\u091C\
\u093F\u0932 \u0905\u091A\u094D\u091B\u0947 \u0915\u0940 \u0915\u092E\u0940\
\ \u092A\u0948\u0926\u093E \u0915\u0930\u0924\u0940 \u0939\u0948\u0964"
C: "\u0915\u0940\u092E\u0924 \u0938\u094D\u0924\u0930 \u0935\u0938\u094D\u0924\
\u0941 \u0915\u0947 \u0906\u092A\u0942\u0930\u094D\u0924\u093F \u0935\u0915\
\u094D\u0930 \u0915\u094B \u0926\u093E\u0908\u0902 \u0913\u0930 \u0938\u094D\
\u0925\u093E\u0928\u093E\u0902\u0924\u0930\u093F\u0924 \u0915\u0930 \u0926\
\u0947\u0924\u093E \u0939\u0948\u0964"
D: "\u090F\u0915 \u092A\u094D\u0930\u092D\u093E\u0935\u0940 \u092E\u0902\u091C\
\u093F\u0932 \u0939\u094B\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F, \u0907\
\u0938\u0947 \u0938\u0902\u0924\u0941\u0932\u0928 \u0915\u0940\u092E\u0924\
\ \u0938\u0947 \u090A\u092A\u0930 \u0938\u094D\u0925\u093E\u092A\u093F\u0924\
\ \u0915\u093F\u092F\u093E \u091C\u093E\u0928\u093E \u091A\u093E\u0939\u093F\
\u090F\u0964"
input_correct_responses:
- D
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u092E\u0942\
\u0932\u094D\u092F \u0938\u094D\u0924\u0930 \u0915\u0947 \u092C\u093E\u0930\u0947\
\ \u092E\u0947\u0902 \u0938\u0924\u094D\u092F \u0939\u0948?"
- input_choice_list:
A: "\u092C\u093E\u091C\u093C\u093E\u0930 \u092E\u0947\u0902 \u0928\u093F\u0903\
\u0936\u0941\u0932\u094D\u0915 \u092A\u094D\u0930\u0935\u0947\u0936 \u0914\
\u0930 \u0928\u093F\u0915\u093E\u0938"
B: "\u0915\u0941\u091B \u092C\u0921\u093C\u0947 \u0928\u093F\u0930\u094D\u092E\
\u093E\u0924\u093E"
C: "\u0915\u093F\u0938\u0940 \u0935\u0938\u094D\u0924\u0941 \u0915\u093E \u090F\
\u0915 \u0909\u0924\u094D\u092A\u093E\u0926\u0915 \u091C\u093F\u0938\u0915\
\u093E \u0915\u094B\u0908 \u0915\u0930\u0940\u092C\u0940 \u0935\u093F\u0915\
\u0932\u094D\u092A \u0928\u0939\u0940\u0902 \u0939\u0948"
D: "\u090F\u0915 \u0938\u092E\u0930\u0942\u092A \u0909\u0924\u094D\u092A\u093E\
\u0926"
input_correct_responses:
- B
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0906\u0935\
\u0936\u094D\u092F\u0915 \u0930\u0942\u092A \u0938\u0947 \u0905\u0932\u094D\u092A\
\u093E\u0927\u093F\u0915\u093E\u0930 \u0915\u0940 \u0935\u093F\u0936\u0947\u0937\
\u0924\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_microeconomics
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_high_school_microeconomics
task_alias: high_school_microeconomics
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0915\u0947\u0935\u0932 I \u0914\u0930 II"
B: "\u0915\u0947\u0935\u0932 I \u0914\u0930 III"
C: "\u0915\u0947\u0935\u0932 II \u0914\u0930 III"
D: "\u0924\u0943\u0924\u0940\u092F \u0915\u0947\u0935\u0932"
input_correct_responses:
- D
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0938\u094D\
\u0925\u093F\u0924\u093F \u092F\u0939 \u0938\u0941\u0928\u093F\u0936\u094D\u091A\
\u093F\u0924 \u0915\u0930\u0947\u0917\u0940 \u0915\u093F \u0915\u094B\u0923\u0940\
\u092F \u0917\u0924\u093F \u0938\u0902\u0930\u0915\u094D\u0937\u093F\u0924 \u0939\
\u0948? I. \u0930\u0948\u0916\u093F\u0915 \u0938\u0902\u0935\u0947\u0917 \u0915\
\u093E \u0938\u0902\u0930\u0915\u094D\u0937\u0923 II. \u0936\u0942\u0928\u094D\
\u092F \u0936\u0941\u0926\u094D\u0927 \u092C\u093E\u0939\u094D\u092F \u092C\u0932\
\ III. \u0936\u0942\u0928\u094D\u092F \u0936\u0941\u0926\u094D\u0927 \u092C\u093E\
\u0939\u0930\u0940 \u091F\u0949\u0930\u094D\u0915"
- input_choice_list:
A: "\u0926\u092C\u093E\u0935 \u090F\u0915 \u0928\u094B\u0921 \u092A\u0930 \u0939\
\u094B\u0924\u093E \u0939\u0948, \u0932\u0947\u0915\u093F\u0928 \u0915\u0923\
\ \u0935\u093F\u0938\u094D\u0925\u093E\u092A\u0928 \u090F\u0915 \u090F\u0902\
\u091F\u0940\u0928\u094B\u0921 \u092A\u0930 \u0939\u094B\u0924\u093E \u0939\
\u0948\u0964"
B: "\u0926\u092C\u093E\u0935 \u090F\u0915 \u090F\u0902\u091F\u0940\u0928\u094B\
\u0921 \u092A\u0930 \u0939\u0948, \u0932\u0947\u0915\u093F\u0928 \u0915\u0923\
\ \u0935\u093F\u0938\u094D\u0925\u093E\u092A\u0928 \u090F\u0915 \u0928\u094B\
\u0921 \u092A\u0930 \u0939\u0948\u0964"
C: "\u0926\u092C\u093E\u0935 \u0914\u0930 \u0915\u0923 \u0935\u093F\u0938\u094D\
\u0925\u093E\u092A\u0928 \u0926\u094B\u0928\u094B\u0902 \u0928\u094B\u0921\
\u094D\u0938 \u092A\u0930 \u0939\u0948\u0902\u0964"
D: "\u0926\u092C\u093E\u0935 \u0914\u0930 \u0915\u0923 \u0935\u093F\u0938\u094D\
\u0925\u093E\u092A\u0928 \u0926\u094B\u0928\u094B\u0902 \u090F\u0902\u091F\
\u0940\u0928\u094B\u0921 \u092A\u0930 \u0939\u094B\u0924\u0947 \u0939\u0948\
\u0902\u0964"
input_correct_responses:
- B
input_question: "\u0939\u0935\u093E \u0938\u0947 \u092D\u0930\u093E \u090F\u0915\
\ \u092A\u093E\u0907\u092A \u090F\u0915 \u0938\u093F\u0930\u0947 \u092A\u0930\
\ \u092C\u0902\u0926 \u0939\u0948\u0964 \u092A\u093E\u0907\u092A \u092E\u0947\
\u0902 \u090F\u0915 \u0916\u0921\u093C\u0940 \u0924\u0930\u0902\u0917 \u0909\
\u0924\u094D\u092A\u0928\u094D\u0928 \u0939\u094B\u0924\u0940 \u0939\u0948,\
\ \u091C\u093F\u0938\u0938\u0947 \u092A\u093E\u0907\u092A \u090F\u0915 \u0938\
\u0941\u0930 \u0915\u0940 \u0927\u094D\u0935\u0928\u093F \u0909\u0924\u094D\u092A\
\u0928\u094D\u0928 \u0915\u0930\u0924\u093E \u0939\u0948\u0964 \u092A\u093E\u0907\
\u092A \u0915\u0947 \u092C\u0902\u0926 \u0938\u093F\u0930\u0947 \u092A\u0930\
\ \u0924\u0930\u0902\u0917 \u0915\u0947 \u0917\u0941\u0923\u094B\u0902 \u0915\
\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\
\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928\
\ \u0938\u093E \u0938\u0939\u0940 \u0915\u0925\u0928 \u0939\u0948?"
- input_choice_list:
A: "2:00 \u092A\u0942\u0930\u094D\u0935\u093E\u0939\u094D\u0928"
B: "\u0938\u0941\u092C\u0939 \u0915\u0947 6 \u092C\u091C\u0947"
C: "12:00 \u092C\u091C\u0947"
D: "24 \u090F"
input_correct_responses:
- D
input_question: "\u0915\u093E\u0930\u094D\u092F \u092B\u0932\u0928 \u03D5 = 2eV\
\ \u0915\u093E \u090F\u0915 \u092B\u094B\u091F\u094B\u0938\u0947\u0932 \u0936\
\u094D\u0930\u0943\u0902\u0916\u0932\u093E \u092E\u0947\u0902 \u090F\u0915 \u0905\
\u0935\u0930\u094B\u0927\u0915 \u0938\u0947 \u091C\u0941\u0921\u093C\u093E \u0939\
\u0948\u0964 f = 1 \xD7 10^15 Hz \u0906\u0935\u0943\u0924\u094D\u0924\u093F\
\ \u0915\u093E \u092A\u094D\u0930\u0915\u093E\u0936 \u092B\u094B\u091F\u094B\
\u0938\u0947\u0932 \u0915\u0940 \u0927\u093E\u0924\u0941 \u0915\u0940 \u092A\
\u094D\u0932\u0947\u091F \u0938\u0947 \u091F\u0915\u0930\u093E\u0924\u093E \u0939\
\u0948\u0964 \u092F\u0926\u093F \u092A\u094D\u0930\u0915\u093E\u0936 \u0915\u0940\
\ \u0936\u0915\u094D\u0924\u093F P = 100 W \u0939\u0948, \u0924\u094B \u092A\
\u094D\u0930\u0924\u093F\u0930\u094B\u0927\u0915 \u0915\u0947 \u092E\u093E\u0927\
\u094D\u092F\u092E \u0938\u0947 \u0927\u093E\u0930\u093E \u0915\u094D\u092F\u093E\
\ \u0939\u0948?"
- input_choice_list:
A: "10 \u0921\u092C\u094D\u0932\u094D\u092F\u0942"
B: "30 \u0921\u092C\u094D\u0932\u094D\u092F\u0942"
C: "60 \u0921\u092C\u094D\u0932\u094D\u092F\u0942"
D: "240 \u0921\u092C\u094D\u0932\u094D\u092F\u0942"
input_correct_responses:
- D
input_question: "\u090F\u0915 \u092E\u093E\u0907\u0915\u094D\u0930\u094B\u0935\
\u0947\u0935 \u0913\u0935\u0928 120 V \u0915\u0947 \u0906\u0909\u091F\u0932\u0947\
\u091F \u0938\u0947 \u091C\u0941\u0921\u093C\u093E \u0939\u0948, \u0914\u0930\
\ 2 \u090F\u092E\u094D\u092A\u093F\u092F\u0930 \u0915\u0940 \u0927\u093E\u0930\
\u093E \u0916\u0940\u0902\u091A\u0924\u093E \u0939\u0948\u0964 \u092E\u093E\u0907\
\u0915\u094D\u0930\u094B\u0935\u0947\u0935 \u0913\u0935\u0928 \u0926\u094D\u0935\
\u093E\u0930\u093E \u0915\u093F\u0938 \u0926\u0930 \u0938\u0947 \u090A\u0930\
\u094D\u091C\u093E \u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\u093F\u092F\
\u093E \u091C\u093E \u0930\u0939\u093E \u0939\u0948?"
- input_choice_list:
A: "3.5 \u091C\u0947"
B: "6.0 \u091C\u0947"
C: "22.5 \u091C\u0947"
D: "40 \u091C\u0947"
input_correct_responses:
- B
input_question: "\u090F\u0915 \u092C\u093F\u0902\u0926\u0941 \u0906\u0935\u0947\
\u0936, Q = +1 mC, \u092E\u0942\u0932 \u092C\u093F\u0902\u0926\u0941 \u092A\u0930\
\ \u0938\u094D\u0925\u093F\u0930 \u0939\u0948\u0964 \u0915\u093F\u0938\u0940\
\ \u0906\u0935\u0947\u0936, Q = +8 \xB5C, \u0915\u094B \u092C\u093F\u0902\u0926\
\u0941 (0, 4 \u092E\u0940\u091F\u0930) \u0938\u0947 \u092C\u093F\u0902\u0926\
\u0941 (3 \u092E\u0940\u091F\u0930, 0) \u0924\u0915 \u0932\u0947 \u091C\u093E\
\u0928\u0947 \u092E\u0947\u0902 \u0915\u093F\u0924\u0928\u093E \u0915\u093E\u0930\
\u094D\u092F \u0906\u0935\u0936\u094D\u092F\u0915 \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_physics
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_high_school_physics
task_alias: high_school_physics
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u090F\u0915 \u092E\u091C\u092C\u0942\u0924 \u0938\u0941\u092A\u0930\u0907\
\u0917\u094B."
B: "\u0915\u092E \u0906\u0924\u094D\u092E \u0938\u092E\u094D\u092E\u093E\u0928\
\u0964"
C: "\u0915\u092E \u0906\u0924\u094D\u092E-\u092A\u094D\u0930\u092D\u093E\u0935\
\u0915\u093E\u0930\u093F\u0924\u093E."
D: "\u0928\u093F\u092F\u0902\u0924\u094D\u0930\u0923 \u0915\u093E \u090F\u0915\
\ \u0906\u0902\u0924\u0930\u093F\u0915 \u0938\u094D\u0925\u093E\u0928."
input_correct_responses:
- D
input_question: "\u0905\u0928\u0940 \u0915\u093E \u092E\u093E\u0928\u0928\u093E\
\ \u0939\u0948 \u0915\u093F \u0909\u0938\u0915\u0947 \u0938\u093E\u0925 \u091C\
\u094B \u0939\u094B\u0924\u093E \u0939\u0948 \u0909\u0938\u092E\u0947\u0902\
\ \u0909\u0938\u0915\u093E \u0926\u0943\u0937\u094D\u091F\u093F\u0915\u094B\u0923\
\ \u0914\u0930 \u0935\u094D\u092F\u0935\u0939\u093E\u0930 \u0915\u0947\u0902\
\u0926\u094D\u0930\u0940\u092F \u092D\u0942\u092E\u093F\u0915\u093E \u0928\u093F\
\u092D\u093E\u0924\u093E \u0939\u0948\u0964 \u0910\u0938\u0940 \u092E\u093E\u0928\
\u094D\u092F\u0924\u093E \u091C\u0941\u0921\u093C\u0940 \u0939\u094B\u0928\u0947\
\ \u0915\u0940 \u0938\u0902\u092D\u093E\u0935\u0928\u093E \u0939\u0948"
- input_choice_list:
A: "\u0917\u094D\u0930\u093E\u0939\u0915 \u0915\u0940 \u0935\u0930\u094D\u0924\
\u092E\u093E\u0928 \u0938\u092E\u0938\u094D\u092F\u093E\u0913\u0902 \u0915\
\u0947 \u0915\u093E\u0930\u0923\u094B\u0902 \u0914\u0930 \u0938\u092E\u093E\
\u0927\u093E\u0928\u094B\u0902 \u0915\u0940 \u092A\u0939\u091A\u093E\u0928\
\ \u0915\u0930\u0928\u093E"
B: "\u0915\u093F\u0938\u0940 \u0938\u092E\u0938\u094D\u092F\u093E \u0938\u0947\
\ \u0928\u093F\u092A\u091F\u0928\u0947 \u092E\u0947\u0902 \u092A\u0930\u093E\
\u092E\u0930\u094D\u0936\u0926\u093E\u0924\u093E \u0915\u0940 \u0915\u0920\
\u093F\u0928\u093E\u0907\u092F\u094B\u0902 \u0915\u0947 \u0915\u093E\u0930\
\u0923\u094B\u0902 \u0915\u0940 \u092A\u0939\u091A\u093E\u0928 \u0915\u0930\
\u0928\u093E \u0914\u0930 \u0909\u0928\u094D\u0939\u0947\u0902 \u0926\u0942\
\u0930 \u0915\u0930\u0928\u093E"
C: "\u092A\u094D\u0930\u092D\u093E\u0935\u0940 \u0928\u093F\u0930\u094D\u0923\
\u092F \u0932\u0947\u0928\u0947 \u092E\u0947\u0902 \u0938\u0915\u094D\u0937\
\u092E \u092C\u0928\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092A\
\u094D\u0930\u093E\u0927\u093F\u0915\u093E\u0930 \u0915\u093E \u090F\u0915\
\ \u092A\u0926\u093E\u0928\u0941\u0915\u094D\u0930\u092E \u0938\u094D\u0925\
\u093E\u092A\u093F\u0924 \u0915\u0930\u0928\u093E"
D: "\u0915\u094C\u0936\u0932 \u0915\u0940 \u0915\u092E\u0940 \u0915\u094B \u0926\
\u0942\u0930 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0938\
\u0932\u093E\u0939\u0915\u093E\u0930 \u0915\u0947 \u0932\u093F\u090F \u090F\
\u0915\u0932, \u0905\u091A\u094D\u091B\u0940 \u0924\u0930\u0939 \u0938\u0947\
\ \u092A\u0930\u093F\u092D\u093E\u0937\u093F\u0924 \u0914\u0930 \u0938\u094D\
\u092A\u0937\u094D\u091F \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908\
\ \u0915\u093E \u092A\u093E\u0920\u094D\u092F\u0915\u094D\u0930\u092E \u092A\
\u094D\u0930\u0938\u094D\u0924\u0941\u0924 \u0915\u0930\u0928\u093E"
input_correct_responses:
- B
input_question: "\u092A\u0930\u093E\u092E\u0930\u094D\u0936\u0926\u093E\u0924\u093E\
-\u0915\u0947\u0902\u0926\u094D\u0930\u093F\u0924 \u0915\u0947\u0938 \u092A\u0930\
\u093E\u092E\u0930\u094D\u0936 \u0915\u0947 \u0915\u0948\u092A\u0932\u0928 \u092E\
\u0949\u0921\u0932 \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930, \u0938\
\u0932\u093E\u0939\u0915\u093E\u0930 \u092E\u0941\u0916\u094D\u092F \u0930\u0942\
\u092A \u0938\u0947 \u0907\u0938\u092E\u0947\u0902 \u0930\u0941\u091A\u093F\
\ \u0930\u0916\u0924\u093E \u0939\u0948"
- input_choice_list:
A: "\u0938\u0902\u0926\u0947\u0936 \u0925\u0948\u0932\u0947\u092E\u0938 \u0938\
\u0947 \u0938\u0940\u0927\u0947 \u0905\u092E\u093F\u0917\u0921\u093E\u0932\
\u093E \u0915\u094B \u092D\u0947\u091C\u0947 \u091C\u093E\u0924\u0947 \u0939\
\u0948\u0902\u0964"
B: "\u0938\u0902\u0926\u0947\u0936 \u0925\u0948\u0932\u0947\u092E\u0938 \u0938\
\u0947 "\u0915\u094D\u092F\u093E" \u0914\u0930 "\u0915\u0939\
\u093E\u0902" \u092E\u093E\u0930\u094D\u0917 \u092A\u0930 \u092D\u0947\
\u091C\u0947 \u091C\u093E\u0924\u0947 \u0939\u0948\u0902\u0964"
C: "\u0938\u0902\u0926\u0947\u0936 \u092A\u0948\u0930\u093E\u0938\u093F\u092E\
\u094D\u092A\u0947\u0925\u0947\u091F\u093F\u0915 \u0924\u0902\u0924\u094D\u0930\
\u093F\u0915\u093E \u0924\u0902\u0924\u094D\u0930 \u0938\u0947 \u0938\u0947\
\u0930\u0947\u092C\u094D\u0930\u0932 \u0915\u0949\u0930\u094D\u091F\u0947\u0915\
\u094D\u0938 \u0924\u0915 \u092D\u0947\u091C\u0947 \u091C\u093E\u0924\u0947\
\ \u0939\u0948\u0902\u0964"
D: "\u0938\u0902\u0926\u0947\u0936 \u0932\u0932\u093E\u091F \u0932\u094B\u092C\
\ \u0938\u0947 \u092A\u093F\u091F\u094D\u092F\u0942\u091F\u0930\u0940 \u0917\
\u094D\u0930\u0902\u0925\u093F \u0924\u0915 \u092D\u0947\u091C\u0947 \u091C\
\u093E\u0924\u0947 \u0939\u0948\u0902\u0964"
input_correct_responses:
- A
input_question: "\u0938\u092E\u0941\u0926\u094D\u0930 \u092E\u0947\u0902 \u0924\
\u0948\u0930\u0924\u0947 \u0938\u092E\u092F, \u0907\u0935\u093E\u0928 \u092A\
\u093E\u0928\u0940 \u092E\u0947\u0902 \u090F\u0915 \u0905\u0902\u0927\u0947\u0930\
\u0940 \u091B\u093E\u092F\u093E \u0938\u0947 \u0921\u0930 \u091C\u093E\u0924\
\u093E \u0939\u0948, \u0907\u0938\u0938\u0947 \u092A\u0939\u0932\u0947 \u0915\
\u093F \u0909\u0938\u0947 \u092F\u0939 \u092A\u0939\u091A\u093E\u0928\u0928\u0947\
\ \u0915\u093E \u092E\u094C\u0915\u093E \u092E\u093F\u0932\u0947 \u0915\u093F\
\ \u0935\u0939 \u091B\u093E\u092F\u093E \u0915\u094D\u092F\u093E \u0939\u0948\
\u0964 \u092D\u092F \u0915\u0940 \u0907\u0938 \u0918\u091F\u0928\u093E \u0915\
\u0947 \u0926\u094C\u0930\u093E\u0928 \u0939\u094B\u0928\u0947 \u0935\u093E\u0932\
\u0947 \u0938\u093F\u0928\u0948\u092A\u094D\u091F\u093F\u0915 \u0915\u0928\u0947\
\u0915\u094D\u0936\u0928\u094B\u0902 \u0915\u094B \u0928\u093F\u092E\u094D\u0928\
\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\
\u0915\u0947 \u0926\u094D\u0935\u093E\u0930\u093E \u0938\u092C\u0938\u0947 \u0905\
\u091A\u094D\u091B\u093E \u0935\u0930\u094D\u0923\u0928 \u0915\u093F\u092F\u093E\
\ \u0917\u092F\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092C\u091A\u094D\u091A\u0947 \u0915\u094B \u0928\u090F \u0935\u093E\u0924\
\u093E\u0935\u0930\u0923 \u092E\u0947\u0902 \u092A\u0930\u0940\u0915\u094D\
\u0937\u0923 \u0905\u0935\u0927\u093F \u0926\u0947\u0902"
B: "\u092E\u093E\u0924\u093E-\u092A\u093F\u0924\u093E \u0915\u094B \u0932\u093F\
\u0916\u093F\u0924 \u0930\u0942\u092A \u0938\u0947 \u0938\u0942\u091A\u093F\
\u0924 \u0915\u0930\u0947\u0902"
C: "\u0938\u094D\u0915\u0942\u0932 \u092C\u094B\u0930\u094D\u0921 \u0915\u0940\
\ \u092E\u0902\u091C\u0942\u0930\u0940 \u092A\u094D\u0930\u093E\u092A\u094D\
\u0924 \u0915\u0930\u0947\u0902"
D: "\u092E\u093E\u0924\u093E-\u092A\u093F\u0924\u093E \u0915\u0940 \u0938\u0939\
\u092E\u0924\u093F \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\
\u0947\u0902"
input_correct_responses:
- B
input_question: "\u0935\u093F\u0915\u0932\u093E\u0902\u0917 \u0935\u094D\u092F\
\u0915\u094D\u0924\u093F \u0936\u093F\u0915\u094D\u0937\u093E \u0938\u0941\u0927\
\u093E\u0930 \u0905\u0927\u093F\u0928\u093F\u092F\u092E \u0915\u0947 \u0905\u0928\
\u0941\u0938\u093E\u0930, \u090F\u0915 \u0936\u0948\u0915\u094D\u0937\u093F\u0915\
\ \u090F\u091C\u0947\u0902\u0938\u0940 \u0915\u094B \u0935\u093F\u0915\u0932\
\u093E\u0902\u0917 \u091B\u093E\u0924\u094D\u0930 \u0915\u0947 \u0936\u0948\u0915\
\u094D\u0937\u093F\u0915 \u092A\u094D\u0932\u0947\u0938\u092E\u0947\u0902\u091F\
\ \u0915\u094B \u092C\u0926\u0932\u0928\u0947 \u0938\u0947 \u092A\u0939\u0932\
\u0947 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\
\u0902 \u0938\u0947 \u0915\u094D\u092F\u093E \u0915\u0930\u0928\u093E \u091A\
\u093E\u0939\u093F\u090F?"
- input_choice_list:
A: "\u0938\u093E\u092E\u093E\u091C\u093F\u0915-\u0938\u093E\u0902\u0938\u094D\
\u0915\u0943\u0924\u093F\u0915"
B: "\u0915\u094D\u0932\u0940\u0928\u093F\u0915\u0932"
C: "\u0938\u0902\u091C\u094D\u091E\u093E\u0928\u093E\u0924\u094D\u092E\u0915"
D: "\u0935\u094D\u092F\u0935\u0939\u093E\u0930\u0935\u093E\u0926\u0940"
input_correct_responses:
- C
input_question: "\u092A\u093E\u0938\u094D\u0915\u0932 \u0909\u0928 \u092A\u094D\
\u0930\u0938\u0902\u0938\u094D\u0915\u0930\u0923 \u0930\u0923\u0928\u0940\u0924\
\u093F\u092F\u094B\u0902 \u092E\u0947\u0902 \u0930\u0941\u091A\u093F \u0930\u0916\
\u0924\u093E \u0939\u0948 \u091C\u093F\u0928\u0915\u093E \u0909\u092A\u092F\u094B\
\u0917 \u092C\u091A\u094D\u091A\u0947 \u0928\u0908 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0938\u0940\u0916\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
\ \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\u0964 \u092A\u093E\u0938\u094D\
\u0915\u0932 \u0915\u094B \u0915\u093F\u0938 \u092A\u094D\u0930\u0915\u093E\u0930\
\ \u0915\u0947 \u092E\u0928\u094B\u0935\u0948\u091C\u094D\u091E\u093E\u0928\u093F\
\u0915 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0935\u0930\u094D\
\u0917\u0940\u0915\u0943\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\u090F\u0917\
\u093E?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_psychology
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_high_school_psychology
task_alias: high_school_psychology
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u092F\u0926\u093F \u092A\u094D\u0930\u0924\u093F\u0917\u092E\u0928 \u0930\
\u0947\u0916\u093E \u0915\u093E \u0922\u0932\u093E\u0928 \u092C\u093F\u0932\
\u094D\u0915\u0941\u0932 1 \u0939\u0948, \u0924\u094B \u0938\u0939\u0938\u0902\
\u092C\u0902\u0927 \u092C\u093F\u0932\u094D\u0915\u0941\u0932 1 \u0939\u0948\
\u0964"
B: "\u092F\u0926\u093F \u0938\u0939\u0938\u0902\u092C\u0902\u0927 0 \u0939\u0948\
, \u0924\u094B \u092A\u094D\u0930\u0924\u093F\u0917\u092E\u0928 \u0930\u0947\
\u0916\u093E \u0915\u093E \u0922\u0932\u093E\u0928 \u0905\u092A\u0930\u093F\
\u092D\u093E\u0937\u093F\u0924 \u0939\u0948\u0964"
C: "\u0915\u093F\u0938 \u0935\u0947\u0930\u093F\u090F\u092C\u0932 \u0915\u094B\
\ x \u0915\u0939\u093E \u091C\u093E\u0924\u093E \u0939\u0948 \u0914\u0930\
\ \u0915\u093F\u0938\u0947 y \u0915\u0939\u093E \u091C\u093E\u0924\u093E \u0939\
\u0948, \u0907\u0938\u0947 \u0938\u094D\u0935\u093F\u091A \u0915\u0930\u0928\
\u0947 \u0938\u0947 \u0938\u0939\u0938\u0902\u092C\u0902\u0927 \u0915\u093E\
\ \u091A\u093F\u0939\u094D\u0928 \u092C\u0926\u0932 \u091C\u093E\u0924\u093E\
\ \u0939\u0948\u0964"
D: "\u091C\u092C y-\u091A\u0930 \u0915\u0947 \u0932\u093F\u090F z-\u0938\u094D\
\u0915\u094B\u0930 \u0915\u094B x-\u091A\u0930 \u0915\u0947 \u0932\u093F\u090F\
\ z-\u0938\u094D\u0915\u094B\u0930 \u0915\u0947 \u0935\u093F\u0930\u0941\u0926\
\u094D\u0927 \u092A\u094D\u0932\u0949\u091F \u0915\u093F\u092F\u093E \u091C\
\u093E\u0924\u093E \u0939\u0948, \u0924\u094B \u0938\u0939\u0938\u0902\u092C\
\u0902\u0927 r \u092A\u094D\u0930\u0924\u093F\u0917\u092E\u0928 \u0930\u0947\
\u0916\u093E \u0915\u0947 \u0922\u0932\u093E\u0928 \u0915\u0947 \u092C\u0930\
\u093E\u092C\u0930 \u0939\u094B\u0924\u093E \u0939\u0948\u0964"
input_correct_responses:
- D
input_question: "\u0938\u0939\u0938\u0902\u092C\u0902\u0927 \u0915\u0947 \u092C\
\u093E\u0930\u0947 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\
\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\
\u093E \u0938\u0939\u0940 \u0915\u0925\u0928 \u0939\u0948?"
- input_choice_list:
A: E(X + Y) = 99, var(X + Y) = 8.5
B: E(X + Y) = 99, var(X + Y) = 13
C: E(X + Y) = 99, var(X + Y) = 17
D: "\u0907\u0938 \u092A\u094D\u0930\u0936\u094D\u0928 \u0915\u093E \u0909\u0924\
\u094D\u0924\u0930 \u0926\u0947\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
\ \u0905\u092A\u0930\u094D\u092F\u093E\u092A\u094D\u0924 \u091C\u093E\u0928\
\u0915\u093E\u0930\u0940 \u0939\u0948."
input_correct_responses:
- D
input_question: "\u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F \u0915\u093F\
\ X \u0914\u0930 Y, E(X) = 37, var(X) = 5, E(Y) = 62, \u0914\u0930 var(Y) =\
\ 12 \u0915\u0947 \u0938\u093E\u0925 \u092F\u093E\u0926\u0943\u091A\u094D\u091B\
\u093F\u0915 \u091A\u0930 \u0939\u0948\u0902\u0964 \u092F\u093E\u0926\u0943\u091A\
\u094D\u091B\u093F\u0915 \u091A\u0930 X + \u0915\u0947 \u0905\u092A\u0947\u0915\
\u094D\u0937\u093F\u0924 \u092E\u0942\u0932\u094D\u092F \u0914\u0930 \u092A\u094D\
\u0930\u0938\u0930\u0923 \u0915\u094D\u092F\u093E \u0939\u0948\u0902 \u0935\u093E\
\u0908?"
- input_choice_list:
A: "\u0909\u0928 \u092A\u0947\u0921\u093C\u094B\u0902 \u0915\u093E \u0905\u0928\
\u0941\u092A\u093E\u0924 \u091C\u093F\u0928\u094D\u0939\u0947\u0902 \u092A\
\u093E\u0932\u0947 \u0915\u0947 \u0915\u093E\u0930\u0923 50 \u092A\u094D\u0930\
\u0924\u093F\u0936\u0924 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0915\u094D\
\u0937\u0924\u093F \u0939\u0941\u0908\u0964"
B: "\u092A\u093E\u0932\u0947 \u0938\u0947 \u092A\u094D\u0930\u092D\u093E\u0935\
\u093F\u0924 \u092A\u0947\u0921\u093C\u094B\u0902 \u0915\u0940 \u0938\u0902\
\u0916\u094D\u092F\u093E."
C: "\u0909\u092A\u0935\u0928 \u0938\u0947 \u0928\u092E\u0942\u0928\u0947 \u0932\
\u093F\u090F \u0917\u090F \u092A\u0947\u0921\u093C\u094B\u0902 \u0915\u0940\
\ \u0938\u0902\u0916\u094D\u092F\u093E\u0964"
D: "\u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0928\u092E\u0942\u0928\
\u0947 \u0935\u093E\u0932\u0947 \u092A\u0947\u0921\u093C \u0915\u0947 \u0932\
\u093F\u090F, \u091A\u093E\u0939\u0947 \u0909\u0938\u0947 50 \u092A\u094D\u0930\
\u0924\u093F\u0936\u0924 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0915\u094D\
\u0937\u0924\u093F \u0939\u0941\u0908 \u0939\u094B \u092F\u093E \u0905\u0927\
\u093F\u0915\u0924\u092E 50 \u092A\u094D\u0930\u0924\u093F\u0936\u0924 \u0915\
\u094D\u0937\u0924\u093F \u0939\u0941\u0908 \u0939\u094B\u0964"
input_correct_responses:
- D
input_question: "\u092A\u093E\u0932\u0947 \u0915\u0940 \u091A\u0947\u0924\u093E\
\u0935\u0928\u0940 \u091C\u093E\u0930\u0940 \u0939\u094B\u0928\u0947 \u0915\u0947\
\ \u092C\u093E\u0926, \u090F\u0915 \u092C\u0921\u093C\u0947 \u0938\u0902\u0924\
\u0930\u0947 \u0915\u0947 \u092C\u093E\u0917 \u0915\u0947 \u092E\u093E\u0932\
\u093F\u0915 \u0928\u0947 \u0905\u092A\u0928\u0947 \u0915\u0930\u094D\u092E\u091A\
\u093E\u0930\u093F\u092F\u094B\u0902 \u0938\u0947 \u0905\u092A\u0928\u0947 \u0938\
\u092D\u0940 \u092A\u0947\u0921\u093C\u094B\u0902 \u092A\u0930 \u092A\u093E\u0928\
\u0940 \u091B\u093F\u0921\u093C\u0915\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
\ \u0915\u0939\u093E\u0964 \u0910\u0938\u093E \u092E\u093E\u0928\u093E \u091C\
\u093E\u0924\u093E \u0925\u093E \u0915\u093F \u092A\u093E\u0928\u0940 \u091C\
\u092E \u091C\u093E\u090F\u0917\u093E \u0914\u0930 \u0928\u093E\u0930\u0902\u0917\
\u0940 \u092B\u0942\u0932 \u0915\u0947 \u091A\u093E\u0930\u094B\u0902 \u0913\
\u0930 \u092C\u0930\u094D\u092B \u0915\u093E \u090F\u0915 \u0938\u0941\u0930\
\u0915\u094D\u0937\u093E\u0924\u094D\u092E\u0915 \u0906\u0935\u0930\u0923 \u092C\
\u0928 \u091C\u093E\u090F\u0917\u093E\u0964 \u092B\u093F\u0930 \u092D\u0940\
, \u092E\u093E\u0932\u093F\u0915 \u0915\u094B \u0938\u0902\u0926\u0947\u0939\
\ \u0939\u0948 \u0915\u093F \u0920\u0902\u0922 \u0915\u0947 \u0915\u093E\u0930\
\u0923 \u0915\u0941\u091B \u092A\u0947\u0921\u093C\u094B\u0902 \u0915\u094B\
\ \u0915\u093E\u092B\u0940 \u0928\u0941\u0915\u0938\u093E\u0928 \u0939\u0941\
\u0906 \u0939\u0948\u0964 \u0920\u0902\u0922 \u0915\u0947 \u0915\u093E\u0930\
\u0923 50 \u092A\u094D\u0930\u0924\u093F\u0936\u0924 \u0938\u0947 \u0905\u0927\
\u093F\u0915 \u0928\u0941\u0915\u0938\u093E\u0928 \u091D\u0947\u0932\u0928\u0947\
\ \u0935\u093E\u0932\u0947 \u092A\u0947\u0921\u093C\u094B\u0902 \u0915\u0947\
\ \u0905\u0928\u0941\u092A\u093E\u0924 \u0915\u093E \u0905\u0928\u0941\u092E\
\u093E\u0928 \u0932\u0917\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
, \u0909\u0928\u094D\u0939\u094B\u0902\u0928\u0947 \u0905\u092A\u0928\u0947\
\ \u0909\u092A\u0935\u0928 \u0938\u0947 100 \u092A\u0947\u0921\u093C\u094B\u0902\
\ \u0915\u093E \u090F\u0915 \u092F\u093E\u0926\u0943\u091A\u094D\u091B\u093F\
\u0915 \u0928\u092E\u0942\u0928\u093E \u0932\u093F\u092F\u093E\u0964 \u0907\u0938\
\ \u092A\u094D\u0930\u092F\u094B\u0917 \u092E\u0947\u0902 \u092A\u094D\u0930\
\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E \u091A\u0930 \u0915\u094D\u092F\
\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092E\u0924\u0932\u092C 518 \u0917\u094D\u0930\u093E\u092E; \u092E\u093E\
\u0928\u0915 \u0935\u093F\u091A\u0932\u0928 7.0 \u0917\u094D\u0930\u093E\u092E"
B: "\u092E\u0924\u0932\u092C 518 \u0917\u094D\u0930\u093E\u092E; \u092E\u093E\
\u0928\u0915 \u0935\u093F\u091A\u0932\u0928 3.5 \u0917\u094D\u0930\u093E\u092E"
C: "\u092E\u0924\u0932\u092C 518 \u0917\u094D\u0930\u093E\u092E; \u092E\u093E\
\u0928\u0915 \u0935\u093F\u091A\u0932\u0928 6.1 \u0917\u094D\u0930\u093E\u092E"
D: "\u092E\u0924\u0932\u092C 394 \u0917\u094D\u0930\u093E\u092E; \u092E\u093E\
\u0928\u0915 \u0935\u093F\u091A\u0932\u0928 6.1 \u0917\u094D\u0930\u093E\u092E"
input_correct_responses:
- C
input_question: "\u090F\u0915 \u0928\u0908 \u0938\u094D\u092E\u093E\u0930\u094D\
\u091F\u0935\u0949\u091A \u0915\u093E \u0928\u093F\u0930\u094D\u092E\u093E\u0923\
\ \u0915\u093E\u0930\u0916\u093E\u0928\u0947 \u0915\u0947 \u090F\u0915 \u0939\
\u093F\u0938\u094D\u0938\u0947 \u092E\u0947\u0902 \u0915\u093F\u092F\u093E \u091C\
\u093E\u0924\u093E \u0939\u0948, \u092B\u093F\u0930 \u0915\u093E\u0930\u0916\
\u093E\u0928\u0947 \u0915\u0947 \u0926\u0942\u0938\u0930\u0947, \u0938\u094D\
\u0935\u0924\u0902\u0924\u094D\u0930 \u0939\u093F\u0938\u094D\u0938\u0947 \u092E\
\u0947\u0902 \u0936\u093F\u092A\u093F\u0902\u0917 \u0915\u0947 \u0932\u093F\u090F\
\ \u0938\u0941\u0930\u0915\u094D\u0937\u093F\u0924 \u0915\u093F\u092F\u093E\
\ \u091C\u093E\u0924\u093E \u0939\u0948\u0964 \u0938\u094D\u092E\u093E\u0930\
\u094D\u091F\u0935\u0949\u091A \u0915\u093E \u0935\u091C\u0928 \u0914\u0938\u0924\
\ 62 \u0917\u094D\u0930\u093E\u092E \u0914\u0930 \u092E\u093E\u0928\u0915 \u0935\
\u093F\u091A\u0932\u0928 1.0 \u0917\u094D\u0930\u093E\u092E \u0939\u0948\u0964\
\ \u092A\u0948\u0915\u0947\u091C\u093F\u0902\u0917 \u0915\u093E \u0935\u091C\
\u0928 (\u092C\u0949\u0915\u094D\u0938, \u0909\u092A\u092F\u094B\u0917\u0915\
\u0930\u094D\u0924\u093E \u0917\u093E\u0907\u0921, \u092C\u092C\u0932 \u0930\
\u0948\u092A, \u0906\u0926\u093F) \u0915\u093E \u0914\u0938\u0924 456 \u0917\
\u094D\u0930\u093E\u092E \u0914\u0930 \u092E\u093E\u0928\u0915 \u0935\u093F\u091A\
\u0932\u0928 6 \u0917\u094D\u0930\u093E\u092E \u0939\u0948\u0964 \u0938\u093E\
\u0925 \u092E\u0947\u0902, \u0938\u094D\u092E\u093E\u0930\u094D\u091F\u0935\u0949\
\u091A \u0914\u0930 \u0909\u0938\u0915\u0940 \u092A\u0948\u0915\u0947\u091C\u093F\
\u0902\u0917 \u0915\u0947 \u0935\u091C\u0928 \u0915\u0947 \u0935\u093F\u0924\
\u0930\u0923 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\
\u093F\u0924 \u092E\u093E\u0927\u094D\u092F \u0914\u0930 \u092E\u093E\u0928\u0915\
\ \u0935\u093F\u091A\u0932\u0928 \u0939\u094B\u0917\u093E:"
- input_choice_list:
A: "\u092E\u0948\u0902, \u0926\u094D\u0935\u093F\u0924\u0940\u092F"
B: "\u0926\u094D\u0935\u093F\u0924\u0940\u092F, \u0924\u0943\u0924\u0940\u092F"
C: "\u0924\u0943\u0924\u0940\u092F, \u092E\u0948\u0902"
D: "\u0924\u0943\u0924\u0940\u092F, \u0926\u094D\u0935\u093F\u0924\u0940\u092F"
input_correct_responses:
- D
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u0938\u0947\u091F \u0915\
\u093E \u092E\u093E\u0928\u0915 \u0935\u093F\u091A\u0932\u0928 \u0938\u092C\u0938\
\u0947 \u091B\u094B\u091F\u093E \u0939\u0948? \u0938\u092C\u0938\u0947 \u092C\
\u0921\u093C\u093E \u0915\u094C\u0928 \u0938\u093E \u0939\u0948? I: {1,2,3}\
\ II: {-10,10} III: {100}"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_statistics
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_high_school_statistics
task_alias: high_school_statistics
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u092C\u0947\u0915\u0928 \u0915\u0947 \u0935\u093F\u0926\u094D\u0930\u094B\
\u0939 \u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u0938\u0902\u0917\u0920\
\u093F\u0924 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E"
B: "\u0936\u0947\u091C\u093C \u0915\u0947 \u0935\u093F\u0926\u094D\u0930\u094B\
\u0939 \u092A\u0930 \u0938\u0902\u0918\u0940\u092F \u092A\u094D\u0930\u0924\
\u093F\u0915\u094D\u0930\u093F\u092F\u093E"
C: "\u0935\u094D\u0939\u093F\u0938\u094D\u0915\u0940 \u0935\u093F\u0926\u094D\
\u0930\u094B\u0939 \u092A\u0930 \u0938\u0902\u0918\u0940\u092F \u092A\u094D\
\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E"
D: "\u092A\u094B\u0902\u091F\u093F\u092F\u093E\u0915 \u0915\u0947 \u0935\u093F\
\u0926\u094D\u0930\u094B\u0939 \u092A\u0930 \u0938\u0902\u0918\u0940\u092F\
\ \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E"
input_correct_responses:
- C
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 "\u0939\u0930 \u0930\u093E\u091C\u094D\
\u092F \u092E\u0947\u0902 \u0938\u092E\u093E\u091C \u090F\u0915 \u0906\u0936\
\u0940\u0930\u094D\u0935\u093E\u0926 \u0939\u0948, \u0932\u0947\u0915\u093F\u0928\
\ \u0938\u0930\u0915\u093E\u0930 \u0905\u092A\u0928\u0947 \u0938\u092C\u0938\
\u0947 \u0905\u091A\u094D\u091B\u0947 \u0930\u093E\u091C\u094D\u092F \u092E\u0947\
\u0902 \u092D\u0940 \u090F\u0915 \u0906\u0935\u0936\u094D\u092F\u0915 \u092C\
\u0941\u0930\u093E\u0908 \u0939\u0948; \u0905\u092A\u0928\u0940 \u0938\u092C\
\u0938\u0947 \u0916\u0930\u093E\u092C \u0938\u094D\u0925\u093F\u0924\u093F \u092E\
\u0947\u0902 \u092F\u0939 \u0905\u0938\u0939\u0928\u0940\u092F \u0939\u0948\
; \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u091C\u092C \u0939\u092E \u092A\
\u0940\u0921\u093C\u093F\u0924 \u0939\u094B\u0924\u0947 \u0939\u0948\u0902,\
\ \u092F\u093E \u0938\u0930\u0915\u093E\u0930 \u0926\u094D\u0935\u093E\u0930\
\u093E \u0909\u0928\u094D\u0939\u0940\u0902 \u0926\u0941\u0916\u094B\u0902 \u0915\
\u093E \u0938\u093E\u092E\u0928\u093E \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\
, \u091C\u093F\u0928\u0915\u0940 \u0939\u092E \u0909\u092E\u094D\u092E\u0940\
\u0926 \u0915\u0930 \u0938\u0915\u0924\u0947 \u0939\u0948\u0902 \u092C\u093F\
\u0928\u093E \u0938\u0930\u0915\u093E\u0930 \u0935\u093E\u0932\u0947 \u0926\u0947\
\u0936 \u092E\u0947\u0902, \u0939\u092E\u093E\u0930\u0940 \u0935\u093F\u092A\
\u0924\u094D\u0924\u093F \u092F\u0939 \u0926\u0930\u094D\u0936\u093E\u0924\u0947\
\ \u0939\u0941\u090F \u092C\u0922\u093C \u091C\u093E\u0924\u0940 \u0939\u0948\
\ \u0915\u093F \u0939\u092E \u0909\u0928 \u0938\u093E\u0927\u0928\u094B\u0902\
\ \u0915\u094B \u092A\u094D\u0930\u0938\u094D\u0924\u0941\u0924 \u0915\u0930\
\u0924\u0947 \u0939\u0948\u0902 \u091C\u093F\u0928\u0915\u0947 \u0926\u094D\u0935\
\u093E\u0930\u093E \u0939\u092E \u092A\u0940\u0921\u093C\u093F\u0924 \u0939\u094B\
\u0924\u0947 \u0939\u0948\u0902\u0964 \u0938\u0930\u0915\u093E\u0930, \u092A\
\u094B\u0936\u093E\u0915 \u0915\u0940 \u0924\u0930\u0939, \u0916\u094B\u0908\
\ \u0939\u0941\u0908 \u092E\u093E\u0938\u0942\u092E\u093F\u092F\u0924 \u0915\
\u093E \u092A\u094D\u0930\u0924\u0940\u0915 \u0939\u0948; \u0930\u093E\u091C\
\u093E\u0913\u0902 \u0915\u0947 \u092E\u0939\u0932 \u0938\u094D\u0935\u0930\u094D\
\u0917 \u0915\u0947 \u0927\u0928\u0941\u0937 \u0915\u0947 \u0916\u0902\u0921\
\u0939\u0930\u094B\u0902 \u092A\u0930 \u092C\u0928\u0947 \u0939\u094B\u0924\u0947\
\ \u0939\u0948\u0902\u0964 \u092F\u0926\u093F \u0905\u0902\u0924\u0930\u093E\
\u0924\u094D\u092E\u093E \u0915\u0947 \u0906\u0935\u0947\u0917 \u0938\u094D\u092A\
\u0937\u094D\u091F, \u090F\u0915\u0938\u092E\u093E\u0928 \u0914\u0930 \u0905\
\u092A\u094D\u0930\u0924\u093F\u0930\u094B\u0927\u094D\u092F \u0930\u0942\u092A\
\ \u0938\u0947 \u092E\u093E\u0928\u0947 \u0917\u090F \u0939\u094B\u0924\u0947\
, \u0924\u094B \u092E\u0928\u0941\u0937\u094D\u092F \u0915\u094B \u0915\u093F\
\u0938\u0940 \u0905\u0928\u094D\u092F \u0915\u093E\u0928\u0942\u0928 \u0926\u0947\
\u0928\u0947 \u0935\u093E\u0932\u0947 \u0915\u0940 \u0906\u0935\u0936\u094D\u092F\
\u0915\u0924\u093E \u0928\u0939\u0940\u0902 \u0939\u094B\u0924\u0940; \u0932\
\u0947\u0915\u093F\u0928 \u0910\u0938\u093E \u0928\u0939\u0940\u0902 \u0939\u094B\
\u0928\u0947 \u092A\u0930, \u0935\u0939 \u092C\u093E\u0915\u0940 \u0915\u0940\
\ \u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\u0947 \u0932\u093F\u090F\
\ \u0938\u093E\u0927\u0928 \u091C\u0941\u091F\u093E\u0928\u0947 \u0915\u0947\
\ \u0932\u093F\u090F \u0905\u092A\u0928\u0940 \u0938\u0902\u092A\u0924\u094D\
\u0924\u093F \u0915\u093E \u090F\u0915 \u0939\u093F\u0938\u094D\u0938\u093E\
\ \u0906\u0924\u094D\u092E\u0938\u092E\u0930\u094D\u092A\u0923 \u0915\u0930\u0928\
\u093E \u0906\u0935\u0936\u094D\u092F\u0915 \u0938\u092E\u091D\u0924\u093E \u0939\
\u0948; \u0914\u0930 \u092F\u0939 \u0909\u0938\u0947 \u0909\u0938\u0940 \u0935\
\u093F\u0935\u0947\u0915 \u0938\u0947 \u0915\u0930\u0928\u0947 \u0915\u0947\
\ \u0932\u093F\u090F \u092A\u094D\u0930\u0947\u0930\u093F\u0924 \u0915\u093F\
\u092F\u093E \u091C\u093E\u0924\u093E \u0939\u0948 \u091C\u094B \u0939\u0930\
\ \u0926\u0942\u0938\u0930\u0947 \u092E\u093E\u092E\u0932\u0947 \u092E\u0947\
\u0902 \u0909\u0938\u0947 \u0926\u094B \u092C\u0941\u0930\u093E\u0907\u092F\u094B\
\u0902 \u092E\u0947\u0902 \u0938\u0947 \u0915\u092E \u0938\u0947 \u0915\u092E\
\ \u091A\u0941\u0928\u0928\u0947 \u0915\u0940 \u0938\u0932\u093E\u0939 \u0926\
\u0947\u0924\u093E \u0939\u0948\u0964 \u0907\u0938\u0932\u093F\u090F, \u0938\
\u0941\u0930\u0915\u094D\u0937\u093E \u0938\u0930\u0915\u093E\u0930 \u0915\u093E\
\ \u0905\u0938\u0932\u0940 \u0921\u093F\u091C\u093E\u0907\u0928 \u0914\u0930\
\ \u0905\u0902\u0924 \u0939\u0948, \u092F\u0939 \u0928\u093F\u0930\u094D\u0935\
\u093F\u0935\u093E\u0926 \u0930\u0942\u092A \u0938\u0947 \u0907\u0938 \u092C\
\u093E\u0924 \u0915\u093E \u0905\u0928\u0941\u0938\u0930\u0923 \u0915\u0930\u0924\
\u093E \u0939\u0948 \u0915\u093F \u091C\u094B \u092D\u0940 \u0930\u0942\u092A\
\ \u0926\u093F\u0916\u093E\u0908 \u0926\u0947\u0924\u093E \u0939\u0948 \u0935\
\u0939 \u0938\u0941\u0928\u093F\u0936\u094D\u091A\u093F\u0924 \u0915\u0930\u0928\
\u0947 \u0915\u0940 \u0938\u092C\u0938\u0947 \u0905\u0927\u093F\u0915 \u0938\
\u0902\u092D\u093E\u0935\u0928\u093E \u0939\u0948 \u092F\u0939 \u0939\u092E\u093E\
\u0930\u0947 \u0932\u093F\u090F, \u0938\u092C\u0938\u0947 \u0915\u092E \u0916\
\u0930\u094D\u091A \u0914\u0930 \u0938\u092C\u0938\u0947 \u0905\u0927\u093F\u0915\
\ \u0932\u093E\u092D \u0915\u0947 \u0938\u093E\u0925, \u0905\u0928\u094D\u092F\
\ \u0938\u092D\u0940 \u0938\u0947 \u092C\u0947\u0939\u0924\u0930 \u0939\u0948\
\u0964" \u0925\u0949\u092E\u0938 \u092A\u0947\u0928, \u0915\u0949\u092E\
\u0928 \u0938\u0947\u0902\u0938, 1776 \u0909\u092A\u0930\u094B\u0915\u094D\u0924\
\ \u092C\u0924\u093E\u090F \u0917\u090F \u0928\u093F\u092E\u094D\u0928\u0932\
\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\
\ "\u0926\u0941\u0916" \u0915\u0940 \u0915\u094D\u0930\u093E\u0902\
\u0924\u093F\u0915\u093E\u0930\u0940 \u092F\u0941\u0917 \u0915\u0947 \u092C\u093E\
\u0926 \u0915\u0947 \u0938\u0902\u0918-\u0935\u093F\u0930\u094B\u0927\u0940\
\ \u0932\u094B\u0917\u094B\u0902 \u0926\u094D\u0935\u093E\u0930\u093E \u0938\
\u092C\u0938\u0947 \u0905\u0927\u093F\u0915 \u0928\u093F\u0902\u0926\u093E \u0915\
\u0940 \u0917\u0908 \u0925\u0940?"
- input_choice_list:
A: "\u092C\u094D\u0930\u093F\u091F\u093F\u0936 \u0928\u0940\u0924\u093F\u092F\
\u094B\u0902 \u0914\u0930 \u0909\u0924\u094D\u0924\u0930\u0940 \u0905\u092E\
\u0947\u0930\u093F\u0915\u0940 \u0909\u092A\u0928\u093F\u0935\u0947\u0936\u0935\
\u093E\u0926\u093F\u092F\u094B\u0902 \u0915\u0940 \u0906\u0915\u093E\u0902\
\u0915\u094D\u0937\u093E\u0913\u0902 \u0915\u0947 \u092C\u0940\u091A \u0924\
\u0928\u093E\u0935\u0964"
B: "\u092B\u094D\u0930\u093E\u0902\u0938\u0940\u0938\u093F\u092F\u094B\u0902\
\ \u0938\u0947 \u0938\u0902\u092C\u0926\u094D\u0927 \u0905\u092E\u0947\u0930\
\u093F\u0915\u0940 \u092D\u093E\u0930\u0924\u0940\u092F\u094B\u0902 \u0914\
\u0930 \u092C\u094D\u0930\u093F\u091F\u093F\u0936 \u0938\u0947 \u0938\u0902\
\u092C\u0926\u094D\u0927 \u092D\u093E\u0930\u0924\u0940\u092F\u094B\u0902\
\ \u0915\u0947 \u092C\u0940\u091A \u0924\u0928\u093E\u0935\u0964"
C: "\u092E\u0941\u0915\u094D\u0924 \u0905\u092B\u094D\u0930\u0940\u0915\u0940\
\ \u0905\u092E\u0947\u0930\u093F\u0915\u093F\u092F\u094B\u0902 \u0914\u0930\
\ \u0936\u094D\u0935\u0947\u0924 \u092C\u093E\u0917\u0935\u093E\u0928\u094B\
\u0902 \u0915\u0947 \u092C\u0940\u091A \u0924\u0928\u093E\u0935\u0964"
D: "\u0914\u092A\u0928\u093F\u0935\u0947\u0936\u093F\u0915 \u0905\u092E\u0947\
\u0930\u093F\u0915\u093E \u0915\u0947 \u092D\u0940\u0924\u0930 \u092A\u093F\
\u091B\u0921\u093C\u0947 \u0907\u0932\u093E\u0915\u094B\u0902 \u092E\u0947\
\u0902 \u092C\u0938\u0928\u0947 \u0935\u093E\u0932\u094B\u0902 \u0914\u0930\
\ \u0905\u092D\u093F\u091C\u093E\u0924 \u0935\u0930\u094D\u0917 \u0915\u0947\
\ \u092C\u0940\u091A \u0924\u0928\u093E\u0935\u0964"
input_correct_responses:
- D
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 "\u0915\u0949\u0928\u0947\u0938\u094D\
\u091F\u094B\u0917\u093E \u092E\u0928\u094B\u0930 \u0914\u0930 \u0932\u0948\u0902\
\u0915\u0947\u0938\u094D\u091F\u0930 \u092E\u0947\u0902 \u0939\u092E\u093E\u0930\
\u0947 \u0926\u0947\u0930 \u0938\u0947 \u0906\u091A\u0930\u0923 \u0915\u0947\
\ \u0915\u093E\u0930\u0923 \u092F\u0939\u093E\u0902 \u0914\u0930 \u092A\u0921\
\u093C\u094B\u0938\u0940 \u0938\u0930\u0915\u093E\u0930\u094B\u0902 \u092E\u0947\
\u0902 \u092C\u0939\u0941\u0924 \u0905\u0927\u093F\u0915 \u0905\u091F\u0915\u0932\
\u0947\u0902 \u0914\u0930 \u092D\u093E\u0935\u0928\u093E\u0913\u0902 \u0915\u0940\
\ \u090F\u0915 \u092C\u0921\u093C\u0940 \u0935\u093F\u0935\u093F\u0927\u0924\
\u093E \u092A\u0948\u0926\u093E \u0939\u0941\u0908 \u0939\u0948; \u0915\u0941\
\u091B \u0907\u0938\u0915\u0940 \u092A\u0941\u0937\u094D\u091F\u093F \u0915\u0930\
\ \u0930\u0939\u0947 \u0939\u0948\u0902 \u0914\u0930 \u0905\u0928\u094D\u092F\
\ \u0907\u0938\u0915\u0940 \u0928\u093F\u0902\u0926\u093E \u0915\u0930 \u0930\
\u0939\u0947 \u0939\u0948\u0902; \u0915\u0941\u091B \u0909\u0926\u093E\u0930\
\u0924\u093E\u092A\u0942\u0930\u094D\u0935\u0915 \u0905\u092A\u0930\u093E\u0927\
\ \u0915\u094B \u0915\u092E \u0915\u0930 \u0930\u0939\u0947 \u0939\u0948\u0902\
, \u0914\u0930 \u0905\u0928\u094D\u092F \u0926\u0941\u0930\u094D\u092D\u093E\
\u0935\u0928\u093E\u092A\u0942\u0930\u094D\u0923 \u0930\u0942\u092A \u0938\u0947\
\ \u0907\u0938\u0947 \u0938\u092C\u0938\u0947 \u0918\u0943\u0923\u093F\u0924\
\ \u0914\u0930 \u091A\u093F\u0924\u094D\u0930\u093F\u0924 \u0915\u0930 \u0930\
\u0939\u0947 \u0939\u0948\u0902 \u0918\u0943\u0923\u093F\u0924 \u0930\u0902\u0917\
, \u0939\u092E \u0938\u094B\u091A\u0924\u0947 \u0939\u0948\u0902 \u0915\u093F\
\ \u092F\u0939 \u0939\u092E\u093E\u0930\u093E \u0915\u0930\u094D\u0924\u0935\
\u094D\u092F \u0939\u0948 \u0915\u093F \u0939\u092E \u091C\u0928\u0924\u093E\
\ \u0915\u0947 \u0938\u093E\u092E\u0928\u0947 \u0938\u0902\u092A\u0942\u0930\
\u094D\u0923 \u092A\u0926\u093E\u0930\u094D\u0925 \u0915\u094B \u0909\u0938\u0940\
\ \u0930\u0942\u092A \u092E\u0947\u0902 \u0930\u0916\u0947\u0902 \u091C\u0948\
\u0938\u093E \u0935\u0939 \u092A\u094D\u0930\u0915\u091F \u0939\u0941\u0906\
\ \u0925\u093E, \u0914\u0930 \u0905\u092D\u0940 \u092D\u0940 \u0939\u092E\u093E\
\u0930\u0947 \u0938\u093E\u092E\u0928\u0947 \u092A\u094D\u0930\u0915\u091F \u0939\
\u094B\u0924\u093E \u0939\u0948\u0964 , \u0909\u0928\u0938\u0947 \u0926\u094B\
\u0938\u094D\u0924\u0940 \u0915\u0930\u0928\u0947 \u0915\u093E \u090F\u0915\
\ \u0928\u093F\u0936\u094D\u091A\u093F\u0924 \u0938\u0902\u0915\u0932\u094D\u092A\
\ \u0914\u0930 \u092E\u093E\u0928\u0935\u0940\u092F \u0938\u0902\u0915\u091F\
\u094B\u0902 \u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u092A\u0942\u0930\u0940\
\ \u0924\u0930\u0939 \u0938\u0947 \u0905\u0938\u0902\u0935\u0947\u0926\u0928\
\u0936\u0940\u0932\u0924\u093E, \u0906\u0907\u090F \u0915\u0941\u091B \u0914\
\u0930 \u0939\u093E\u0932\u093F\u092F\u093E \u0924\u0925\u094D\u092F\u094B\u0902\
\ \u092A\u0930 \u0935\u093F\u091A\u093E\u0930 \u0915\u0930\u0947\u0902\u0964\
\ \u092A\u093F\u091B\u0932\u0940 \u0917\u0930\u094D\u092E\u093F\u092F\u094B\u0902\
\ \u092E\u0947\u0902 \u091C\u092C \u0939\u092E\u0947\u0902 \u092A\u0924\u093E\
\ \u091A\u0932\u093E \u0915\u093F \u0939\u092E\u0947\u0902 \u0938\u0930\u0915\
\u093E\u0930 \u0938\u0947 \u0915\u094B\u0908 \u0938\u0939\u093E\u092F\u0924\u093E\
\ \u0928\u0939\u0940\u0902 \u092E\u093F\u0932\u0928\u0947 \u0935\u093E\u0932\
\u0940 \u0939\u0948, \u0924\u094B \u0915\u0941\u091B \u0938\u094D\u0935\u092F\
\u0902\u0938\u0947\u0935\u0915 \u0939\u092E\u093E\u0930\u0947 \u0938\u094D\u0935\
\u092F\u0902 \u0915\u0947 \u0916\u0930\u094D\u091A \u092A\u0930 \u0939\u092E\
\u093E\u0930\u0947 \u0926\u0941\u0936\u094D\u092E\u0928\u094B\u0902 \u0915\u094B\
\ \u0939\u092E\u093E\u0930\u0940 \u0938\u0940\u092E\u093E\u0913\u0902 \u0938\
\u0947 \u0916\u0926\u0947\u0921\u093C\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
\ \u0926\u0943\u0922\u093C \u0938\u0902\u0915\u0932\u094D\u092A\u093F\u0924\
\ \u0939\u094B\u0915\u0930 \u0928\u093F\u0915\u0932 \u092A\u0921\u093C\u0947\
; \u0914\u0930 \u091C\u092C \u0939\u092E \u092E\u0939\u093E\u0928 \u0926\u094D\
\u0935\u0940\u092A \u0915\u0947 \u0928\u093F\u0915\u091F \u092A\u0939\u0941\u0902\
\u091A\u0947, \u0924\u094B \u0939\u092E\u0947\u0902 \u092A\u0924\u093E \u091A\
\u0932\u093E \u0915\u093F \u0909\u0928\u0915\u0947 \u0915\u0908 \u092F\u094B\
\u0926\u094D\u0927\u093E \u0939\u092E\u093E\u0930\u0940 \u0938\u0940\u092E\u093E\
\u0913\u0902 \u0915\u0947 \u0935\u093F\u0930\u0941\u0926\u094D\u0927 \u0928\u093F\
\u0915\u0932 \u092A\u0921\u093C\u0947 \u0939\u0948\u0902\u0964 \u0907\u0938\
\ \u092A\u0930 \u0939\u092E \u0932\u094C\u091F \u0906\u090F \u0914\u0930 \u0909\
\u0928\u0915\u0947 \u0938\u093E\u0925 \u0906\u090F \u0914\u0930 \u092E\u0941\
\u0928\u094D\u092B\u093C\u0940 \u0939\u093F\u0932 \u092A\u0930 \u0909\u0928\u0915\
\u0947 \u0938\u093E\u0925 \u0932\u0921\u093C\u093E\u0908 \u0915\u0940, \u091C\
\u0939\u093E\u0902 \u0939\u092E\u0928\u0947 \u0905\u092A\u0928\u0947 \u0915\u0941\
\u091B \u0932\u094B\u0917\u094B\u0902 \u0915\u094B \u0916\u094B \u0926\u093F\
\u092F\u093E \u0914\u0930 \u0909\u0928\u0915\u0947 \u0915\u0941\u091B \u092F\
\u094B\u0926\u094D\u0927\u093E\u0913\u0902 \u0915\u094B \u092E\u093E\u0930 \u0921\
\u093E\u0932\u093E \u0914\u0930 \u0907\u0938 \u0924\u0930\u0939 \u090F\u0915\
\ \u0905\u0928\u094D\u092F \u0905\u092D\u093F\u092F\u093E\u0928 \u092E\u0947\
\u0902 \u0907\u0938 \u0915\u0939\u093E\u0928\u0940 \u0938\u0947 \u0939\u092E\
\u093E\u0930\u0947 \u092B\u094D\u0930\u0902\u091F\u093F\u092F\u0930\u094D\u0938\
\ \u0915\u094B \u092C\u091A\u093E\u092F\u093E\u0964 \u0932\u0947\u0915\u093F\
\u0928 \u091C\u0948\u0938\u0947 \u0939\u0940 \u0939\u092E\u0928\u0947 \u092E\
\u0939\u093E\u0928 \u0926\u094D\u0935\u0940\u092A \u092A\u0930 \u0909\u0928\u0915\
\u0947 \u092A\u094D\u0930\u093E\u0935\u0927\u093E\u0928\u094B\u0902 \u0915\u094B\
\ \u0928\u0937\u094D\u091F \u0915\u0930 \u0926\u093F\u092F\u093E, \u0914\u0930\
\ \u092C\u0947\u0925\u0932\u0939\u092E \u092E\u0947\u0902 \u0905\u091A\u094D\
\u091B\u0947 \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0938\u093E\u0925\
\ \u0909\u0928\u0915\u0947 \u0935\u094D\u092F\u093E\u092A\u093E\u0930 \u0915\
\u094B \u092C\u0930\u094D\u092C\u093E\u0926 \u0915\u0930 \u0926\u093F\u092F\u093E\
, \u0932\u0947\u0915\u093F\u0928 \u092F\u0947 \u0935\u0939\u0940 \u092D\u093E\
\u0930\u0924\u0940\u092F \u0925\u0947, \u091C\u093F\u0928 \u092A\u0930 \u0928\
\u0949\u0930\u094D\u0925\u092E\u094D\u092A\u094D\u091F\u0928 \u0915\u093E\u0909\
\u0902\u091F\u0940 \u092E\u0947\u0902 \u0939\u092E\u093E\u0930\u0947 \u0926\u094B\
\u0938\u094D\u0924\u094B\u0902 \u0915\u0940 \u0939\u0924\u094D\u092F\u093E \u0915\
\u0930\u0928\u0947 \u0915\u093E \u0909\u091A\u093F\u0924 \u0938\u0902\u0926\u0947\
\u0939 \u0925\u093E, \u0915\u0941\u091B \u0915\u094D\u0935\u0947\u0915\u0930\
\u094B\u0902 \u0915\u0947 \u092A\u094D\u0930\u092D\u093E\u0935 \u0938\u0947\
\ \u092A\u0915\u0921\u093C\u0947 \u0917\u090F \u0925\u0947 \u092E\u093E\u0930\
\u0947 \u0917\u090F \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0926\u094B\
\u0938\u094D\u0924\u094B\u0902 \u0914\u0930 \u0938\u0902\u092C\u0902\u0927\u094B\
\u0902 \u0915\u0940 \u0928\u093E\u0930\u093E\u091C\u0917\u0940 \u0938\u0947\
\ \u0909\u0928\u094D\u0939\u0947\u0902 \u092C\u091A\u093E\u0928\u0947 \u0915\
\u0947 \u0932\u093F\u090F, \u0914\u0930 \u0938\u0930\u094D\u0926\u093F\u092F\
\u094B\u0902 \u0924\u0915 \u0909\u0928\u0915\u093E \u0938\u092E\u0930\u094D\u0925\
\u0928 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0938\u0930\
\u0915\u093E\u0930 \u0915\u0940 \u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\
\u0947 \u0924\u0939\u0924\u0964 \u0907\u0938 \u0938\u0902\u0926\u0930\u094D\u092D\
\ \u0915\u094B \u090F\u0915 \u0938\u094D\u092A\u0937\u094D\u091F\u0940\u0915\
\u0930\u0923 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u092A\u0922\
\u093C\u093E \u091C\u093E\u0928\u093E \u091A\u093E\u0939\u093F\u090F, \u0928\
\ \u0915\u093F \u0905\u092A\u0930\u093E\u0927 \u092F\u093E \u0916\u0947\u0926\
\ \u0915\u0940 \u0938\u094D\u0935\u0940\u0915\u0943\u0924\u093F \u0915\u0947\
\ \u0930\u0942\u092A \u092E\u0947\u0902\u0964) \u090A\u092A\u0930 \u0926\u093F\
\u090F \u0917\u090F \u0938\u094D\u092A\u0937\u094D\u091F\u0940\u0915\u0930\u0923\
\ \u092E\u0947\u0902 \u0935\u094D\u092F\u0915\u094D\u0924 \u092D\u093E\u0935\
\u0928\u093E\u090F\u0902 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u0907\u0924\
\u093F\u0939\u093E\u0938 \u0915\u0947 \u0914\u092A\u0928\u093F\u0935\u0947\u0936\
\u093F\u0915 \u0915\u093E\u0932 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928\
\ \u091A\u0932 \u0930\u0939\u0947 \u0924\u0928\u093E\u0935\u094B\u0902 \u092E\
\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0915\u094B \u0926\u0930\u094D\u0936\
\u093E\u0924\u0940 \u0939\u0948\u0902?"
- input_choice_list:
A: "\u0938\u092E\u093E\u0928 \u0905\u0927\u093F\u0915\u093E\u0930 \u0938\u0902\
\u0936\u094B\u0927\u0928"
B: "\u0935\u094D\u092F\u093E\u092A\u0915 \u092E\u0924\u093E\u0927\u093F\u0915\
\u093E\u0930"
C: "\u0930\u093E\u091C\u094D\u092F\u094B\u0902 \u0915\u0947 \u0905\u0927\u093F\
\u0915\u093E\u0930"
D: "\u0928\u093F\u0937\u0947\u0927"
input_correct_responses:
- B
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 "\u0928\u090F \u0915\u093E\u0928\u0942\
\u0928 \u0938\u0902\u0939\u093F\u0924\u093E \u092E\u0947\u0902, \u091C\u094B\
\ \u092E\u0941\u091D\u0947 \u0932\u0917\u0924\u093E \u0939\u0948, \u0906\u092A\
\u0915\u0947 \u0932\u093F\u090F \u092F\u0939 \u0906\u0935\u0936\u094D\u092F\u0915\
\ \u0939\u094B\u0917\u093E \u0915\u093F \u092E\u0948\u0902 \u091A\u093E\u0939\
\u0924\u093E \u0939\u0942\u0902 \u0915\u093F \u0906\u092A \u092E\u0939\u093F\
\u0932\u093E\u0913\u0902 \u0915\u094B \u092F\u093E\u0926 \u0930\u0916\u0947\u0902\
, \u0914\u0930 \u0905\u092A\u0928\u0947 \u092A\u0942\u0930\u094D\u0935\u091C\
\u094B\u0902 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902\
\ \u0909\u0928\u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u0905\u0927\u093F\
\u0915 \u0909\u0926\u093E\u0930 \u0914\u0930 \u0905\u0928\u0941\u0915\u0942\u0932\
\ \u092C\u0928\u0947\u0902\u0964 \u092A\u0924\u093F\u092F\u094B\u0902 \u0915\
\u0947 \u0939\u093E\u0925\u094B\u0902 \u092E\u0947\u0902 \u0910\u0938\u0940\
\ \u0905\u0938\u0940\u092E\u093F\u0924 \u0936\u0915\u094D\u0924\u093F \u0928\
\ \u0926\u0947\u0902 \u092F\u093E\u0926 \u0930\u0916\u0947\u0902 \u0915\u093F\
\ \u092F\u0926\u093F \u0938\u0902\u092D\u0935 \u0939\u0941\u0906 \u0924\u094B\
\ \u0938\u092D\u0940 \u092A\u0941\u0930\u0941\u0937 \u0905\u0924\u094D\u092F\
\u093E\u091A\u093E\u0930\u0940 \u0939\u094B\u0902\u0917\u0947\u0964 \u092F\u0926\
\u093F \u092E\u0939\u093F\u0932\u093E\u0913\u0902 \u0915\u0940 \u0935\u093F\u0936\
\u0947\u0937 \u0926\u0947\u0916\u092D\u093E\u0932 \u0914\u0930 \u0927\u094D\u092F\
\u093E\u0928 \u0928\u0939\u0940\u0902 \u0926\u093F\u092F\u093E \u0917\u092F\u093E\
\ \u0924\u094B \u0939\u092E \u0935\u093F\u0926\u094D\u0930\u094B\u0939 \u0915\
\u094B \u092C\u0922\u093C\u093E\u0935\u093E \u0926\u0947\u0928\u0947 \u0915\u0947\
\ \u0932\u093F\u090F \u0926\u0943\u0922\u093C \u0939\u0948\u0902, \u0914\u0930\
\ \u0916\u0941\u0926 \u0915\u094B \u0910\u0938\u0947 \u0915\u093F\u0938\u0940\
\ \u092D\u0940 \u0915\u093E\u0928\u0942\u0928 \u0938\u0947 \u092C\u0902\u0927\
\u0947 \u0928\u0939\u0940\u0902 \u0930\u0916\u0947\u0902\u0917\u0947 \u091C\u093F\
\u0938\u092E\u0947\u0902 \u0939\u092E\u093E\u0930\u0940 \u0915\u094B\u0908 \u0906\
\u0935\u093E\u091C \u092F\u093E \u092A\u094D\u0930\u0924\u093F\u0928\u093F\u0927\
\u093F\u0924\u094D\u0935 \u0928\u0939\u0940\u0902 \u0939\u0948\u0964" 1776\
\ \u092E\u0947\u0902 \u091C\u0949\u0928 \u090F\u0921\u092E\u094D\u0938 \u0915\
\u094B \u0932\u093F\u0916\u0947 \u090F\u0915 \u092A\u0924\u094D\u0930 \u092E\
\u0947\u0902 \u0905\u092C\u0940\u0917\u0948\u0932 \u090F\u0921\u092E\u094D\u0938\
\ \u0928\u0947 \u0915\u0939\u093E, "\u092E\u0939\u093F\u0932\u093E\u0913\
\u0902 \u0915\u0947 \u0932\u093F\u090F \u0935\u093F\u0936\u0947\u0937 \u0915\
\u093E\u0928\u0942\u0928 \u0928\u0947 \u0939\u092E\u0947\u0902 \u0938\u092C\u0938\
\u0947 \u0935\u093F\u0937\u092E \u0938\u094D\u0925\u093F\u0924\u093F \u092E\u0947\
\u0902 \u0921\u093E\u0932 \u0926\u093F\u092F\u093E \u0939\u0948\u0964 \u092E\
\u0939\u093F\u0932\u093E\u0913\u0902 \u0928\u0947 \u090F\u0915 \u0935\u0930\u094D\
\u0917 \u092E\u0947\u0902 \u0928\u093E\u0917\u0930\u093F\u0915\u094B\u0902 \u0915\
\u0947 \u0905\u0927\u093F\u0915\u093E\u0930\u094B\u0902 \u0915\u0947 \u0938\u093E\
\u0925 \u0928\u093F\u0935\u0947\u0936 \u0915\u093F\u092F\u093E \u0939\u0948\
\ - \u092E\u0924\u0926\u093E\u0924\u093E, \u091C\u0942\u0930\u0940 \u0938\u0926\
\u0938\u094D\u092F, \u0915\u093E\u0930\u094D\u092F\u093E\u0932\u092F-\u0927\u093E\
\u0930\u0915 - \u090F\u0915 \u0915\u093E\u0932\u094D\u092A\u0928\u093F\u0915\
\ \u0930\u0947\u0916\u093E \u0915\u094B \u092A\u093E\u0930 \u0915\u0930 \u0930\
\u0939\u0947 \u0939\u0948\u0902\u0964 \u0905\u0917\u0932\u0947 \u0935\u093F\u0937\
\u092F\u0964 \u0915\u0941\u091B \u0930\u093E\u091C\u094D\u092F\u094B\u0902 \u092E\
\u0947\u0902, \u090F\u0915 \u0935\u093F\u0935\u093E\u0939\u093F\u0924 \u092E\
\u0939\u093F\u0932\u093E \u0905\u092A\u0928\u0947 \u0928\u093E\u092E \u092A\u0930\
\ \u0938\u0902\u092A\u0924\u094D\u0924\u093F \u0930\u0916 \u0938\u0915\u0924\
\u0940 \u0939\u0948 \u0914\u0930 \u0935\u094D\u092F\u0935\u0938\u093E\u092F\
\ \u0915\u0930 \u0938\u0915\u0924\u0940 \u0939\u0948; \u0905\u0928\u094D\u092F\
\ \u092E\u0947\u0902, \u0909\u0938\u0915\u0940 \u0915\u092E\u093E\u0908 \u0909\
\u0938\u0915\u0947 \u092A\u0924\u093F \u0915\u0940 \u0939\u094B\u0924\u0940\
\ \u0939\u0948\u0964 \u0915\u0941\u091B \u0930\u093E\u091C\u094D\u092F\u094B\
\u0902 \u092E\u0947\u0902, \u090F\u0915 \u092E\u0939\u093F\u0932\u093E \u0905\
\u092A\u0928\u0947 \u092A\u0924\u093F \u0915\u0947 \u0916\u093F\u0932\u093E\u092B\
\ \u0917\u0935\u093E\u0939\u0940 \u0926\u0947 \u0938\u0915\u0924\u0940 \u0939\
\u0948, \u092E\u0941\u0915\u0926\u092E\u093E \u0915\u0930 \u0938\u0915\u0924\
\u0940 \u0939\u0948 \u0914\u0930 \u0909\u0938 \u092A\u0930 \u092E\u0941\u0915\
\u0926\u092E\u093E \u091A\u0932\u093E\u092F\u093E \u091C\u093E \u0938\u0915\u0924\
\u093E \u0939\u0948\u0964 \u0905\u0926\u093E\u0932\u0924\u0947\u0902; \u0926\
\u0942\u0938\u0930\u094B\u0902 \u092E\u0947\u0902, \u0935\u094D\u092F\u0915\u094D\
\u0924\u093F, \u0938\u0902\u092A\u0924\u094D\u0924\u093F \u092F\u093E \u091A\
\u0930\u093F\u0924\u094D\u0930 \u0915\u094B \u0939\u0941\u090F \u0928\u0941\u0915\
\u0938\u093E\u0928 \u0915\u0947 \u092E\u093E\u092E\u0932\u0947 \u092E\u0947\u0902\
\ \u0909\u0938\u0915\u0947 \u092A\u093E\u0938 \u0915\u094B\u0908 \u0928\u093F\
\u0935\u093E\u0930\u0923 \u0928\u0939\u0940\u0902 \u0939\u0948\u0964 \u092A\u0924\
\u093F \u092E\u0947\u0902 \u0935\u094D\u092F\u092D\u093F\u091A\u093E\u0930 \u0915\
\u0947 \u0915\u093E\u0930\u0923 \u0924\u0932\u093E\u0915 \u0915\u0947 \u092E\
\u093E\u092E\u0932\u0947 \u092E\u0947\u0902, \u0928\u093F\u0930\u094D\u0926\u094B\
\u0937 \u092A\u0924\u094D\u0928\u0940 \u0915\u094B \u092C\u091A\u094D\u091A\u094B\
\u0902 \u092F\u093E \u0938\u0902\u092A\u0924\u094D\u0924\u093F \u092A\u0930\
\ \u0915\u094B\u0908 \u0905\u0927\u093F\u0915\u093E\u0930 \u0928\u0939\u0940\
\u0902 \u092E\u093E\u0928\u093E \u091C\u093E\u0924\u093E \u0939\u0948, \u091C\
\u092C \u0924\u0915 \u0915\u093F \u0928\u094D\u092F\u093E\u092F\u093E\u0932\u092F\
\ \u0915\u0940 \u0935\u093F\u0936\u0947\u0937 \u0921\u093F\u0915\u094D\u0930\
\u0940\u0964 \u0932\u0947\u0915\u093F\u0928 \u0938\u0902\u0918 \u0915\u0947\
\ \u0915\u093F\u0938\u0940 \u092D\u0940 \u0930\u093E\u091C\u094D\u092F \u092E\
\u0947\u0902 \u092A\u0924\u094D\u0928\u0940 \u0915\u094B \u0905\u092A\u0928\u0947\
\ \u0938\u094D\u0935\u092F\u0902 \u0915\u0947 \u0935\u094D\u092F\u0915\u094D\
\u0924\u093F, \u092F\u093E \u0905\u092A\u0928\u0947 \u092A\u0924\u093F \u0915\
\u0947 \u091C\u0940\u0935\u0928 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928\
\ \u0938\u0939-\u0938\u093E\u091D\u0947\u0926\u093E\u0930\u0940 \u0915\u0940\
\ \u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0915\u092E\u093E\u0908 \u0915\
\u0947 \u0915\u093F\u0938\u0940 \u092D\u0940 \u0939\u093F\u0938\u094D\u0938\u0947\
\ \u092A\u0930 \u0905\u0927\u093F\u0915\u093E\u0930 \u0928\u0939\u0940\u0902\
\ \u0939\u0948\u0964 \u0915\u0941\u091B \u0930\u093E\u091C\u094D\u092F\u094B\
\u0902 \u092E\u0947\u0902 \u092E\u0939\u093F\u0932\u093E\u090F\u0902 \u092A\u094D\
\u0930\u0935\u0947\u0936 \u0915\u0930 \u0938\u0915\u0924\u0940 \u0939\u0948\u0902\
\ \u0932\u0949 \u0938\u094D\u0915\u0942\u0932 \u0914\u0930 \u0905\u0926\u093E\
\u0932\u0924\u094B\u0902 \u092E\u0947\u0902 \u092A\u094D\u0930\u0948\u0915\u094D\
\u091F\u093F\u0938; \u0905\u0928\u094D\u092F \u092E\u0947\u0902 \u0935\u0947\
\ \u0928\u093F\u0937\u093F\u0926\u094D\u0927 \u0939\u0948\u0902\u0964 \u0915\
\u0941\u091B \u0935\u093F\u0936\u094D\u0935\u0935\u093F\u0926\u094D\u092F\u093E\
\u0932\u092F\u094B\u0902 \u092E\u0947\u0902 \u0932\u0921\u093C\u0915\u093F\u092F\
\u094B\u0902 \u0915\u094B \u0932\u0921\u093C\u0915\u094B\u0902 \u0915\u0947\
\ \u0938\u092E\u093E\u0928 \u0936\u0948\u0915\u094D\u0937\u0923\u093F\u0915\
\ \u0932\u093E\u092D \u092E\u093F\u0932\u0924\u093E \u0939\u0948, \u091C\u092C\
\u0915\u093F \u0926\u0947\u0936 \u0915\u0947 \u0915\u0908 \u0917\u094C\u0930\
\u0935\u0936\u093E\u0932\u0940 \u0938\u0902\u0938\u094D\u0925\u093E\u0928 \u0909\
\u0928\u094D\u0939\u0947\u0902 \u092A\u094D\u0930\u0935\u0947\u0936 \u0926\u0947\
\u0928\u0947 \u0938\u0947 \u0907\u0928\u0915\u093E\u0930 \u0915\u0930\u0924\u0947\
\ \u0939\u0948\u0902, \u0939\u093E\u0932\u093E\u0902\u0915\u093F \u091A\u0940\
\u0928, \u091C\u093E\u092A\u093E\u0928 \u0914\u0930 \u0905\u092B\u094D\u0930\
\u0940\u0915\u093E \u0915\u0947 \u092C\u0947\u091F\u094B\u0902 \u0915\u093E\
\ \u0935\u0939\u093E\u0902 \u0938\u094D\u0935\u093E\u0917\u0924 \u0915\u093F\
\u092F\u093E \u091C\u093E\u0924\u093E \u0939\u0948\u0964 \u0932\u0947\u0915\u093F\
\u0928 \u0915\u0908 \u0930\u093E\u091C\u094D\u092F\u094B\u0902 \u092E\u0947\u0902\
\ \u092A\u0939\u0932\u0947 \u0938\u0947 \u0939\u0940 \u0926\u093F\u090F \u0917\
\u090F \u0935\u093F\u0936\u0947\u0937\u093E\u0927\u093F\u0915\u093E\u0930 \u0915\
\u093F\u0938\u0940 \u092D\u0940 \u0924\u0930\u0939 \u0938\u0947 \u0938\u0941\
\u0930\u0915\u094D\u0937\u093F\u0924 \u0928\u0939\u0940\u0902 \u0939\u0948\u0902\
\u0964" \u0938\u0941\u0938\u093E\u0928 \u092C\u0940. \u090F\u0902\u0925\
\u094B\u0928\u0940, "\u092E\u0939\u093F\u0932\u093E\u0913\u0902 \u0915\u0947\
\ \u0932\u093F\u090F \u0905\u0927\u093F\u0915\u093E\u0930\u094B\u0902 \u0915\
\u0940 \u0918\u094B\u0937\u0923\u093E," 4 \u091C\u0941\u0932\u093E\u0908\
, 1876 \u0938\u0941\u0938\u093E\u0928 \u092C\u0940. \u090F\u0902\u0925\u094B\
\u0928\u0940 \u0926\u094D\u0935\u093E\u0930\u093E \u0926\u0942\u0938\u0930\u0947\
\ \u0905\u0902\u0936 \u092E\u0947\u0902 \u0935\u094D\u092F\u0915\u094D\u0924\
\ \u0915\u0940 \u0917\u0908 \u092D\u093E\u0935\u0928\u093E\u090F\u0902 \u0938\
\u0902\u092D\u0935\u0924\u0903 \u0938\u092E\u0930\u094D\u0925\u0928 \u092E\u0947\
\u0902 \u0939\u0948\u0902 \u0915\u093E"
- input_choice_list:
A: "\u0905\u092E\u0947\u0930\u093F\u0915\u093F\u092F\u094B\u0902 \u0915\u094B\
\ \u0935\u093F\u092F\u0924\u0928\u093E\u092E \u092E\u0947\u0902 \u0905\u092A\
\u0928\u0940 \u0924\u0915\u0928\u0940\u0915\u0940 \u092C\u0922\u093C\u0924\
\ \u0915\u094B \u0905\u0927\u093F\u0915\u0924\u092E \u0915\u0930\u0928\u093E\
\ \u0939\u094B\u0917\u093E\u0964"
B: "\u0935\u093F\u092F\u0924\u0928\u093E\u092E \u092E\u0947\u0902 \u0905\u092E\
\u0947\u0930\u093F\u0915\u0940 \u092C\u092E\u092C\u093E\u0930\u0940 \u091A\
\u0930\u0923 \u0926\u0930 \u091A\u0930\u0923 \u092F\u0941\u0926\u094D\u0927\
\ \u092E\u0947\u0902 \u092A\u094D\u0930\u0917\u0924\u093F \u0915\u0940 \u0913\
\u0930 \u0932\u0947 \u091C\u093E \u0930\u0939\u0940 \u0939\u0948\u0964"
C: "\u0935\u093F\u092F\u0924\u0928\u093E\u092E \u092E\u0947\u0902 \u0905\u092E\
\u0947\u0930\u093F\u0915\u0940 \u092C\u092E\u092C\u093E\u0930\u0940 \u0935\
\u093F\u092B\u0932\u0924\u093E \u0939\u0948."
D: "\u0935\u093F\u092F\u0924\u0928\u093E\u092E \u092E\u0947\u0902 \u092F\u0941\
\u0926\u094D\u0927 \u0915\u094B \u0932\u0947\u0915\u0930 \u0905\u092E\u0947\
\u0930\u093F\u0915\u093E \u0915\u094B \u092A\u0930\u093E\u091C\u092F \u0915\
\u0947 \u0906\u0917\u0947 \u091D\u0941\u0915\u0928\u093E \u0928\u0939\u0940\
\u0902 \u091A\u093E\u0939\u093F\u090F\u0964"
input_correct_responses:
- C
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 \u0939\u092E\u093E\u0930\u0947 \u0928\u0947\
\u0924\u093E \u0909\u0924\u094D\u0924\u0930 \u0938\u0947 \u0906\u0915\u094D\u0930\
\u092E\u0923 \u0930\u094B\u0915\u0928\u0947 \u0915\u0940 \u092C\u093E\u0924\
\ \u0915\u0930\u0924\u0947 \u0939\u0948\u0902, \u0932\u0947\u0915\u093F\u0928\
\ \u0939\u092E\u093E\u0930\u0947 \u0939\u0938\u094D\u0924\u0915\u094D\u0937\u0947\
\u092A \u0915\u0930\u0928\u0947 \u0924\u0915 \u092F\u0939 \u0935\u093F\u092F\
\u0924\u0928\u093E\u092E\u0940 \u0938\u092E\u0942\u0939\u094B\u0902 \u0915\u0947\
\ \u092C\u0940\u091A \u0938\u0902\u0918\u0930\u094D\u0937 \u0925\u093E\u0964\
\ \u0910\u0938\u093E \u0932\u0917\u0924\u093E \u0939\u0948 \u0915\u093F \u0939\
\u092E \u0935\u093F\u092F\u0924\u0928\u093E\u092E\u093F\u092F\u094B\u0902 \u0915\
\u094B \u0939\u094B \u091A\u0940 \u092E\u093F\u0928\u094D\u0939 \u0938\u0947\
\ \u092C\u091A\u093E\u0928\u0947 \u092A\u0930 \u0906\u092E\u093E\u0926\u093E\
\ \u0939\u0948\u0902, \u092D\u0932\u0947 \u0939\u0940 \u0907\u0938\u0915\u0947\
\ \u0932\u093F\u090F \u0939\u092E\u0947\u0902 \u0909\u0928\u094D\u0939\u0947\
\u0902 \u092E\u093E\u0930\u0928\u093E \u092A\u0921\u093C\u0947 \u0914\u0930\
\ \u0909\u0928\u0915\u0947 \u0926\u0947\u0936 \u0915\u094B \u0927\u094D\u0935\
\u0938\u094D\u0924 \u0915\u0930\u0928\u093E \u092A\u0921\u093C\u0947\u0964 \u091C\
\u0948\u0938\u093E \u0915\u093F \u092E\u0942\u0932 \u0932\u094B\u0917\u094B\u0902\
\ \u0928\u0947 \u092C\u092E\u092C\u093E\u0930\u0940 \u0935\u093E\u0932\u0947\
\ \u0917\u093E\u0902\u0935\u094B\u0902, \u0928\u0947\u092A\u0932\u092E \u0926\
\u094D\u0935\u093E\u0930\u093E \u091C\u0932\u093E\u090F \u0917\u090F \u092E\u0939\
\u093F\u0932\u093E\u0913\u0902 \u0914\u0930 \u092C\u091A\u094D\u091A\u094B\u0902\
, \u091A\u093E\u0935\u0932 \u0915\u0940 \u092B\u0938\u0932\u094B\u0902 \u0915\
\u094B \u0928\u0937\u094D\u091F \u0915\u0930 \u0926\u093F\u092F\u093E \u0914\
\u0930 \u0939\u092E\u093E\u0930\u0947 \u0938\u0948\u0928\u094D\u092F \u0915\u0930\
\u094D\u092E\u093F\u092F\u094B\u0902 \u0915\u0947 \u0938\u093E\u0925 \u0936\u0939\
\u0930\u094B\u0902 \u092A\u0930 \u0915\u092C\u094D\u091C\u093E \u0915\u0930\
\ \u0932\u093F\u092F\u093E, \u0915\u093E \u0938\u0930\u094D\u0935\u0947\u0915\
\u094D\u0937\u0923 \u0915\u093F\u092F\u093E, \u0935\u0947 \u0928\u093F\u0938\
\u094D\u0938\u0902\u0926\u0947\u0939 \u0935\u093F\u092F\u0924\u0915\u093E\u0902\
\u0917 \u0917\u0941\u0930\u093F\u0932\u094D\u0932\u093E\u0913\u0902 \u0914\u0930\
\ \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u0938\u0947\u0928\u093E\u0913\u0902\
\ \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0917\u0941\u092A\
\u094D\u0924 \u0930\u0942\u092A \u0938\u0947 \u0915\u0939 \u0930\u0939\u0947\
\ \u0939\u0948\u0902, "\u0906\u092A\u0915\u0947 \u0926\u094B\u0928\u094B\
\u0902 \u0918\u0930\u094B\u0902 \u092A\u0930 \u090F\u0915 \u092A\u094D\u0932\
\u0947\u0917 \u0939\u0948 \u0964" ...\u0909\u0924\u094D\u0924\u0930 \u0914\
\u0930 \u0926\u0915\u094D\u0937\u093F\u0923 \u092E\u0947\u0902 \u092C\u092E\u092C\
\u093E\u0930\u0940 \u092C\u0902\u0926 \u0915\u0930\u0947\u0902, \u0924\u0932\
\u093E\u0936\u0940 \u092C\u0902\u0926 \u0915\u0930\u0947\u0902 \u0914\u0930\
\ \u0906\u0915\u094D\u0930\u093E\u092E\u0915 \u0905\u092D\u093F\u092F\u093E\u0928\
\u094B\u0902 \u0915\u094B \u0928\u0937\u094D\u091F \u0915\u0930\u0947\u0902\
, \u0914\u0930 \u0939\u092E\u093E\u0930\u0940 \u0938\u0948\u0928\u094D\u092F\
\ \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0915\u094B \u091C\u092E\
\u0940\u0928 \u092A\u0930 \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0915\
\u0930\u0928\u0947 \u0924\u0915 \u0938\u0940\u092E\u093F\u0924 \u0930\u0916\u0947\
\u0902\u0964 \u0909\u0924\u094D\u0924\u0930 \u092E\u0947\u0902 \u092C\u092E\u092C\
\u093E\u0930\u0940 \u0926\u0915\u094D\u0937\u093F\u0923 \u0915\u0940 \u0913\u0930\
\ \u0938\u0948\u0928\u093F\u0915\u094B\u0902 \u0915\u0947 \u092A\u094D\u0930\
\u0935\u093E\u0939 \u0915\u094B \u0930\u094B\u0915\u0928\u0947 \u092F\u093E\
\ \u0917\u0902\u092D\u0940\u0930 \u0930\u0942\u092A \u0938\u0947 \u0930\u094B\
\u0915\u0928\u0947 \u092E\u0947\u0902 \u0935\u093F\u092B\u0932 \u0930\u0939\u0940\
\ \u0939\u0948 \u0914\u0930 \u0935\u093E\u0938\u094D\u0924\u0935 \u092E\u0947\
\u0902, \u0939\u0928\u094B\u0908 \u0926\u094D\u0935\u093E\u0930\u093E \u092C\
\u0939\u0941\u0924 \u092C\u0921\u093C\u0947 \u092F\u0941\u0926\u094D\u0927 \u092A\
\u094D\u0930\u092F\u093E\u0938 \u0915\u094B \u092A\u094D\u0930\u0947\u0930\u093F\
\u0924 \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\
\u0948\u0964 \u2014\u0938\u0940\u0928\u0947\u091F\u0930 \u091C\u0949\u0930\u094D\
\u091C \u092E\u0948\u0915\u0917\u0935\u0930\u094D\u0928, "\u0926 \u0932\
\u0947\u0938\u0928\u094D\u0938 \u0911\u092B\u093C \u0935\u093F\u092F\u0924\u0928\
\u093E\u092E," 25 \u0905\u092A\u094D\u0930\u0948\u0932, 1967 1960 \u0915\
\u0947 \u0926\u0936\u0915 \u0915\u0940 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\
\u0916\u093F\u0924 \u0930\u093E\u092F \u092E\u0947\u0902 \u0938\u0947 \u0915\
\u094C\u0928 \u0938\u0940 \u0930\u093E\u092F \u0938\u092C\u0938\u0947 \u0938\
\u0940\u0927\u0947 \u0924\u094C\u0930 \u092A\u0930 \u091C\u0949\u0930\u094D\u091C\
\ \u092E\u0948\u0915\u0917\u0935\u0930\u094D\u0928 \u0915\u0947 \u092D\u093E\
\u0937\u0923 \u0915\u0947 \u092A\u0930\u093F\u092A\u094D\u0930\u0947\u0915\u094D\
\u0937\u094D\u092F \u0915\u094B \u0926\u0930\u094D\u0936\u093E\u0924\u0940 \u0939\
\u0948?"
- input_choice_list:
A: "\u0905\u092C\u0940\u0917\u0948\u0932 \u090F\u0921\u092E\u094D\u0938"
B: "\u0915\u094D\u0932\u093E\u0930\u093E \u092C\u093E\u0930\u094D\u091F\u0928"
C: "\u0936\u0930\u094D\u0932\u0940 \u091F\u0947\u0902\u092A\u0932"
D: "\u0939\u093F\u0932\u0947\u0930\u0940 \u0915\u094D\u0932\u093F\u0902\u091F\
\u0928"
input_correct_responses:
- B
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 \u092E\u0948\u0902 \u0935\u094D\u092F\u0915\
\u094D\u0924\u093F\u0917\u0924 \u0926\u093E\u0935\u0947 \u0915\u0930\u0928\u0947\
\ \u092F\u093E \u0935\u094D\u092F\u0915\u094D\u0924\u093F\u0917\u0924 \u0932\
\u093E\u092D \u0932\u0947\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0928\
\u0939\u0940\u0902 \u0906\u092F\u093E \u0939\u0942\u0902; \u092E\u0948\u0902\
\ \u0909\u0928 \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0935\u0915\u0940\
\u0932 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u092A\u0947\u0936\
\ \u0939\u094B\u0924\u093E \u0939\u0942\u0902 \u091C\u094B \u0905\u092A\u0928\
\u0947 \u092E\u093E\u092E\u0932\u0947 \u0915\u0940 \u092A\u0948\u0930\u0935\u0940\
\ \u0928\u0939\u0940\u0902 \u0915\u0930 \u0938\u0915\u0924\u0947; \u092E\u0948\
\u0902 \u0909\u0928 \u0932\u094B\u0917\u094B\u0902 \u0915\u093E \u092E\u093F\
\u0924\u094D\u0930 \u092C\u0928\u0915\u0930 \u0906\u0924\u093E \u0939\u0942\u0902\
\ \u091C\u094B \u0935\u0940\u0930\u093E\u0928, \u0909\u0924\u094D\u092A\u0940\
\u0921\u093C\u093F\u0924 \u0914\u0930 \u0909\u091C\u093E\u0921\u093C \u0939\u0948\
\u0902\u0964 \u0908\u0936\u094D\u0935\u0930 \u0915\u0947 \u0935\u093F\u0927\u093E\
\u0928 \u092E\u0947\u0902, \u092E\u0948\u0902 \u0909\u0938 \u092A\u093E\u0917\
\u0932 \u0915\u0940 \u0906\u0935\u093E\u091C \u0939\u0942\u0902 \u091C\u093F\
\u0938\u0915\u0940 \u0906\u092A\u0915\u0940 \u091C\u0947\u0932\u094B\u0902 \u0915\
\u0940 \u0938\u0941\u0928\u0938\u093E\u0928 \u0915\u093E\u0932\u0915\u094B\u0920\
\u0930\u093F\u092F\u094B\u0902 \u0938\u0947 \u0928\u093F\u0915\u0932\u0928\u0947\
\ \u0935\u093E\u0932\u0940 \u092E\u0930\u094D\u092E\u0938\u094D\u092A\u0930\u094D\
\u0936\u0940 \u091A\u0940\u0916\u0947\u0902 \u0906\u092A\u0915\u0947 \u0935\u093F\
\u0927\u093E\u0928 \u092D\u0935\u0928 \u092E\u0947\u0902 \u092A\u094D\u0930\u0935\
\u0947\u0936 \u0928\u0939\u0940\u0902 \u0915\u0930 \u092A\u093E\u0924\u0940\u0902\
\u0964 \u092E\u0948\u0902 \u0909\u0928 \u0917\u0930\u0940\u092C \u092A\u093E\
\u0917\u0932 \u092A\u094D\u0930\u093E\u0923\u093F\u092F\u094B\u0902 \u0915\u0940\
\ \u0906\u0936\u093E \u0939\u0942\u0902 \u091C\u094B \u0906\u092A\u0915\u0947\
\ \u0917\u0930\u0940\u092C \u0918\u0930\u094B\u0902 \u0915\u0940 \u0915\u094B\
\u0920\u0930\u093F\u092F\u094B\u0902, \u0938\u094D\u091F\u093E\u0932\u094B\u0902\
, \u092A\u093F\u0902\u091C\u0930\u094B\u0902 \u0914\u0930 \u092C\u0947\u0915\
\u093E\u0930 \u0915\u092E\u0930\u094B\u0902 \u092E\u0947\u0902 \u0906\u0930\u093E\
\u092E \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\u0964 \u092E\u0948\u0902\
\ \u0906\u092A\u0915\u0947 \u0928\u093F\u091C\u0940 \u0906\u0935\u093E\u0938\
\u094B\u0902, \u0915\u0932\u092E\u0916\u093E\u0928\u094B\u0902 \u0914\u0930\
\ \u0915\u0947\u092C\u093F\u0928\u094B\u0902 \u092E\u0947\u0902 \u091B\u093F\
\u092A\u0947 \u0939\u0941\u090F \u0938\u0948\u0915\u0921\u093C\u094B\u0902 \u0935\
\u093F\u0932\u093E\u092A \u0915\u0930\u0928\u0947 \u0935\u093E\u0932\u0947,\
\ \u092A\u0940\u0921\u093C\u093F\u0924 \u092A\u094D\u0930\u093E\u0923\u093F\u092F\
\u094B\u0902 \u0915\u093E \u0930\u0939\u0938\u094D\u092F\u094B\u0926\u094D\u0918\
\u093E\u091F\u0928 \u0939\u0942\u0902 - \u0938\u092D\u0940 \u0909\u092A\u091A\
\u093E\u0930 \u092A\u094D\u0930\u092D\u093E\u0935\u094B\u0902 \u0938\u0947,\
\ \u0938\u092D\u0940 \u092E\u0928-\u092A\u0941\u0928\u0930\u094D\u092A\u094D\
\u0930\u093E\u092A\u094D\u0924\u093F \u0938\u0902\u092C\u0902\u0927\u0940 \u091A\
\u093F\u0902\u0924\u093E\u0913\u0902 \u0938\u0947 \u0926\u0942\u0930\u0964 ...\
\ \u0915\u094D\u092F\u093E \u0909\u0928\u0915\u0940 \u0909\u0926\u093E\u0938\
\u0940 \u0915\u093E \u0907\u0924\u093F\u0939\u093E\u0938 \u0906\u092A\u0915\u0947\
\ \u0938\u093E\u092E\u0928\u0947 \u092B\u0948\u0932 \u0938\u0915\u0924\u093E\
\ \u0939\u0948 \u091C\u0948\u0938\u093E \u0915\u093F \u092A\u093F\u091B\u0932\
\u0947 \u0924\u0940\u0928 \u092E\u0939\u0940\u0928\u094B\u0902 \u0915\u0947\
\ \u0926\u094C\u0930\u093E\u0928 \u092E\u0947\u0930\u0940 \u0926\u0941\u0916\
\u0940 \u0906\u0924\u094D\u092E\u093E \u0915\u094B \u092A\u0924\u093E \u091A\
\u0932\u093E, \u0906\u092A \u0915\u093F\u0924\u0928\u0940 \u0924\u0924\u094D\
\u092A\u0930\u0924\u093E \u0938\u0947, \u0915\u093F\u0924\u0928\u0940 \u0908\
\u092E\u093E\u0928\u0926\u093E\u0930\u0940 \u0938\u0947 \u0930\u093E\u0939\u0924\
\ \u0915\u0947 \u0938\u092C\u0938\u0947 \u0938\u094D\u0935\u0940\u0915\u0943\
\u0924 \u0938\u093E\u0927\u0928\u094B\u0902 \u0915\u0940 \u0916\u094B\u091C\
\ \u0915\u0930\u0947\u0902\u0917\u0947; \u0924\u0941\u0932\u0928\u093E\u0924\
\u094D\u092E\u0915 \u0930\u0942\u092A \u0938\u0947, \u0906\u092A\u0938\u0947\
\ \u091C\u094B \u0924\u094D\u092F\u093E\u0917 \u0915\u0930\u0928\u0947 \u0915\
\u0947 \u0932\u093F\u090F \u0915\u0939\u093E \u0917\u092F\u093E \u0939\u0948\
, \u0935\u0939 \u0915\u093F\u0924\u0928\u093E \u0924\u0941\u091A\u094D\u091B\
, \u0915\u093F\u0924\u0928\u093E \u092E\u0939\u0924\u094D\u0935\u0939\u0940\u0928\
\ \u092A\u094D\u0930\u0924\u0940\u0924 \u0939\u094B\u0917\u093E; \u092A\u094D\
\u0930\u0924\u094D\u092F\u0947\u0915 \u0928\u093E\u0917\u0930\u093F\u0915 \u0938\
\u0947 \u090F\u0915\u0924\u094D\u0930 \u0915\u093F\u090F \u0917\u090F \u0915\
\u0941\u091B \u092A\u0948\u0938\u0947 \u0914\u0930 \u0921\u0949\u0932\u0930\
, \u092A\u0940\u0921\u093C\u093F\u0924 \u092A\u093E\u0917\u0932\u094B\u0902\
\ \u0915\u0947 \u0932\u093F\u090F \u0938\u0941\u0930\u0915\u094D\u0937\u093F\
\u0924 \u0915\u093F\u090F \u091C\u093E\u0928\u0947 \u0935\u093E\u0932\u0947\
\ \u0915\u0941\u091B \u0928\u093F\u0936\u094D\u091A\u093F\u0924 \u0932\u093E\
\u092D\u094B\u0902 \u0914\u0930 \u0935\u093F\u0936\u093E\u0932 \u092D\u0932\u093E\
\u0908 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u090F\
\u0915 \u0938\u0902\u092A\u0924\u094D\u0924\u093F \u0915\u0947 \u0930\u0942\u092A\
\ \u092E\u0947\u0902 \u092E\u0942\u0932\u094D\u092F \u092E\u0947\u0902 \u0915\
\u0948\u0938\u0947 \u0915\u092E \u0939\u094B \u091C\u093E\u090F\u0902\u0917\u0947\
... \u0928\u093F\u0930\u094D\u092E\u093E\u0923 \u0915\u0947 \u0932\u093F\u090F\
\ \u092A\u0930\u094D\u092F\u093E\u092A\u094D\u0924 \u0928\u093F\u0927\u093F\
\ \u0915\u0947 \u0938\u092E\u0930\u094D\u092A\u0923 \u0914\u0930 \u0906\u0935\
\u0947\u0926\u0928 \u0938\u0947 \u090F\u0915 \u0909\u092A\u092F\u0941\u0915\u094D\
\u0924 \u0905\u0938\u094D\u092A\u0924\u093E\u0932 \u0915\u093E... -\u0921\u094B\
\u0930\u094B\u0925\u093F\u092F\u093E \u0921\u093F\u0915\u094D\u0938, \u092E\u0947\
\u092E\u094B\u0930\u093F\u092F\u0932 \u0938\u0949\u0932\u093F\u0938\u093F\u091F\
\u093F\u0902\u0917 \u090F \u0938\u094D\u091F\u0947\u091F \u0939\u0949\u0938\u094D\
\u092A\u093F\u091F\u0932 \u092B\u0949\u0930 \u0926 \u092A\u094D\u0930\u094B\u091F\
\u0947\u0915\u094D\u0936\u0928 \u090F\u0902\u0921 \u0915\u094D\u092F\u094B\u0930\
\ \u0911\u092B \u0926 \u0907\u0928\u0938\u0947\u0928, \u0938\u092C\u092E\u093F\
\u091F\u0947\u0921 \u091F\u0942 \u0926 \u091C\u0928\u0930\u0932 \u0905\u0938\
\u0947\u0902\u092C\u0932\u0940 \u0911\u092B \u0928\u0949\u0930\u094D\u0925 \u0915\
\u0948\u0930\u094B\u0932\u093F\u0928\u093E, \u0928\u0935\u0902\u092C\u0930 1848\
\ \u0921\u094B\u0930\u094B\u0925\u093F\u092F\u093E \u0921\u093F\u0915\u094D\u0938\
\ \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u0915\u093F\u0938\u0938\u0947\
\ \u0915\u0940 \u091C\u093E \u0938\u0915\u0924\u0940 \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_us_history
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_high_school_us_history
task_alias: high_school_us_history
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0939\u093F\u0928\u094D\u0926\u0942 \u0927\u0930\u094D\u092E"
B: "\u092C\u0941\u0926\u094D\u0927 \u0927\u0930\u094D\u092E"
C: "\u0936\u093F\u0902\u0924\u094B \u0927\u0930\u094D\u092E"
D: "\u092A\u093E\u0930\u0938\u0940 \u0927\u0930\u094D\u092E"
input_correct_responses:
- A
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 \u0909\u0938\u092E\u0947\u0902 \u0938\u092D\
\u0940 \u0915\u093E\u0930\u094D\u092F, \u0907\u091A\u094D\u091B\u093E\u090F\u0902\
, \u0938\u092D\u0940 \u0938\u0941\u0917\u0902\u0927 \u0914\u0930 \u0938\u092D\
\u0940 \u0938\u094D\u0935\u093E\u0926 \u0936\u093E\u092E\u093F\u0932 \u0939\u0948\
\u0902\u0964 \u0935\u0939 \u0938\u0902\u092A\u0942\u0930\u094D\u0923 \u092C\u094D\
\u0930\u0939\u094D\u092E\u093E\u0902\u0921 \u0915\u094B \u0905\u092A\u0928\u0947\
\ \u092E\u0947\u0902 \u0938\u092E\u0947\u091F\u0947 \u0939\u0941\u090F \u0939\
\u0948 \u0914\u0930 \u092E\u094C\u0928 \u0930\u0939\u0915\u0930 \u0938\u092D\
\u0940 \u0938\u0947 \u092A\u094D\u0930\u0947\u092E \u0915\u0930\u0924\u093E\
\ \u0939\u0948\u0964 \u092F\u0939\u0940 \u0906\u0924\u094D\u092E\u093E \u0939\
\u0948 \u091C\u094B \u092E\u0947\u0930\u0947 \u0939\u0943\u0926\u092F \u092E\
\u0947\u0902 \u0939\u0948, \u092F\u0939\u0940 \u092C\u094D\u0930\u0939\u094D\
\u092E \u0939\u0948\u0964 \u092E\u0948\u0902 \u0909\u0938\u0915\u0947 \u092A\
\u093E\u0938 \u0924\u092C \u0906\u090A\u0902\u0917\u093E \u091C\u092C \u092E\
\u0948\u0902 \u0907\u0938 \u091C\u0940\u0935\u0928 \u0938\u0947 \u0906\u0917\
\u0947 \u0928\u093F\u0915\u0932 \u091C\u093E\u090A\u0902\u0917\u093E, \u0914\
\u0930 \u0909\u0938\u0915\u0947 \u092A\u093E\u0938 \u0935\u0939 \u0906\u090F\
\u0917\u093E \u091C\u093F\u0938\u0915\u0947 \u092A\u093E\u0938 \u0935\u093F\u0936\
\u094D\u0935\u093E\u0938 \u0939\u0948 \u0914\u0930 \u0938\u0902\u0926\u0947\u0939\
\ \u0928\u0939\u0940\u0902 \u0939\u0948\u0964 -\u0909\u092A\u0928\u093F\u0937\
\u0926, \u092D\u093E\u0930\u0924, \u0938\u0940. 1000 \u0908\u0938\u093E \u092A\
\u0942\u0930\u094D\u0935 \u0935\u0915\u094D\u0924\u093E \u0938\u0902\u092D\u0935\
\u0924\u0903 \u0915\u093F\u0938 \u0927\u0930\u094D\u092E \u0938\u0947 \u0938\
\u0902\u092C\u0902\u0927\u093F\u0924 \u0925\u093E?"
- input_choice_list:
A: "\u0914\u0926\u094D\u092F\u094B\u0917\u093F\u0915 \u0915\u094D\u0930\u093E\
\u0902\u0924\u093F"
B: "\u0909\u092A\u0928\u093F\u0935\u0947\u0936\u0935\u093E\u0926"
C: "\u0915\u094D\u0937\u0947\u0924\u094D\u0930\u0940\u092F \u092E\u0941\u0915\
\u094D\u0924 \u0935\u094D\u092F\u093E\u092A\u093E\u0930 \u0938\u0902\u0918"
D: "\u0928\u093F\u0930\u0902\u0915\u0941\u0936"
input_correct_responses:
- B
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 "\u0928\u0935-\u0909\u092A\u0928\u093F\
\u0935\u0947\u0936\u0935\u093E\u0926 \u0915\u0947 \u0916\u093F\u0932\u093E\u092B\
\ \u0938\u0902\u0918\u0930\u094D\u0937 \u0915\u093E \u0909\u0926\u094D\u0926\
\u0947\u0936\u094D\u092F \u0935\u093F\u0915\u0938\u093F\u0924 \u0926\u0941\u0928\
\u093F\u092F\u093E \u0915\u0940 \u092A\u0942\u0902\u091C\u0940 \u0915\u094B\
\ \u0915\u092E \u0935\u093F\u0915\u0938\u093F\u0924 \u0926\u0947\u0936\u094B\
\u0902 \u092E\u0947\u0902 \u0915\u093E\u092E \u0915\u0930\u0928\u0947 \u0938\
\u0947 \u0930\u094B\u0915\u0928\u093E \u0928\u0939\u0940\u0902 \u0939\u0948\u0964\
\ \u0907\u0938\u0915\u093E \u0909\u0926\u094D\u0926\u0947\u0936\u094D\u092F\
\ \u0935\u093F\u0915\u0938\u093F\u0924 \u0926\u0947\u0936\u094B\u0902 \u0915\
\u0940 \u0935\u093F\u0924\u094D\u0924\u0940\u092F \u0936\u0915\u094D\u0924\u093F\
\ \u0915\u094B \u0907\u0938 \u0924\u0930\u0939 \u0938\u0947 \u0907\u0938\u094D\
\u0924\u0947\u092E\u093E\u0932 \u0939\u094B\u0928\u0947 \u0938\u0947 \u0930\u094B\
\u0915\u0928\u093E \u0939\u0948 \u0915\u093F \u0915\u092E \u0935\u093F\u0915\
\u0938\u093F\u0924 \u0926\u0947\u0936\u094B\u0902 \u0915\u094B \u0917\u0930\u0940\
\u092C \u092C\u0928\u093E\u092F\u093E \u091C\u093E \u0938\u0915\u0947\u0964\
" \u0917\u0941\u091F\u0928\u093F\u0930\u092A\u0947\u0915\u094D\u0937\u0924\
\u093E, \u091C\u0948\u0938\u093E \u0915\u093F \u0918\u093E\u0928\u093E \u0914\
\u0930 \u0915\u0908 \u0905\u0928\u094D\u092F \u0926\u0947\u0936\u094B\u0902\
\ \u0926\u094D\u0935\u093E\u0930\u093E \u0905\u092A\u0928\u093E\u092F\u093E\
\ \u091C\u093E\u0924\u093E \u0939\u0948, \u0938\u092D\u0940 \u0930\u093E\u091C\
\u094D\u092F\u094B\u0902 \u0915\u0947 \u0938\u093E\u0925 \u0938\u0939\u092F\u094B\
\u0917 \u092A\u0930 \u0906\u0927\u093E\u0930\u093F\u0924 \u0939\u0948, \u091A\
\u093E\u0939\u0947 \u0935\u0947 \u092A\u0942\u0902\u091C\u0940\u0935\u093E\u0926\
\u0940 \u0939\u094B\u0902, \u0938\u092E\u093E\u091C\u0935\u093E\u0926\u0940\
\ \u0939\u094B\u0902 \u092F\u093E \u092E\u093F\u0936\u094D\u0930\u093F\u0924\
\ \u0905\u0930\u094D\u0925\u0935\u094D\u092F\u0935\u0938\u094D\u0925\u093E \u0935\
\u093E\u0932\u0947 \u0939\u094B\u0902\u0964 \u0907\u0938\u0932\u093F\u090F,\
\ \u0910\u0938\u0940 \u0928\u0940\u0924\u093F \u092E\u0947\u0902 \u092A\u0942\
\u0902\u091C\u0940\u0935\u093E\u0926\u0940 \u0926\u0947\u0936\u094B\u0902 \u0938\
\u0947 \u0935\u093F\u0926\u0947\u0936\u0940 \u0928\u093F\u0935\u0947\u0936 \u0936\
\u093E\u092E\u093F\u0932 \u0939\u094B\u0924\u093E \u0939\u0948, \u0932\u0947\
\u0915\u093F\u0928 \u092F\u0939 \u0905\u0935\u0936\u094D\u092F \u0939\u094B\u0928\
\u093E \u091A\u093E\u0939\u093F\u090F \u0917\u0941\u091F\u0928\u093F\u0930\u092A\
\u0947\u0915\u094D\u0937 \u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u0938\u0930\
\u0915\u093E\u0930 \u0926\u094D\u0935\u093E\u0930\u093E \u0905\u092A\u0928\u0947\
\ \u0939\u093F\u0924\u094B\u0902 \u0915\u094B \u0927\u094D\u092F\u093E\u0928\
\ \u092E\u0947\u0902 \u0930\u0916\u0924\u0947 \u0939\u0941\u090F \u0924\u0948\
\u092F\u093E\u0930 \u0915\u0940 \u0917\u0908 \u0930\u093E\u0937\u094D\u091F\u094D\
\u0930\u0940\u092F \u092F\u094B\u091C\u0928\u093E \u0915\u0947 \u0905\u0928\u0941\
\u0938\u093E\u0930 \u0928\u093F\u0935\u0947\u0936 \u0915\u093F\u092F\u093E \u091C\
\u093E\u0928\u093E \u091A\u093E\u0939\u093F\u090F\u0964 \u092E\u0941\u0926\u094D\
\u0926\u093E \u092F\u0939 \u0928\u0939\u0940\u0902 \u0939\u0948 \u0915\u093F\
\ \u0935\u093F\u0926\u0947\u0936\u0940 \u0928\u093F\u0935\u0947\u0936\u0915\
\ \u0915\u094B \u0905\u092A\u0928\u0947 \u0928\u093F\u0935\u0947\u0936 \u092A\
\u0930 \u0915\u094D\u092F\u093E \u0930\u093F\u091F\u0930\u094D\u0928 \u092E\u093F\
\u0932\u0924\u093E \u0939\u0948...\u0938\u0935\u093E\u0932 \u0938\u0924\u094D\
\u0924\u093E \u0915\u093E \u0939\u0948\u0964 \u090F\u0915 \u0930\u093E\u091C\
\u094D\u092F \u092E\u0947\u0902 \u0928\u0935-\u0909\u092A\u0928\u093F\u0935\u0947\
\u0936\u0935\u093E\u0926 \u0915\u0940 \u092A\u0915\u0921\u093C \u0905\u092A\u0928\
\u0947 \u092D\u093E\u0917\u094D\u092F \u0915\u0940 \u0938\u094D\u0935\u093E\u092E\
\u0940 \u0928\u0939\u0940\u0902 \u0939\u0948\u0964" \u0915\u094D\u0935\u093E\
\u092E\u0947 \u0928\u0915\u094D\u0930\u0942\u092E\u093E, \u0928\u0935-\u0909\
\u092A\u0928\u093F\u0935\u0947\u0936\u0935\u093E\u0926, 1965 \u0928\u093F\u092E\
\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\
\u094C\u0928 \u0928\u0915\u094D\u0930\u0942\u092E\u093E \u0915\u0947 \u0932\u0947\
\u0916\u0928 \u0915\u0947 \u0932\u093F\u090F \u0938\u092C\u0938\u0947 \u0905\
\u091A\u094D\u091B\u093E \u0938\u0902\u0926\u0930\u094D\u092D \u092A\u094D\u0930\
\u0926\u093E\u0928 \u0915\u0930\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092C\u093E\u0932 \u0936\u094D\u0930\u092E \u0915\u0940 \u0938\u093E\u092E\
\u093E\u091C\u093F\u0915 \u0938\u094D\u0935\u0940\u0915\u0943\u0924\u093F"
B: "\u091C\u0930\u094D\u092E\u0928\u0940 \u092E\u0947\u0902 \u0918\u091F\u0924\
\u0940 \u091C\u0940\u0935\u0928 \u092A\u094D\u0930\u0924\u094D\u092F\u093E\
\u0936\u093E"
C: "\u091C\u0930\u094D\u092E\u0928 \u0935\u094D\u092F\u093E\u092A\u093E\u0930\
\ \u0936\u0941\u0932\u094D\u0915\u094B\u0902 \u0915\u0940 \u0906\u0932\u094B\
\u091A\u0928\u093E"
D: "\u0914\u0926\u094D\u092F\u094B\u0917\u093F\u0915 \u092A\u0942\u0902\u091C\
\u0940\u0935\u093E\u0926 \u0915\u0947 \u0932\u093F\u090F \u091C\u093F\u092E\
\u094D\u092E\u0947\u0926\u093E\u0930 \u0928\u0915\u093E\u0930\u093E\u0924\u094D\
\u092E\u0915 \u092A\u094D\u0930\u092D\u093E\u0935"
input_correct_responses:
- D
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 "\u0915\u0930\u094D\u092E\u091A\u093E\
\u0930\u0940 \u0915\u0940 \u0905\u0938\u0932\u0940 \u0936\u093F\u0915\u093E\u092F\
\u0924 \u0909\u0938\u0915\u0947 \u0905\u0938\u094D\u0924\u093F\u0924\u094D\u0935\
\ \u0915\u0940 \u0905\u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0939\u0948\
; \u0909\u0938\u0947 \u092F\u0915\u0940\u0928 \u0928\u0939\u0940\u0902 \u0939\
\u0948 \u0915\u093F \u0909\u0938\u0915\u0947 \u092A\u093E\u0938 \u0939\u092E\
\u0947\u0936\u093E \u0915\u093E\u092E \u0930\u0939\u0947\u0917\u093E, \u0909\
\u0938\u0947 \u092F\u0915\u0940\u0928 \u0928\u0939\u0940\u0902 \u0939\u0948\
\ \u0915\u093F \u0935\u0939 \u0939\u092E\u0947\u0936\u093E \u0938\u094D\u0935\
\u0938\u094D\u0925 \u0930\u0939\u0947\u0917\u093E, \u0914\u0930 \u0909\u0938\
\u0947 \u0932\u0917\u0924\u093E \u0939\u0948 \u0915\u093F \u090F\u0915 \u0926\
\u093F\u0928 \u0935\u0939 \u092C\u0942\u0922\u093C\u093E \u0939\u094B \u091C\
\u093E\u090F\u0917\u093E \u0914\u0930 \u0915\u093E\u092E \u0915\u0930\u0928\u0947\
\ \u0915\u0947 \u0932\u093F\u090F \u0905\u092F\u094B\u0917\u094D\u092F \u0939\
\u094B \u091C\u093E\u090F\u0917\u093E \u092F\u0926\u093F \u0935\u0939 \u0917\
\u0930\u0940\u092C\u0940 \u092E\u0947\u0902 \u0917\u093F\u0930 \u091C\u093E\u0924\
\u093E \u0939\u0948, \u092D\u0932\u0947 \u0939\u0940 \u0915\u0947\u0935\u0932\
\ \u0932\u0902\u092C\u0940 \u092C\u0940\u092E\u093E\u0930\u0940 \u0915\u0947\
\ \u0915\u093E\u0930\u0923, \u0924\u092C \u0935\u0939 \u092A\u0942\u0930\u0940\
\ \u0924\u0930\u0939 \u0938\u0947 \u0905\u0938\u0939\u093E\u092F \u0939\u094B\
\ \u091C\u093E\u0924\u093E \u0939\u0948, \u0905\u092A\u0928\u0947 \u0909\u092A\
\u0915\u0930\u0923\u094B\u0902 \u092A\u0930 \u091C\u093E\u0902\u091A \u0915\u0930\
\u0924\u093E \u0939\u0948, \u0914\u0930 \u0938\u092E\u093E\u091C \u0935\u0930\
\u094D\u0924\u092E\u093E\u0928 \u092E\u0947\u0902 \u0917\u0930\u0940\u092C\u094B\
\u0902 \u0915\u0947 \u0932\u093F\u090F \u0938\u093E\u092E\u093E\u0928\u094D\u092F\
\ \u092E\u0926\u0926 \u0938\u0947 \u092A\u0930\u0947 \u0909\u0938\u0915\u0947\
\ \u092A\u094D\u0930\u0924\u093F \u0915\u093F\u0938\u0940 \u092D\u0940 \u0935\
\u093E\u0938\u094D\u0924\u0935\u093F\u0915 \u0926\u093E\u092F\u093F\u0924\u094D\
\u0935 \u0915\u094B \u0928\u0939\u0940\u0902 \u092A\u0939\u091A\u093E\u0928\u0924\
\u093E \u0939\u0948, \u092D\u0932\u0947 \u0939\u0940 \u0909\u0938\u0928\u0947\
\ \u0910\u0938\u093E \u0915\u093F\u092F\u093E \u0939\u094B \u0939\u0930 \u0938\
\u092E\u092F \u0907\u0924\u0928\u0940 \u0908\u092E\u093E\u0928\u0926\u093E\u0930\
\u0940 \u0914\u0930 \u0932\u0917\u0928 \u0938\u0947 \u0915\u093E\u092E \u0915\
\u0930 \u0930\u0939\u093E \u0939\u0942\u0902\u0964 \u0917\u0930\u0940\u092C\u094B\
\u0902 \u0915\u0947 \u0932\u093F\u090F \u0938\u093E\u092E\u093E\u0928\u094D\u092F\
\ \u092E\u0926\u0926, \u0939\u093E\u0932\u093E\u0902\u0915\u093F, \u0935\u093E\
\u0902\u091B\u093F\u0924 \u0928\u0939\u0940\u0902 \u0939\u0948, \u0916\u093E\
\u0938\u0915\u0930 \u092C\u0921\u093C\u0947 \u0936\u0939\u0930\u094B\u0902 \u092E\
\u0947\u0902, \u091C\u0939\u093E\u0902 \u092F\u0939 \u0926\u0947\u0936 \u0915\
\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u092C\u0939\u0941\u0924\
\ \u0916\u0930\u093E\u092C \u0939\u0948\u0964'' \u0913\u091F\u094D\u091F\
\u094B \u0935\u0949\u0928 \u092C\u093F\u0938\u094D\u092E\u093E\u0930\u094D\u0915\
, 1884 \u0913\u091F\u094D\u091F\u094B \u0935\u0949\u0928 \u092C\u093F\u0938\u094D\
\u092E\u093E\u0930\u094D\u0915 \u0928\u0947 \u0938\u0902\u092D\u0935\u0924\u0903\
\ \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902\
\ \u0938\u0947 \u0915\u093F\u0938 \u092E\u0941\u0926\u094D\u0926\u0947 \u0915\
\u0940 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E \u092E\
\u0947\u0902 \u092F\u0939 \u092D\u093E\u0937\u0923 \u0926\u093F\u092F\u093E\
\ \u0925\u093E?"
- input_choice_list:
A: "\u0939\u0930 \u0915\u0940\u092E\u0924 \u092A\u0930 \u0938\u0948\u0928\u094D\
\u092F \u0935\u0930\u094D\u091A\u0938\u094D\u0935 \u0915\u093E\u092F\u092E\
\ \u0930\u0916\u0928\u093E"
B: "\u0927\u093E\u0930\u094D\u092E\u093F\u0915 \u0938\u0902\u092A\u094D\u0930\
\u0926\u093E\u092F\u094B\u0902 \u0915\u0947 \u092C\u0940\u091A \u092C\u0922\
\u093C\u0924\u093E \u0924\u0928\u093E\u0935"
C: "\u0911\u091F\u094B\u092E\u0928 \u0938\u093E\u092E\u094D\u0930\u093E\u091C\
\u094D\u092F \u0915\u0947 \u092A\u0924\u0928 \u0915\u093E \u0915\u093E\u0930\
\u0923 \u092C\u0928\u0928\u0947 \u0935\u093E\u0932\u0947 \u0915\u093E\u0930\
\u0915"
D: "\u0907\u0938\u094D\u0932\u093E\u092E\u0940 \u0938\u093E\u092E\u094D\u0930\
\u093E\u091C\u094D\u092F\u094B\u0902 \u0915\u0947 \u092C\u0940\u091A \u0936\
\u093E\u0902\u0924\u093F \u0938\u094D\u0925\u093E\u092A\u0928\u093E \u0915\
\u0947 \u092A\u094D\u0930\u092F\u093E\u0938"
input_correct_responses:
- B
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 "\u0935\u093E\u0938\u094D\u0924\u0935\
\ \u092E\u0947\u0902, \u0926\u094B\u0928\u094B\u0902 \u092A\u094D\u0930\u0924\
\u093F\u0937\u094D\u0920\u093F\u0924 [\u0935\u093F\u0926\u094D\u0935\u093E\u0928\
\u094B\u0902] \u0915\u0947 \u092B\u0924\u0935\u0947 \u091C\u094B \u0924\u0930\
\u094D\u0915 \u0914\u0930 \u092A\u0930\u0902\u092A\u0930\u093E \u092A\u0930\
\ \u0938\u092E\u093E\u0928 \u0930\u0942\u092A \u0938\u0947 \u0905\u092A\u0928\
\u0940 \u0930\u093E\u092F \u0906\u0927\u093E\u0930\u093F\u0924 \u0915\u0930\u0924\
\u0947 \u0939\u0948\u0902 \u0914\u0930 \u0938\u0941\u0928\u094D\u0928\u0940\
\ \u0938\u092E\u0941\u0926\u093E\u092F \u0915\u0940 \u0938\u0930\u094D\u0935\
\u0938\u092E\u094D\u092E\u0924\u093F \u0907\u0938 \u092C\u093E\u0924 \u092A\u0930\
\ \u0938\u0939\u092E\u0924 \u0939\u0948 \u0915\u093F \u0926\u0941\u0937\u094D\
\u091F \u0928\u0935\u093E\u091A\u093E\u0930 \u0915\u0947 \u0935\u093F\u0928\u093E\
\u0936, \u0935\u093F\u0928\u093E\u0936 \u0914\u0930 \u0928\u093F\u0937\u094D\
\u0915\u093E\u0938\u0928 \u0915\u093E \u092A\u094D\u0930\u093E\u091A\u0940\u0928\
\ \u0926\u093E\u092F\u093F\u0924\u094D\u0935 \u0939\u092E\u093E\u0930\u0947\
\ \u092E\u0939\u093E\u0928 \u0915\u093E \u0909\u0926\u094D\u0926\u0947\u0936\
\u094D\u092F \u0939\u094B\u0928\u093E \u091A\u093E\u0939\u093F\u090F \u0906\u0915\
\u093E\u0902\u0915\u094D\u0937\u093E, "\u0927\u093E\u0930\u094D\u092E\u093F\
\u0915 \u0909\u0924\u094D\u0938\u093E\u0939 \u0932\u093E\u092D\u0915\u093E\u0930\
\u0940 \u0908\u0936\u094D\u0935\u0930 \u0915\u0947 \u0935\u093F\u0936\u094D\u0935\
\u093E\u0938 \u0915\u0940 \u091C\u0940\u0924 \u0939\u0948"; \u092B\u093F\
\u0930, \u092A\u0948\u0917\u0902\u092C\u0930 \u0915\u0947 \u0936\u092C\u094D\
\u0926\u094B\u0902 \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930 (\u0909\
\u0938 \u092A\u0930 \u0936\u093E\u0902\u0924\u093F \u0939\u094B!) "\u091C\
\u094B \u0915\u094B\u0908 \u092D\u0940 \u0939\u092E\u093E\u0930\u0947 \u0906\
\u0926\u0947\u0936 \u092E\u0947\u0902 \u092C\u0941\u0930\u0947 \u0928\u0935\u093E\
\u091A\u093E\u0930 \u0915\u093E \u092A\u0930\u093F\u091A\u092F \u0926\u0947\u0924\
\u093E \u0939\u0948 \u0909\u0938\u0947 \u0928\u093F\u0937\u094D\u0915\u093E\u0938\
\u093F\u0924 \u0915\u0930 \u0926\u093F\u092F\u093E \u091C\u093E\u0928\u093E\
\ \u091A\u093E\u0939\u093F\u090F" \u0914\u0930 "\u091C\u094B \u0915\
\u094B\u0908 \u092D\u0940 \u0910\u0938\u093E \u0915\u0930\u0924\u093E \u0939\
\u0948" \u0939\u092E\u093E\u0930\u0947 \u0906\u0926\u0947\u0936 \u0915\u0947\
\ \u0916\u093F\u0932\u093E\u092B \u0915\u0941\u091B \u092D\u0940 \u0928\u093F\
\u0937\u094D\u0915\u093E\u0938\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\
\u0928\u093E \u091A\u093E\u0939\u093F\u090F," \u0915\u093E\u0930\u094D\u0930\
\u0935\u093E\u0908 \u0906\u0935\u0936\u094D\u092F\u0915 \u0914\u0930 \u0905\u0924\
\u094D\u092F\u093E\u0935\u0936\u094D\u092F\u0915 \u0939\u094B \u0917\u0908 \u0939\
\u0948..." \u0913\u091F\u094B\u092E\u0928 \u0938\u0941\u0932\u094D\u0924\
\u093E\u0928 \u0938\u0947\u0932\u093F\u092E \u092A\u094D\u0930\u0925\u092E \u0915\
\u093E \u0938\u092B\u093C\u093E\u0935\u093F\u0926 \u0936\u093E\u0939 \u0907\u0938\
\u094D\u092E\u093E\u0907\u0932 \u092A\u094D\u0930\u0925\u092E \u0915\u094B \u092A\
\u0924\u094D\u0930, 1514 \u0938\u0947\u0932\u093F\u092E \u092A\u094D\u0930\u0925\
\u092E \u0915\u093E \u092A\u0924\u094D\u0930 \u0938\u094D\u092A\u0937\u094D\u091F\
\ \u0930\u0942\u092A \u0938\u0947 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\
\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0915\u093E\
\ \u0909\u0926\u093E\u0939\u0930\u0923 \u0939\u0948?"
- input_choice_list:
A: "\u0938\u094D\u0925\u093E\u092A\u093F\u0924 \u0930\u093E\u091C\u094D\u092F\
\ \u0938\u0902\u0930\u091A\u0928\u093E \u0915\u0947 \u092A\u0924\u0928 \u0915\
\u0947 \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947 \u0935\u094D\u092F\
\u093E\u092A\u093E\u0930 \u092E\u093E\u0930\u094D\u0917\u094B\u0902 \u0915\
\u093E \u091F\u0942\u091F\u0928\u093E"
B: "\u092D\u094B\u091C\u0928 \u0915\u0940 \u0905\u0927\u093F\u0915 \u092A\u094D\
\u0930\u091A\u0941\u0930 \u0906\u092A\u0942\u0930\u094D\u0924\u093F \u0915\
\u0947 \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947 \u0935\u093F\u0936\
\u094D\u0935 \u0915\u0940 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\u093E\
\ \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F"
C: "\u0926\u0941\u0928\u093F\u092F\u093E \u092D\u0930 \u092E\u0947\u0902 \u091A\
\u0940\u0928\u0940 \u0914\u0930 \u092D\u093E\u0930\u0924\u0940\u092F \u0935\
\u093F\u0936\u094D\u0935\u093E\u0938 \u092A\u094D\u0930\u0923\u093E\u0932\u093F\
\u092F\u094B\u0902 \u0915\u093E \u092A\u094D\u0930\u0938\u093E\u0930"
D: "\u0938\u093E\u092E\u093E\u091C\u093F\u0915 \u0905\u0936\u093E\u0902\u0924\
\u093F \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F"
input_correct_responses:
- B
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 "[\u0935\u093F\u0936\u094D\u0935\
\ \u0915\u0947] \u0938\u092E\u093E\u091C\u094B\u0902 \u092E\u0947\u0902 \u0938\
\u0947 \u0915\u092E \u0938\u0947 \u0915\u092E \u090F\u0915 \u0915\u094B [\u0935\
\u0948\u0936\u094D\u0935\u093F\u0915 \u0906\u0927\u093F\u092A\u0924\u094D\u092F\
\ \u0939\u093E\u0938\u093F\u0932 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\
\u093F\u090F] \u0915\u093F\u0938\u0940 \u0924\u0930\u0939 \u0905\u092A\u0928\
\u0940 \u0909\u0924\u094D\u092A\u093E\u0926\u0915\u0924\u093E \u092E\u0947\u0902\
\ \u092D\u093E\u0930\u0940 \u0935\u0943\u0926\u094D\u0927\u093F \u0915\u0930\
\u0928\u0940 \u0939\u094B\u0917\u0940\u0964 \u0935\u0939 \u0915\u094D\u0935\u093E\
\u0902\u091F\u092E \u091B\u0932\u093E\u0902\u0917 \u0935\u093F\u092D\u093F\u0928\
\u094D\u0928 \u0935\u0948\u091C\u094D\u091E\u093E\u0928\u093F\u0915, \u0924\u0915\
\u0928\u0940\u0915\u0940, \u0915\u0943\u0937\u093F \u0914\u0930 \u0914\u0926\
\u094D\u092F\u094B\u0917\u093F\u0915 \u0915\u094D\u0930\u093E\u0902\u0924\u093F\
\u092F\u094B\u0902 \u0938\u0947 \u092A\u0939\u0932\u0947 \u0932\u0917\u093E\u0928\
\u0940 \u0939\u094B\u0917\u0940, \u091C\u093F\u0938 \u092A\u0930 \u0939\u092E\
\u093E\u0930\u0947 \u0915\u094D\u0935\u093E\u0902\u091F\u092E-\u091B\u0932\u093E\
\u0902\u0917 \u0915\u0947 \u092C\u093E\u0926 \u0915\u0940 \u0926\u0941\u0928\
\u093F\u092F\u093E \u0906\u0930\u093E\u092E \u0915\u0930 \u0930\u0939\u0940\
\ \u0939\u0948\u0964 \u092F\u0939 \u0915\u0947\u0935\u0932 \u091B\u0932\u093E\
\u0902\u0917 \u0932\u0917\u093E\u0928\u0947 \u0935\u093E\u0932\u0947 \u0938\u092E\
\u093E\u091C \u0915\u0940 \u092D\u0942\u092E\u093F \u0915\u0947 \u092C\u093E\
\u0939\u0930 \u092A\u0942\u0930\u0947 \u092E\u0939\u093E\u0926\u094D\u0935\u0940\
\u092A\u094B\u0902 \u0915\u0947 \u092A\u093E\u0930\u093F\u0938\u094D\u0925\u093F\
\u0924\u093F\u0915 \u0924\u0902\u0924\u094D\u0930, \u0916\u0928\u093F\u091C\
\ \u0938\u0902\u0938\u093E\u0927\u0928\u094B\u0902 \u0914\u0930 \u092E\u093E\
\u0928\u0935 \u0938\u0902\u092A\u0924\u094D\u0924\u093F\u092F\u094B\u0902 \u0915\
\u093E \u0936\u094B\u0937\u0923 \u0915\u0930\u0915\u0947 \u092A\u0942\u0930\u093E\
\ \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\u0948\
\u0964 \u092A\u0936\u094D\u091A\u093F\u092E\u0940 \u092F\u0942\u0930\u094B\u092A\
\ \u0928\u0947 \u0905\u092A\u0928\u0940 \u0915\u094D\u0930\u0942\u0930\u0924\
\u093E \u0914\u0930 \u092C\u0902\u0926\u0942\u0915\u094B\u0902 \u0915\u0947\
\ \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947 \u0910\u0938\u093E \u0939\
\u0940 \u0915\u093F\u092F\u093E \u0914\u0930 , \u092D\u094C\u0917\u094B\u0932\
\u093F\u0915 \u0914\u0930 \u092A\u093E\u0930\u093F\u0938\u094D\u0925\u093F\u0924\
\u093F\u0915 \u092D\u093E\u0917\u094D\u092F \u0938\u0947 \u0905\u0927\u093F\u0915\
\ \u092E\u0939\u0924\u094D\u0935\u092A\u0942\u0930\u094D\u0923 \u0939\u0948\u0964\
" \u0915\u0949\u092A\u0940\u0930\u093E\u0907\u091F \xA9 2015 \u0915\u0948\
\u092E\u094D\u092C\u094D\u0930\u093F\u091C \u092F\u0942\u0928\u093F\u0935\u0930\
\u094D\u0938\u093F\u091F\u0940 \u092A\u094D\u0930\u0947\u0938\u0964 \u0905\u0932\
\u094D\u092B\u094D\u0930\u0947\u0921 \u0915\u094D\u0930\u0949\u0938\u094D\u092C\
\u0940, \u0907\u0924\u093F\u0939\u093E\u0938\u0915\u093E\u0930, \u092A\u093E\
\u0930\u093F\u0938\u094D\u0925\u093F\u0924\u093F\u0915 \u0938\u093E\u092E\u094D\
\u0930\u093E\u091C\u094D\u092F\u0935\u093E\u0926, 2004 \u092A\u0930\u093F\u091A\
\u094D\u091B\u0947\u0926 \u092E\u0947\u0902 \u0909\u0932\u094D\u0932\u093F\u0916\
\u093F\u0924 "\u0915\u094D\u0935\u093E\u0902\u091F\u092E \u091C\u0902\u092A\
" \u0928\u0947 1450-1750 \u0938\u0940\u0908 \u0915\u0940 \u0905\u0935\u0927\
\u093F \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u0935\u093F\u0915\
\u093E\u0938 \u092E\u0947\u0902 \u0938\u092C\u0938\u0947 \u0938\u0940\u0927\u0947\
\ \u092F\u094B\u0917\u0926\u093E\u0928 \u0926\u093F\u092F\u093E?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_world_history
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_high_school_world_history
task_alias: high_school_world_history
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u090F\u0915 \u090F\u0936\u093F\u092F\u093E\u0908 \u092A\u0941\u0930\u0941\
\u0937 \u092F\u093E \u092E\u0939\u093F\u0932\u093E"
B: "\u090F\u0915 \u0939\u093F\u0938\u094D\u092A\u0948\u0928\u093F\u0915 \u0906\
\u0926\u092E\u0940"
C: "\u090F\u0915 \u0905\u092B\u093C\u094D\u0930\u0940\u0915\u0940 \u0905\u092E\
\u0947\u0930\u093F\u0915\u0940 \u092E\u0939\u093F\u0932\u093E"
D: "\u090F\u0915 \u0936\u094D\u0935\u0947\u0924 \u092A\u0941\u0930\u0941\u0937\
\ \u092F\u093E \u092E\u0939\u093F\u0932\u093E"
input_correct_responses:
- C
input_question: "2019 \u0924\u0915 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\
\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u0935\u094D\
\u092F\u0915\u094D\u0924\u093F \u0915\u0947 \u0918\u0930 \u092A\u0930 \u0905\
\u0915\u0947\u0932\u0947 \u0930\u0939\u0928\u0947 \u0915\u0940 \u0905\u0927\u093F\
\u0915 \u0938\u0902\u092D\u093E\u0935\u0928\u093E \u0939\u0948?"
- input_choice_list:
A: "\u0915\u093F\u0936\u094B\u0930\u093E\u0935\u0938\u094D\u0925\u093E \u0915\
\u093E \u0932\u093E\u092D"
B: "\u0938\u094D\u092E\u0943\u0924\u093F \u0909\u092D\u093E\u0930"
C: "\u0938\u094D\u092E\u093E\u0930\u0915 \u0938\u094D\u092E\u093E\u0930\u0915"
D: "\u0926\u094D\u0935\u093F\u0918\u093E\u0924 \u092A\u0941\u0928\u0930\u094D\
\u092A\u094D\u0930\u093E\u092A\u094D\u0924\u093F \u0938\u094D\u092A\u093E\u0907\
\u0915"
input_correct_responses:
- B
input_question: "\u092F\u0939 \u0928\u093F\u0937\u094D\u0915\u0930\u094D\u0937\
\ \u0915\u093F \u0935\u092F\u0938\u094D\u0915 \u0905\u092A\u0928\u0947 \u0915\
\u093F\u0936\u094B\u0930\u093E\u0935\u0938\u094D\u0925\u093E \u0915\u0940 \u0918\
\u091F\u0928\u093E\u0913\u0902 \u0915\u094B \u0905\u092A\u0928\u0947 \u091C\u0940\
\u0935\u0928 \u0915\u0947 \u0905\u0928\u094D\u092F \u0905\u0935\u0927\u093F\u092F\
\u094B\u0902 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902\
\ \u092C\u0947\u0939\u0924\u0930 \u0922\u0902\u0917 \u0938\u0947 \u092F\u093E\
\u0926 \u0930\u0916\u0924\u0947 \u0939\u0948\u0902, \u0915\u0939\u0932\u093E\
\u0924\u0940 \u0939\u0948"
- input_choice_list:
A: "\u091F\u0947\u0915\u094D\u0938\u093E\u0938"
B: "\u0915\u0948\u0932\u093F\u092B\u094B\u0930\u094D\u0928\u093F\u092F\u093E"
C: "\u0939\u0935\u093E\u0908"
D: "\u0935\u0930\u092E\u094B\u0902\u091F"
input_correct_responses:
- A
input_question: "\u091C\u092C \u0935\u0943\u0926\u094D\u0927 \u0935\u092F\u0938\
\u094D\u0915 \u0938\u0947\u0935\u093E\u0928\u093F\u0935\u0943\u0924\u094D\u0924\
\u093F \u0915\u0947 \u092C\u093E\u0926 \u0915\u093F\u0938\u0940 \u0928\u090F\
\ \u0930\u093E\u091C\u094D\u092F \u092E\u0947\u0902 \u091A\u0932\u0947 \u091C\
\u093E\u0924\u0947 \u0939\u0948\u0902, \u0924\u094B \u0928\u093F\u092E\u094D\
\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\
\u0928 \u0938\u093E \u0917\u0902\u0924\u0935\u094D\u092F \u0905\u0927\u093F\u0915\
\ \u0938\u0902\u092D\u093E\u0935\u093F\u0924 \u0939\u0948?"
- input_choice_list:
A: "\u0928\u093F\u0915\u094B\u091F\u0940\u0928"
B: "\u091F\u093E\u0930"
C: "\u0915\u093E\u0930\u094D\u092C\u0928 \u092E\u094B\u0928\u094B\u0906\u0915\
\u094D\u0938\u093E\u0907\u0921"
D: "\u0927\u0941\u090F\u0901 \u0915\u0947 \u0915\u0923"
input_correct_responses:
- B
input_question: "\u0924\u092E\u094D\u092C\u093E\u0915\u0942 \u0915\u0947 \u0927\
\u0941\u090F\u0902 \u092E\u0947\u0902 \u0915\u094C\u0928 \u0938\u093E \u0924\
\u0924\u094D\u0935 \u0915\u0948\u0902\u0938\u0930 \u0915\u0947 \u0932\u093F\u090F\
\ \u091C\u093F\u092E\u094D\u092E\u0947\u0926\u093E\u0930 \u0939\u0948?"
- input_choice_list:
A: "\u090F\u0915 \u0935\u0943\u0926\u094D\u0927 \u0939\u093F\u0938\u094D\u092A\
\u0948\u0928\u093F\u0915 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u092E\
\u0939\u093F\u0932\u093E"
B: "\u090F\u0915 \u0935\u0943\u0926\u094D\u0927 \u0905\u092B\u093C\u094D\u0930\
\u0940\u0915\u0940 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u092E\u0939\
\u093F\u0932\u093E"
C: "\u090F\u0915 \u0935\u0943\u0926\u094D\u0927 \u090F\u0936\u093F\u092F\u093E\
\u0908 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u092E\u0939\u093F\u0932\
\u093E"
D: "\u090F\u0915 \u0935\u0943\u0926\u094D\u0927 \u092E\u0942\u0932 \u0905\u092E\
\u0947\u0930\u093F\u0915\u0940 \u092E\u0939\u093F\u0932\u093E"
input_correct_responses:
- C
input_question: "\u0905\u0928\u094D\u092F \u0938\u092D\u0940 \u092C\u093E\u0924\
\u0947\u0902 \u0938\u092E\u093E\u0928 \u0939\u094B\u0928\u0947 \u092A\u0930\
, \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902\
\ \u0938\u0947 \u0915\u093F\u0938 \u0935\u094D\u092F\u0915\u094D\u0924\u093F\
\ \u092E\u0947\u0902 \u0911\u0938\u094D\u091F\u093F\u092F\u094B\u092A\u094B\u0930\
\u094B\u0938\u093F\u0938 \u0939\u094B\u0928\u0947 \u0915\u0940 \u0905\u0927\u093F\
\u0915 \u0938\u0902\u092D\u093E\u0935\u0928\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_human_aging
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_human_aging
task_alias: human_aging
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u092A\u0939\u0932\u0940 \u0924\u093F\u092E\u093E\u0939\u0940 \u0915\u0947\
\ \u0926\u094C\u0930\u093E\u0928"
B: "\u0926\u0942\u0938\u0930\u0940 \u0924\u093F\u092E\u093E\u0939\u0940 \u0915\
\u0947 \u0926\u094C\u0930\u093E\u0928"
C: "\u0924\u0940\u0938\u0930\u0940 \u0924\u093F\u092E\u093E\u0939\u0940 \u0915\
\u0947 \u0926\u094C\u0930\u093E\u0928"
D: "\u092A\u0942\u0930\u0940 \u0917\u0930\u094D\u092D\u093E\u0935\u0938\u094D\
\u0925\u093E \u0915\u0947 \u0926\u094C\u0930\u093E\u0928"
input_correct_responses:
- A
input_question: "\u092E\u0949\u0930\u094D\u0928\u093F\u0902\u0917 \u0938\u093F\
\u0915\u0928\u0947\u0938 \u0906\u092E \u0924\u094C\u0930 \u092A\u0930 \u090F\
\u0915 \u0938\u092E\u0938\u094D\u092F\u093E \u0939\u0948:"
- input_choice_list:
A: "\u090F\u0915 \u092E\u091C\u092C\u0942\u0924 \u0905\u0939\u0902\u0915\u093E\
\u0930"
B: "\u090F\u0915 \u0915\u092E\u091C\u094B\u0930 \u0938\u0941\u092A\u0930\u0907\
\u0917\u094B"
C: "\u090F\u0915 \u0915\u092E\u091C\u094B\u0930 \u0906\u0908\u0921\u0940"
D: "\u090F\u0915 \u092E\u091C\u092C\u0942\u0924 \u0938\u0941\u092A\u0930\u0907\
\u0917\u094B"
input_correct_responses:
- B
input_question: "\u090F\u0915 \u092E\u0939\u093F\u0932\u093E \u091C\u094B \u091C\
\u093E\u0928\u0924\u0940 \u0939\u0948 \u0915\u093F \u0909\u0938\u0947 \u0938\
\u0915\u094D\u0930\u093F\u092F \u0939\u0930\u094D\u092A\u0940\u0938 \u0914\u0930\
\ \u0905\u0928\u0941\u092A\u091A\u093E\u0930\u093F\u0924 \u0938\u093F\u092B\u0932\
\u093F\u0938 \u0939\u0948, \u0932\u0947\u0915\u093F\u0928 \u0935\u0939 \u0905\
\u092A\u0928\u0947 \u0938\u093E\u0925\u0940 \u0915\u094B \u0905\u092A\u0928\u0940\
\ \u0938\u094D\u0925\u093F\u0924\u093F \u0915\u0947 \u092C\u093E\u0930\u0947\
\ \u092E\u0947\u0902 \u092C\u0924\u093E\u090F \u092C\u093F\u0928\u093E \u092F\
\u094C\u0928 \u0938\u0902\u092C\u0902\u0927 \u092C\u0928\u093E\u0928\u093E \u091C\
\u093E\u0930\u0940 \u0930\u0916\u0924\u0940 \u0939\u0948, \u0924\u094B \u092E\
\u0928\u094B\u0935\u093F\u0936\u094D\u0932\u0947\u0937\u0923\u093E\u0924\u094D\
\u092E\u0915 \u0936\u092C\u094D\u0926\u094B\u0902 \u092E\u0947\u0902:"
- input_choice_list:
A: "\u0924\u0925\u094D\u092F \u092F\u0939 \u0939\u0948 \u0915\u093F \u0909\u0928\
\u0915\u0947 \u092A\u093E\u0938 \u0926\u0941\u0930\u094D\u0926\u092E\u094D\
\u092F \u0905\u0935\u0927\u093F \u0928\u0939\u0940\u0902 \u0939\u0948\u0964"
B: "\u092F\u094B\u0928\u093F \u0915\u0940 \u0906\u0902\u0924\u0930\u093F\u0915\
\ \u092A\u0930\u0924\u094B\u0902 \u0915\u0940 \u092A\u094D\u0930\u0924\u093F\
\u0915\u094D\u0930\u093F\u092F\u093E\u0964"
C: "\u0935\u093F\u092D\u093F\u0928\u094D\u0928 \u0938\u094D\u0925\u093E\u0928\
\u094B\u0902 \u092A\u0930 \u092C\u093E\u0930\u0940-\u092C\u093E\u0930\u0940\
\ \u0938\u0947 \u0915\u093E\u092E\u094B\u0928\u094D\u092E\u093E\u0926 \u0939\
\u094B\u0928\u093E\u0964"
D: "\u091C\u0940-\u0938\u094D\u092A\u0949\u091F."
input_correct_responses:
- A
input_question: "\u092E\u0939\u093F\u0932\u093E\u0913\u0902 \u092E\u0947\u0902\
\ \u090F\u0915\u093E\u0927\u093F\u0915 \u0913\u0930\u094D\u0917\u093E\u0938\u094D\
\u092E \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0928\u0947 \u0915\
\u0940 \u0915\u094D\u0937\u092E\u0924\u093E \u092E\u0941\u0916\u094D\u092F \u0930\
\u0942\u092A \u0938\u0947 \u0928\u093F\u092E\u094D\u0928 \u0915\u093E\u0930\u0923\
\u094B\u0902 \u0938\u0947 \u0939\u094B\u0924\u0940 \u0939\u0948:"
- input_choice_list:
A: "\u0938\u0902\u092D\u094B\u0917"
B: "\u0938\u0930\u094D\u0915\u0932 \u091D\u091F\u0915\u0947"
C: "\u0928\u0941\u092E\u093E\u0907\u0936\u092C\u093E\u091C\u0940"
D: "\u090F\u0915 \u0926\u0942\u0938\u0930\u0947 \u0915\u0947 \u0917\u0941\u092A\
\u094D\u0924\u093E\u0902\u0917\u094B\u0902 \u0915\u094B \u091B\u0942\u0928\
\u093E"
input_correct_responses:
- A
input_question: "\u0915\u093F\u0936\u094B\u0930\u093E\u0935\u0938\u094D\u0925\u093E\
\ \u0915\u0947 \u0926\u094C\u0930\u093E\u0928 \u0939\u094B\u0928\u0947 \u0935\
\u093E\u0932\u0940 \u0938\u092E\u0932\u0948\u0902\u0917\u093F\u0915 \u0917\u0924\
\u093F\u0935\u093F\u0927\u093F\u092F\u094B\u0902 \u0915\u0940 \u092A\u094D\u0930\
\u0915\u0943\u0924\u093F \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\
\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094D\u092F\u093E\
\ \u0936\u093E\u092E\u093F\u0932 \u0939\u0948?"
- input_choice_list:
A: "\u0936\u0940\u0918\u094D\u0930\u092A\u0924\u0928"
B: "\u0938\u094D\u0916\u0932\u0928 \u0915\u094B \u0930\u094B\u0915\u093E"
C: "\u0938\u094D\u0924\u0902\u092D\u0928 \u0935\u093F\u0915\u093E\u0930"
D: "\u0938\u094D\u0916\u0932\u0928 \u0938\u0902\u092C\u0902\u0927\u0940 \u0935\
\u093F\u0915\u093E\u0930"
input_correct_responses:
- C
input_question: "\u092F\u094C\u0928 \u0909\u092A\u091A\u093E\u0930 \u091A\u093E\
\u0939\u0928\u0947 \u0935\u093E\u0932\u0947 \u092A\u0941\u0930\u0941\u0937\u094B\
\u0902 \u092E\u0947\u0902 \u0938\u092C\u0938\u0947 \u0906\u092E \u0935\u093F\
\u0915\u093E\u0930 \u0939\u0948:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_human_sexuality
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_human_sexuality
task_alias: human_sexuality
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0905\u0928\u0941\u091A\u094D\u091B\u0947\u0926 2(4) \u092E\u0947\u0902\
\ \u0915\u0947\u0935\u0932 \u0938\u0936\u0938\u094D\u0924\u094D\u0930 \u092C\
\u0932 \u0936\u093E\u092E\u093F\u0932 \u0939\u0948"
B: "\u0905\u0928\u0941\u091A\u094D\u091B\u0947\u0926 2(4) \u092E\u0947\u0902\
\ \u092A\u094D\u0930\u0924\u093F\u092C\u0902\u0927\u094B\u0902 \u0938\u0939\
\u093F\u0924 \u0938\u092D\u0940 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\
\u0947 \u092C\u0932 \u0936\u093E\u092E\u093F\u0932 \u0939\u0948\u0902"
C: "\u0905\u0928\u0941\u091A\u094D\u091B\u0947\u0926 2(4) \u092E\u0947\u0902\
\ \u0930\u093E\u091C\u094D\u092F\u094B\u0902 \u0915\u0947 \u0918\u0930\u0947\
\u0932\u0942 \u092E\u093E\u092E\u0932\u094B\u0902 \u092E\u0947\u0902 \u0938\
\u092D\u0940 \u0939\u0938\u094D\u0924\u0915\u094D\u0937\u0947\u092A \u0936\
\u093E\u092E\u093F\u0932 \u0939\u0948\u0902"
D: "\u0905\u0928\u0941\u091A\u094D\u091B\u0947\u0926 2(4) \u092E\u0947\u0902\
\ \u0915\u0947\u0935\u0932 \u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u0915\
\u094D\u0937\u0947\u0924\u094D\u0930\u0940\u092F \u0905\u0916\u0902\u0921\u0924\
\u093E \u0915\u0947 \u0935\u093F\u0930\u0941\u0926\u094D\u0927 \u0928\u093F\
\u0930\u094D\u0926\u0947\u0936\u093F\u0924 \u092C\u0932 \u0936\u093E\u092E\
\u093F\u0932 \u0939\u0948"
input_correct_responses:
- A
input_question: "\u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0930\u093E\u0937\
\u094D\u091F\u094D\u0930 \u091A\u093E\u0930\u094D\u091F\u0930 \u0915\u093E \u0905\
\u0928\u0941\u091A\u094D\u091B\u0947\u0926 2(4) \u0915\u093F\u0938 \u092A\u094D\
\u0930\u0915\u093E\u0930 \u0915\u0947 \u092C\u0932 \u092A\u0930 \u092A\u094D\
\u0930\u0924\u093F\u092C\u0902\u0927 \u0932\u0917\u093E\u0924\u093E \u0939\u0948\
?"
- input_choice_list:
A: "\u092F\u0926\u093F ICJ \u0915\u0947 \u0938\u092E\u0915\u094D\u0937 \u0915\
\u093F\u0938\u0940 \u0935\u093F\u0935\u093E\u0926\u093E\u0938\u094D\u092A\u0926\
\ \u092E\u093E\u092E\u0932\u0947 \u092E\u0947\u0902 \u0915\u093F\u0938\u0940\
\ \u092A\u0915\u094D\u0937 \u0915\u0947 \u092A\u093E\u0938 \u0928\u094D\u092F\
\u093E\u092F\u093E\u0927\u0940\u0936 \u0915\u0947 \u0930\u0942\u092A \u092E\
\u0947\u0902 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u092C\
\u0948\u0920\u0915 \u0928\u0939\u0940\u0902 \u0939\u0948, \u0924\u094B \u0935\
\u0939 \u0909\u0938 \u092E\u093E\u092E\u0932\u0947 \u0915\u0947 \u0932\u093F\
\u090F \u0915\u093F\u0938\u0940 \u0915\u094B \u0928\u094D\u092F\u093E\u092F\
\u093E\u0927\u0940\u0936 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902\
\ \u0928\u093E\u092E\u093E\u0902\u0915\u093F\u0924 \u0915\u0930\u0928\u0947\
\ \u0915\u093E \u0939\u0915\u0926\u093E\u0930 \u0939\u0948, \u0928\u094D\u092F\
\u093E\u092F\u093E\u0927\u0940\u0936 \u0924\u0926\u0930\u094D\u0925 \u0915\
\u0947 \u092A\u0926 \u0915\u0947 \u0938\u093E\u0925\u0964"
B: "\u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\u0936 \u0924\u0926\u0930\
\u094D\u0925 \u0928\u093F\u0930\u094D\u0923\u093E\u092F\u0915 \u092E\u0924\
\ \u0915\u0947 \u0938\u093E\u0925 ICJ \u0915\u0940 \u092A\u0940\u0920 \u0915\
\u0947 \u0938\u0926\u0938\u094D\u092F \u0939\u094B\u0924\u0947 \u0939\u0948\
\u0902"
C: "\u092F\u0926\u093F \u0915\u094B\u0908 \u0928\u094D\u092F\u093E\u092F\u093E\
\u0927\u0940\u0936 \u0905\u092F\u094B\u0917\u094D\u092F \u0939\u094B \u091C\
\u093E\u0924\u093E \u0939\u0948 \u092F\u093E \u0909\u0938\u0915\u0940 \u092E\
\u0943\u0924\u094D\u092F\u0941 \u0939\u094B \u091C\u093E\u0924\u0940 \u0939\
\u0948, \u0924\u094B \u0924\u0926\u0930\u094D\u0925 \u0928\u094D\u092F\u093E\
\u092F\u093E\u0927\u0940\u0936 \u090F\u0915 \u0938\u0930\u094B\u0917\u0947\
\u091F \u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\u0936 \u0939\u094B\
\u0924\u093E \u0939\u0948"
D: "\u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\u0936 \u0924\u0926\u0930\
\u094D\u0925 \u0935\u0939 \u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\
\u0936 \u0939\u094B\u0924\u093E \u0939\u0948 \u091C\u093F\u0938\u0947 \u092A\
\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u092A\u0915\u094D\u0937 \u0939\
\u092E\u0947\u0936\u093E \u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915\
\ \u0935\u093F\u0935\u093E\u0926\u093E\u0938\u094D\u092A\u0926 \u092E\u093E\
\u092E\u0932\u0947 \u092E\u0947\u0902 \u0928\u093E\u092E\u093F\u0924 \u0915\
\u0930\u0947\u0917\u093E"
input_correct_responses:
- A
input_question: "\u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\u0936 \u0924\
\u0926\u0930\u094D\u0925 \u0915\u094D\u092F\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092F\u0939 \u090F\u0915 \u0938\u094D\u0935\u0940\u0915\u093E\u0930\u094D\
\u092F \u0906\u0930\u0915\u094D\u0937\u0923 \u0939\u0948 \u092F\u0926\u093F\
\ \u0906\u0930\u0915\u094D\u0937\u0923 \u0915\u0930\u0928\u0947 \u0935\u093E\
\u0932\u0947 \u0926\u0947\u0936 \u0915\u093E \u0915\u093E\u0928\u0942\u0928\
\ \u090F\u0915 \u0905\u0932\u0917 \u092A\u0930\u093F\u092D\u093E\u0937\u093E\
\ \u0932\u093E\u0917\u0942 \u0915\u0930\u0924\u093E \u0939\u0948"
B: "\u092F\u0939 \u090F\u0915 \u0905\u0938\u094D\u0935\u0940\u0915\u093E\u0930\
\u094D\u092F \u0906\u0930\u0915\u094D\u0937\u0923 \u0939\u0948 \u0915\u094D\
\u092F\u094B\u0902\u0915\u093F \u092F\u0939 ICCPR \u0915\u0947 \u0909\u0926\
\u094D\u0926\u0947\u0936\u094D\u092F \u0914\u0930 \u0909\u0926\u094D\u0926\
\u0947\u0936\u094D\u092F \u0915\u093E \u0909\u0932\u094D\u0932\u0902\u0918\
\u0928 \u0915\u0930\u0924\u093E \u0939\u0948"
C: "\u092F\u0939 \u090F\u0915 \u0905\u0938\u094D\u0935\u0940\u0915\u093E\u0930\
\u094D\u092F \u0906\u0930\u0915\u094D\u0937\u0923 \u0939\u0948 \u0915\u094D\
\u092F\u094B\u0902\u0915\u093F \u0906\u0908\u0938\u0940\u0938\u0940\u092A\u0940\
\u0906\u0930 \u092E\u0947\u0902 \u092F\u093E\u0924\u0928\u093E \u0915\u0940\
\ \u092A\u0930\u093F\u092D\u093E\u0937\u093E \u092A\u094D\u0930\u0925\u093E\
\u0917\u0924 \u0905\u0902\u0924\u0930\u0930\u093E\u0937\u094D\u091F\u094D\u0930\
\u0940\u092F \u0915\u093E\u0928\u0942\u0928 \u0915\u0947 \u0905\u0928\u0941\
\u0930\u0942\u092A \u0939\u0948"
D: "\u092F\u0939 \u090F\u0915 \u0938\u094D\u0935\u0940\u0915\u093E\u0930\u094D\
\u092F \u0906\u0930\u0915\u094D\u0937\u0923 \u0939\u0948 \u0915\u094D\u092F\
\u094B\u0902\u0915\u093F \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0905\
\u0902\u0924\u0930\u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u0915\
\u093E\u0928\u0942\u0928 \u0915\u0947 \u0924\u0939\u0924 \u0930\u093E\u091C\
\u094D\u092F\u094B\u0902 \u0915\u094B \u0938\u0902\u0927\u093F\u092F\u094B\
\u0902 \u092E\u0947\u0902 \u0906\u0930\u0915\u094D\u0937\u0923 \u0926\u0930\
\u094D\u091C \u0915\u0930\u0928\u0947 \u0915\u093E \u0905\u0927\u093F\u0915\
\u093E\u0930 \u0939\u0948"
input_correct_responses:
- B
input_question: "\u0915\u094D\u092F\u093E \u0906\u0908\u0938\u0940\u0938\u0940\
\u092A\u0940\u0906\u0930 \u092E\u0947\u0902 \u092F\u093E\u0924\u0928\u093E \u0915\
\u0940 \u092A\u0930\u093F\u092D\u093E\u0937\u093E \u092E\u0947\u0902 \u0906\u0930\
\u0915\u094D\u0937\u0923 \u0938\u092E\u0915\u093E\u0932\u0940\u0928 \u0935\u094D\
\u092F\u0935\u0939\u093E\u0930 \u092E\u0947\u0902 \u0938\u094D\u0935\u0940\u0915\
\u093E\u0930\u094D\u092F \u0939\u094B\u0917\u093E?"
- input_choice_list:
A: "\u091C\u092C \u092D\u0940 \u0938\u0939\u092E\u0924\u093F \u0926\u0940 \u091C\
\u093E\u0924\u0940 \u0939\u0948 \u0924\u094B \u0935\u0939 \u0917\u093C\u0932\
\u0924\u0940 \u0915\u094B \u0930\u094B\u0915\u0928\u0947 \u0935\u093E\u0932\
\u0940 \u092A\u0930\u093F\u0938\u094D\u0925\u093F\u0924\u093F \u0915\u0947\
\ \u0930\u0942\u092A \u092E\u0947\u0902 \u0915\u093E\u092E \u0915\u0930 \u0938\
\u0915\u0924\u0940 \u0939\u0948"
B: "\u0938\u0939\u092E\u0924\u093F \u0915\u092D\u0940 \u092D\u0940 \u0917\u093C\
\u0932\u0924\u0940 \u0915\u094B \u0930\u094B\u0915\u0928\u0947 \u0935\u093E\
\u0932\u0940 \u092A\u0930\u093F\u0938\u094D\u0925\u093F\u0924\u093F \u0915\
\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0915\u093E\u092E \u0928\u0939\
\u0940\u0902 \u0915\u0930 \u0938\u0915\u0924\u0940"
C: "\u0938\u0939\u092E\u0924\u093F \u0917\u093C\u0932\u0924\u0940 \u0915\u094B\
\ \u0930\u094B\u0915\u0928\u0947 \u0935\u093E\u0932\u0940 \u092A\u0930\u093F\
\u0938\u094D\u0925\u093F\u0924\u093F \u0915\u0947 \u0930\u0942\u092A \u092E\
\u0947\u0902 \u0915\u093E\u092E \u0915\u0930 \u0938\u0915\u0924\u0940 \u0939\
\u0948, \u092C\u0936\u0930\u094D\u0924\u0947 \u0938\u0939\u092E\u0924\u093F\
\ \u0935\u0948\u0927 \u0939\u094B \u0914\u0930 \u0907\u0938 \u0939\u0926 \u0924\
\u0915 \u0915\u093F \u0906\u091A\u0930\u0923 \u0926\u0940 \u0917\u0908 \u0938\
\u0939\u092E\u0924\u093F \u0915\u0940 \u0938\u0940\u092E\u093E \u0915\u0947\
\ \u092D\u0940\u0924\u0930 \u0930\u0939\u0947\u0964"
D: "\u0938\u0939\u092E\u0924\u093F \u0939\u092E\u0947\u0936\u093E \u0917\u093C\
\u0932\u0924\u0940 \u0915\u094B \u0930\u094B\u0915\u0928\u0947 \u0935\u093E\
\u0932\u0940 \u092A\u0930\u093F\u0938\u094D\u0925\u093F\u0924\u093F \u0915\
\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0915\u093E\u092E \u0915\u0930\
\ \u0938\u0915\u0924\u0940 \u0939\u0948, \u091A\u093E\u0939\u0947 \u0930\u093E\
\u091C\u094D\u092F \u0915\u093E \u0915\u094B\u0908 \u092D\u0940 \u0905\u0902\
\u0917 \u0907\u0938\u0947 \u0926\u0947"
input_correct_responses:
- C
input_question: "\u0915\u092C '\u0938\u0939\u092E\u0924\u093F' \u0915\u093F\
\u0938\u0940 \u0930\u093E\u091C\u094D\u092F \u0915\u0947 \u0906\u091A\u0930\u0923\
\ \u0915\u0940 \u0917\u0932\u0924\u0924\u093E \u0915\u094B \u0930\u094B\u0915\
\u0928\u0947 \u0935\u093E\u0932\u0940 \u092A\u0930\u093F\u0938\u094D\u0925\u093F\
\u0924\u093F \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0915\u093E\
\u092E \u0915\u0930 \u0938\u0915\u0924\u0940 \u0939\u0948?"
- input_choice_list:
A: "\u0915\u093F\u0938\u0940 \u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u092C\
\u093E\u0927\u094D\u092F\u0924\u093E \u0915\u0940 \u0938\u0939\u092E\u0924\
\u093F \u0915\u0947\u0935\u0932 \u0905\u0928\u0941\u0938\u092E\u0930\u094D\
\u0925\u0928 \u0926\u094D\u0935\u093E\u0930\u093E \u0935\u094D\u092F\u0915\
\u094D\u0924 \u0915\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948"
B: "\u0915\u093F\u0938\u0940 \u0938\u0902\u0927\u093F \u0938\u0947 \u092C\u0902\
\u0927\u0947 \u0930\u0939\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0930\
\u093E\u091C\u094D\u092F \u0915\u0940 \u0938\u0939\u092E\u0924\u093F \u0939\
\u0938\u094D\u0924\u093E\u0915\u094D\u0937\u0930, \u0905\u0928\u0941\u0938\
\u092E\u0930\u094D\u0925\u0928, \u0938\u094D\u0935\u0940\u0915\u0943\u0924\
\u093F, \u0905\u0928\u0941\u092E\u094B\u0926\u0928 \u092F\u093E \u092A\u0930\
\u093F\u0917\u094D\u0930\u0939\u0923 \u0926\u094D\u0935\u093E\u0930\u093E\
\ \u0935\u094D\u092F\u0915\u094D\u0924 \u0915\u0940 \u091C\u093E \u0938\u0915\
\u0924\u0940 \u0939\u0948"
C: "\u092C\u093E\u0927\u094D\u092F \u0939\u094B\u0928\u0947 \u0915\u0947 \u0932\
\u093F\u090F \u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u0938\u0939\u092E\
\u0924\u093F \u0939\u0938\u094D\u0924\u093E\u0915\u094D\u0937\u0930 \u0926\
\u094D\u0935\u093E\u0930\u093E \u0935\u094D\u092F\u0915\u094D\u0924 \u0915\
\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948"
D: "\u092C\u093E\u0927\u094D\u092F \u0939\u094B\u0928\u0947 \u0915\u0947 \u0932\
\u093F\u090F \u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u0938\u0939\u092E\
\u0924\u093F \u0909\u0928\u0915\u0947 \u0926\u094D\u0935\u093E\u0930\u093E\
\ \u091A\u0941\u0928\u0947 \u0917\u090F \u0915\u093F\u0938\u0940 \u092D\u0940\
\ \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947 \u0935\u094D\u092F\u0915\
\u094D\u0924 \u0915\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948"
input_correct_responses:
- B
input_question: "\u0915\u093F\u0938\u0940 \u0930\u093E\u091C\u094D\u092F \u0938\
\u0947 \u092C\u0902\u0927\u0947 \u0930\u0939\u0928\u0947 \u0915\u0940 \u0938\
\u0939\u092E\u0924\u093F \u0915\u0948\u0938\u0947 \u0935\u094D\u092F\u0915\u094D\
\u0924 \u0915\u0940 \u091C\u093E \u0938\u0915\u0924\u0940 \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_international_law
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_international_law
task_alias: international_law
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u092A\u0940\u0913\u092A\u0940 \u0938\u094D\u0935\u0924\u0902\u0924\u094D\
\u0930\u0924\u093E \u0938\u0947 \u090A\u092A\u0930 \u0938\u092E\u093E\u0928\
\u0924\u093E \u0915\u094B \u091A\u0941\u0928\u0947\u0917\u0940\u0964"
B: "\u092A\u0940\u0913\u092A\u0940 '\u0905\u0927\u093F\u0915\u0924\u092E\
' \u0930\u0923\u0928\u0940\u0924\u093F \u0915\u093E \u0935\u093F\u0915\
\u0932\u094D\u092A \u091A\u0941\u0928\u0947\u0917\u093E\u0964"
C: "\u092A\u0940\u0913\u092A\u0940 '\u0905\u0902\u0924\u0930 \u0938\u093F\
\u0926\u094D\u0927\u093E\u0902\u0924' \u0915\u093E \u0935\u093F\u0915\u0932\
\u094D\u092A \u091A\u0941\u0928\u0947\u0917\u093E\u0964"
D: "\u092A\u0940\u0913\u092A\u0940 '\u092A\u094D\u0930\u093E\u0915\u0943\
\u0924\u093F\u0915 \u0938\u094D\u0935\u0924\u0902\u0924\u094D\u0930\u0924\u093E\
\ \u0915\u0940 \u0935\u094D\u092F\u0935\u0938\u094D\u0925\u093E' \u0915\
\u094B \u0905\u0938\u094D\u0935\u0940\u0915\u093E\u0930 \u0915\u0930 \u0926\
\u0947\u0917\u093E\u0964"
input_correct_responses:
- A
input_question: "\u0930\u0949\u0932\u094D\u0938 \u0915\u093E \u0926\u093E\u0935\
\u093E \u0939\u0948 \u0915\u093F \u092A\u0940\u0913\u092A\u0940 (\u092E\u0942\
\u0932 \u092A\u0926 \u092A\u0930 \u092E\u094C\u091C\u0942\u0926 \u0932\u094B\
\u0917\u094B\u0902) \u0926\u094D\u0935\u093E\u0930\u093E \u0915\u093F\u0938\
\ \u092A\u0926 \u0915\u094B \u0905\u092A\u0928\u093E\u0928\u0947 \u0915\u0940\
\ \u0938\u092C\u0938\u0947 \u0915\u092E \u0938\u0902\u092D\u093E\u0935\u0928\
\u093E \u0939\u0948?"
- input_choice_list:
A: "\u0935\u094D\u092F\u0915\u094D\u0924\u093F\u0917\u0924 \u0938\u094D\u0935\
\u0924\u0902\u0924\u094D\u0930\u0924\u093E \u0915\u094B \u0905\u0927\u093F\
\u0915\u0924\u092E \u0915\u0930\u0928\u093E"
B: "\u0938\u092E\u091D\u094C\u0924\u0947 \u0915\u0947 \u0932\u093F\u090F \u0906\
\u0927\u093E\u0930 \u092A\u094D\u0930\u0926\u093E\u0928 \u0915\u0930\u0928\
\u093E"
C: "\u0936\u093E\u0902\u0924\u093F \u092C\u0928\u093E\u090F \u0930\u0916\u0928\
\u093E"
D: "\u092E\u0941\u0915\u094D\u0924 \u0909\u0926\u094D\u092F\u092E \u092A\u094D\
\u0930\u0923\u093E\u0932\u0940 \u0915\u0947 \u0938\u093F\u0926\u094D\u0927\
\u093E\u0902\u0924\u094B\u0902 \u0915\u094B \u092C\u0922\u093C\u093E\u0935\
\u093E \u0926\u0947\u0928\u093E"
input_correct_responses:
- D
input_question: "\u0915\u093E\u0928\u0942\u0928 \u0915\u0947 \u0915\u093E\u0930\
\u094D\u092F\u094B\u0902 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\
\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0947\
\ \u091B\u094B\u0921\u093C\u0915\u0930 \u0938\u092D\u0940 \u0936\u093E\u092E\
\u093F\u0932 \u0939\u0948\u0902?"
- input_choice_list:
A: "\u0905\u0927\u093F\u0915\u093E\u0930\u0964"
B: "\u0915\u0930\u093F\u0936\u094D\u092E\u093E."
C: "\u0938\u0939\u092F\u094B\u0917\u0964"
D: "\u092A\u0942\u0902\u091C\u0940\u0935\u093E\u0926."
input_correct_responses:
- D
input_question: "\u0914\u092A\u091A\u093E\u0930\u093F\u0915 \u0930\u0942\u092A\
\ \u0938\u0947 \u0924\u0930\u094D\u0915\u0938\u0902\u0917\u0924 \u0915\u093E\
\u0928\u0942\u0928 \u0915\u0947 \u0935\u093F\u0915\u093E\u0938 \u0915\u0947\
\ \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0935\u0947\u092C\u0930 \u0915\
\u0940 \u0935\u094D\u092F\u093E\u0916\u094D\u092F\u093E \u0915\u094B \u0915\u094C\
\u0928 \u0938\u093E \u0936\u092C\u094D\u0926 \u0938\u092C\u0938\u0947 \u0905\
\u091A\u094D\u091B\u093E \u0938\u093E\u0930\u093E\u0902\u0936\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092A\u094D\u0930\u093E\u0915\u0943\u0924\u093F\u0915 \u0915\u093E\u0928\
\u0942\u0928"
B: "\u0935\u093F\u0936\u094D\u0932\u0947\u0937\u0923\u093E\u0924\u094D\u092E\
\u0915"
C: "\u0910\u0924\u093F\u0939\u093E\u0938\u093F\u0915"
D: "\u0938\u092E\u093E\u091C\u0936\u093E\u0938\u094D\u0924\u094D\u0930\u0940\
\u092F"
input_correct_responses:
- A
input_question: "\u0928\u094D\u092F\u093E\u092F\u0936\u093E\u0938\u094D\u0924\u094D\
\u0930 \u0915\u0947 ________ \u0938\u094D\u0915\u0942\u0932 \u0915\u093E \u092E\
\u093E\u0928\u0928\u093E \u0939\u0948 \u0915\u093F \u0915\u093E\u0928\u0942\u0928\
\ "\u0938\u0939\u0940" \u092A\u0930 \u0906\u0927\u093E\u0930\u093F\
\u0924 \u0939\u0948\u0964"
- input_choice_list:
A: "\u092A\u0924\u094D\u0930 \u092C\u0947\u091A\u0928\u0947 \u0915\u093E \u092A\
\u094D\u0930\u0938\u094D\u0924\u093E\u0935 \u0939\u0948"
B: "\u0915\u094B\u0908 \u0935\u0948\u0927 \u092A\u094D\u0930\u0938\u094D\u0924\
\u093E\u0935 \u092A\u0924\u094D\u0930 \u0926\u094D\u0935\u093E\u0930\u093E\
\ \u0928\u0939\u0940\u0902 \u0926\u093F\u092F\u093E \u091C\u093E \u0938\u0915\
\u0924\u093E\u0964"
C: "\u092A\u0924\u094D\u0930 \u092E\u0947\u0902 \u090F\u0915 \u0935\u0948\u0927\
\ \u092A\u094D\u0930\u0938\u094D\u0924\u093E\u0935 \u0939\u0948 \u091C\u094B\
\ \u0909\u091A\u093F\u0924 \u0938\u092E\u092F \u0915\u0947 \u092D\u0940\u0924\
\u0930 \u0938\u092E\u093E\u092A\u094D\u0924 \u0939\u094B \u091C\u093E\u090F\
\u0917\u093E\u0964"
D: "\u092A\u0924\u094D\u0930 \u092E\u0947\u0902 \u092A\u094D\u0930\u0938\u094D\
\u0924\u093E\u0935 \u0915\u0947 \u0906\u0935\u0936\u094D\u092F\u0915 \u0924\
\u0924\u094D\u0935\u094B\u0902 \u092E\u0947\u0902 \u0938\u0947 \u090F\u0915\
\ \u0915\u093E \u0905\u092D\u093E\u0935 \u0939\u0948\u0964"
input_correct_responses:
- D
input_question: "\u0907\u0935\u0930\u0938\u0928 \u091C\u094D\u0935\u0948\u0932\
\u0930\u094D\u0938 \u0928\u0947 \u092E\u093F\u0932\u0930 \u0915\u094B \u090F\
\u0915 \u092A\u0924\u094D\u0930 \u0932\u093F\u0916\u093E, '\u0939\u092E\u0947\
\u0902 \u090F\u0915 \u0905\u0938\u093E\u0927\u093E\u0930\u0923 \u092C\u0922\u093C\
\u093F\u092F\u093E \u0938\u0947\u0932\u094D\u092B \u0935\u093E\u0907\u0902\u0921\
\u093F\u0902\u0917 \u0930\u094B\u0932\u0949\u0915\u094D\u0938 \u0918\u0921\u093C\
\u0940 \u092E\u093F\u0932\u0940 \u0939\u0948 \u091C\u093F\u0938\u0947 \u0939\
\u092E \u0906\u092A\u0915\u094B \u092C\u0939\u0941\u0924 \u0905\u0928\u0941\u0915\
\u0942\u0932 \u0915\u0940\u092E\u0924 \u092A\u0930 \u092C\u0947\u091A\u0947\u0902\
\u0917\u0947\u0964'"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_jurisprudence
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_jurisprudence
task_alias: jurisprudence
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0924\u0941\u092E \u0920\u0940\u0915 \u0939\u094B"
B: "\u0918\u094B\u0921\u093C\u093E \u0939\u0901\u0938\u093E"
C: "\u0935\u094D\u092F\u0915\u094D\u0924\u093F \u0915\u0947 \u0935\u093F\u0930\
\u0941\u0926\u094D\u0927 \u0924\u0930\u094D\u0915"
D: ignoratio elenchi
input_correct_responses:
- C
input_question: "\u092F\u0926\u093F \u0915\u094B\u0908 \u0935\u093F\u0930\u094B\
\u0927\u0940 \u0915\u0947 \u0924\u0930\u094D\u0915 \u0915\u093E \u091C\u0935\
\u093E\u092C \u0926\u0947\u0928\u0947 \u0915\u0947 \u092C\u091C\u093E\u092F\
, \u0915\u093F\u0938\u0940 \u0935\u093F\u0930\u094B\u0927\u0940 \u0924\u0930\
\u094D\u0915\u0915\u0930\u094D\u0924\u093E \u0915\u0947 \u091A\u0930\u093F\u0924\
\u094D\u0930 \u092A\u0930 \u0939\u092E\u0932\u093E \u0915\u0930\u0924\u093E\
\ \u0939\u0948, \u0924\u094B \u092A\u0939\u0932\u0947 \u0935\u094D\u092F\u0915\
\u094D\u0924\u093F \u0928\u0947 \u0938\u0902\u092D\u0935\u0924\u0903 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947\
\ \u0915\u094C\u0928 \u0938\u0940 \u092D\u094D\u0930\u093E\u0902\u0924\u093F\
\ \u0915\u0940 \u0939\u0948?"
- input_choice_list:
A: "\u0915\u093F\u0938\u0940 \u091A\u0940\u091C\u093C \u092A\u0930 \u092C\u0939\
\u0938 \u0915\u0930\u0928\u093E \u0915\u0947\u0935\u0932 \u0907\u0938\u0932\
\u093F\u090F \u0918\u091F\u093F\u092F\u093E \u0939\u0948 \u0915\u094D\u092F\
\u094B\u0902\u0915\u093F \u092F\u0939 \u0910\u0938\u093E \u0915\u0941\u091B\
\ \u0928\u0939\u0940\u0902 \u0915\u0930\u0924\u093E \u0939\u0948 \u091C\u093F\
\u0938\u0947 \u0915\u0930\u0928\u0947 \u0915\u093E \u0907\u0938\u0915\u093E\
\ \u0907\u0930\u093E\u0926\u093E \u0915\u092D\u0940 \u0928\u0939\u0940\u0902\
\ \u0925\u093E\u0964"
B: "\u092A\u094D\u0930\u0938\u094D\u0924\u093E\u0935 \u092E\u0947\u0902 \u090F\
\u0915 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0926\u093E\u0935\u0947 \u0936\
\u093E\u092E\u093F\u0932 \u0915\u0930\u0928\u093E \u0914\u0930 \u090F\u0915\
\ \u0926\u093E\u0935\u0947 \u0915\u0947 \u0938\u092C\u0942\u0924 \u0915\u094B\
\ \u0938\u092D\u0940 \u0926\u093E\u0935\u094B\u0902 \u0915\u0947 \u0932\u093F\
\u090F \u0938\u092C\u0942\u0924 \u092E\u093E\u0928\u0928\u093E\u0964"
C: "\u0938\u092C\u0942\u0924\u094B\u0902 \u0915\u0940 \u091C\u093E\u0902\u091A\
\ \u0915\u0930\u0928\u0947 \u0938\u0947 \u092A\u0939\u0932\u0947 \u0928\u093F\
\u0937\u094D\u0915\u0930\u094D\u0937 \u0928\u093F\u0915\u093E\u0932\u0928\u093E\
, \u0914\u0930 \u0915\u0947\u0935\u0932 \u0909\u0928 \u0938\u092C\u0942\u0924\
\u094B\u0902 \u092A\u0930 \u0935\u093F\u091A\u093E\u0930 \u0915\u0930\u0928\
\u093E \u091C\u094B \u0909\u0938 \u0928\u093F\u0937\u094D\u0915\u0930\u094D\
\u0937 \u0915\u093E \u0938\u092E\u0930\u094D\u0925\u0928 \u0915\u0930\u0924\
\u0947 \u0939\u0948\u0902\u0964"
D: "\u0910\u0938\u093E \u092A\u094D\u0930\u0936\u094D\u0928 \u092A\u0942\u091B\
\u0928\u093E \u091C\u093F\u0938\u092E\u0947\u0902 \u092F\u093E \u0924\u094B\
\ \u090F\u0915 \u0905\u092A\u094D\u0930\u092E\u093E\u0923\u093F\u0924 \u0927\
\u093E\u0930\u0923\u093E \u092F\u093E \u090F\u0915 \u0938\u0947 \u0905\u0927\
\u093F\u0915 \u092A\u094D\u0930\u0936\u094D\u0928 \u0936\u093E\u092E\u093F\
\u0932 \u0939\u094B\u0902, \u0907\u0938 \u092A\u094D\u0930\u0915\u093E\u0930\
\ \u0938\u0940\u0927\u093E \u0939\u093E\u0901 \u092F\u093E \u0928\u093E \u0909\
\u0924\u094D\u0924\u0930 \u0905\u0930\u094D\u0925\u0939\u0940\u0928 \u0939\
\u094B \u091C\u093E\u0924\u093E \u0939\u0948\u0964"
input_correct_responses:
- D
input_question: "\u091C\u091F\u093F\u0932 \u092A\u094D\u0930\u0936\u094D\u0928\
\ \u092D\u094D\u0930\u093E\u0902\u0924\u093F \u0938\u0947 \u092C\u0928\u093E\
\ \u0939\u0948"
- input_choice_list:
A: "\u0932\u0918\u0941 \u0906\u0927\u093E\u0930 \u0915\u094B \u092A\u0942\u0930\
\u094D\u0935\u0935\u0943\u0924\u094D\u0924 \u0915\u094B \u0928\u0915\u093E\
\u0930\u0928\u093E \u091A\u093E\u0939\u093F\u090F"
B: "\u092A\u094D\u0930\u092E\u0941\u0916 \u0906\u0927\u093E\u0930 \u0915\u094B\
\ \u092A\u0930\u093F\u0923\u093E\u092E\u0940 \u0915\u0940 \u092A\u0941\u0937\
\u094D\u091F\u093F \u0915\u0930\u0928\u0940 \u091A\u093E\u0939\u093F\u090F"
C: "\u092E\u0927\u094D\u092F \u092A\u0926 \u0915\u093E \u0909\u092A\u092F\u094B\
\u0917 \u0915\u092E \u0938\u0947 \u0915\u092E \u090F\u0915 \u0906\u0927\u093E\
\u0930 \u092E\u0947\u0902 \u0938\u093E\u0930\u094D\u0935\u092D\u094C\u092E\
\u093F\u0915 \u092F\u093E \u0905\u092F\u094B\u0917\u094D\u092F \u0905\u0930\
\u094D\u0925 \u092E\u0947\u0902 \u0915\u093F\u092F\u093E \u091C\u093E\u0928\
\u093E \u091A\u093E\u0939\u093F\u090F"
D: "\u090A\u092A\u0930 \u0915\u0947 \u0938\u092D\u0940"
input_correct_responses:
- C
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0935\u0948\
\u0927 \u0936\u094D\u0930\u0947\u0923\u0940\u092C\u0926\u094D\u0927 \u0928\u094D\
\u092F\u093E\u092F\u0935\u093E\u0915\u094D\u092F \u0915\u0947 \u092C\u093E\u0930\
\u0947 \u092E\u0947\u0902 \u0938\u0924\u094D\u092F \u0939\u0948?"
- input_choice_list:
A: "\u0935\u093F\u092D\u093E\u091C\u0928"
B: "\u0938\u0902\u0918\u091F\u0928"
C: "\u0935\u094D\u092F\u0915\u094D\u0924\u093F \u0938\u0947 \u0905\u092A\u0940\
\u0932 \u0915\u0930\u0947\u0902"
D: "\u0905\u091C\u094D\u091E\u093E\u0928\u0924\u093E \u0915\u0940 \u0905\u092A\
\u0940\u0932"
input_correct_responses:
- B
input_question: "\u092F\u0939 \u0924\u0930\u094D\u0915 \u0926\u0947\u0928\u093E\
\ \u0915\u093F \u091C\u094B \u092D\u093E\u0917\u094B\u0902 \u0915\u0947 \u092C\
\u093E\u0930\u0947 \u092E\u0947\u0902 \u0938\u0924\u094D\u092F \u0939\u0948\
\ \u0935\u0939 \u0938\u0902\u092A\u0942\u0930\u094D\u0923 \u0915\u0947 \u0932\
\u093F\u090F \u092D\u0940 \u0938\u0924\u094D\u092F \u0939\u094B\u0928\u093E\
\ \u091A\u093E\u0939\u093F\u090F, \u092F\u0939 \u090F\u0915 \u092D\u094D\u0930\
\u093E\u0902\u0924\u093F \u0939\u0948..."
- input_choice_list:
A: "\u0916\u093C\u0930\u093E\u092C \u0916\u0947\u0932 \u0915\u094C\u0936\u0932"
B: "\u0915\u0930\u0941\u0923\u093E \u0915\u0940 \u0905\u092A\u0940\u0932"
C: "\u0935\u094D\u092F\u0915\u094D\u0924\u093F \u0915\u0947 \u0935\u093F\u0930\
\u0941\u0926\u094D\u0927 \u0924\u0930\u094D\u0915"
D: "\u0916\u0902\u0921\u0928 \u0915\u0940 \u0905\u091C\u094D\u091E\u093E\u0928\
\u0924\u093E"
input_correct_responses:
- D
input_question: "\u091C\u092C \u090F\u0915 \u0924\u0930\u094D\u0915\u0915\u0930\
\u094D\u0924\u093E \u092A\u094D\u0930\u0924\u093F\u0928\u093F\u092F\u0941\u0915\
\u094D\u0924\u093F \u0915\u0947 \u0926\u094C\u0930\u093E\u0928 \u092D\u094D\u0930\
\u092E \u092A\u0948\u0926\u093E \u0915\u0930\u0924\u093E \u0939\u0948, \u0915\
\u094D\u092F\u094B\u0902\u0915\u093F \u092A\u094D\u0930\u0924\u093F\u0928\u093F\
\u092F\u0941\u0915\u094D\u0924\u093F \u092E\u0947\u0902 \u0938\u0902\u0932\u0917\
\u094D\u0928 \u0939\u094B\u0928\u0947 \u0915\u0940 \u0935\u093E\u0938\u094D\u0924\
\u0935\u093F\u0915 \u092F\u093E \u0926\u093F\u0916\u093E\u0935\u091F\u0940 \u0915\
\u094D\u0937\u092E\u0924\u093E \u0915\u0940 \u0915\u092E\u0940 \u0939\u094B\u0924\
\u0940 \u0939\u0948, \u0924\u094B \u0909\u0938 \u0924\u0930\u094D\u0915\u0915\
\u0930\u094D\u0924\u093E \u0928\u0947 \u092D\u094D\u0930\u093E\u0902\u0924\u093F\
\ \u0915\u0940 \u0939\u094B \u0938\u0915\u0924\u0940 \u0939\u0948\u0964"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_logical_fallacies
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_logical_fallacies
task_alias: logical_fallacies
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: 2.0/15
B: 1.0/7
C: 3.0/16
D: 1.0/5
input_correct_responses:
- B
input_question: "\u090F\u0915 6-\u0924\u0930\u092B\u093E \u092A\u093E\u0938\u0947\
\ \u0915\u094B 15 \u092C\u093E\u0930 \u0918\u0941\u092E\u093E\u092F\u093E \u091C\
\u093E\u0924\u093E \u0939\u0948 \u0914\u0930 \u092A\u0930\u093F\u0923\u093E\u092E\
\ \u0907\u0938 \u092A\u094D\u0930\u0915\u093E\u0930 \u0939\u0948\u0902: \u092A\
\u0915\u094D\u0937 1 0 \u092C\u093E\u0930 \u090A\u092A\u0930 \u0906\u0924\u093E\
\ \u0939\u0948; \u092A\u0915\u094D\u0937 2: 1 \u092C\u093E\u0930; \u092A\u0915\
\u094D\u0937 3: 2 \u092C\u093E\u0930; \u092A\u0915\u094D\u0937 4: 3 \u092C\u093E\
\u0930; \u092A\u0915\u094D\u0937 5:4 \u092C\u093E\u0930; \u092A\u0915\u094D\u0937\
\ 6:5 \u092C\u093E\u0930. \u0907\u0928 \u092A\u0930\u093F\u0923\u093E\u092E\u094B\
\u0902 \u0915\u0947 \u0906\u0927\u093E\u0930 \u092A\u0930, \u0910\u0921-1 \u0938\
\u094D\u092E\u0942\u0925\u093F\u0902\u0917 \u0915\u093E \u0909\u092A\u092F\u094B\
\u0917 \u0915\u0930\u0924\u0947 \u0938\u092E\u092F \u0938\u093E\u0907\u0921\
\ 3 \u0915\u0947 \u0906\u0928\u0947 \u0915\u0940 \u0915\u094D\u092F\u093E \u0938\
\u0902\u092D\u093E\u0935\u0928\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092F\u093E\u0926\u0943\u091A\u094D\u091B\u093F\u0915 \u092B\u0938\u0932\
\ \u0914\u0930 \u0915\u094D\u0937\u0948\u0924\u093F\u091C \u092B\u094D\u0932\
\u093F\u092A"
B: "\u092F\u093E\u0926\u0943\u091A\u094D\u091B\u093F\u0915 \u092B\u0938\u0932\
\ \u0914\u0930 \u090A\u0930\u094D\u0927\u094D\u0935\u093E\u0927\u0930 \u092B\
\u094D\u0932\u093F\u092A"
C: posterization
D: "\u0915\u091F\u094C\u0924\u0940"
input_correct_responses:
- A
input_question: "\u092A\u094D\u0930\u093E\u0915\u0943\u0924\u093F\u0915 \u091B\
\u0935\u093F\u092F\u094B\u0902 \u0915\u0947 \u0932\u093F\u090F \u0915\u094C\u0928\
\ \u0938\u093E \u091B\u0935\u093F \u0921\u0947\u091F\u093E \u0938\u0902\u0935\
\u0930\u094D\u0926\u094D\u0927\u0928 \u0938\u092C\u0938\u0947 \u0906\u092E \u0939\
\u0948?"
- input_choice_list:
A: "\u092E\u0947\u0930\u0940 \u0935\u093F\u0927\u093F \u092A\u093F\u091B\u0932\
\u0940 \u0938\u092D\u0940 \u0935\u093F\u0927\u093F\u092F\u094B\u0902 \u0915\
\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0915\u092E \u092A\
\u094D\u0930\u0936\u093F\u0915\u094D\u0937\u0923 \u0924\u094D\u0930\u0941\u091F\
\u093F \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0924\u0940\
\ \u0939\u0948!"
B: "\u092E\u0947\u0930\u0940 \u0935\u093F\u0927\u093F \u092A\u093F\u091B\u0932\
\u0940 \u0938\u092D\u0940 \u0935\u093F\u0927\u093F\u092F\u094B\u0902 \u0915\
\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0915\u092E \u092A\
\u0930\u0940\u0915\u094D\u0937\u0923 \u0924\u094D\u0930\u0941\u091F\u093F\
\ \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0924\u0940 \u0939\
\u0948! (\u092B\u0941\u091F\u0928\u094B\u091F: \u091C\u092C \u0928\u093F\u092F\
\u092E\u093F\u0924\u0940\u0915\u0930\u0923 \u092A\u0948\u0930\u093E\u092E\u0940\
\u091F\u0930 \u03BB \u091A\u0941\u0928\u093E \u091C\u093E\u0924\u093E \u0939\
\u0948 \u0924\u093E\u0915\u093F \u092A\u0930\u0940\u0915\u094D\u0937\u0923\
\ \u0924\u094D\u0930\u0941\u091F\u093F \u0915\u094B \u0915\u092E \u0915\u093F\
\u092F\u093E \u091C\u093E \u0938\u0915\u0947\u0964)"
C: "\u092E\u0947\u0930\u0940 \u0935\u093F\u0927\u093F \u092A\u093F\u091B\u0932\
\u0940 \u0938\u092D\u0940 \u0935\u093F\u0927\u093F\u092F\u094B\u0902 \u0915\
\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0915\u092E \u092A\
\u0930\u0940\u0915\u094D\u0937\u0923 \u0924\u094D\u0930\u0941\u091F\u093F\
\ \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0924\u0940 \u0939\
\u0948! (\u092B\u0941\u091F\u0928\u094B\u091F: \u091C\u092C \u0928\u093F\u092F\
\u092E\u093F\u0924\u0940\u0915\u0930\u0923 \u092A\u0948\u0930\u093E\u092E\u0940\
\u091F\u0930 \u03BB \u091A\u0941\u0928\u093E \u091C\u093E\u0924\u093E \u0939\
\u0948 \u0924\u093E\u0915\u093F \u0915\u094D\u0930\u0949\u0938-\u0938\u0924\
\u094D\u092F\u093E\u092A\u0928 \u0924\u094D\u0930\u0941\u091F\u093F \u0915\
\u094B \u0915\u092E \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0947\
\u0964)"
D: "\u092E\u0947\u0930\u0940 \u0935\u093F\u0927\u093F \u092A\u093F\u091B\u0932\
\u0940 \u0938\u092D\u0940 \u0935\u093F\u0927\u093F\u092F\u094B\u0902 \u0915\
\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0915\u092E \u0915\
\u094D\u0930\u0949\u0938-\u0938\u0924\u094D\u092F\u093E\u092A\u0928 \u0924\
\u094D\u0930\u0941\u091F\u093F \u092A\u094D\u0930\u093E\u092A\u094D\u0924\
\ \u0915\u0930\u0924\u0940 \u0939\u0948! (\u092B\u0941\u091F\u0928\u094B\u091F\
: \u091C\u092C \u0928\u093F\u092F\u092E\u093F\u0924\u0940\u0915\u0930\u0923\
\ \u092A\u0948\u0930\u093E\u092E\u0940\u091F\u0930 \u03BB \u091A\u0941\u0928\
\u093E \u091C\u093E\u0924\u093E \u0939\u0948 \u0924\u093E\u0915\u093F \u0915\
\u094D\u0930\u0949\u0938-\u0938\u0924\u094D\u092F\u093E\u092A\u0928 \u0924\
\u094D\u0930\u0941\u091F\u093F \u0915\u094B \u0915\u092E \u0915\u093F\u092F\
\u093E \u091C\u093E \u0938\u0915\u0947\u0964)"
input_correct_responses:
- C
input_question: "\u0906\u092A \u0935\u093F\u0936\u094D\u0935 \u0915\u0947 \u0938\
\u092C\u0938\u0947 \u0936\u093E\u0928\u0926\u093E\u0930 \u092E\u0936\u0940\u0928\
\ \u0932\u0930\u094D\u0928\u093F\u0902\u0917 \u0938\u092E\u094D\u092E\u0947\u0932\
\u0928 \u0915\u0947 \u0932\u093F\u090F \u0915\u093E\u0917\u091C\u093E\u0924\
\ \u0915\u0940 \u0938\u092E\u0940\u0915\u094D\u0937\u093E \u0915\u0930 \u0930\
\u0939\u0947 \u0939\u0948\u0902, \u0914\u0930 \u0906\u092A\u0915\u094B \u0928\
\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u0926\u093E\u0935\u094B\
\u0902 \u0915\u0947 \u0938\u093E\u0925 \u092A\u094D\u0930\u0938\u094D\u0924\u0941\
\u0924\u093F\u092F\u093E\u0901 \u0926\u093F\u0916\u093E\u0908 \u0926\u0947\u0924\
\u0940 \u0939\u0948\u0902\u0964 \u0906\u092A \u0915\u093F\u0938\u0947 \u0938\
\u094D\u0935\u0940\u0915\u093E\u0930 \u0915\u0930\u0928\u0947 \u092A\u0930 \u0935\
\u093F\u091A\u093E\u0930 \u0915\u0930\u0947\u0902\u0917\u0947?"
- input_choice_list:
A: "\u0932\u0917\u092D\u0917 10 \u0909\u0926\u093E\u0939\u0930\u0923"
B: "\u0932\u0917\u092D\u0917 100 \u0909\u0926\u093E\u0939\u0930\u0923"
C: "100 \u0914\u0930 500 \u0909\u0926\u093E\u0939\u0930\u0923\u094B\u0902 \u0915\
\u0947 \u092C\u0940\u091A"
D: "1000 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0909\u0926\u093E\u0939\u0930\
\u0923"
input_correct_responses:
- D
input_question: "0/1 \u0939\u093E\u0928\u093F \u0915\u093E \u0905\u0928\u0941\u092E\
\u093E\u0928 \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0928\u0947\
\ \u0915\u0947 \u0932\u093F\u090F \u091C\u094B \u0935\u093E\u0938\u094D\u0924\
\u0935\u093F\u0915 0/1 \u0939\u093E\u0928\u093F \u0915\u0947 1 \u092A\u094D\u0930\
\u0924\u093F\u0936\u0924 \u0938\u0947 \u0915\u092E \u0939\u0948 (\u0938\u0902\
\u092D\u093E\u0935\u0928\u093E 95% \u0915\u0947 \u0938\u093E\u0925), \u0939\u094B\
\u092B\u0921\u093F\u0902\u0917 \u0915\u0940 \u0905\u0938\u092E\u093E\u0928\u0924\
\u093E \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930 \u0906\u0908\u0906\u0908\
\u0921\u0940 \u092A\u0930\u0940\u0915\u094D\u0937\u0923 \u0938\u0947\u091F \u092E\
\u0947\u0902 \u0915\u093F\u0924\u0928\u0947 \u0909\u0926\u093E\u0939\u0930\u0923\
\ \u0939\u094B\u0928\u0947 \u091A\u093E\u0939\u093F\u090F?"
- input_choice_list:
A: "\u092F\u0939 \u0915\u092E\u094D\u092A\u094D\u092F\u0942\u091F\u0947\u0936\
\u0928\u0932 \u0930\u0942\u092A \u0938\u0947 \u092C\u0939\u0941\u0924 \u092E\
\u0939\u0902\u0917\u093E \u0939\u0948."
B: "\u0907\u0938\u0915\u093E \u092A\u0930\u093F\u0923\u093E\u092E \u0938\u0902\
\u092D\u0935\u0924\u0903 \u090F\u0915 \u0928\u093F\u0930\u094D\u0923\u092F\
\ \u0935\u0943\u0915\u094D\u0937 \u0939\u094B\u0917\u093E \u091C\u094B \u092A\
\u094D\u0930\u0936\u093F\u0915\u094D\u0937\u0923 \u0938\u0947\u091F \u0914\
\u0930 \u091F\u0947\u0938\u094D\u091F\u0938\u0947\u091F \u092A\u0930 \u0916\
\u0930\u093E\u092C \u0938\u094D\u0915\u094B\u0930 \u0915\u0930\u0947\u0917\
\u093E\u0964"
C: "\u0907\u0938\u0915\u093E \u092A\u0930\u093F\u0923\u093E\u092E \u0938\u0902\
\u092D\u0935\u0924\u0903 \u090F\u0915 \u0928\u093F\u0930\u094D\u0923\u092F\
\ \u0935\u0943\u0915\u094D\u0937 \u0939\u094B\u0917\u093E \u091C\u094B \u092A\
\u094D\u0930\u0936\u093F\u0915\u094D\u0937\u0923 \u0938\u0947\u091F \u092A\
\u0930 \u0905\u091A\u094D\u091B\u093E \u0938\u094D\u0915\u094B\u0930 \u0915\
\u0930\u0924\u093E \u0939\u0948 \u0932\u0947\u0915\u093F\u0928 \u092A\u0930\
\u0940\u0915\u094D\u0937\u0923 \u0938\u0947\u091F \u092A\u0930 \u0916\u0930\
\u093E\u092C\u0964"
D: "\u0907\u0938\u0915\u093E \u092A\u0930\u093F\u0923\u093E\u092E \u0938\u0902\
\u092D\u0935\u0924\u0903 \u090F\u0915 \u0928\u093F\u0930\u094D\u0923\u092F\
\ \u0935\u0943\u0915\u094D\u0937 \u0939\u094B\u0917\u093E \u091C\u094B \u091F\
\u0947\u0938\u094D\u091F\u0938\u0947\u091F \u092A\u0930 \u0905\u091A\u094D\
\u091B\u093E \u0938\u094D\u0915\u094B\u0930 \u0915\u0930\u0924\u093E \u0939\
\u0948 \u0932\u0947\u0915\u093F\u0928 \u092A\u094D\u0930\u0936\u093F\u0915\
\u094D\u0937\u0923 \u0938\u0947\u091F \u092A\u0930 \u0916\u0930\u093E\u092C\
\ \u0938\u094D\u0915\u094B\u0930 \u0915\u0930\u0924\u093E \u0939\u0948\u0964"
input_correct_responses:
- C
input_question: "\u092A\u0930\u0902\u092A\u0930\u093E\u0917\u0924 \u0930\u0942\
\u092A \u0938\u0947, \u091C\u092C \u0939\u092E\u093E\u0930\u0947 \u092A\u093E\
\u0938 \u0928\u093F\u0930\u094D\u0923\u092F-\u0935\u0943\u0915\u094D\u0937 \u0938\
\u0940\u0916\u0928\u0947 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928 \u090F\u0915\
\ \u0935\u093E\u0938\u094D\u0924\u0935\u093F\u0915-\u092E\u0942\u0932\u094D\u092F\
\u0935\u093E\u0928 \u0907\u0928\u092A\u0941\u091F \u0935\u093F\u0936\u0947\u0937\
\u0924\u093E \u0939\u094B\u0924\u0940 \u0939\u0948, \u0924\u094B \u0939\u092E\
\ \u0907\u0938 \u0906\u0927\u093E\u0930 \u092A\u0930 \u090F\u0915 \u0926\u094D\
\u0935\u093F\u0906\u0927\u093E\u0930\u0940 \u0935\u093F\u092D\u093E\u091C\u0928\
\ \u092A\u0930 \u0935\u093F\u091A\u093E\u0930 \u0915\u0930\u0924\u0947 \u0939\
\u0948\u0902 \u0915\u093F \u0915\u094D\u092F\u093E \u0935\u093F\u0936\u0947\u0937\
\u0924\u093E \u0915\u0941\u091B \u0938\u0940\u092E\u093E \u0938\u0947 \u090A\
\u092A\u0930 \u092F\u093E \u0928\u0940\u091A\u0947 \u0939\u0948\u0964 \u092A\
\u0948\u091F \u0915\u093E \u0938\u0941\u091D\u093E\u0935 \u0939\u0948 \u0915\
\u093F \u0907\u0938\u0915\u0947 \u092C\u091C\u093E\u092F \u0939\u092E\u0947\u0902\
\ \u0935\u093F\u0936\u0947\u0937\u0924\u093E \u0915\u0947 \u092A\u094D\u0930\
\u0924\u094D\u092F\u0947\u0915 \u0935\u093F\u0936\u093F\u0937\u094D\u091F \u092E\
\u093E\u0928 \u0915\u0947 \u0932\u093F\u090F \u090F\u0915 \u0936\u093E\u0916\
\u093E \u0915\u0947 \u0938\u093E\u0925 \u092E\u0932\u094D\u091F\u0940\u0935\u0947\
\ \u0935\u093F\u092D\u093E\u091C\u0928 \u0915\u0930\u0928\u093E \u091A\u093E\
\u0939\u093F\u090F\u0964 \u0928\u0940\u091A\u0947 \u0926\u0940 \u0917\u0908\
\ \u0938\u0942\u091A\u0940 \u0938\u0947 \u092A\u0948\u091F \u0915\u0947 \u0938\
\u0941\u091D\u093E\u0935 \u0915\u0940 \u0938\u092C\u0938\u0947 \u092C\u0921\u093C\
\u0940 \u0938\u092E\u0938\u094D\u092F\u093E \u091A\u0941\u0928\u0947\u0902:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_machine_learning
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_machine_learning
task_alias: machine_learning
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u092A\u094D\u0930\u093E\u0930\u0902\u092D\u093F\u0915 \u0938\u094D\u0925\
\u093F\u0924\u093F \u0914\u0930 \u0905\u0902\u0924\u093F\u092E \u0938\u094D\
\u0925\u093F\u0924\u093F"
B: "\u0936\u0941\u0930\u0941\u0906\u0924\u0940 \u092E\u093E\u0939\u094C\u0932\
\ \u0914\u0930 \u092C\u0926\u0932\u093E \u0939\u0941\u0906 \u092E\u093E\u0939\
\u094C\u0932"
C: "\u0938\u0902\u0917\u0920\u0928\u093E\u0924\u094D\u092E\u0915 \u0938\u0902\
\u0930\u091A\u0928\u093E \u0914\u0930 \u0915\u0902\u0921\u0940\u0936\u0928\
\u093F\u0902\u0917"
D: "\u0938\u0902\u0930\u091A\u0928\u093E \u0914\u0930 \u0935\u093F\u091A\u093E\
\u0930 \u0906\u0930\u0902\u092D \u0915\u0930\u0928\u093E"
input_correct_responses:
- D
input_question: "\u0928\u0947\u0924\u0943\u0924\u094D\u0935 \u092E\u0947\u0902\
\ \u0913\u0939\u093F\u092F\u094B \u0905\u0927\u094D\u092F\u092F\u0928 \u0915\
\u0947 \u0926\u094B \u092E\u0941\u0916\u094D\u092F \u0906\u092F\u093E\u092E\
\ \u0915\u094D\u092F\u093E \u0939\u0948\u0902?"
- input_choice_list:
A: "\u092B\u094D\u0930\u0947\u0921\u0930\u093F\u0915 \u0939\u0930\u094D\u091F\
\u091C\u093C\u092C\u0930\u094D\u0917"
B: "\u0921\u0940\u0938\u0940 \u092E\u0948\u0915\u094D\u0932\u0947\u0932\u0948\
\u0902\u0921"
C: "\u0905\u092C\u094D\u0930\u093E\u0939\u092E \u092E\u0947\u0938\u094D\u0932\
\u094B"
D: "\u0921\u0917\u0932\u0938 \u092E\u0948\u0915\u0917\u094D\u0930\u0947\u0917\
\u0930"
input_correct_responses:
- A
input_question: "\u0938\u094D\u0935\u091A\u094D\u091B\u0924\u093E \u0915\u093E\
\u0930\u0915 \u0915\u093F\u0938 \u0932\u0947\u0916\u0915 \u0938\u0947 \u0938\
\u092E\u094D\u092C\u0902\u0927\u093F\u0924 \u0939\u0948\u0902?"
- input_choice_list:
A: "\u092A\u094D\u0930\u0924\u0940\u0915"
B: "\u0905\u0928\u0941\u0937\u094D\u0920\u093E\u0928 \u090F\u0935\u0902 \u0926\
\u093F\u0928\u091A\u0930\u094D\u092F\u093E"
C: "\u092C\u093F\u091C\u0932\u0940 \u0938\u0902\u0930\u091A\u0928\u093E\u090F\
\u0901"
D: "\u0928\u093F\u092F\u0902\u0924\u094D\u0930\u0923 \u092A\u094D\u0930\u0923\
\u093E\u0932\u0940"
input_correct_responses:
- A
input_question: "\u0938\u093E\u0902\u0938\u094D\u0915\u0943\u0924\u093F\u0915\
\ \u0935\u0947\u092C \u0915\u093E \u0915\u094C\u0928 \u0938\u093E \u0924\u0924\
\u094D\u0935 \u0930\u0940\u0917\u0932\u093F\u092F\u093E \u092C\u0928\u093E\u0924\
\u093E \u0939\u0948?"
- input_choice_list:
A: "\u0939\u094C\u0938\u0932\u093E"
B: "\u0928\u0935\u093E\u091A\u093E\u0930"
C: "\u0935\u093F\u0915\u093E\u0938 \u0938\u0902\u0938\u093E\u0927\u0928"
D: "\u0905\u0928\u0941\u0915\u0942\u0932\u0928"
input_correct_responses:
- A
input_question: "\u0915\u094C\u0928 \u0938\u0940 \u0935\u093F\u0936\u0947\u0937\
\u0924\u093E \u092A\u094D\u0930\u092C\u0902\u0927\u0928 \u0915\u0947 '\u0913\
\u092A\u0928 \u0938\u093F\u0938\u094D\u091F\u092E' \u092E\u0949\u0921\u0932\
\ \u0915\u0940 \u092A\u094D\u0930\u092E\u0941\u0916 \u0935\u093F\u0936\u0947\
\u0937\u0924\u093E \u0928\u0939\u0940\u0902 \u0939\u0948?"
- input_choice_list:
A: "\u0936\u094D\u0930\u0947\u0923\u0940\u092C\u0926\u094D\u0927"
B: "\u0928\u094C\u0915\u0930\u0936\u093E\u0939\u0940"
C: "\u0938\u092E\u0924\u0932"
D: "\u0915\u093E\u0930\u094D\u092F\u093E\u0924\u094D\u092E\u0915"
input_correct_responses:
- C
input_question: "\u092A\u094D\u0930\u092C\u0902\u0927\u0928 \u0915\u0940 \u0932\
\u094B\u0915\u0924\u093E\u0902\u0924\u094D\u0930\u093F\u0915 \u0914\u0930 \u0938\
\u092E\u093E\u0935\u0947\u0936\u0940 \u0936\u0948\u0932\u093F\u092F\u094B\u0902\
\ \u0915\u0940 \u0935\u093F\u0936\u0947\u0937\u0924\u093E \u0935\u093E\u0932\
\u0940 \u0938\u0902\u0917\u0920\u0928\u093E\u0924\u094D\u092E\u0915 \u0938\u0902\
\u0930\u091A\u0928\u093E\u0913\u0902 \u0915\u093E \u0935\u0930\u094D\u0923\u0928\
\ \u0915\u0948\u0938\u0947 \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\
\u0924\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_management
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_management
task_alias: management
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u092D\u0942-\u091C\u0928\u0938\u093E\u0902\u0916\u094D\u092F\u093F\u0915\
\u0940"
B: "\u0909\u0924\u094D\u092A\u093E\u0926 \u0935\u093F\u0936\u093F\u0937\u094D\
\u091F\u0940\u0915\u0930\u0923\u0964"
C: "ANSOFF \u092E\u0948\u091F\u094D\u0930\u093F\u0915\u094D\u0938\u0964"
D: "\u092C\u094D\u0930\u093E\u0902\u0921 \u092A\u094D\u0930\u092C\u0902\u0927\
\u0928\u0964"
input_correct_responses:
- A
input_question: "\u091C\u0928\u0938\u093E\u0902\u0916\u094D\u092F\u093F\u0915\u0940\
\u092F \u0914\u0930 \u092D\u094C\u0917\u094B\u0932\u093F\u0915 \u091A\u0930\u094B\
\u0902 \u0915\u093E \u0938\u0902\u092F\u094B\u091C\u0928 \u0915\u0930\u0924\u0947\
\ \u0938\u092E\u092F _____________ \u090F\u0915 \u092A\u094D\u0930\u093E\u0915\
\u0943\u0924\u093F\u0915 \u092A\u0930\u093F\u0923\u093E\u092E \u0939\u0948\u0964"
- input_choice_list:
A: "\u0906\u0909\u091F\u0938\u094B\u0930\u094D\u0938\u093F\u0902\u0917 \u0907\
\u0915\u093E\u0908."
B: "\u0916\u0930\u0940\u0926 \u0915\u0947\u0902\u0926\u094D\u0930."
C: "\u092E\u0941\u0916\u094D\u092F \u0915\u093E\u0930\u094D\u092F\u0915\u093E\
\u0930\u0940 \u0907\u0915\u093E\u0908."
D: "\u0928\u093F\u0930\u094D\u0923\u092F \u0932\u0947\u0928\u0947 \u0935\u093E\
\u0932\u0940 \u0907\u0915\u093E\u0908."
input_correct_responses:
- D
input_question: "\u0915\u093F\u0938\u0940 \u0938\u0902\u0917\u0920\u0928 \u092E\
\u0947\u0902, \u0916\u0930\u0940\u0926\u093E\u0930\u0940 \u0938\u0902\u092C\u0902\
\u0927\u0940 \u0928\u093F\u0930\u094D\u0923\u092F \u0932\u0947\u0928\u0947 \u0935\
\u093E\u0932\u0947 \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0938\u092E\u0942\
\u0939 \u0915\u094B _______________ \u0915\u0939\u093E \u091C\u093E\u0924\u093E\
\ \u0939\u0948\u0964"
- input_choice_list:
A: "\u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E\u090F\u0901 \u0938\u0902\
\u0938\u094D\u0915\u0943\u0924\u093F \u092A\u0930 \u0914\u0930 \u0938\u093E\
\u092E\u093E\u091C\u093F\u0915 \u0935\u0930\u094D\u0917 \u092A\u0930 \u092D\
\u0940 \u0928\u093F\u0930\u094D\u092D\u0930 \u0939\u094B\u0924\u0940 \u0939\
\u0948\u0902\u0964"
B: "\u0907\u0938\u0938\u0947 \u092A\u0939\u0932\u0947 \u0915\u093F \u0909\u091A\
\u094D\u091A \u091C\u093C\u0930\u0942\u0930\u0924\u0947\u0902 \u0935\u094D\
\u092F\u0935\u0939\u093E\u0930 \u0915\u094B \u092A\u094D\u0930\u092D\u093E\
\u0935\u093F\u0924 \u0915\u0930 \u0938\u0915\u0947\u0902, \u0928\u093F\u091A\
\u0932\u0947 \u0938\u094D\u0924\u0930 \u0915\u0940 \u091C\u093C\u0930\u0942\
\u0930\u0924\u0947\u0902 \u0915\u092E \u0938\u0947 \u0915\u092E \u0906\u0902\
\u0936\u093F\u0915 \u0930\u0942\u092A \u0938\u0947 \u0938\u0902\u0924\u0941\
\u0937\u094D\u091F \u0939\u094B\u0928\u0940 \u091A\u093E\u0939\u093F\u090F\
\u0964"
C: "\u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E\u0913\u0902 \u0915\u094B\
\ \u0915\u093F\u0938\u0940 \u0935\u093F\u0936\u0947\u0937 \u0915\u094D\u0930\
\u092E \u092E\u0947\u0902 \u092A\u094D\u0930\u093E\u0925\u092E\u093F\u0915\
\u0924\u093E \u092F\u093E \u0935\u094D\u092F\u0935\u0938\u094D\u0925\u093F\
\u0924 \u0928\u0939\u0940\u0902 \u0915\u093F\u092F\u093E \u091C\u093E\u0924\
\u093E \u0939\u0948\u0964"
D: "\u0938\u0902\u0924\u0941\u0937\u094D\u091F \u091C\u093C\u0930\u0942\u0930\
\u0924\u0947\u0902 \u092A\u094D\u0930\u0947\u0930\u0915 \u0939\u094B\u0924\
\u0940 \u0939\u0948\u0902, \u0914\u0930 \u091C\u092C \u092E\u094C\u091C\u0942\
\u0926\u093E \u091C\u093C\u0930\u0942\u0930\u0924\u0947\u0902 \u092A\u0942\
\u0930\u0940 \u0928\u0939\u0940\u0902 \u0939\u094B\u0924\u0940\u0902 \u0924\
\u094B \u0928\u0908 \u091C\u093C\u0930\u0942\u0930\u0924\u0947\u0902 \u0938\
\u093E\u092E\u0928\u0947 \u0906\u0924\u0940 \u0939\u0948\u0902\u0964"
input_correct_responses:
- B
input_question: "\u092E\u093E\u0938\u094D\u0932\u094B \u0915\u0940 \u0906\u0935\
\u0936\u094D\u092F\u0915\u0924\u093E\u0913\u0902 \u0915\u0947 \u092A\u0926\u093E\
\u0928\u0941\u0915\u094D\u0930\u092E \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\
\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\
\u0928 \u0938\u0940 \u0927\u093E\u0930\u0923\u093E \u0939\u0948?"
- input_choice_list:
A: "\u0935\u0943\u0926\u094D\u0927 \u0909\u092A\u092D\u094B\u0915\u094D\u0924\
\u093E \u091C\u094B \u091A\u0940\u091C\u094B\u0902 \u0938\u0947 \u0915\u0941\
\u091B \u0939\u0926 \u0924\u0915 \u0935\u0902\u091A\u093F\u0924 \u092E\u0939\
\u0938\u0942\u0938 \u0915\u0930\u0924\u093E \u0939\u0948\u0964"
B: "\u0935\u093F\u0935\u093E\u0939\u093F\u0924 \u092E\u0939\u093F\u0932\u093E\
\u090F\u0902, \u091C\u093F\u0928\u092E\u0947\u0902 \u0938\u0947 \u0915\u0908\
\ \u092E\u0939\u093F\u0932\u093E\u090F\u0902 \u0905\u092A\u0928\u0947 \u091C\
\u0940\u0935\u0928 \u092E\u0947\u0902 \u0938\u094D\u0925\u093F\u0930\u0924\
\u093E \u0915\u0940 \u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E \u092E\
\u0939\u0938\u0942\u0938 \u0915\u0930\u0924\u0940 \u0939\u0948\u0902\u0964"
C: "\u0928\u090F \u0905\u092A\u094D\u0930\u0935\u093E\u0938\u0940 \u091C\u094B\
\ \u0935\u093E\u0938\u094D\u0924\u0935 \u092E\u0947\u0902 \u0905\u092A\u0928\
\u0940 \u0928\u0908 \u0938\u0902\u0938\u094D\u0915\u0943\u0924\u093F \u092E\
\u0947\u0902 \u0906\u0924\u094D\u092E\u0938\u093E\u0924 \u0939\u094B\u0928\
\u093E \u091A\u093E\u0939\u0924\u0947 \u0939\u0948\u0902\u0964"
D: "\u092C\u091A\u094D\u091A\u0947, \u091C\u094B \u0905\u092A\u0928\u0947 \u0905\
\u0927\u093F\u0915\u093E\u0902\u0936 \u0916\u0930\u0940\u0926\u093E\u0930\u0940\
\ \u0928\u093F\u0930\u094D\u0923\u092F \u092C\u093E\u0939\u0930\u0940 \u092A\
\u094D\u0930\u092D\u093E\u0935\u094B\u0902 \u092A\u0930 \u0906\u0927\u093E\
\u0930\u093F\u0924 \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\u0964"
input_correct_responses:
- D
input_question: "\u0938\u092E\u093E\u091C \u0915\u0947 \u092D\u0940\u0924\u0930\
\ \u0935\u0939 \u090F\u0915\u0932 \u0938\u092E\u0942\u0939 \u091C\u094B \u0938\
\u0902\u0926\u0930\u094D\u092D \u0938\u092E\u0942\u0939 \u0915\u0947 \u092A\u094D\
\u0930\u092D\u093E\u0935 \u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u0938\u092C\
\u0938\u0947 \u0905\u0927\u093F\u0915 \u0938\u0902\u0935\u0947\u0926\u0928\u0936\
\u0940\u0932 \u0939\u0948, \u0935\u0939 \u0939\u0948:"
- input_choice_list:
A: "\u0926\u0947\u0916\u092D\u093E\u0932 \u092A\u0902\u0915\u094D\u0924\u093F\
\u092F\u093E\u0901."
B: "\u0938\u0940\u0927\u093E \u0921\u093E\u0915\u0964"
C: "\u0938\u092E\u094D\u092E\u093F\u0932\u093F\u0924 \u0915\u0930\u0924\u093E\
\ \u0939\u0948\u0964"
D: "\u0926\u0930\u0935\u093E\u091C\u0947 \u0938\u0947 \u0926\u0930\u0935\u093E\
\u091C\u0947 \u0924\u0915\u0964"
input_correct_responses:
- D
input_question: "\u0939\u093E\u0932\u093E\u0901\u0915\u093F \u0938\u093E\u092E\
\u0917\u094D\u0930\u0940 \u0914\u0930 \u0917\u0941\u0923\u0935\u0924\u094D\u0924\
\u093E \u0915\u094B \u0938\u0940\u0927\u0947 \u092E\u0947\u0932 \u0915\u0940\
\ \u0924\u0930\u0939 \u0928\u093F\u092F\u0902\u0924\u094D\u0930\u093F\u0924\
\ \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\u0948\
, \u0932\u0947\u0915\u093F\u0928 \u0935\u094D\u092F\u0915\u094D\u0924\u093F\u0917\
\u0924 \u092A\u0924\u093E \u0924\u0902\u0924\u094D\u0930 \u0915\u0940 \u0915\
\u092E\u0940 \u0915\u0947 \u0915\u093E\u0930\u0923 \u0907\u0938 \u092E\u093E\
\u0927\u094D\u092F\u092E \u0915\u0940 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\
\u0930\u093F\u092F\u093E \u0926\u0930 \u0915\u092E \u0939\u0948\u0964 \u0907\
\u0938 \u092E\u0940\u0921\u093F\u092F\u093E \u092A\u094D\u0930\u093E\u0930\u0942\
\u092A \u0915\u094B \u0907\u0938 \u0928\u093E\u092E \u0938\u0947 \u091C\u093E\
\u0928\u093E \u091C\u093E\u0924\u093E \u0939\u0948:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_marketing
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_marketing
task_alias: marketing
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u092A\u094B\u0932\u0940\u092E\u0930\u0947\u091C \u0936\u094D\u0930\u0943\
\u0902\u0916\u0932\u093E \u0905\u092D\u093F\u0915\u094D\u0930\u093F\u092F\u093E\
\u0964"
B: "\u090F\u0915\u0932 \u0938\u094D\u091F\u094D\u0930\u0948\u0902\u0921 \u0917\
\u0920\u0928\u093E\u0924\u094D\u092E\u0915 \u092C\u0939\u0941\u0930\u0942\u092A\
\u0924\u093E \u0935\u093F\u0936\u094D\u0932\u0947\u0937\u0923\u0964"
C: "\u0926\u0915\u094D\u0937\u093F\u0923\u0940 \u0927\u092C\u094D\u092C\u093E\
."
D: "\u092A\u0936\u094D\u091A\u093F\u092E\u0940 \u0938\u094B\u0916\u094D\u0924\
\u093E\u0964"
input_correct_responses:
- C
input_question: "\u092C\u0921\u093C\u0947 \u0924\u094D\u0930\u093F\u0915 \u0926\
\u094B\u0939\u0930\u093E\u0935 \u0935\u093F\u0938\u094D\u0924\u093E\u0930 \u0915\
\u093E \u092A\u0924\u093E \u0907\u0938\u0915\u0947 \u0926\u094D\u0935\u093E\u0930\
\u093E \u0932\u0917\u093E\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E\
\ \u0939\u0948:"
- input_choice_list:
A: "\u090F\u0915 \u090F\u0902\u091C\u093E\u0907\u092E \u091C\u094B \u0938\u093E\
\u092E\u093E\u0928\u094D\u092F \u0921\u0940\u090F\u0928\u090F \u092A\u094D\
\u0930\u0924\u093F\u0915\u0943\u0924\u093F \u092E\u0947\u0902 \u091F\u0941\
\u0915\u0921\u093C\u094B\u0902 \u0915\u094B \u091C\u094B\u0921\u093C\u0924\
\u093E \u0939\u0948"
B: "\u091C\u0940\u0935\u093E\u0923\u0941 \u092E\u0942\u0932 \u0915\u093E \u090F\
\u0915 \u090F\u0902\u091C\u093E\u0907\u092E \u091C\u094B \u0921\u0940\u090F\
\u0928\u090F \u0915\u094B \u092A\u0930\u093F\u092D\u093E\u0937\u093F\u0924\
\ \u0906\u0927\u093E\u0930 \u0905\u0928\u0941\u0915\u094D\u0930\u092E\u094B\
\u0902 \u092E\u0947\u0902 \u0915\u093E\u091F\u0924\u093E \u0939\u0948"
C: "\u090F\u0915 \u090F\u0902\u091C\u093E\u0907\u092E \u091C\u094B \u0935\u093F\
\u0936\u093F\u0937\u094D\u091F \u091C\u0940\u0928 \u0915\u0947 \u092A\u094D\
\u0930\u0924\u093F\u0932\u0947\u0916\u0928 \u0915\u0940 \u0938\u0941\u0935\
\u093F\u0927\u093E \u092A\u094D\u0930\u0926\u093E\u0928 \u0915\u0930\u0924\
\u093E \u0939\u0948"
D: "\u090F\u0915 \u090F\u0902\u091C\u093E\u0907\u092E \u091C\u094B \u0915\u093F\
\u0938\u0940 \u0935\u093F\u0936\u0947\u0937 \u092A\u094B\u0937\u0915 \u0924\
\u0924\u094D\u0935 \u0924\u0915 \u092A\u0939\u0941\u0902\u091A\u0928\u0947\
\ \u0915\u0947 \u0938\u094D\u0924\u0930 \u0915\u094B \u0938\u0940\u092E\u093F\
\u0924 \u0915\u0930\u0924\u093E \u0939\u0948"
input_correct_responses:
- A
input_question: "\u0921\u0940\u090F\u0928\u090F \u0932\u093F\u0917\u0947\u091C\
\ \u0939\u0948"
- input_choice_list:
A: "\u0926\u094B\u0928\u094B\u0902 \u090F\u0932\u0940\u0932 \u0938\u094D\u0935\
\u0924\u0902\u0924\u094D\u0930 \u0930\u0942\u092A \u0938\u0947 \u0939\u0947\
\u091F\u0947\u0930\u094B\u091C\u093C\u093E\u092F\u0917\u094B\u091F \u092E\u0947\
\u0902 \u0935\u094D\u092F\u0915\u094D\u0924 \u0939\u094B\u0924\u0947 \u0939\
\u0948\u0902"
B: "\u090F\u0915 \u090F\u0932\u0940\u0932 \u0926\u0942\u0938\u0930\u0947 \u092A\
\u0930 \u0939\u093E\u0935\u0940 \u0939\u0948"
C: "\u090F\u0932\u0940\u0932\u094D\u0938 \u090F\u0915 \u0939\u0940 \u0917\u0941\
\u0923\u0938\u0942\u0924\u094D\u0930 \u092A\u0930 \u092E\u091C\u092C\u0942\
\u0924\u0940 \u0938\u0947 \u091C\u0941\u0921\u093C\u0947 \u0939\u0941\u090F\
\ \u0939\u0948\u0902"
D: "\u090F\u0932\u0940\u0932\u094D\u0938 \u0935\u093F\u0915\u093E\u0938 \u092E\
\u0947\u0902 \u090F\u0915 \u0939\u0940 \u0938\u092E\u092F \u092E\u0947\u0902\
\ \u0935\u094D\u092F\u0915\u094D\u0924 \u0939\u094B\u0924\u0947 \u0939\u0948\
\u0902"
input_correct_responses:
- A
input_question: "\u0938\u0939\u092A\u094D\u0930\u092D\u0941\u0924\u094D\u0935\
\ \u0926\u0930\u094D\u0936\u093E\u0928\u0947 \u0935\u093E\u0932\u093E \u090F\
\u0915 \u091C\u0940\u0928"
- input_choice_list:
A: "\u092A\u093E\u092F\u0932\u094B\u0930\u093F\u0915 \u0938\u094D\u091F\u0947\
\u0928\u094B\u0938\u093F\u0938"
B: "\u090F\u0915 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\u093E \u092E\u093E\
\u0928\u0938\u093F\u0915 \u0935\u093F\u0915\u093E\u0930"
C: "\u0938\u094D\u092A\u093E\u0907\u0928\u093E \u092C\u093F\u092B\u093F\u0921\
\u093E (\u0928\u094D\u092F\u0942\u0930\u0932 \u091F\u094D\u092F\u0942\u092C\
\ \u0926\u094B\u0937)"
D: "\u092E\u093E\u0930\u094D\u092B\u0928 \u0938\u093F\u0928\u094D\u0921\u094D\
\u0930\u094B\u092E"
input_correct_responses:
- D
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0938\u094D\
\u0925\u093F\u0924\u093F \u092C\u0939\u0941\u0915\u093E\u0930\u0915\u0940\u092F\
\ \u0935\u0902\u0936\u093E\u0928\u0941\u0915\u094D\u0930\u092E \u0915\u094B\
\ \u0928\u0939\u0940\u0902 \u0926\u0930\u094D\u0936\u093E\u0924\u0940 \u0939\
\u0948?"
- input_choice_list:
A: "\u092A\u094D\u0930\u094B\u092B\u093C\u0947\u091C\u093C I"
B: "\u092E\u0947\u091F\u093E\u092B\u093C\u0947\u091C\u093C I"
C: "\u092A\u094D\u0930\u094B\u092B\u093C\u0947\u091C\u093C II"
D: "\u092E\u0947\u091F\u093E\u092B\u093C\u0947\u091C\u093C II"
input_correct_responses:
- A
input_question: "\u0905\u0930\u094D\u0927\u0938\u0942\u0924\u094D\u0930\u0940\u0935\
\u093F\u092D\u093E\u091C\u0928 \u0915\u093E \u091A\u0930\u0923 \u091C\u093F\u0938\
\u092E\u0947\u0902 \u0917\u0941\u0923\u0938\u0942\u0924\u094D\u0930 \u091C\u0941\
\u0921\u093C\u0924\u0947 \u0939\u0948\u0902 \u0914\u0930 \u092A\u093E\u0930\
\ \u0939\u094B \u091C\u093E\u0924\u0947 \u0939\u0948\u0902:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_medical_genetics
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_medical_genetics
task_alias: medical_genetics
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u090F\u0915"
B: "\u0926\u094B"
C: "\u091A\u093E\u0930"
D: "\u0906\u0920"
input_correct_responses:
- B
input_question: "\u090F\u0915 \u092E\u093E\u0928\u0915 \u0911\u091F\u094B\u092E\
\u094B\u092C\u093E\u0907\u0932 \u092E\u0947\u0902 \u0915\u093F\u0924\u0928\u0947\
\ \u090F\u0915\u094D\u0938\u0932 \u0939\u094B\u0924\u0947 \u0939\u0948\u0902\
?"
- input_choice_list:
A: "\u092C\u0941\u0921\u093E\u092A\u0947\u0938\u094D\u091F"
B: "\u090F\u091F \u092C\u0941\u0921\u094B\u0915\u0928"
C: "\u092D\u0942\u091F\u093E\u0928"
D: "\u092C\u094D\u0930\u093F\u091F\u0947\u0928"
input_correct_responses:
- B
input_question: "\u0930\u0949\u0915 \u0932\u0947\u091C\u0947\u0902\u0921\u094D\
\u0938 \u091A\u0940\u092A \u091F\u094D\u0930\u093F\u0915 \u0915\u0947 1979 \u0915\
\u0947 \u0932\u093E\u0907\u0935 \u090F\u0932\u094D\u092C\u092E \u0915\u0947\
\ \u0936\u0940\u0930\u094D\u0937\u0915 \u092E\u0947\u0902 \u0915\u093F\u0938\
\ \u0938\u094D\u0925\u093E\u0928 \u0915\u093E \u0928\u093E\u092E \u0926\u093F\
\u092F\u093E \u0917\u092F\u093E \u0939\u0948?"
- input_choice_list:
A: "\u090F\u0902\u0925\u094B\u0928\u0940 '\u0938\u094D\u092A\u0921'\
\ \u0935\u0947\u092C"
B: "\u092E\u093E\u0907\u0915\u0932 '\u090F\u092F\u0930' \u091C\u0949\
\u0930\u094D\u0921\u0928"
C: "\u091F\u093E\u092F\u0930\u094B\u0928 '\u092E\u0917\u094D\u0917\u094D\
\u0938\u0940' \u092C\u094B\u0917\u094D\u0938"
D: "\u091C\u0942\u0932\u093F\u092F\u0938 '\u0921\u0949 \u091C\u0947'\
\ \u0907\u0930\u0935\u093F\u0902\u0917"
input_correct_responses:
- A
input_question: "NBA \u0938\u094D\u0932\u0948\u092E \u0921\u0902\u0915 \u092A\u094D\
\u0930\u0924\u093F\u092F\u094B\u0917\u093F\u0924\u093E \u091C\u0940\u0924\u0928\
\u0947 \u0935\u093E\u0932\u093E \u0905\u092C \u0924\u0915 \u0915\u093E \u0938\
\u092C\u0938\u0947 \u091B\u094B\u091F\u093E \u0935\u094D\u092F\u0915\u094D\u0924\
\u093F \u0915\u094C\u0928 \u0939\u0948?"
- input_choice_list:
A: "\u0939\u093E\u0907\u0921\u094D\u0930\u094B\u091C\u0928"
B: "\u0928\u093E\u092F\u0932\u0949\u0928"
C: "\u0911\u0915\u094D\u0938\u0940\u091C\u0928"
D: "\u0930\u094B\u0936\u0928\u0940"
input_correct_responses:
- C
input_question: "\u092A\u094D\u0930\u0915\u093E\u0936 \u0938\u0902\u0936\u094D\
\u0932\u0947\u0937\u0923 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928 \u0915\u094D\
\u092F\u093E \u0909\u0924\u094D\u092A\u0928\u094D\u0928 \u0939\u094B\u0924\u093E\
\ \u0939\u0948?"
- input_choice_list:
A: "'\u0930\u0947\u0921\u093F\u092F\u094B \u0917\u093E \u0917\u093E'"
B: "'\u0913\u092C-\u0932\u093E-\u0926\u0940 \u0913\u092C-\u0932\u093E-\u0926\
\u093E'"
C: "'\u0926\u0947 \u0926\u094B \u0926\u094B \u0926\u094B \u0926\u0947 \u0926\
\u093E \u0926\u093E \u0926\u093E'"
D: "'\u0907\u0928-\u090F-\u0917\u0926\u094D\u0926\u093E-\u0926\u093E-\u0935\
\u093F\u0926\u093E'"
input_correct_responses:
- C
input_question: "\u0907\u0928\u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928\
\ \u0938\u093E \u0917\u093E\u0928\u093E \u0930\u0949\u0915 \u092C\u0948\u0902\
\u0921 \u0926 \u092A\u0941\u0932\u093F\u0938 \u0915\u0947 \u0932\u093F\u090F\
\ \u0936\u0940\u0930\u094D\u0937 10 \u0939\u093F\u091F \u0925\u093E?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_miscellaneous
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_miscellaneous
task_alias: miscellaneous
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment