Multilingual MMLU for Llama instruct models (#2826)

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_geography.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0905\u092A\u0930\u093F\u0937\u094D\u0915\u0943\u0924 \u091C\u0928\u094D\
+        \u092E\u0924\u093F\u0925\u093F \u0938\u0947 \u0905\u092A\u0930\u093F\u0937\
+        \u094D\u0915\u0943\u0924 \u092E\u0943\u0924\u094D\u092F\u0941 \u0926\u0930\
+        \u0964"
+      B: "\u0905\u092A\u0930\u093F\u0937\u094D\u0915\u0943\u0924 \u091C\u0928\u094D\
+        \u092E \u0926\u0930 \u0938\u0947 \u0905\u092A\u0930\u093F\u0937\u094D\u0915\
+        \u0943\u0924 \u092E\u0943\u0924\u094D\u092F\u0941 \u0926\u0930\u0964"
+      C: "\u0905\u092A\u0930\u093F\u0937\u094D\u0915\u0943\u0924 \u091C\u0928\u094D\
+        \u092E \u0926\u0930 \u0938\u0947 \u0926\u094B\u0917\u0941\u0928\u093E \u0938\
+        \u092E\u092F\u0964"
+      D: "\u0905\u092A\u0930\u093F\u0937\u094D\u0915\u0943\u0924 \u092E\u0943\u0924\
+        \u094D\u092F\u0941 \u0926\u0930 \u0938\u0947 \u092A\u094D\u0930\u091C\u0928\
+        \u0928 \u0926\u0930\u0964"
+    input_correct_responses:
+    - A
+    input_question: "\u0915\u093F\u0938\u0940 \u091C\u0928\u0938\u0902\u0916\u094D\
+      \u092F\u093E \u0915\u0940 \u092A\u094D\u0930\u093E\u0915\u0943\u0924\u093F\u0915\
+      \ \u0935\u0943\u0926\u094D\u0927\u093F \u0926\u0930 \u0915\u094B \u0918\u091F\
+      \u093E\u0915\u0930 \u091C\u094D\u091E\u093E\u0924 \u0915\u093F\u092F\u093E \u091C\
+      \u093E\u0924\u093E \u0939\u0948"
+  - input_choice_list:
+      A: "\u091C\u0928\u094D\u092E \u0926\u0930 \u092C\u0922\u093C\u0924\u0940 \u0939\
+        \u0948 \u0914\u0930 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\u093E \u0935\
+        \u0943\u0926\u094D\u0927\u093F \u0926\u0930 \u0915\u092E \u0924\u0940\u0935\
+        \u094D\u0930 \u0939\u094B\u0924\u0940 \u0939\u0948\u0964"
+      B: "\u091C\u0928\u094D\u092E \u0926\u0930 \u092E\u0947\u0902 \u0917\u093F\u0930\
+        \u093E\u0935\u091F \u0914\u0930 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\
+        \u093E \u0935\u0943\u0926\u094D\u0927\u093F \u0926\u0930 \u0915\u092E \u0924\
+        \u0940\u0935\u094D\u0930 \u0939\u0948\u0964"
+      C: "\u091C\u0928\u094D\u092E \u0926\u0930 \u092C\u0922\u093C\u0924\u0940 \u0939\
+        \u0948 \u0914\u0930 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\u093E \u0935\
+        \u0943\u0926\u094D\u0927\u093F \u0926\u0930 \u092C\u0922\u093C\u0924\u0940\
+        \ \u0939\u0948\u0964"
+      D: "\u091C\u0928\u094D\u092E \u0926\u0930 \u0918\u091F\u0924\u0940 \u0939\u0948\
+        \ \u0914\u0930 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\u093E \u0935\u0943\
+        \u0926\u094D\u0927\u093F \u0926\u0930 \u092C\u0922\u093C\u0924\u0940 \u0939\
+        \u0948\u0964"
+    input_correct_responses:
+    - B
+    input_question: "\u091C\u0928\u0938\u093E\u0902\u0916\u094D\u092F\u093F\u0915\u0940\
+      \u092F \u0938\u0902\u0915\u094D\u0930\u092E\u0923 \u092E\u0949\u0921\u0932 \u0915\
+      \u0947 \u0924\u0940\u0938\u0930\u0947 \u091A\u0930\u0923 \u0915\u0947 \u0926\
+      \u094C\u0930\u093E\u0928, \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
+      \u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0938\
+      \u0924\u094D\u092F \u0939\u0948?"
+  - input_choice_list:
+      A: "\u092A\u094D\u0930\u092F\u093E\u0938\u094B\u0902 \u0915\u093E \u0926\u094B\
+        \u0939\u0930\u093E\u0935 \u0905\u0915\u094D\u0938\u0930 \u0939\u094B\u0924\
+        \u093E \u0939\u0948."
+      B: "\u0915\u0947\u0902\u0926\u094D\u0930\u0940\u092F \u0936\u0939\u0930 \u0915\
+        \u0940 \u0938\u093E\u092E\u093E\u091C\u093F\u0915 \u0938\u092E\u0938\u094D\
+        \u092F\u093E\u090F\u0902 \u0906\u0938\u092A\u093E\u0938 \u0915\u0947 \u0906\
+        \u0935\u093E\u0938\u0940\u092F \u0909\u092A\u0928\u0917\u0930\u094B\u0902\
+        \ \u092E\u0947\u0902 \u092B\u0948\u0932\u0924\u0940 \u0939\u0948\u0902\u0964"
+      C: "\u0938\u0947\u0935\u093E\u090F\u0901 \u092A\u094D\u0930\u0926\u093E\u0928\
+        \ \u0915\u0930\u0928\u0947 \u092E\u0947\u0902 \u0905\u0915\u094D\u0937\u092E\
+        \u0924\u093E \u0905\u0915\u094D\u0938\u0930 \u0939\u094B\u0924\u0940 \u0939\
+        \u0948\u0964"
+      D: "\u092A\u094D\u0930\u0926\u0942\u0937\u0923 \u0915\u092E \u0915\u0930\u0928\
+        \u0947 \u0915\u0947 \u090F\u0915 \u092A\u0921\u093C\u094B\u0938 \u0915\u0947\
+        \ \u092A\u094D\u0930\u092F\u093E\u0938\u094B\u0902 \u0915\u094B \u092A\u0921\
+        \u093C\u094B\u0938\u0940 \u0938\u092E\u0941\u0926\u093E\u092F\u094B\u0902\
+        \ \u0926\u094D\u0935\u093E\u0930\u093E \u0939\u092E\u0947\u0936\u093E \u0938\
+        \u092E\u0930\u094D\u0925\u0928 \u0926\u093F\u092F\u093E \u091C\u093E\u0924\
+        \u093E \u0939\u0948\u0964"
+    input_correct_responses:
+    - D
+    input_question: "\u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0930\u093E\u091C\
+      \u094D\u092F \u0905\u092E\u0947\u0930\u093F\u0915\u093E \u092E\u0947\u0902 \u0938\
+      \u094D\u0925\u093E\u0928\u0940\u092F \u0938\u0930\u0915\u093E\u0930\u094B\u0902\
+      \ \u0926\u094D\u0935\u093E\u0930\u093E \u092A\u094D\u0930\u0926\u093E\u0928\
+      \ \u0915\u0940 \u091C\u093E\u0928\u0947 \u0935\u093E\u0932\u0940 \u0938\u0947\
+      \u0935\u093E\u0913\u0902 \u0915\u0947 \u0938\u0902\u092C\u0902\u0927 \u092E\u0947\
+      \u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\
+      \u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\u0928 \u0938\
+      \u091F\u0940\u0915 \u0928\u0939\u0940\u0902 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0906\u0909\u091F\u0938\u094B\u0930\u094D\u0938\u093F\u0902\u0917."
+      B: "\u0911\u092B\u0936\u094B\u0930\u093F\u0902\u0917"
+      C: "\u092E\u093E\u0915\u094D\u0935\u093F\u0932\u093E\u0921\u094B\u0930\u0938"
+      D: "\u0938\u094D\u0925\u093E\u0928\u0940\u092F \u0905\u0902\u0924\u0930\u0928\
+        \u093F\u0930\u094D\u092D\u0930\u0924\u093E."
+    input_correct_responses:
+    - B
+    input_question: "\u0915\u093F\u0938\u0940 \u0911\u092A\u0930\u0947\u0936\u0928\
+      \ \u0915\u094B \u091A\u0932\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
+      \ \u0915\u093F\u0938\u0940 \u0935\u093F\u0926\u0947\u0936\u0940 \u0924\u0943\
+      \u0924\u0940\u092F-\u092A\u0915\u094D\u0937 \u0938\u0947\u0935\u093E \u092A\u094D\
+      \u0930\u0926\u093E\u0924\u093E \u0915\u094B \u0928\u093F\u092F\u0941\u0915\u094D\
+      \u0924 \u0915\u0930\u0928\u0947 \u0915\u0940 \u092A\u094D\u0930\u0925\u093E\
+      \ \u0915\u094B \u0915\u0939\u093E \u091C\u093E\u0924\u093E \u0939\u0948"
+  - input_choice_list:
+      A: "\u0915\u092C\u0942\u0924\u0930 \u0938\u093E\u092C\u0941\u0928"
+      B: "\u0921\u0935 \u0915\u0948\u0902\u0921\u0940 \u092C\u093E\u0930"
+      C: "\u0915\u092C\u0942\u0924\u0930 \u0915\u093E \u092A\u094D\u0930\u0924\u0940\
+        \u0915"
+      D: "\u090F\u0915 \u0915\u092C\u0942\u0924\u0930 (\u092A\u0915\u094D\u0937\u0940\
+        )"
+    input_correct_responses:
+    - C
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0935\u0938\
+      \u094D\u0924\u0941 \u0905\u092D\u094C\u0924\u093F\u0915 \u0938\u0902\u0938\u094D\
+      \u0915\u0943\u0924\u093F \u0915\u093E \u0909\u0926\u093E\u0939\u0930\u0923 \u0939\
+      \u0948?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_geography
+tag: mmlu_hi_llama_social_sciences_tasks
+task: mmlu_hi_llama_high_school_geography
+task_alias: high_school_geography

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_government_and_politics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0909\u0928 \u0936\u0915\u094D\u0924\u093F\u092F\u094B\u0902 \u0915\u0940\
+        \ \u0938\u0902\u0935\u0948\u0927\u093E\u0928\u093F\u0915 \u092A\u0930\u093F\
+        \u092D\u093E\u0937\u093E \u0935\u094D\u092F\u093E\u092A\u0915 \u0914\u0930\
+        \ \u0905\u0928\u093F\u0930\u094D\u0926\u093F\u0937\u094D\u091F \u0939\u0948"
+      B: "\u0905\u0927\u093F\u0915\u093E\u0902\u0936 \u0932\u094B\u0917 \u0907\u0938\
+        \ \u092C\u093E\u0924 \u0938\u0947 \u0938\u0939\u092E\u0924 \u0939\u0948\u0902\
+        \ \u0915\u093F \u0938\u0902\u0935\u093F\u0927\u093E\u0928 \u0930\u093E\u0937\
+        \u094D\u091F\u094D\u0930\u092A\u0924\u093F \u0915\u0940 \u0936\u0915\u094D\
+        \u0924\u093F \u092A\u0930 \u092C\u0939\u0941\u0924 \u0905\u0927\u093F\u0915\
+        \ \u0938\u0940\u092E\u093E\u090F\u0901 \u0932\u0917\u093E\u0924\u093E \u0939\
+        \u0948"
+      C: "\u0938\u0930\u094D\u0935\u094B\u091A\u094D\u091A \u0928\u094D\u092F\u093E\
+        \u092F\u093E\u0932\u092F \u0932\u0917\u093E\u0924\u093E\u0930 \u0930\u093E\
+        \u0937\u094D\u091F\u094D\u0930\u092A\u0924\u093F \u0915\u0940 \u0936\u0915\
+        \u094D\u0924\u093F\u092F\u094B\u0902 \u0938\u0947 \u0938\u0902\u092C\u0902\
+        \u0927\u093F\u0924 \u092E\u093E\u092E\u0932\u094B\u0902 \u092A\u0930 \u092B\
+        \u0948\u0938\u0932\u093E \u0926\u0947\u0928\u0947 \u0938\u0947 \u0907\u0928\
+        \u0915\u093E\u0930 \u0915\u0930\u0924\u093E \u0939\u0948"
+      D: "\u0938\u0902\u0935\u0948\u0927\u093E\u0928\u093F\u0915 \u0938\u0902\u0936\
+        \u094B\u0927\u0928\u094B\u0902 \u0928\u0947 \u0930\u093E\u0937\u094D\u091F\
+        \u094D\u0930\u092A\u0924\u093F \u0915\u0940 \u0936\u0915\u094D\u0924\u093F\
+        \u092F\u094B\u0902 \u092E\u0947\u0902 \u0915\u093E\u092B\u0940 \u0935\u0943\
+        \u0926\u094D\u0927\u093F \u0915\u0940 \u0939\u0948"
+    input_correct_responses:
+    - A
+    input_question: "\u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092A\u0924\u093F\
+      \ \u0915\u0940 \u0936\u0915\u094D\u0924\u093F \u0915\u0940 \u0938\u0940\u092E\
+      \u093E \u092A\u0930 \u0905\u0928\u093F\u0936\u094D\u091A\u093F\u0924\u0924\u093E\
+      \ \u092E\u0941\u0916\u094D\u092F \u0930\u0942\u092A \u0938\u0947 \u0907\u0938\
+      \ \u0924\u0925\u094D\u092F \u0915\u0947 \u0915\u093E\u0930\u0923 \u0939\u094B\
+      \u0924\u0940 \u0939\u0948"
+  - input_choice_list:
+      A: "\u0938\u0947\u0928\u093E \u092A\u0930 \u0938\u0902\u0918\u0940\u092F \u0916\
+        \u0930\u094D\u091A \u092E\u0947\u0902 \u0935\u093E\u0930\u094D\u0937\u093F\
+        \u0915 \u0935\u0943\u0926\u094D\u0927\u093F"
+      B: "\u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u090B\u0923 \u092A\
+        \u0930 \u092C\u094D\u092F\u093E\u091C \u0915\u0940 \u0930\u093E\u0936\u093F"
+      C: "\u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092A\u0924\u093F \u0914\u0930\
+        \ \u0915\u093E\u0902\u0917\u094D\u0930\u0947\u0938 \u0926\u094D\u0935\u093E\
+        \u0930\u093E \u0915\u093F\u090F \u0917\u090F \u092A\u094D\u0930\u093E\u0930\
+        \u0902\u092D\u093F\u0915 \u092C\u091C\u091F \u092A\u094D\u0930\u0938\u094D\
+        \u0924\u093E\u0935\u094B\u0902 \u0915\u0947 \u092C\u0940\u091A \u0905\u0902\
+        \u0924\u0930"
+      D: "\u0938\u0930\u0915\u093E\u0930 \u0905\u092A\u0928\u0947 \u0930\u093E\u091C\
+        \u0938\u094D\u0935 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0930\u093E\u0936\
+        \u093F \u0916\u0930\u094D\u091A \u0915\u0930\u0924\u0940 \u0939\u0948"
+    input_correct_responses:
+    - D
+    input_question: ""\u092C\u091C\u091F \u0918\u093E\u091F\u093E" \u0936\
+      \u092C\u094D\u0926 \u0915\u093E \u0924\u093E\u0924\u094D\u092A\u0930\u094D\u092F\
+      \ \u0939\u0948"
+  - input_choice_list:
+      A: "\u0935\u0940\u0915\u094D\u0938 \u092C\u0928\u093E\u092E \u0938\u0902\u092F\
+        \u0941\u0915\u094D\u0924 \u0930\u093E\u091C\u094D\u092F \u0905\u092E\u0947\
+        \u0930\u093F\u0915\u093E"
+      B: "\u092C\u0947\u091F\u094D\u0938 \u092C\u0928\u093E\u092E \u092C\u094D\u0930\
+        \u0948\u0921\u0940"
+      C: "\u092E\u0948\u092A \u092C\u0928\u093E\u092E \u0913\u0939\u093F\u092F\u094B"
+      D: "\u092E\u093F\u0930\u093E\u0902\u0921\u093E \u092C\u0928\u093E\u092E \u090F\
+        \u0930\u093F\u091C\u093C\u094B\u0928\u093E"
+    input_correct_responses:
+    - D
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u092E\u093E\u092E\u0932\
+      \u0947 \u0928\u0947 \u092E\u093F\u0938\u093E\u0932 \u0915\u093E\u092F\u092E\
+      \ \u0915\u0940 \u0915\u093F \u092A\u094D\u0930\u0924\u093F\u0935\u093E\u0926\
+      \u0940 \u0915\u094B \u091A\u0941\u092A \u0930\u0939\u0928\u0947 \u0915\u0947\
+      \ \u0905\u0927\u093F\u0915\u093E\u0930, \u0935\u0915\u0940\u0932 \u0915\u0947\
+      \ \u0905\u0927\u093F\u0915\u093E\u0930 \u0914\u0930 \u0906\u0924\u094D\u092E\
+      -\u0926\u094B\u0937\u093E\u0930\u094B\u092A\u0923 \u0938\u0947 \u0938\u0941\u0930\
+      \u0915\u094D\u0937\u093E \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902\
+      \ \u0938\u0942\u091A\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\u0928\
+      \u093E \u091A\u093E\u0939\u093F\u090F?"
+  - input_choice_list:
+      A: "\u0907\u0928\u0915\u0940 \u0938\u094D\u0925\u093E\u092A\u0928\u093E \u0935\
+        \u093F\u0927\u093E\u092F\u0940 \u0936\u093E\u0916\u093E \u0926\u094D\u0935\
+        \u093E\u0930\u093E \u0915\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948\u0964"
+      B: "\u0909\u0928\u0915\u0947 \u0938\u0926\u0938\u094D\u092F\u094B\u0902 \u0915\
+        \u093E \u0905\u0915\u094D\u0938\u0930 \u0930\u093E\u0937\u094D\u091F\u094D\
+        \u0930\u092A\u0924\u093F \u0915\u0947 \u0928\u093F\u0930\u094D\u0923\u092F\
+        \u094B\u0902 \u092A\u0930 \u0905\u0927\u093F\u0915 \u092A\u094D\u0930\u092D\
+        \u093E\u0935 \u0928\u0939\u0940\u0902 \u0939\u094B\u0924\u093E \u0939\u0948\
+        \u0964"
+      C: "\u0907\u0928 \u0938\u092D\u0940 \u0915\u094B \u0909\u0928 \u0928\u0947\u0924\
+        \u093E\u0913\u0902 \u0926\u094D\u0935\u093E\u0930\u093E \u0928\u0939\u0940\
+        \u0902 \u091A\u0932\u093E\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E\
+        \ \u0939\u0948 \u091C\u094B \u0909\u0938\u0940 \u0930\u093E\u091C\u0928\u0940\
+        \u0924\u093F\u0915 \u0926\u0932 \u0938\u0947 \u0938\u0902\u092C\u0902\u0927\
+        \u093F\u0924 \u0939\u0948\u0902 \u091C\u093F\u0938\u0915\u093E \u0905\u0927\
+        \u094D\u092F\u0915\u094D\u0937 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092A\
+        \u0924\u093F \u0939\u0948\u0964"
+      D: "\u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0938\u0902\u0918\u0940\
+        \u092F \u090F\u091C\u0947\u0902\u0938\u0940 \u090F\u0915 \u0915\u0948\u092C\
+        \u093F\u0928\u0947\u091F \u0935\u093F\u092D\u093E\u0917 \u0928\u0939\u0940\
+        \u0902 \u0939\u0948\u0964"
+    input_correct_responses:
+    - C
+    input_question: "\u0915\u0948\u092C\u093F\u0928\u0947\u091F \u0935\u093F\u092D\
+      \u093E\u0917\u094B\u0902 \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902\
+      \ \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902\
+      \ \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\u0928 \u0917\u0932\
+      \u0924 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0908\u092E\u093E\u0928\u0926\u093E\u0930 \u0930\u093E\u091C\u0928\u0947\
+        \u0924\u093E \u0917\u0941\u091F\u094B\u0902 \u0915\u094B \u0935\u093F\u0915\
+        \u0938\u093F\u0924 \u0939\u094B\u0928\u0947 \u0938\u0947 \u0930\u094B\u0915\
+        \ \u0938\u0915\u0924\u0947 \u0939\u0948\u0902\u0964"
+      B: "\u091B\u094B\u091F\u0947 \u0917\u0923\u0930\u093E\u091C\u094D\u092F\u094B\
+        \u0902 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u092C\
+        \u0921\u093C\u0947 \u0917\u0923\u0930\u093E\u091C\u094D\u092F\u094B\u0902\
+        \ \u092E\u0947\u0902 \u0917\u0941\u091F \u0939\u094B\u0928\u0947 \u0915\u0940\
+        \ \u0938\u0902\u092D\u093E\u0935\u0928\u093E \u0905\u0927\u093F\u0915 \u0939\
+        \u094B\u0924\u0940 \u0939\u0948\u0964"
+      C: "\u0917\u0941\u091F\u092C\u093E\u091C\u0940 \u0915\u0947 \u0928\u0915\u093E\
+        \u0930\u093E\u0924\u094D\u092E\u0915 \u092A\u094D\u0930\u092D\u093E\u0935\u094B\
+        \u0902 \u0915\u094B \u0917\u0923\u0924\u093E\u0902\u0924\u094D\u0930\u093F\
+        \u0915 \u0938\u0930\u0915\u093E\u0930 \u0926\u094D\u0935\u093E\u0930\u093E\
+        \ \u0915\u092E \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E\
+        \ \u0939\u0948\u0964"
+      D: "\u0938\u094D\u0935\u0924\u0902\u0924\u094D\u0930 \u091A\u0941\u0928\u093E\
+        \u0935 \u0917\u0941\u091F\u092C\u093E\u091C\u0940 \u0915\u0947 \u0916\u093F\
+        \u0932\u093E\u092B \u0932\u094B\u0917\u094B\u0902 \u0915\u093E \u0938\u092C\
+        \u0938\u0947 \u0905\u091A\u094D\u091B\u093E \u092C\u091A\u093E\u0935 \u0939\
+        \u0948\u0964"
+    input_correct_responses:
+    - C
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0926 \u092B\
+      \u0947\u0921\u0930\u0932\u093F\u0938\u094D\u091F \u0928\u0902\u092C\u0930 10\
+      \ \u092E\u0947\u0902 \u091C\u0947\u092E\u094D\u0938 \u092E\u0948\u0921\u093F\
+      \u0938\u0928 \u0926\u094D\u0935\u093E\u0930\u093E \u0926\u093F\u090F \u0917\u090F\
+      \ \u0924\u0930\u094D\u0915 \u0915\u094B \u0938\u092C\u0938\u0947 \u0905\u091A\
+      \u094D\u091B\u093E \u092C\u0924\u093E\u0924\u093E \u0939\u0948?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_government_and_politics
+tag: mmlu_hi_llama_social_sciences_tasks
+task: mmlu_hi_llama_high_school_government_and_politics
+task_alias: high_school_government_and_politics

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_macroeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u0938\u0947\u0928\u093E \u0928\
+        \u0947 1000 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u0915\u0930\u094D\u092E\
+        \u093F\u092F\u094B\u0902 \u0915\u0947 \u0938\u093E\u0925 \u090F\u0915 \u0935\
+        \u093F\u0926\u0947\u0936\u0940 \u0926\u0947\u0936 \u092E\u0947\u0902 \u090F\
+        \u0915 \u0928\u092F\u093E \u092C\u0947\u0938 \u0916\u094B\u0932\u093E \u0939\
+        \u0948\u0964"
+      B: "\u091C\u093E\u092A\u093E\u0928\u0940 \u0909\u092A\u092D\u094B\u0915\u094D\
+        \u0924\u093E \u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0930\u093E\u091C\
+        \u094D\u092F \u0905\u092E\u0947\u0930\u093F\u0915\u093E \u092E\u0947\u0902\
+        \ \u0909\u0924\u094D\u092A\u093E\u0926\u093F\u0924 \u0939\u091C\u093E\u0930\
+        \u094B\u0902 \u0938\u0940\u0921\u0940 \u0916\u0930\u0940\u0926\u0924\u0947\
+        \ \u0939\u0948\u0902\u0964"
+      C: "\u090F\u0915 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u092A\u0949\u092A\
+        \ \u0917\u093E\u092F\u0915 \u092A\u0947\u0930\u093F\u0938 \u092E\u0947\u0902\
+        \ \u090F\u0915 \u092C\u093F\u0915\u093E\u090A \u0938\u0902\u0917\u0940\u0924\
+        \ \u0915\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E \u092A\u094D\u0930\
+        \u0938\u094D\u0924\u0941\u0924 \u0915\u0930\u0924\u093E \u0939\u0948\u0964"
+      D: "\u090F\u0915 \u092B\u093C\u094D\u0930\u093E\u0902\u0938\u0940\u0938\u0940\
+        \ \u0928\u093E\u091F\u094D\u092F \u092A\u094D\u0930\u0938\u094D\u0924\u0941\
+        \u0924\u093F \u0926\u0930\u094D\u091C\u0928\u094B\u0902 \u0905\u092E\u0947\
+        \u0930\u093F\u0915\u0940 \u0936\u0939\u0930\u094B\u0902 \u0915\u093E \u0926\
+        \u094C\u0930\u093E \u0915\u0930\u0924\u0940 \u0939\u0948\u0964"
+    input_correct_responses:
+    - C
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0905\u092E\u0947\u0930\
+      \u093F\u0915\u0940 \u0938\u0915\u0932 \u0918\u0930\u0947\u0932\u0942 \u0909\u0924\
+      \u094D\u092A\u093E\u0926 \u092E\u0947\u0902 \u0936\u093E\u092E\u093F\u0932 \u0928\
+      \u0939\u0940\u0902 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u092C\u0947\u0930\u094B\u091C\u0917\u093E\u0930\u0940 \u0914\u0930 \u092E\
+        \u0941\u0926\u094D\u0930\u093E\u0938\u094D\u092B\u0940\u0924\u093F \u0915\u0947\
+        \ \u092C\u0940\u091A \u0938\u0940\u0927\u093E \u0938\u0902\u092C\u0902\u0927"
+      B: "\u0915\u0940\u092E\u0924 \u0914\u0930 \u092E\u093E\u0902\u0917 \u0915\u0940\
+        \ \u092E\u093E\u0924\u094D\u0930\u093E \u0915\u0947 \u092C\u0940\u091A \u0938\
+        \u0940\u0927\u093E \u0938\u0902\u092C\u0902\u0927"
+      C: "\u0915\u0940\u092E\u0924 \u0914\u0930 \u092E\u093E\u0902\u0917 \u0915\u0940\
+        \ \u092E\u093E\u0924\u094D\u0930\u093E \u0915\u0947 \u092C\u0940\u091A \u0935\
+        \u093F\u092A\u0930\u0940\u0924 \u0938\u0902\u092C\u0902\u0927"
+      D: "\u092C\u0947\u0930\u094B\u091C\u0917\u093E\u0930\u0940 \u0914\u0930 \u092E\
+        \u0941\u0926\u094D\u0930\u093E\u0938\u094D\u092B\u0940\u0924\u093F \u0915\u0947\
+        \ \u092C\u0940\u091A \u0935\u093F\u092A\u0930\u0940\u0924 \u0938\u0902\u092C\
+        \u0902\u0927"
+    input_correct_responses:
+    - D
+    input_question: "\u0905\u0932\u094D\u092A\u093E\u0935\u0927\u093F \u092B\u093F\
+      \u0932\u093F\u092A\u094D\u0938 \u0935\u0915\u094D\u0930 \u0907\u0902\u0917\u093F\
+      \u0924 \u0915\u0930\u0924\u093E \u0939\u0948"
+  - input_choice_list:
+      A: "\u0928\u093F\u0930\u094D\u092F\u093E\u0924 \u0906\u092F\u093E\u0924 \u0938\
+        \u0947 \u0905\u0927\u093F\u0915 \u0939\u0948\u0964"
+      B: "\u0906\u092F\u093E\u0924 \u0928\u093F\u0930\u094D\u092F\u093E\u0924 \u0938\
+        \u0947 \u0905\u0927\u093F\u0915 \u0939\u0948\u0964"
+      C: "\u0938\u0902\u0918\u0940\u092F \u0915\u0930 \u0938\u0902\u0917\u094D\u0930\
+        \u0939 \u0935\u094D\u092F\u092F \u0938\u0947 \u0905\u0927\u093F\u0915 \u0939\
+        \u0948\u0964"
+      D: "\u0938\u0902\u0918\u0940\u092F \u0935\u094D\u092F\u092F \u0938\u0902\u0918\
+        \u0940\u092F \u0915\u0930 \u0930\u093E\u091C\u0938\u094D\u0935 \u0938\u0947\
+        \ \u0905\u0927\u093F\u0915 \u0939\u0948\u0964"
+    input_correct_responses:
+    - D
+    input_question: "\u0938\u0902\u0918\u0940\u092F \u0918\u093E\u091F\u093E \u0924\
+      \u092C \u0939\u094B\u0924\u093E \u0939\u0948 \u091C\u092C"
+  - input_choice_list:
+      A: "\u091B\u0942\u091F \u0926\u0930 \u092C\u0922\u093C\u093E\u0928\u093E"
+      B: "\u0906\u0930\u0915\u094D\u0937\u093F\u0924 \u0905\u0928\u0941\u092A\u093E\
+        \u0924 \u092C\u0922\u093C\u093E\u0928\u093E"
+      C: "\u0938\u0930\u0915\u093E\u0930\u0940 \u092A\u094D\u0930\u0924\u093F\u092D\
+        \u0942\u0924\u093F\u092F\u093E\u0901 \u0916\u0930\u0940\u0926\u0928\u093E"
+      D: "\u091F\u0948\u0930\u093F\u092B \u0915\u092E \u0915\u0930\u0928\u093E"
+    input_correct_responses:
+    - C
+    input_question: "\u0905\u0928\u094D\u092F \u0938\u092D\u0940 \u0915\u094B \u0938\
+      \u092E\u093E\u0928 \u0930\u0916\u0924\u0947 \u0939\u0941\u090F \u0928\u093F\u092E\
+      \u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\
+      \u093F\u0938 \u092E\u094C\u0926\u094D\u0930\u093F\u0915 \u0928\u0940\u0924\u093F\
+      \ \u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u0905\u092E\u0947\u0930\u093F\
+      \u0915\u0940 \u0928\u093F\u0930\u094D\u092F\u093E\u0924 \u0915\u094B \u092C\u0922\
+      \u093C\u093E\u0935\u093E \u0926\u0947\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
+      \ \u0915\u093F\u092F\u093E \u091C\u093E\u090F\u0917\u093E?"
+  - input_choice_list:
+      A: "\u092E\u0941\u0926\u094D\u0930\u093E \u0906\u092A\u0942\u0930\u094D\u0924\
+        \u093F \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F"
+      B: "\u0938\u0930\u0915\u093E\u0930\u0940 \u0916\u0930\u094D\u091A \u092C\u0922\
+        \u093C\u093E"
+      C: "\u0928\u0908 \u092A\u094D\u0930\u094C\u0926\u094D\u092F\u094B\u0917\u093F\
+        \u0915\u0940 \u0915\u0947 \u0905\u0928\u0941\u0938\u0902\u0927\u093E\u0928\
+        \ \u0914\u0930 \u0935\u093F\u0915\u093E\u0938 \u092A\u0930 \u0915\u092E \u0915\
+        \u0930"
+      D: "\u0918\u0930\u0947\u0932\u0942 \u0906\u092F \u092A\u0930 \u0905\u0927\u093F\
+        \u0915 \u0915\u0930"
+    input_correct_responses:
+    - C
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0928\u0940\
+      \u0924\u093F \u0906\u092A\u0942\u0930\u094D\u0924\u093F-\u092A\u0915\u094D\u0937\
+      \ \u0930\u093E\u091C\u0915\u094B\u0937\u0940\u092F \u0928\u0940\u0924\u093F\
+      \ \u0915\u093E \u0938\u092C\u0938\u0947 \u0905\u091A\u094D\u091B\u093E \u0935\
+      \u0930\u094D\u0923\u0928 \u0915\u0930\u0924\u0940 \u0939\u0948?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_macroeconomics
+tag: mmlu_hi_llama_social_sciences_tasks
+task: mmlu_hi_llama_high_school_macroeconomics
+task_alias: high_school_macroeconomics

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_mathematics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: '3'
+      B: '15'
+      C: '6'
+      D: '5'
+    input_correct_responses:
+    - B
+    input_question: "\u091C\u094B \u090F\u0915 \u0928\u0943\u0924\u094D\u092F \u0915\
+      \u0947 \u0932\u093F\u090F \u0930\u094B\u0936\u0928\u0940 \u0915\u093E \u092A\
+      \u094D\u0930\u092D\u093E\u0930\u0940 \u0925\u093E\u0964 \u0932\u093E\u0932 \u092C\
+      \u0924\u094D\u0924\u0940 \u0939\u0930 \u0926\u094B \u0938\u0947\u0915\u0902\u0921\
+      \ \u092E\u0947\u0902, \u092A\u0940\u0932\u0940 \u0930\u094B\u0936\u0928\u0940\
+      \ \u0939\u0930 \u0924\u0940\u0928 \u0938\u0947\u0915\u0902\u0921 \u092E\u0947\
+      \u0902 \u0914\u0930 \u0928\u0940\u0932\u0940 \u0930\u094B\u0936\u0928\u0940\
+      \ \u0939\u0930 \u092A\u093E\u0902\u091A \u0938\u0947\u0915\u0902\u0921 \u092E\
+      \u0947\u0902 \u091D\u092A\u0915\u0924\u0940 \u0939\u0948\u0964 \u092F\u0926\u093F\
+      \ \u0939\u092E \u0928\u0943\u0924\u094D\u092F \u0915\u0947 \u0906\u0930\u0902\
+      \u092D \u0914\u0930 \u0905\u0902\u0924 \u0915\u094B \u0936\u093E\u092E\u093F\
+      \u0932 \u0915\u0930\u0947\u0902, \u0924\u094B \u0938\u093E\u0924 \u092E\u093F\
+      \u0928\u091F \u0915\u0947 \u0928\u0943\u0924\u094D\u092F \u0915\u0947 \u0926\
+      \u094C\u0930\u093E\u0928 \u0915\u093F\u0924\u0928\u0940 \u092C\u093E\u0930 \u0938\
+      \u092D\u0940 \u0932\u093E\u0907\u091F\u0947\u0902 \u090F\u0915 \u0939\u0940\
+      \ \u0938\u092E\u092F \u092E\u0947\u0902 \u091C\u0932\u0947\u0902\u0917\u0940\
+      ? (\u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F \u0915\u093F \u0928\u0943\
+      \u0924\u094D\u092F \u0915\u0940 \u0936\u0941\u0930\u0941\u0906\u0924 \u092E\u0947\
+      \u0902 \u0939\u0940 \u0924\u0940\u0928\u094B\u0902 \u0932\u093E\u0907\u091F\u0947\
+      \u0902 \u090F\u0915 \u0938\u093E\u0925 \u091D\u092A\u0915\u0924\u0940 \u0939\
+      \u0948\u0902\u0964)"
+  - input_choice_list:
+      A: '12'
+      B: '1'
+      C: '30'
+      D: '5'
+    input_correct_responses:
+    - C
+    input_question: "$x\\%$ \u092C\u094D\u092F\u093E\u091C \u0926\u0930 \u092A\u0930\
+      \ \u0938\u093E\u0932\u093E\u0928\u093E \u091A\u0915\u094D\u0930\u0935\u0943\u0926\
+      \u094D\u0927\u093F \u092A\u093E\u0902\u091A \u0939\u091C\u093E\u0930 \u0921\u0949\
+      \u0932\u0930 \u0915\u094B \u0926\u094B\u0917\u0941\u0928\u093E \u0939\u094B\u0928\
+      \u0947 \u092E\u0947\u0902 \u091B\u0939 \u0938\u093E\u0932 \u0932\u0917\u0924\
+      \u0947 \u0939\u0948\u0902\u0964 \u0938\u092E\u093E\u0928 \u092C\u094D\u092F\u093E\
+      \u091C \u0926\u0930 \u092A\u0930, $\\$300$ \u0915\u094B $\\$9600$ \u0924\u0915\
+      \ \u092C\u0922\u093C\u0928\u0947 \u092E\u0947\u0902 \u0915\u093F\u0924\u0928\
+      \u0947 \u0935\u0930\u094D\u0937 \u0932\u0917\u0947\u0902\u0917\u0947?"
+  - input_choice_list:
+      A: '-1'
+      B: '16'
+      C: -\frac{1}{256}
+      D: \frac{1}{16}
+    input_correct_responses:
+    - C
+    input_question: "\u0935\u0947\u0930\u093F\u090F\u092C\u0932 $x$ \u0938\u0940\u0927\
+      \u0947 $y$ \u0915\u0947 \u0935\u0930\u094D\u0917 \u0915\u0947 \u0930\u0942\u092A\
+      \ \u092E\u0947\u0902 \u092C\u0926\u0932\u0924\u093E \u0939\u0948, \u0914\u0930\
+      \ $y$ \u0938\u0940\u0927\u0947 $z$ \u0915\u0947 \u0918\u0928 \u0915\u0947 \u0930\
+      \u0942\u092A \u092E\u0947\u0902 \u092C\u0926\u0932\u0924\u093E \u0939\u0948\u0964\
+      \ \u092F\u0926\u093F $x$ \u092C\u0930\u093E\u092C\u0930 $-16$ \u0939\u0948 \u091C\
+      \u092C $z$ \u092C\u0930\u093E\u092C\u0930 2 \u0939\u0948, \u0924\u094B $x$ \u0915\
+      \u093E \u092E\u0942\u0932\u094D\u092F \u0915\u094D\u092F\u093E \u0939\u0948\
+      \ \u091C\u092C $z$ \u092C\u0930\u093E\u092C\u0930 $\\frac{1}{2}$ \u0939\u0948\
+      ?"
+  - input_choice_list:
+      A: \frac{3\sqrt{3}}{3}
+      B: \frac{1}{3}
+      C: \sqrt{3}
+      D: \frac{\sqrt{3}}{3}
+    input_correct_responses:
+    - D
+    input_question: "\u092A\u0930\u093F\u0923\u093E\u092E \u0915\u094B \u0938\u0930\
+      \u0932 \u092C\u0928\u093E\u090F\u0902 \u0914\u0930 \u0924\u0930\u094D\u0915\u0938\
+      \u0902\u0917\u0924 \u0939\u0930 \u0915\u0947 \u0938\u093E\u0925 \u0932\u093F\
+      \u0916\u0947\u0902: $$\\sqrt{\\sqrt[3]{\\sqrt{\\frac{1}{729}}}}$$"
+  - input_choice_list:
+      A: '55'
+      B: '60'
+      C: '62'
+      D: '65'
+    input_correct_responses:
+    - D
+    input_question: "\u0926\u0938 \u091B\u093E\u0924\u094D\u0930 \u091C\u0940\u0935\
+      \ \u0935\u093F\u091C\u094D\u091E\u093E\u0928 \u0915\u0940 \u092A\u0930\u0940\
+      \u0915\u094D\u0937\u093E \u0926\u0947\u0924\u0947 \u0939\u0948\u0902 \u0914\u0930\
+      \ \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u0905\u0902\u0915\
+      \ \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0924\u0947 \u0939\
+      \u0948\u0902: 45, 55, 50, 70, 65, 80, 40, 90, 70, 85\u0964 \u091B\u093E\u0924\
+      \u094D\u0930\u094B\u0902 \u0915\u0947 \u092A\u0930\u0940\u0915\u094D\u0937\u0923\
+      \ \u0905\u0902\u0915\u094B\u0902 \u0915\u093E \u092E\u093E\u0927\u094D\u092F\
+      \ \u0915\u094D\u092F\u093E \u0939\u0948?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_mathematics
+tag: mmlu_hi_llama_stem_tasks
+task: mmlu_hi_llama_high_school_mathematics
+task_alias: high_school_mathematics

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_microeconomics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0907\u0938 \u0936\u094D\u0930\u092E \u092C\u093E\u091C\u093C\u093E\u0930\
+        \ \u092A\u0930 \u090F\u0915 \u092A\u094D\u0930\u092D\u093E\u0935\u0940 \u0928\
+        \u094D\u092F\u0942\u0928\u0924\u092E \u0935\u0947\u0924\u0928 \u0932\u0917\
+        \u093E\u092F\u093E \u0917\u092F\u093E\u0964"
+      B: "\u092A\u0947\u0902\u091F \u0915\u0947 \u0917\u0948\u0932\u0928 \u0915\u0940\
+        \ \u0915\u0940\u092E\u0924 \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\
+        \u093F."
+      C: "\u0928\u092F\u0947 \u092E\u0915\u093E\u0928\u094B\u0902 \u0915\u0947 \u0928\
+        \u093F\u0930\u094D\u092E\u093E\u0923 \u092E\u0947\u0902 \u0935\u0943\u0926\
+        \u094D\u0927\u093F\u0964"
+      D: "\u092E\u0948\u0915\u0947\u0928\u093F\u0915\u0932 \u092A\u0947\u0902\u091F\
+        \u0930\u094D\u0938 \u0915\u0940 \u0915\u0940\u092E\u0924 \u092E\u0947\u0902\
+        \ \u0924\u092C \u0924\u0915 \u0935\u0943\u0926\u094D\u0927\u093F \u091C\u092C\
+        \ \u0924\u0915 \u0906\u0909\u091F\u092A\u0941\u091F \u092A\u094D\u0930\u092D\
+        \u093E\u0935 \u092A\u094D\u0930\u0924\u093F\u0938\u094D\u0925\u093E\u092A\u0928\
+        \ \u092A\u094D\u0930\u092D\u093E\u0935 \u0938\u0947 \u0905\u0927\u093F\u0915\
+        \ \u0939\u094B \u091C\u093E\u0924\u093E \u0939\u0948\u0964"
+    input_correct_responses:
+    - C
+    input_question: "\u0939\u093E\u0909\u0938\u092A\u0947\u0902\u091F\u0930\u094B\u0902\
+      \ \u0915\u0947 \u0932\u093F\u090F \u092A\u094D\u0930\u0924\u093F\u0938\u094D\
+      \u092A\u0930\u094D\u0927\u0940 \u0936\u094D\u0930\u092E \u092C\u093E\u091C\u093E\
+      \u0930 \u092E\u0947\u0902, \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
+      \u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0938\u0947 \u0939\
+      \u093E\u0909\u0938\u092A\u0947\u0902\u091F\u0930\u094B\u0902 \u0915\u0940 \u092E\
+      \u093E\u0902\u0917 \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F \u0939\
+      \u094B\u0917\u0940?"
+  - input_choice_list:
+      A: "\u0909\u0924\u094D\u092A\u093E\u0926 \u0915\u0940 \u092E\u093E\u0902\u0917\
+        \ \u092C\u0922\u093C\u0947\u0917\u0940"
+      B: "\u0909\u0924\u094D\u092A\u093E\u0926 \u0915\u0940 \u092E\u093E\u0902\u0917\
+        \ \u0918\u091F \u091C\u093E\u092F\u0947\u0917\u0940"
+      C: "\u0909\u092A\u092D\u094B\u0915\u094D\u0924\u093E \u0905\u0927\u093F\u0936\
+        \u0947\u0937 \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F \u0939\
+        \u094B\u0917\u0940"
+      D: "\u0909\u092A\u092D\u094B\u0915\u094D\u0924\u093E \u0905\u0927\u093F\u0936\
+        \u0947\u0937 \u0915\u092E \u0939\u094B \u091C\u093E\u090F\u0917\u093E"
+    input_correct_responses:
+    - C
+    input_question: "\u092F\u0926\u093F \u0938\u0930\u0915\u093E\u0930 \u092A\u0942\
+      \u0930\u094D\u0923 \u092A\u094D\u0930\u0924\u093F\u0938\u094D\u092A\u0930\u094D\
+      \u0927\u0940 \u092C\u093E\u091C\u093E\u0930 \u092E\u0947\u0902 \u0909\u0924\u094D\
+      \u092A\u093E\u0926\u0915\u094B\u0902 \u0915\u094B \u0938\u092C\u094D\u0938\u093F\
+      \u0921\u0940 \u0926\u0947\u0924\u0940 \u0939\u0948, \u0924\u094B"
+  - input_choice_list:
+      A: '0'
+      B: '5'
+      C: '10'
+      D: '100'
+    input_correct_responses:
+    - D
+    input_question: "\u090F\u0915\u093E\u0927\u093F\u0915\u093E\u0930 \u0915\u0947\
+      \ \u0932\u093F\u090F \u090F\u0915\u093E\u0917\u094D\u0930\u0924\u093E \u0905\
+      \u0928\u0941\u092A\u093E\u0924 \u0939\u0948"
+  - input_choice_list:
+      A: "\u0915\u0940\u092E\u0924 \u0938\u094D\u0924\u0930 \u092E\u093E\u0902\u0917\
+        \ \u0935\u0915\u094D\u0930 \u0915\u094B \u092C\u093E\u0908\u0902 \u0913\u0930\
+        \ \u0938\u094D\u0925\u093E\u0928\u093E\u0902\u0924\u0930\u093F\u0924 \u0915\
+        \u0930 \u0926\u0947\u0924\u093E \u0939\u0948\u0964"
+      B: "\u090F\u0915 \u092A\u094D\u0930\u092D\u093E\u0935\u0940 \u092E\u0902\u091C\
+        \u093F\u0932 \u0905\u091A\u094D\u091B\u0947 \u0915\u0940 \u0915\u092E\u0940\
+        \ \u092A\u0948\u0926\u093E \u0915\u0930\u0924\u0940 \u0939\u0948\u0964"
+      C: "\u0915\u0940\u092E\u0924 \u0938\u094D\u0924\u0930 \u0935\u0938\u094D\u0924\
+        \u0941 \u0915\u0947 \u0906\u092A\u0942\u0930\u094D\u0924\u093F \u0935\u0915\
+        \u094D\u0930 \u0915\u094B \u0926\u093E\u0908\u0902 \u0913\u0930 \u0938\u094D\
+        \u0925\u093E\u0928\u093E\u0902\u0924\u0930\u093F\u0924 \u0915\u0930 \u0926\
+        \u0947\u0924\u093E \u0939\u0948\u0964"
+      D: "\u090F\u0915 \u092A\u094D\u0930\u092D\u093E\u0935\u0940 \u092E\u0902\u091C\
+        \u093F\u0932 \u0939\u094B\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F, \u0907\
+        \u0938\u0947 \u0938\u0902\u0924\u0941\u0932\u0928 \u0915\u0940\u092E\u0924\
+        \ \u0938\u0947 \u090A\u092A\u0930 \u0938\u094D\u0925\u093E\u092A\u093F\u0924\
+        \ \u0915\u093F\u092F\u093E \u091C\u093E\u0928\u093E \u091A\u093E\u0939\u093F\
+        \u090F\u0964"
+    input_correct_responses:
+    - D
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u092E\u0942\
+      \u0932\u094D\u092F \u0938\u094D\u0924\u0930 \u0915\u0947 \u092C\u093E\u0930\u0947\
+      \ \u092E\u0947\u0902 \u0938\u0924\u094D\u092F \u0939\u0948?"
+  - input_choice_list:
+      A: "\u092C\u093E\u091C\u093C\u093E\u0930 \u092E\u0947\u0902 \u0928\u093F\u0903\
+        \u0936\u0941\u0932\u094D\u0915 \u092A\u094D\u0930\u0935\u0947\u0936 \u0914\
+        \u0930 \u0928\u093F\u0915\u093E\u0938"
+      B: "\u0915\u0941\u091B \u092C\u0921\u093C\u0947 \u0928\u093F\u0930\u094D\u092E\
+        \u093E\u0924\u093E"
+      C: "\u0915\u093F\u0938\u0940 \u0935\u0938\u094D\u0924\u0941 \u0915\u093E \u090F\
+        \u0915 \u0909\u0924\u094D\u092A\u093E\u0926\u0915 \u091C\u093F\u0938\u0915\
+        \u093E \u0915\u094B\u0908 \u0915\u0930\u0940\u092C\u0940 \u0935\u093F\u0915\
+        \u0932\u094D\u092A \u0928\u0939\u0940\u0902 \u0939\u0948"
+      D: "\u090F\u0915 \u0938\u092E\u0930\u0942\u092A \u0909\u0924\u094D\u092A\u093E\
+        \u0926"
+    input_correct_responses:
+    - B
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0906\u0935\
+      \u0936\u094D\u092F\u0915 \u0930\u0942\u092A \u0938\u0947 \u0905\u0932\u094D\u092A\
+      \u093E\u0927\u093F\u0915\u093E\u0930 \u0915\u0940 \u0935\u093F\u0936\u0947\u0937\
+      \u0924\u093E \u0939\u0948?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_microeconomics
+tag: mmlu_hi_llama_social_sciences_tasks
+task: mmlu_hi_llama_high_school_microeconomics
+task_alias: high_school_microeconomics

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_physics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0915\u0947\u0935\u0932 I \u0914\u0930 II"
+      B: "\u0915\u0947\u0935\u0932 I \u0914\u0930 III"
+      C: "\u0915\u0947\u0935\u0932 II \u0914\u0930 III"
+      D: "\u0924\u0943\u0924\u0940\u092F \u0915\u0947\u0935\u0932"
+    input_correct_responses:
+    - D
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0938\u094D\
+      \u0925\u093F\u0924\u093F \u092F\u0939 \u0938\u0941\u0928\u093F\u0936\u094D\u091A\
+      \u093F\u0924 \u0915\u0930\u0947\u0917\u0940 \u0915\u093F \u0915\u094B\u0923\u0940\
+      \u092F \u0917\u0924\u093F \u0938\u0902\u0930\u0915\u094D\u0937\u093F\u0924 \u0939\
+      \u0948? I. \u0930\u0948\u0916\u093F\u0915 \u0938\u0902\u0935\u0947\u0917 \u0915\
+      \u093E \u0938\u0902\u0930\u0915\u094D\u0937\u0923 II. \u0936\u0942\u0928\u094D\
+      \u092F \u0936\u0941\u0926\u094D\u0927 \u092C\u093E\u0939\u094D\u092F \u092C\u0932\
+      \ III. \u0936\u0942\u0928\u094D\u092F \u0936\u0941\u0926\u094D\u0927 \u092C\u093E\
+      \u0939\u0930\u0940 \u091F\u0949\u0930\u094D\u0915"
+  - input_choice_list:
+      A: "\u0926\u092C\u093E\u0935 \u090F\u0915 \u0928\u094B\u0921 \u092A\u0930 \u0939\
+        \u094B\u0924\u093E \u0939\u0948, \u0932\u0947\u0915\u093F\u0928 \u0915\u0923\
+        \ \u0935\u093F\u0938\u094D\u0925\u093E\u092A\u0928 \u090F\u0915 \u090F\u0902\
+        \u091F\u0940\u0928\u094B\u0921 \u092A\u0930 \u0939\u094B\u0924\u093E \u0939\
+        \u0948\u0964"
+      B: "\u0926\u092C\u093E\u0935 \u090F\u0915 \u090F\u0902\u091F\u0940\u0928\u094B\
+        \u0921 \u092A\u0930 \u0939\u0948, \u0932\u0947\u0915\u093F\u0928 \u0915\u0923\
+        \ \u0935\u093F\u0938\u094D\u0925\u093E\u092A\u0928 \u090F\u0915 \u0928\u094B\
+        \u0921 \u092A\u0930 \u0939\u0948\u0964"
+      C: "\u0926\u092C\u093E\u0935 \u0914\u0930 \u0915\u0923 \u0935\u093F\u0938\u094D\
+        \u0925\u093E\u092A\u0928 \u0926\u094B\u0928\u094B\u0902 \u0928\u094B\u0921\
+        \u094D\u0938 \u092A\u0930 \u0939\u0948\u0902\u0964"
+      D: "\u0926\u092C\u093E\u0935 \u0914\u0930 \u0915\u0923 \u0935\u093F\u0938\u094D\
+        \u0925\u093E\u092A\u0928 \u0926\u094B\u0928\u094B\u0902 \u090F\u0902\u091F\
+        \u0940\u0928\u094B\u0921 \u092A\u0930 \u0939\u094B\u0924\u0947 \u0939\u0948\
+        \u0902\u0964"
+    input_correct_responses:
+    - B
+    input_question: "\u0939\u0935\u093E \u0938\u0947 \u092D\u0930\u093E \u090F\u0915\
+      \ \u092A\u093E\u0907\u092A \u090F\u0915 \u0938\u093F\u0930\u0947 \u092A\u0930\
+      \ \u092C\u0902\u0926 \u0939\u0948\u0964 \u092A\u093E\u0907\u092A \u092E\u0947\
+      \u0902 \u090F\u0915 \u0916\u0921\u093C\u0940 \u0924\u0930\u0902\u0917 \u0909\
+      \u0924\u094D\u092A\u0928\u094D\u0928 \u0939\u094B\u0924\u0940 \u0939\u0948,\
+      \ \u091C\u093F\u0938\u0938\u0947 \u092A\u093E\u0907\u092A \u090F\u0915 \u0938\
+      \u0941\u0930 \u0915\u0940 \u0927\u094D\u0935\u0928\u093F \u0909\u0924\u094D\u092A\
+      \u0928\u094D\u0928 \u0915\u0930\u0924\u093E \u0939\u0948\u0964 \u092A\u093E\u0907\
+      \u092A \u0915\u0947 \u092C\u0902\u0926 \u0938\u093F\u0930\u0947 \u092A\u0930\
+      \ \u0924\u0930\u0902\u0917 \u0915\u0947 \u0917\u0941\u0923\u094B\u0902 \u0915\
+      \u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\
+      \u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928\
+      \ \u0938\u093E \u0938\u0939\u0940 \u0915\u0925\u0928 \u0939\u0948?"
+  - input_choice_list:
+      A: "2:00 \u092A\u0942\u0930\u094D\u0935\u093E\u0939\u094D\u0928"
+      B: "\u0938\u0941\u092C\u0939 \u0915\u0947 6 \u092C\u091C\u0947"
+      C: "12:00 \u092C\u091C\u0947"
+      D: "24 \u090F"
+    input_correct_responses:
+    - D
+    input_question: "\u0915\u093E\u0930\u094D\u092F \u092B\u0932\u0928 \u03D5 = 2eV\
+      \ \u0915\u093E \u090F\u0915 \u092B\u094B\u091F\u094B\u0938\u0947\u0932 \u0936\
+      \u094D\u0930\u0943\u0902\u0916\u0932\u093E \u092E\u0947\u0902 \u090F\u0915 \u0905\
+      \u0935\u0930\u094B\u0927\u0915 \u0938\u0947 \u091C\u0941\u0921\u093C\u093E \u0939\
+      \u0948\u0964 f = 1 \xD7 10^15 Hz \u0906\u0935\u0943\u0924\u094D\u0924\u093F\
+      \ \u0915\u093E \u092A\u094D\u0930\u0915\u093E\u0936 \u092B\u094B\u091F\u094B\
+      \u0938\u0947\u0932 \u0915\u0940 \u0927\u093E\u0924\u0941 \u0915\u0940 \u092A\
+      \u094D\u0932\u0947\u091F \u0938\u0947 \u091F\u0915\u0930\u093E\u0924\u093E \u0939\
+      \u0948\u0964 \u092F\u0926\u093F \u092A\u094D\u0930\u0915\u093E\u0936 \u0915\u0940\
+      \ \u0936\u0915\u094D\u0924\u093F P = 100 W \u0939\u0948, \u0924\u094B \u092A\
+      \u094D\u0930\u0924\u093F\u0930\u094B\u0927\u0915 \u0915\u0947 \u092E\u093E\u0927\
+      \u094D\u092F\u092E \u0938\u0947 \u0927\u093E\u0930\u093E \u0915\u094D\u092F\u093E\
+      \ \u0939\u0948?"
+  - input_choice_list:
+      A: "10 \u0921\u092C\u094D\u0932\u094D\u092F\u0942"
+      B: "30 \u0921\u092C\u094D\u0932\u094D\u092F\u0942"
+      C: "60 \u0921\u092C\u094D\u0932\u094D\u092F\u0942"
+      D: "240 \u0921\u092C\u094D\u0932\u094D\u092F\u0942"
+    input_correct_responses:
+    - D
+    input_question: "\u090F\u0915 \u092E\u093E\u0907\u0915\u094D\u0930\u094B\u0935\
+      \u0947\u0935 \u0913\u0935\u0928 120 V \u0915\u0947 \u0906\u0909\u091F\u0932\u0947\
+      \u091F \u0938\u0947 \u091C\u0941\u0921\u093C\u093E \u0939\u0948, \u0914\u0930\
+      \ 2 \u090F\u092E\u094D\u092A\u093F\u092F\u0930 \u0915\u0940 \u0927\u093E\u0930\
+      \u093E \u0916\u0940\u0902\u091A\u0924\u093E \u0939\u0948\u0964 \u092E\u093E\u0907\
+      \u0915\u094D\u0930\u094B\u0935\u0947\u0935 \u0913\u0935\u0928 \u0926\u094D\u0935\
+      \u093E\u0930\u093E \u0915\u093F\u0938 \u0926\u0930 \u0938\u0947 \u090A\u0930\
+      \u094D\u091C\u093E \u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\u093F\u092F\
+      \u093E \u091C\u093E \u0930\u0939\u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "3.5 \u091C\u0947"
+      B: "6.0 \u091C\u0947"
+      C: "22.5 \u091C\u0947"
+      D: "40 \u091C\u0947"
+    input_correct_responses:
+    - B
+    input_question: "\u090F\u0915 \u092C\u093F\u0902\u0926\u0941 \u0906\u0935\u0947\
+      \u0936, Q = +1 mC, \u092E\u0942\u0932 \u092C\u093F\u0902\u0926\u0941 \u092A\u0930\
+      \ \u0938\u094D\u0925\u093F\u0930 \u0939\u0948\u0964 \u0915\u093F\u0938\u0940\
+      \ \u0906\u0935\u0947\u0936, Q = +8 \xB5C, \u0915\u094B \u092C\u093F\u0902\u0926\
+      \u0941 (0, 4 \u092E\u0940\u091F\u0930) \u0938\u0947 \u092C\u093F\u0902\u0926\
+      \u0941 (3 \u092E\u0940\u091F\u0930, 0) \u0924\u0915 \u0932\u0947 \u091C\u093E\
+      \u0928\u0947 \u092E\u0947\u0902 \u0915\u093F\u0924\u0928\u093E \u0915\u093E\u0930\
+      \u094D\u092F \u0906\u0935\u0936\u094D\u092F\u0915 \u0939\u0948?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_physics
+tag: mmlu_hi_llama_stem_tasks
+task: mmlu_hi_llama_high_school_physics
+task_alias: high_school_physics

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_psychology.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u090F\u0915 \u092E\u091C\u092C\u0942\u0924 \u0938\u0941\u092A\u0930\u0907\
+        \u0917\u094B."
+      B: "\u0915\u092E \u0906\u0924\u094D\u092E \u0938\u092E\u094D\u092E\u093E\u0928\
+        \u0964"
+      C: "\u0915\u092E \u0906\u0924\u094D\u092E-\u092A\u094D\u0930\u092D\u093E\u0935\
+        \u0915\u093E\u0930\u093F\u0924\u093E."
+      D: "\u0928\u093F\u092F\u0902\u0924\u094D\u0930\u0923 \u0915\u093E \u090F\u0915\
+        \ \u0906\u0902\u0924\u0930\u093F\u0915 \u0938\u094D\u0925\u093E\u0928."
+    input_correct_responses:
+    - D
+    input_question: "\u0905\u0928\u0940 \u0915\u093E \u092E\u093E\u0928\u0928\u093E\
+      \ \u0939\u0948 \u0915\u093F \u0909\u0938\u0915\u0947 \u0938\u093E\u0925 \u091C\
+      \u094B \u0939\u094B\u0924\u093E \u0939\u0948 \u0909\u0938\u092E\u0947\u0902\
+      \ \u0909\u0938\u0915\u093E \u0926\u0943\u0937\u094D\u091F\u093F\u0915\u094B\u0923\
+      \ \u0914\u0930 \u0935\u094D\u092F\u0935\u0939\u093E\u0930 \u0915\u0947\u0902\
+      \u0926\u094D\u0930\u0940\u092F \u092D\u0942\u092E\u093F\u0915\u093E \u0928\u093F\
+      \u092D\u093E\u0924\u093E \u0939\u0948\u0964 \u0910\u0938\u0940 \u092E\u093E\u0928\
+      \u094D\u092F\u0924\u093E \u091C\u0941\u0921\u093C\u0940 \u0939\u094B\u0928\u0947\
+      \ \u0915\u0940 \u0938\u0902\u092D\u093E\u0935\u0928\u093E \u0939\u0948"
+  - input_choice_list:
+      A: "\u0917\u094D\u0930\u093E\u0939\u0915 \u0915\u0940 \u0935\u0930\u094D\u0924\
+        \u092E\u093E\u0928 \u0938\u092E\u0938\u094D\u092F\u093E\u0913\u0902 \u0915\
+        \u0947 \u0915\u093E\u0930\u0923\u094B\u0902 \u0914\u0930 \u0938\u092E\u093E\
+        \u0927\u093E\u0928\u094B\u0902 \u0915\u0940 \u092A\u0939\u091A\u093E\u0928\
+        \ \u0915\u0930\u0928\u093E"
+      B: "\u0915\u093F\u0938\u0940 \u0938\u092E\u0938\u094D\u092F\u093E \u0938\u0947\
+        \ \u0928\u093F\u092A\u091F\u0928\u0947 \u092E\u0947\u0902 \u092A\u0930\u093E\
+        \u092E\u0930\u094D\u0936\u0926\u093E\u0924\u093E \u0915\u0940 \u0915\u0920\
+        \u093F\u0928\u093E\u0907\u092F\u094B\u0902 \u0915\u0947 \u0915\u093E\u0930\
+        \u0923\u094B\u0902 \u0915\u0940 \u092A\u0939\u091A\u093E\u0928 \u0915\u0930\
+        \u0928\u093E \u0914\u0930 \u0909\u0928\u094D\u0939\u0947\u0902 \u0926\u0942\
+        \u0930 \u0915\u0930\u0928\u093E"
+      C: "\u092A\u094D\u0930\u092D\u093E\u0935\u0940 \u0928\u093F\u0930\u094D\u0923\
+        \u092F \u0932\u0947\u0928\u0947 \u092E\u0947\u0902 \u0938\u0915\u094D\u0937\
+        \u092E \u092C\u0928\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092A\
+        \u094D\u0930\u093E\u0927\u093F\u0915\u093E\u0930 \u0915\u093E \u090F\u0915\
+        \ \u092A\u0926\u093E\u0928\u0941\u0915\u094D\u0930\u092E \u0938\u094D\u0925\
+        \u093E\u092A\u093F\u0924 \u0915\u0930\u0928\u093E"
+      D: "\u0915\u094C\u0936\u0932 \u0915\u0940 \u0915\u092E\u0940 \u0915\u094B \u0926\
+        \u0942\u0930 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0938\
+        \u0932\u093E\u0939\u0915\u093E\u0930 \u0915\u0947 \u0932\u093F\u090F \u090F\
+        \u0915\u0932, \u0905\u091A\u094D\u091B\u0940 \u0924\u0930\u0939 \u0938\u0947\
+        \ \u092A\u0930\u093F\u092D\u093E\u0937\u093F\u0924 \u0914\u0930 \u0938\u094D\
+        \u092A\u0937\u094D\u091F \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908\
+        \ \u0915\u093E \u092A\u093E\u0920\u094D\u092F\u0915\u094D\u0930\u092E \u092A\
+        \u094D\u0930\u0938\u094D\u0924\u0941\u0924 \u0915\u0930\u0928\u093E"
+    input_correct_responses:
+    - B
+    input_question: "\u092A\u0930\u093E\u092E\u0930\u094D\u0936\u0926\u093E\u0924\u093E\
+      -\u0915\u0947\u0902\u0926\u094D\u0930\u093F\u0924 \u0915\u0947\u0938 \u092A\u0930\
+      \u093E\u092E\u0930\u094D\u0936 \u0915\u0947 \u0915\u0948\u092A\u0932\u0928 \u092E\
+      \u0949\u0921\u0932 \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930, \u0938\
+      \u0932\u093E\u0939\u0915\u093E\u0930 \u092E\u0941\u0916\u094D\u092F \u0930\u0942\
+      \u092A \u0938\u0947 \u0907\u0938\u092E\u0947\u0902 \u0930\u0941\u091A\u093F\
+      \ \u0930\u0916\u0924\u093E \u0939\u0948"
+  - input_choice_list:
+      A: "\u0938\u0902\u0926\u0947\u0936 \u0925\u0948\u0932\u0947\u092E\u0938 \u0938\
+        \u0947 \u0938\u0940\u0927\u0947 \u0905\u092E\u093F\u0917\u0921\u093E\u0932\
+        \u093E \u0915\u094B \u092D\u0947\u091C\u0947 \u091C\u093E\u0924\u0947 \u0939\
+        \u0948\u0902\u0964"
+      B: "\u0938\u0902\u0926\u0947\u0936 \u0925\u0948\u0932\u0947\u092E\u0938 \u0938\
+        \u0947 "\u0915\u094D\u092F\u093E" \u0914\u0930 "\u0915\u0939\
+        \u093E\u0902" \u092E\u093E\u0930\u094D\u0917 \u092A\u0930 \u092D\u0947\
+        \u091C\u0947 \u091C\u093E\u0924\u0947 \u0939\u0948\u0902\u0964"
+      C: "\u0938\u0902\u0926\u0947\u0936 \u092A\u0948\u0930\u093E\u0938\u093F\u092E\
+        \u094D\u092A\u0947\u0925\u0947\u091F\u093F\u0915 \u0924\u0902\u0924\u094D\u0930\
+        \u093F\u0915\u093E \u0924\u0902\u0924\u094D\u0930 \u0938\u0947 \u0938\u0947\
+        \u0930\u0947\u092C\u094D\u0930\u0932 \u0915\u0949\u0930\u094D\u091F\u0947\u0915\
+        \u094D\u0938 \u0924\u0915 \u092D\u0947\u091C\u0947 \u091C\u093E\u0924\u0947\
+        \ \u0939\u0948\u0902\u0964"
+      D: "\u0938\u0902\u0926\u0947\u0936 \u0932\u0932\u093E\u091F \u0932\u094B\u092C\
+        \ \u0938\u0947 \u092A\u093F\u091F\u094D\u092F\u0942\u091F\u0930\u0940 \u0917\
+        \u094D\u0930\u0902\u0925\u093F \u0924\u0915 \u092D\u0947\u091C\u0947 \u091C\
+        \u093E\u0924\u0947 \u0939\u0948\u0902\u0964"
+    input_correct_responses:
+    - A
+    input_question: "\u0938\u092E\u0941\u0926\u094D\u0930 \u092E\u0947\u0902 \u0924\
+      \u0948\u0930\u0924\u0947 \u0938\u092E\u092F, \u0907\u0935\u093E\u0928 \u092A\
+      \u093E\u0928\u0940 \u092E\u0947\u0902 \u090F\u0915 \u0905\u0902\u0927\u0947\u0930\
+      \u0940 \u091B\u093E\u092F\u093E \u0938\u0947 \u0921\u0930 \u091C\u093E\u0924\
+      \u093E \u0939\u0948, \u0907\u0938\u0938\u0947 \u092A\u0939\u0932\u0947 \u0915\
+      \u093F \u0909\u0938\u0947 \u092F\u0939 \u092A\u0939\u091A\u093E\u0928\u0928\u0947\
+      \ \u0915\u093E \u092E\u094C\u0915\u093E \u092E\u093F\u0932\u0947 \u0915\u093F\
+      \ \u0935\u0939 \u091B\u093E\u092F\u093E \u0915\u094D\u092F\u093E \u0939\u0948\
+      \u0964 \u092D\u092F \u0915\u0940 \u0907\u0938 \u0918\u091F\u0928\u093E \u0915\
+      \u0947 \u0926\u094C\u0930\u093E\u0928 \u0939\u094B\u0928\u0947 \u0935\u093E\u0932\
+      \u0947 \u0938\u093F\u0928\u0948\u092A\u094D\u091F\u093F\u0915 \u0915\u0928\u0947\
+      \u0915\u094D\u0936\u0928\u094B\u0902 \u0915\u094B \u0928\u093F\u092E\u094D\u0928\
+      \u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\
+      \u0915\u0947 \u0926\u094D\u0935\u093E\u0930\u093E \u0938\u092C\u0938\u0947 \u0905\
+      \u091A\u094D\u091B\u093E \u0935\u0930\u094D\u0923\u0928 \u0915\u093F\u092F\u093E\
+      \ \u0917\u092F\u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u092C\u091A\u094D\u091A\u0947 \u0915\u094B \u0928\u090F \u0935\u093E\u0924\
+        \u093E\u0935\u0930\u0923 \u092E\u0947\u0902 \u092A\u0930\u0940\u0915\u094D\
+        \u0937\u0923 \u0905\u0935\u0927\u093F \u0926\u0947\u0902"
+      B: "\u092E\u093E\u0924\u093E-\u092A\u093F\u0924\u093E \u0915\u094B \u0932\u093F\
+        \u0916\u093F\u0924 \u0930\u0942\u092A \u0938\u0947 \u0938\u0942\u091A\u093F\
+        \u0924 \u0915\u0930\u0947\u0902"
+      C: "\u0938\u094D\u0915\u0942\u0932 \u092C\u094B\u0930\u094D\u0921 \u0915\u0940\
+        \ \u092E\u0902\u091C\u0942\u0930\u0940 \u092A\u094D\u0930\u093E\u092A\u094D\
+        \u0924 \u0915\u0930\u0947\u0902"
+      D: "\u092E\u093E\u0924\u093E-\u092A\u093F\u0924\u093E \u0915\u0940 \u0938\u0939\
+        \u092E\u0924\u093F \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\
+        \u0947\u0902"
+    input_correct_responses:
+    - B
+    input_question: "\u0935\u093F\u0915\u0932\u093E\u0902\u0917 \u0935\u094D\u092F\
+      \u0915\u094D\u0924\u093F \u0936\u093F\u0915\u094D\u0937\u093E \u0938\u0941\u0927\
+      \u093E\u0930 \u0905\u0927\u093F\u0928\u093F\u092F\u092E \u0915\u0947 \u0905\u0928\
+      \u0941\u0938\u093E\u0930, \u090F\u0915 \u0936\u0948\u0915\u094D\u0937\u093F\u0915\
+      \ \u090F\u091C\u0947\u0902\u0938\u0940 \u0915\u094B \u0935\u093F\u0915\u0932\
+      \u093E\u0902\u0917 \u091B\u093E\u0924\u094D\u0930 \u0915\u0947 \u0936\u0948\u0915\
+      \u094D\u0937\u093F\u0915 \u092A\u094D\u0932\u0947\u0938\u092E\u0947\u0902\u091F\
+      \ \u0915\u094B \u092C\u0926\u0932\u0928\u0947 \u0938\u0947 \u092A\u0939\u0932\
+      \u0947 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\
+      \u0902 \u0938\u0947 \u0915\u094D\u092F\u093E \u0915\u0930\u0928\u093E \u091A\
+      \u093E\u0939\u093F\u090F?"
+  - input_choice_list:
+      A: "\u0938\u093E\u092E\u093E\u091C\u093F\u0915-\u0938\u093E\u0902\u0938\u094D\
+        \u0915\u0943\u0924\u093F\u0915"
+      B: "\u0915\u094D\u0932\u0940\u0928\u093F\u0915\u0932"
+      C: "\u0938\u0902\u091C\u094D\u091E\u093E\u0928\u093E\u0924\u094D\u092E\u0915"
+      D: "\u0935\u094D\u092F\u0935\u0939\u093E\u0930\u0935\u093E\u0926\u0940"
+    input_correct_responses:
+    - C
+    input_question: "\u092A\u093E\u0938\u094D\u0915\u0932 \u0909\u0928 \u092A\u094D\
+      \u0930\u0938\u0902\u0938\u094D\u0915\u0930\u0923 \u0930\u0923\u0928\u0940\u0924\
+      \u093F\u092F\u094B\u0902 \u092E\u0947\u0902 \u0930\u0941\u091A\u093F \u0930\u0916\
+      \u0924\u093E \u0939\u0948 \u091C\u093F\u0928\u0915\u093E \u0909\u092A\u092F\u094B\
+      \u0917 \u092C\u091A\u094D\u091A\u0947 \u0928\u0908 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0938\u0940\u0916\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
+      \ \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\u0964 \u092A\u093E\u0938\u094D\
+      \u0915\u0932 \u0915\u094B \u0915\u093F\u0938 \u092A\u094D\u0930\u0915\u093E\u0930\
+      \ \u0915\u0947 \u092E\u0928\u094B\u0935\u0948\u091C\u094D\u091E\u093E\u0928\u093F\
+      \u0915 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0935\u0930\u094D\
+      \u0917\u0940\u0915\u0943\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\u090F\u0917\
+      \u093E?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_psychology
+tag: mmlu_hi_llama_social_sciences_tasks
+task: mmlu_hi_llama_high_school_psychology
+task_alias: high_school_psychology

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_statistics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u092F\u0926\u093F \u092A\u094D\u0930\u0924\u093F\u0917\u092E\u0928 \u0930\
+        \u0947\u0916\u093E \u0915\u093E \u0922\u0932\u093E\u0928 \u092C\u093F\u0932\
+        \u094D\u0915\u0941\u0932 1 \u0939\u0948, \u0924\u094B \u0938\u0939\u0938\u0902\
+        \u092C\u0902\u0927 \u092C\u093F\u0932\u094D\u0915\u0941\u0932 1 \u0939\u0948\
+        \u0964"
+      B: "\u092F\u0926\u093F \u0938\u0939\u0938\u0902\u092C\u0902\u0927 0 \u0939\u0948\
+        , \u0924\u094B \u092A\u094D\u0930\u0924\u093F\u0917\u092E\u0928 \u0930\u0947\
+        \u0916\u093E \u0915\u093E \u0922\u0932\u093E\u0928 \u0905\u092A\u0930\u093F\
+        \u092D\u093E\u0937\u093F\u0924 \u0939\u0948\u0964"
+      C: "\u0915\u093F\u0938 \u0935\u0947\u0930\u093F\u090F\u092C\u0932 \u0915\u094B\
+        \ x \u0915\u0939\u093E \u091C\u093E\u0924\u093E \u0939\u0948 \u0914\u0930\
+        \ \u0915\u093F\u0938\u0947 y \u0915\u0939\u093E \u091C\u093E\u0924\u093E \u0939\
+        \u0948, \u0907\u0938\u0947 \u0938\u094D\u0935\u093F\u091A \u0915\u0930\u0928\
+        \u0947 \u0938\u0947 \u0938\u0939\u0938\u0902\u092C\u0902\u0927 \u0915\u093E\
+        \ \u091A\u093F\u0939\u094D\u0928 \u092C\u0926\u0932 \u091C\u093E\u0924\u093E\
+        \ \u0939\u0948\u0964"
+      D: "\u091C\u092C y-\u091A\u0930 \u0915\u0947 \u0932\u093F\u090F z-\u0938\u094D\
+        \u0915\u094B\u0930 \u0915\u094B x-\u091A\u0930 \u0915\u0947 \u0932\u093F\u090F\
+        \ z-\u0938\u094D\u0915\u094B\u0930 \u0915\u0947 \u0935\u093F\u0930\u0941\u0926\
+        \u094D\u0927 \u092A\u094D\u0932\u0949\u091F \u0915\u093F\u092F\u093E \u091C\
+        \u093E\u0924\u093E \u0939\u0948, \u0924\u094B \u0938\u0939\u0938\u0902\u092C\
+        \u0902\u0927 r \u092A\u094D\u0930\u0924\u093F\u0917\u092E\u0928 \u0930\u0947\
+        \u0916\u093E \u0915\u0947 \u0922\u0932\u093E\u0928 \u0915\u0947 \u092C\u0930\
+        \u093E\u092C\u0930 \u0939\u094B\u0924\u093E \u0939\u0948\u0964"
+    input_correct_responses:
+    - D
+    input_question: "\u0938\u0939\u0938\u0902\u092C\u0902\u0927 \u0915\u0947 \u092C\
+      \u093E\u0930\u0947 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\
+      \u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\
+      \u093E \u0938\u0939\u0940 \u0915\u0925\u0928 \u0939\u0948?"
+  - input_choice_list:
+      A: E(X + Y) = 99, var(X + Y) = 8.5
+      B: E(X + Y) = 99, var(X + Y) = 13
+      C: E(X + Y) = 99, var(X + Y) = 17
+      D: "\u0907\u0938 \u092A\u094D\u0930\u0936\u094D\u0928 \u0915\u093E \u0909\u0924\
+        \u094D\u0924\u0930 \u0926\u0947\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
+        \ \u0905\u092A\u0930\u094D\u092F\u093E\u092A\u094D\u0924 \u091C\u093E\u0928\
+        \u0915\u093E\u0930\u0940 \u0939\u0948."
+    input_correct_responses:
+    - D
+    input_question: "\u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F \u0915\u093F\
+      \ X \u0914\u0930 Y, E(X) = 37, var(X) = 5, E(Y) = 62, \u0914\u0930 var(Y) =\
+      \ 12 \u0915\u0947 \u0938\u093E\u0925 \u092F\u093E\u0926\u0943\u091A\u094D\u091B\
+      \u093F\u0915 \u091A\u0930 \u0939\u0948\u0902\u0964 \u092F\u093E\u0926\u0943\u091A\
+      \u094D\u091B\u093F\u0915 \u091A\u0930 X + \u0915\u0947 \u0905\u092A\u0947\u0915\
+      \u094D\u0937\u093F\u0924 \u092E\u0942\u0932\u094D\u092F \u0914\u0930 \u092A\u094D\
+      \u0930\u0938\u0930\u0923 \u0915\u094D\u092F\u093E \u0939\u0948\u0902 \u0935\u093E\
+      \u0908?"
+  - input_choice_list:
+      A: "\u0909\u0928 \u092A\u0947\u0921\u093C\u094B\u0902 \u0915\u093E \u0905\u0928\
+        \u0941\u092A\u093E\u0924 \u091C\u093F\u0928\u094D\u0939\u0947\u0902 \u092A\
+        \u093E\u0932\u0947 \u0915\u0947 \u0915\u093E\u0930\u0923 50 \u092A\u094D\u0930\
+        \u0924\u093F\u0936\u0924 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0915\u094D\
+        \u0937\u0924\u093F \u0939\u0941\u0908\u0964"
+      B: "\u092A\u093E\u0932\u0947 \u0938\u0947 \u092A\u094D\u0930\u092D\u093E\u0935\
+        \u093F\u0924 \u092A\u0947\u0921\u093C\u094B\u0902 \u0915\u0940 \u0938\u0902\
+        \u0916\u094D\u092F\u093E."
+      C: "\u0909\u092A\u0935\u0928 \u0938\u0947 \u0928\u092E\u0942\u0928\u0947 \u0932\
+        \u093F\u090F \u0917\u090F \u092A\u0947\u0921\u093C\u094B\u0902 \u0915\u0940\
+        \ \u0938\u0902\u0916\u094D\u092F\u093E\u0964"
+      D: "\u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0928\u092E\u0942\u0928\
+        \u0947 \u0935\u093E\u0932\u0947 \u092A\u0947\u0921\u093C \u0915\u0947 \u0932\
+        \u093F\u090F, \u091A\u093E\u0939\u0947 \u0909\u0938\u0947 50 \u092A\u094D\u0930\
+        \u0924\u093F\u0936\u0924 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0915\u094D\
+        \u0937\u0924\u093F \u0939\u0941\u0908 \u0939\u094B \u092F\u093E \u0905\u0927\
+        \u093F\u0915\u0924\u092E 50 \u092A\u094D\u0930\u0924\u093F\u0936\u0924 \u0915\
+        \u094D\u0937\u0924\u093F \u0939\u0941\u0908 \u0939\u094B\u0964"
+    input_correct_responses:
+    - D
+    input_question: "\u092A\u093E\u0932\u0947 \u0915\u0940 \u091A\u0947\u0924\u093E\
+      \u0935\u0928\u0940 \u091C\u093E\u0930\u0940 \u0939\u094B\u0928\u0947 \u0915\u0947\
+      \ \u092C\u093E\u0926, \u090F\u0915 \u092C\u0921\u093C\u0947 \u0938\u0902\u0924\
+      \u0930\u0947 \u0915\u0947 \u092C\u093E\u0917 \u0915\u0947 \u092E\u093E\u0932\
+      \u093F\u0915 \u0928\u0947 \u0905\u092A\u0928\u0947 \u0915\u0930\u094D\u092E\u091A\
+      \u093E\u0930\u093F\u092F\u094B\u0902 \u0938\u0947 \u0905\u092A\u0928\u0947 \u0938\
+      \u092D\u0940 \u092A\u0947\u0921\u093C\u094B\u0902 \u092A\u0930 \u092A\u093E\u0928\
+      \u0940 \u091B\u093F\u0921\u093C\u0915\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
+      \ \u0915\u0939\u093E\u0964 \u0910\u0938\u093E \u092E\u093E\u0928\u093E \u091C\
+      \u093E\u0924\u093E \u0925\u093E \u0915\u093F \u092A\u093E\u0928\u0940 \u091C\
+      \u092E \u091C\u093E\u090F\u0917\u093E \u0914\u0930 \u0928\u093E\u0930\u0902\u0917\
+      \u0940 \u092B\u0942\u0932 \u0915\u0947 \u091A\u093E\u0930\u094B\u0902 \u0913\
+      \u0930 \u092C\u0930\u094D\u092B \u0915\u093E \u090F\u0915 \u0938\u0941\u0930\
+      \u0915\u094D\u0937\u093E\u0924\u094D\u092E\u0915 \u0906\u0935\u0930\u0923 \u092C\
+      \u0928 \u091C\u093E\u090F\u0917\u093E\u0964 \u092B\u093F\u0930 \u092D\u0940\
+      , \u092E\u093E\u0932\u093F\u0915 \u0915\u094B \u0938\u0902\u0926\u0947\u0939\
+      \ \u0939\u0948 \u0915\u093F \u0920\u0902\u0922 \u0915\u0947 \u0915\u093E\u0930\
+      \u0923 \u0915\u0941\u091B \u092A\u0947\u0921\u093C\u094B\u0902 \u0915\u094B\
+      \ \u0915\u093E\u092B\u0940 \u0928\u0941\u0915\u0938\u093E\u0928 \u0939\u0941\
+      \u0906 \u0939\u0948\u0964 \u0920\u0902\u0922 \u0915\u0947 \u0915\u093E\u0930\
+      \u0923 50 \u092A\u094D\u0930\u0924\u093F\u0936\u0924 \u0938\u0947 \u0905\u0927\
+      \u093F\u0915 \u0928\u0941\u0915\u0938\u093E\u0928 \u091D\u0947\u0932\u0928\u0947\
+      \ \u0935\u093E\u0932\u0947 \u092A\u0947\u0921\u093C\u094B\u0902 \u0915\u0947\
+      \ \u0905\u0928\u0941\u092A\u093E\u0924 \u0915\u093E \u0905\u0928\u0941\u092E\
+      \u093E\u0928 \u0932\u0917\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
+      , \u0909\u0928\u094D\u0939\u094B\u0902\u0928\u0947 \u0905\u092A\u0928\u0947\
+      \ \u0909\u092A\u0935\u0928 \u0938\u0947 100 \u092A\u0947\u0921\u093C\u094B\u0902\
+      \ \u0915\u093E \u090F\u0915 \u092F\u093E\u0926\u0943\u091A\u094D\u091B\u093F\
+      \u0915 \u0928\u092E\u0942\u0928\u093E \u0932\u093F\u092F\u093E\u0964 \u0907\u0938\
+      \ \u092A\u094D\u0930\u092F\u094B\u0917 \u092E\u0947\u0902 \u092A\u094D\u0930\
+      \u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E \u091A\u0930 \u0915\u094D\u092F\
+      \u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u092E\u0924\u0932\u092C 518 \u0917\u094D\u0930\u093E\u092E; \u092E\u093E\
+        \u0928\u0915 \u0935\u093F\u091A\u0932\u0928 7.0 \u0917\u094D\u0930\u093E\u092E"
+      B: "\u092E\u0924\u0932\u092C 518 \u0917\u094D\u0930\u093E\u092E; \u092E\u093E\
+        \u0928\u0915 \u0935\u093F\u091A\u0932\u0928 3.5 \u0917\u094D\u0930\u093E\u092E"
+      C: "\u092E\u0924\u0932\u092C 518 \u0917\u094D\u0930\u093E\u092E; \u092E\u093E\
+        \u0928\u0915 \u0935\u093F\u091A\u0932\u0928 6.1 \u0917\u094D\u0930\u093E\u092E"
+      D: "\u092E\u0924\u0932\u092C 394 \u0917\u094D\u0930\u093E\u092E; \u092E\u093E\
+        \u0928\u0915 \u0935\u093F\u091A\u0932\u0928 6.1 \u0917\u094D\u0930\u093E\u092E"
+    input_correct_responses:
+    - C
+    input_question: "\u090F\u0915 \u0928\u0908 \u0938\u094D\u092E\u093E\u0930\u094D\
+      \u091F\u0935\u0949\u091A \u0915\u093E \u0928\u093F\u0930\u094D\u092E\u093E\u0923\
+      \ \u0915\u093E\u0930\u0916\u093E\u0928\u0947 \u0915\u0947 \u090F\u0915 \u0939\
+      \u093F\u0938\u094D\u0938\u0947 \u092E\u0947\u0902 \u0915\u093F\u092F\u093E \u091C\
+      \u093E\u0924\u093E \u0939\u0948, \u092B\u093F\u0930 \u0915\u093E\u0930\u0916\
+      \u093E\u0928\u0947 \u0915\u0947 \u0926\u0942\u0938\u0930\u0947, \u0938\u094D\
+      \u0935\u0924\u0902\u0924\u094D\u0930 \u0939\u093F\u0938\u094D\u0938\u0947 \u092E\
+      \u0947\u0902 \u0936\u093F\u092A\u093F\u0902\u0917 \u0915\u0947 \u0932\u093F\u090F\
+      \ \u0938\u0941\u0930\u0915\u094D\u0937\u093F\u0924 \u0915\u093F\u092F\u093E\
+      \ \u091C\u093E\u0924\u093E \u0939\u0948\u0964 \u0938\u094D\u092E\u093E\u0930\
+      \u094D\u091F\u0935\u0949\u091A \u0915\u093E \u0935\u091C\u0928 \u0914\u0938\u0924\
+      \ 62 \u0917\u094D\u0930\u093E\u092E \u0914\u0930 \u092E\u093E\u0928\u0915 \u0935\
+      \u093F\u091A\u0932\u0928 1.0 \u0917\u094D\u0930\u093E\u092E \u0939\u0948\u0964\
+      \ \u092A\u0948\u0915\u0947\u091C\u093F\u0902\u0917 \u0915\u093E \u0935\u091C\
+      \u0928 (\u092C\u0949\u0915\u094D\u0938, \u0909\u092A\u092F\u094B\u0917\u0915\
+      \u0930\u094D\u0924\u093E \u0917\u093E\u0907\u0921, \u092C\u092C\u0932 \u0930\
+      \u0948\u092A, \u0906\u0926\u093F) \u0915\u093E \u0914\u0938\u0924 456 \u0917\
+      \u094D\u0930\u093E\u092E \u0914\u0930 \u092E\u093E\u0928\u0915 \u0935\u093F\u091A\
+      \u0932\u0928 6 \u0917\u094D\u0930\u093E\u092E \u0939\u0948\u0964 \u0938\u093E\
+      \u0925 \u092E\u0947\u0902, \u0938\u094D\u092E\u093E\u0930\u094D\u091F\u0935\u0949\
+      \u091A \u0914\u0930 \u0909\u0938\u0915\u0940 \u092A\u0948\u0915\u0947\u091C\u093F\
+      \u0902\u0917 \u0915\u0947 \u0935\u091C\u0928 \u0915\u0947 \u0935\u093F\u0924\
+      \u0930\u0923 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\
+      \u093F\u0924 \u092E\u093E\u0927\u094D\u092F \u0914\u0930 \u092E\u093E\u0928\u0915\
+      \ \u0935\u093F\u091A\u0932\u0928 \u0939\u094B\u0917\u093E:"
+  - input_choice_list:
+      A: "\u092E\u0948\u0902, \u0926\u094D\u0935\u093F\u0924\u0940\u092F"
+      B: "\u0926\u094D\u0935\u093F\u0924\u0940\u092F, \u0924\u0943\u0924\u0940\u092F"
+      C: "\u0924\u0943\u0924\u0940\u092F, \u092E\u0948\u0902"
+      D: "\u0924\u0943\u0924\u0940\u092F, \u0926\u094D\u0935\u093F\u0924\u0940\u092F"
+    input_correct_responses:
+    - D
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u0938\u0947\u091F \u0915\
+      \u093E \u092E\u093E\u0928\u0915 \u0935\u093F\u091A\u0932\u0928 \u0938\u092C\u0938\
+      \u0947 \u091B\u094B\u091F\u093E \u0939\u0948? \u0938\u092C\u0938\u0947 \u092C\
+      \u0921\u093C\u093E \u0915\u094C\u0928 \u0938\u093E \u0939\u0948? I: {1,2,3}\
+      \ II: {-10,10} III: {100}"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_statistics
+tag: mmlu_hi_llama_stem_tasks
+task: mmlu_hi_llama_high_school_statistics
+task_alias: high_school_statistics

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_us_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u092C\u0947\u0915\u0928 \u0915\u0947 \u0935\u093F\u0926\u094D\u0930\u094B\
+        \u0939 \u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u0938\u0902\u0917\u0920\
+        \u093F\u0924 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E"
+      B: "\u0936\u0947\u091C\u093C \u0915\u0947 \u0935\u093F\u0926\u094D\u0930\u094B\
+        \u0939 \u092A\u0930 \u0938\u0902\u0918\u0940\u092F \u092A\u094D\u0930\u0924\
+        \u093F\u0915\u094D\u0930\u093F\u092F\u093E"
+      C: "\u0935\u094D\u0939\u093F\u0938\u094D\u0915\u0940 \u0935\u093F\u0926\u094D\
+        \u0930\u094B\u0939 \u092A\u0930 \u0938\u0902\u0918\u0940\u092F \u092A\u094D\
+        \u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E"
+      D: "\u092A\u094B\u0902\u091F\u093F\u092F\u093E\u0915 \u0915\u0947 \u0935\u093F\
+        \u0926\u094D\u0930\u094B\u0939 \u092A\u0930 \u0938\u0902\u0918\u0940\u092F\
+        \ \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E"
+    input_correct_responses:
+    - C
+    input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948\u0964 "\u0939\u0930 \u0930\u093E\u091C\u094D\
+      \u092F \u092E\u0947\u0902 \u0938\u092E\u093E\u091C \u090F\u0915 \u0906\u0936\
+      \u0940\u0930\u094D\u0935\u093E\u0926 \u0939\u0948, \u0932\u0947\u0915\u093F\u0928\
+      \ \u0938\u0930\u0915\u093E\u0930 \u0905\u092A\u0928\u0947 \u0938\u092C\u0938\
+      \u0947 \u0905\u091A\u094D\u091B\u0947 \u0930\u093E\u091C\u094D\u092F \u092E\u0947\
+      \u0902 \u092D\u0940 \u090F\u0915 \u0906\u0935\u0936\u094D\u092F\u0915 \u092C\
+      \u0941\u0930\u093E\u0908 \u0939\u0948; \u0905\u092A\u0928\u0940 \u0938\u092C\
+      \u0938\u0947 \u0916\u0930\u093E\u092C \u0938\u094D\u0925\u093F\u0924\u093F \u092E\
+      \u0947\u0902 \u092F\u0939 \u0905\u0938\u0939\u0928\u0940\u092F \u0939\u0948\
+      ; \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u091C\u092C \u0939\u092E \u092A\
+      \u0940\u0921\u093C\u093F\u0924 \u0939\u094B\u0924\u0947 \u0939\u0948\u0902,\
+      \ \u092F\u093E \u0938\u0930\u0915\u093E\u0930 \u0926\u094D\u0935\u093E\u0930\
+      \u093E \u0909\u0928\u094D\u0939\u0940\u0902 \u0926\u0941\u0916\u094B\u0902 \u0915\
+      \u093E \u0938\u093E\u092E\u0928\u093E \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\
+      , \u091C\u093F\u0928\u0915\u0940 \u0939\u092E \u0909\u092E\u094D\u092E\u0940\
+      \u0926 \u0915\u0930 \u0938\u0915\u0924\u0947 \u0939\u0948\u0902 \u092C\u093F\
+      \u0928\u093E \u0938\u0930\u0915\u093E\u0930 \u0935\u093E\u0932\u0947 \u0926\u0947\
+      \u0936 \u092E\u0947\u0902, \u0939\u092E\u093E\u0930\u0940 \u0935\u093F\u092A\
+      \u0924\u094D\u0924\u093F \u092F\u0939 \u0926\u0930\u094D\u0936\u093E\u0924\u0947\
+      \ \u0939\u0941\u090F \u092C\u0922\u093C \u091C\u093E\u0924\u0940 \u0939\u0948\
+      \ \u0915\u093F \u0939\u092E \u0909\u0928 \u0938\u093E\u0927\u0928\u094B\u0902\
+      \ \u0915\u094B \u092A\u094D\u0930\u0938\u094D\u0924\u0941\u0924 \u0915\u0930\
+      \u0924\u0947 \u0939\u0948\u0902 \u091C\u093F\u0928\u0915\u0947 \u0926\u094D\u0935\
+      \u093E\u0930\u093E \u0939\u092E \u092A\u0940\u0921\u093C\u093F\u0924 \u0939\u094B\
+      \u0924\u0947 \u0939\u0948\u0902\u0964 \u0938\u0930\u0915\u093E\u0930, \u092A\
+      \u094B\u0936\u093E\u0915 \u0915\u0940 \u0924\u0930\u0939, \u0916\u094B\u0908\
+      \ \u0939\u0941\u0908 \u092E\u093E\u0938\u0942\u092E\u093F\u092F\u0924 \u0915\
+      \u093E \u092A\u094D\u0930\u0924\u0940\u0915 \u0939\u0948; \u0930\u093E\u091C\
+      \u093E\u0913\u0902 \u0915\u0947 \u092E\u0939\u0932 \u0938\u094D\u0935\u0930\u094D\
+      \u0917 \u0915\u0947 \u0927\u0928\u0941\u0937 \u0915\u0947 \u0916\u0902\u0921\
+      \u0939\u0930\u094B\u0902 \u092A\u0930 \u092C\u0928\u0947 \u0939\u094B\u0924\u0947\
+      \ \u0939\u0948\u0902\u0964 \u092F\u0926\u093F \u0905\u0902\u0924\u0930\u093E\
+      \u0924\u094D\u092E\u093E \u0915\u0947 \u0906\u0935\u0947\u0917 \u0938\u094D\u092A\
+      \u0937\u094D\u091F, \u090F\u0915\u0938\u092E\u093E\u0928 \u0914\u0930 \u0905\
+      \u092A\u094D\u0930\u0924\u093F\u0930\u094B\u0927\u094D\u092F \u0930\u0942\u092A\
+      \ \u0938\u0947 \u092E\u093E\u0928\u0947 \u0917\u090F \u0939\u094B\u0924\u0947\
+      , \u0924\u094B \u092E\u0928\u0941\u0937\u094D\u092F \u0915\u094B \u0915\u093F\
+      \u0938\u0940 \u0905\u0928\u094D\u092F \u0915\u093E\u0928\u0942\u0928 \u0926\u0947\
+      \u0928\u0947 \u0935\u093E\u0932\u0947 \u0915\u0940 \u0906\u0935\u0936\u094D\u092F\
+      \u0915\u0924\u093E \u0928\u0939\u0940\u0902 \u0939\u094B\u0924\u0940; \u0932\
+      \u0947\u0915\u093F\u0928 \u0910\u0938\u093E \u0928\u0939\u0940\u0902 \u0939\u094B\
+      \u0928\u0947 \u092A\u0930, \u0935\u0939 \u092C\u093E\u0915\u0940 \u0915\u0940\
+      \ \u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\u0947 \u0932\u093F\u090F\
+      \ \u0938\u093E\u0927\u0928 \u091C\u0941\u091F\u093E\u0928\u0947 \u0915\u0947\
+      \ \u0932\u093F\u090F \u0905\u092A\u0928\u0940 \u0938\u0902\u092A\u0924\u094D\
+      \u0924\u093F \u0915\u093E \u090F\u0915 \u0939\u093F\u0938\u094D\u0938\u093E\
+      \ \u0906\u0924\u094D\u092E\u0938\u092E\u0930\u094D\u092A\u0923 \u0915\u0930\u0928\
+      \u093E \u0906\u0935\u0936\u094D\u092F\u0915 \u0938\u092E\u091D\u0924\u093E \u0939\
+      \u0948; \u0914\u0930 \u092F\u0939 \u0909\u0938\u0947 \u0909\u0938\u0940 \u0935\
+      \u093F\u0935\u0947\u0915 \u0938\u0947 \u0915\u0930\u0928\u0947 \u0915\u0947\
+      \ \u0932\u093F\u090F \u092A\u094D\u0930\u0947\u0930\u093F\u0924 \u0915\u093F\
+      \u092F\u093E \u091C\u093E\u0924\u093E \u0939\u0948 \u091C\u094B \u0939\u0930\
+      \ \u0926\u0942\u0938\u0930\u0947 \u092E\u093E\u092E\u0932\u0947 \u092E\u0947\
+      \u0902 \u0909\u0938\u0947 \u0926\u094B \u092C\u0941\u0930\u093E\u0907\u092F\u094B\
+      \u0902 \u092E\u0947\u0902 \u0938\u0947 \u0915\u092E \u0938\u0947 \u0915\u092E\
+      \ \u091A\u0941\u0928\u0928\u0947 \u0915\u0940 \u0938\u0932\u093E\u0939 \u0926\
+      \u0947\u0924\u093E \u0939\u0948\u0964 \u0907\u0938\u0932\u093F\u090F, \u0938\
+      \u0941\u0930\u0915\u094D\u0937\u093E \u0938\u0930\u0915\u093E\u0930 \u0915\u093E\
+      \ \u0905\u0938\u0932\u0940 \u0921\u093F\u091C\u093E\u0907\u0928 \u0914\u0930\
+      \ \u0905\u0902\u0924 \u0939\u0948, \u092F\u0939 \u0928\u093F\u0930\u094D\u0935\
+      \u093F\u0935\u093E\u0926 \u0930\u0942\u092A \u0938\u0947 \u0907\u0938 \u092C\
+      \u093E\u0924 \u0915\u093E \u0905\u0928\u0941\u0938\u0930\u0923 \u0915\u0930\u0924\
+      \u093E \u0939\u0948 \u0915\u093F \u091C\u094B \u092D\u0940 \u0930\u0942\u092A\
+      \ \u0926\u093F\u0916\u093E\u0908 \u0926\u0947\u0924\u093E \u0939\u0948 \u0935\
+      \u0939 \u0938\u0941\u0928\u093F\u0936\u094D\u091A\u093F\u0924 \u0915\u0930\u0928\
+      \u0947 \u0915\u0940 \u0938\u092C\u0938\u0947 \u0905\u0927\u093F\u0915 \u0938\
+      \u0902\u092D\u093E\u0935\u0928\u093E \u0939\u0948 \u092F\u0939 \u0939\u092E\u093E\
+      \u0930\u0947 \u0932\u093F\u090F, \u0938\u092C\u0938\u0947 \u0915\u092E \u0916\
+      \u0930\u094D\u091A \u0914\u0930 \u0938\u092C\u0938\u0947 \u0905\u0927\u093F\u0915\
+      \ \u0932\u093E\u092D \u0915\u0947 \u0938\u093E\u0925, \u0905\u0928\u094D\u092F\
+      \ \u0938\u092D\u0940 \u0938\u0947 \u092C\u0947\u0939\u0924\u0930 \u0939\u0948\
+      \u0964" \u0925\u0949\u092E\u0938 \u092A\u0947\u0928, \u0915\u0949\u092E\
+      \u0928 \u0938\u0947\u0902\u0938, 1776 \u0909\u092A\u0930\u094B\u0915\u094D\u0924\
+      \ \u092C\u0924\u093E\u090F \u0917\u090F \u0928\u093F\u092E\u094D\u0928\u0932\
+      \u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\
+      \ "\u0926\u0941\u0916" \u0915\u0940 \u0915\u094D\u0930\u093E\u0902\
+      \u0924\u093F\u0915\u093E\u0930\u0940 \u092F\u0941\u0917 \u0915\u0947 \u092C\u093E\
+      \u0926 \u0915\u0947 \u0938\u0902\u0918-\u0935\u093F\u0930\u094B\u0927\u0940\
+      \ \u0932\u094B\u0917\u094B\u0902 \u0926\u094D\u0935\u093E\u0930\u093E \u0938\
+      \u092C\u0938\u0947 \u0905\u0927\u093F\u0915 \u0928\u093F\u0902\u0926\u093E \u0915\
+      \u0940 \u0917\u0908 \u0925\u0940?"
+  - input_choice_list:
+      A: "\u092C\u094D\u0930\u093F\u091F\u093F\u0936 \u0928\u0940\u0924\u093F\u092F\
+        \u094B\u0902 \u0914\u0930 \u0909\u0924\u094D\u0924\u0930\u0940 \u0905\u092E\
+        \u0947\u0930\u093F\u0915\u0940 \u0909\u092A\u0928\u093F\u0935\u0947\u0936\u0935\
+        \u093E\u0926\u093F\u092F\u094B\u0902 \u0915\u0940 \u0906\u0915\u093E\u0902\
+        \u0915\u094D\u0937\u093E\u0913\u0902 \u0915\u0947 \u092C\u0940\u091A \u0924\
+        \u0928\u093E\u0935\u0964"
+      B: "\u092B\u094D\u0930\u093E\u0902\u0938\u0940\u0938\u093F\u092F\u094B\u0902\
+        \ \u0938\u0947 \u0938\u0902\u092C\u0926\u094D\u0927 \u0905\u092E\u0947\u0930\
+        \u093F\u0915\u0940 \u092D\u093E\u0930\u0924\u0940\u092F\u094B\u0902 \u0914\
+        \u0930 \u092C\u094D\u0930\u093F\u091F\u093F\u0936 \u0938\u0947 \u0938\u0902\
+        \u092C\u0926\u094D\u0927 \u092D\u093E\u0930\u0924\u0940\u092F\u094B\u0902\
+        \ \u0915\u0947 \u092C\u0940\u091A \u0924\u0928\u093E\u0935\u0964"
+      C: "\u092E\u0941\u0915\u094D\u0924 \u0905\u092B\u094D\u0930\u0940\u0915\u0940\
+        \ \u0905\u092E\u0947\u0930\u093F\u0915\u093F\u092F\u094B\u0902 \u0914\u0930\
+        \ \u0936\u094D\u0935\u0947\u0924 \u092C\u093E\u0917\u0935\u093E\u0928\u094B\
+        \u0902 \u0915\u0947 \u092C\u0940\u091A \u0924\u0928\u093E\u0935\u0964"
+      D: "\u0914\u092A\u0928\u093F\u0935\u0947\u0936\u093F\u0915 \u0905\u092E\u0947\
+        \u0930\u093F\u0915\u093E \u0915\u0947 \u092D\u0940\u0924\u0930 \u092A\u093F\
+        \u091B\u0921\u093C\u0947 \u0907\u0932\u093E\u0915\u094B\u0902 \u092E\u0947\
+        \u0902 \u092C\u0938\u0928\u0947 \u0935\u093E\u0932\u094B\u0902 \u0914\u0930\
+        \ \u0905\u092D\u093F\u091C\u093E\u0924 \u0935\u0930\u094D\u0917 \u0915\u0947\
+        \ \u092C\u0940\u091A \u0924\u0928\u093E\u0935\u0964"
+    input_correct_responses:
+    - D
+    input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948\u0964 "\u0915\u0949\u0928\u0947\u0938\u094D\
+      \u091F\u094B\u0917\u093E \u092E\u0928\u094B\u0930 \u0914\u0930 \u0932\u0948\u0902\
+      \u0915\u0947\u0938\u094D\u091F\u0930 \u092E\u0947\u0902 \u0939\u092E\u093E\u0930\
+      \u0947 \u0926\u0947\u0930 \u0938\u0947 \u0906\u091A\u0930\u0923 \u0915\u0947\
+      \ \u0915\u093E\u0930\u0923 \u092F\u0939\u093E\u0902 \u0914\u0930 \u092A\u0921\
+      \u093C\u094B\u0938\u0940 \u0938\u0930\u0915\u093E\u0930\u094B\u0902 \u092E\u0947\
+      \u0902 \u092C\u0939\u0941\u0924 \u0905\u0927\u093F\u0915 \u0905\u091F\u0915\u0932\
+      \u0947\u0902 \u0914\u0930 \u092D\u093E\u0935\u0928\u093E\u0913\u0902 \u0915\u0940\
+      \ \u090F\u0915 \u092C\u0921\u093C\u0940 \u0935\u093F\u0935\u093F\u0927\u0924\
+      \u093E \u092A\u0948\u0926\u093E \u0939\u0941\u0908 \u0939\u0948; \u0915\u0941\
+      \u091B \u0907\u0938\u0915\u0940 \u092A\u0941\u0937\u094D\u091F\u093F \u0915\u0930\
+      \ \u0930\u0939\u0947 \u0939\u0948\u0902 \u0914\u0930 \u0905\u0928\u094D\u092F\
+      \ \u0907\u0938\u0915\u0940 \u0928\u093F\u0902\u0926\u093E \u0915\u0930 \u0930\
+      \u0939\u0947 \u0939\u0948\u0902; \u0915\u0941\u091B \u0909\u0926\u093E\u0930\
+      \u0924\u093E\u092A\u0942\u0930\u094D\u0935\u0915 \u0905\u092A\u0930\u093E\u0927\
+      \ \u0915\u094B \u0915\u092E \u0915\u0930 \u0930\u0939\u0947 \u0939\u0948\u0902\
+      , \u0914\u0930 \u0905\u0928\u094D\u092F \u0926\u0941\u0930\u094D\u092D\u093E\
+      \u0935\u0928\u093E\u092A\u0942\u0930\u094D\u0923 \u0930\u0942\u092A \u0938\u0947\
+      \ \u0907\u0938\u0947 \u0938\u092C\u0938\u0947 \u0918\u0943\u0923\u093F\u0924\
+      \ \u0914\u0930 \u091A\u093F\u0924\u094D\u0930\u093F\u0924 \u0915\u0930 \u0930\
+      \u0939\u0947 \u0939\u0948\u0902 \u0918\u0943\u0923\u093F\u0924 \u0930\u0902\u0917\
+      , \u0939\u092E \u0938\u094B\u091A\u0924\u0947 \u0939\u0948\u0902 \u0915\u093F\
+      \ \u092F\u0939 \u0939\u092E\u093E\u0930\u093E \u0915\u0930\u094D\u0924\u0935\
+      \u094D\u092F \u0939\u0948 \u0915\u093F \u0939\u092E \u091C\u0928\u0924\u093E\
+      \ \u0915\u0947 \u0938\u093E\u092E\u0928\u0947 \u0938\u0902\u092A\u0942\u0930\
+      \u094D\u0923 \u092A\u0926\u093E\u0930\u094D\u0925 \u0915\u094B \u0909\u0938\u0940\
+      \ \u0930\u0942\u092A \u092E\u0947\u0902 \u0930\u0916\u0947\u0902 \u091C\u0948\
+      \u0938\u093E \u0935\u0939 \u092A\u094D\u0930\u0915\u091F \u0939\u0941\u0906\
+      \ \u0925\u093E, \u0914\u0930 \u0905\u092D\u0940 \u092D\u0940 \u0939\u092E\u093E\
+      \u0930\u0947 \u0938\u093E\u092E\u0928\u0947 \u092A\u094D\u0930\u0915\u091F \u0939\
+      \u094B\u0924\u093E \u0939\u0948\u0964 , \u0909\u0928\u0938\u0947 \u0926\u094B\
+      \u0938\u094D\u0924\u0940 \u0915\u0930\u0928\u0947 \u0915\u093E \u090F\u0915\
+      \ \u0928\u093F\u0936\u094D\u091A\u093F\u0924 \u0938\u0902\u0915\u0932\u094D\u092A\
+      \ \u0914\u0930 \u092E\u093E\u0928\u0935\u0940\u092F \u0938\u0902\u0915\u091F\
+      \u094B\u0902 \u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u092A\u0942\u0930\u0940\
+      \ \u0924\u0930\u0939 \u0938\u0947 \u0905\u0938\u0902\u0935\u0947\u0926\u0928\
+      \u0936\u0940\u0932\u0924\u093E, \u0906\u0907\u090F \u0915\u0941\u091B \u0914\
+      \u0930 \u0939\u093E\u0932\u093F\u092F\u093E \u0924\u0925\u094D\u092F\u094B\u0902\
+      \ \u092A\u0930 \u0935\u093F\u091A\u093E\u0930 \u0915\u0930\u0947\u0902\u0964\
+      \ \u092A\u093F\u091B\u0932\u0940 \u0917\u0930\u094D\u092E\u093F\u092F\u094B\u0902\
+      \ \u092E\u0947\u0902 \u091C\u092C \u0939\u092E\u0947\u0902 \u092A\u0924\u093E\
+      \ \u091A\u0932\u093E \u0915\u093F \u0939\u092E\u0947\u0902 \u0938\u0930\u0915\
+      \u093E\u0930 \u0938\u0947 \u0915\u094B\u0908 \u0938\u0939\u093E\u092F\u0924\u093E\
+      \ \u0928\u0939\u0940\u0902 \u092E\u093F\u0932\u0928\u0947 \u0935\u093E\u0932\
+      \u0940 \u0939\u0948, \u0924\u094B \u0915\u0941\u091B \u0938\u094D\u0935\u092F\
+      \u0902\u0938\u0947\u0935\u0915 \u0939\u092E\u093E\u0930\u0947 \u0938\u094D\u0935\
+      \u092F\u0902 \u0915\u0947 \u0916\u0930\u094D\u091A \u092A\u0930 \u0939\u092E\
+      \u093E\u0930\u0947 \u0926\u0941\u0936\u094D\u092E\u0928\u094B\u0902 \u0915\u094B\
+      \ \u0939\u092E\u093E\u0930\u0940 \u0938\u0940\u092E\u093E\u0913\u0902 \u0938\
+      \u0947 \u0916\u0926\u0947\u0921\u093C\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
+      \ \u0926\u0943\u0922\u093C \u0938\u0902\u0915\u0932\u094D\u092A\u093F\u0924\
+      \ \u0939\u094B\u0915\u0930 \u0928\u093F\u0915\u0932 \u092A\u0921\u093C\u0947\
+      ; \u0914\u0930 \u091C\u092C \u0939\u092E \u092E\u0939\u093E\u0928 \u0926\u094D\
+      \u0935\u0940\u092A \u0915\u0947 \u0928\u093F\u0915\u091F \u092A\u0939\u0941\u0902\
+      \u091A\u0947, \u0924\u094B \u0939\u092E\u0947\u0902 \u092A\u0924\u093E \u091A\
+      \u0932\u093E \u0915\u093F \u0909\u0928\u0915\u0947 \u0915\u0908 \u092F\u094B\
+      \u0926\u094D\u0927\u093E \u0939\u092E\u093E\u0930\u0940 \u0938\u0940\u092E\u093E\
+      \u0913\u0902 \u0915\u0947 \u0935\u093F\u0930\u0941\u0926\u094D\u0927 \u0928\u093F\
+      \u0915\u0932 \u092A\u0921\u093C\u0947 \u0939\u0948\u0902\u0964 \u0907\u0938\
+      \ \u092A\u0930 \u0939\u092E \u0932\u094C\u091F \u0906\u090F \u0914\u0930 \u0909\
+      \u0928\u0915\u0947 \u0938\u093E\u0925 \u0906\u090F \u0914\u0930 \u092E\u0941\
+      \u0928\u094D\u092B\u093C\u0940 \u0939\u093F\u0932 \u092A\u0930 \u0909\u0928\u0915\
+      \u0947 \u0938\u093E\u0925 \u0932\u0921\u093C\u093E\u0908 \u0915\u0940, \u091C\
+      \u0939\u093E\u0902 \u0939\u092E\u0928\u0947 \u0905\u092A\u0928\u0947 \u0915\u0941\
+      \u091B \u0932\u094B\u0917\u094B\u0902 \u0915\u094B \u0916\u094B \u0926\u093F\
+      \u092F\u093E \u0914\u0930 \u0909\u0928\u0915\u0947 \u0915\u0941\u091B \u092F\
+      \u094B\u0926\u094D\u0927\u093E\u0913\u0902 \u0915\u094B \u092E\u093E\u0930 \u0921\
+      \u093E\u0932\u093E \u0914\u0930 \u0907\u0938 \u0924\u0930\u0939 \u090F\u0915\
+      \ \u0905\u0928\u094D\u092F \u0905\u092D\u093F\u092F\u093E\u0928 \u092E\u0947\
+      \u0902 \u0907\u0938 \u0915\u0939\u093E\u0928\u0940 \u0938\u0947 \u0939\u092E\
+      \u093E\u0930\u0947 \u092B\u094D\u0930\u0902\u091F\u093F\u092F\u0930\u094D\u0938\
+      \ \u0915\u094B \u092C\u091A\u093E\u092F\u093E\u0964 \u0932\u0947\u0915\u093F\
+      \u0928 \u091C\u0948\u0938\u0947 \u0939\u0940 \u0939\u092E\u0928\u0947 \u092E\
+      \u0939\u093E\u0928 \u0926\u094D\u0935\u0940\u092A \u092A\u0930 \u0909\u0928\u0915\
+      \u0947 \u092A\u094D\u0930\u093E\u0935\u0927\u093E\u0928\u094B\u0902 \u0915\u094B\
+      \ \u0928\u0937\u094D\u091F \u0915\u0930 \u0926\u093F\u092F\u093E, \u0914\u0930\
+      \ \u092C\u0947\u0925\u0932\u0939\u092E \u092E\u0947\u0902 \u0905\u091A\u094D\
+      \u091B\u0947 \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0938\u093E\u0925\
+      \ \u0909\u0928\u0915\u0947 \u0935\u094D\u092F\u093E\u092A\u093E\u0930 \u0915\
+      \u094B \u092C\u0930\u094D\u092C\u093E\u0926 \u0915\u0930 \u0926\u093F\u092F\u093E\
+      , \u0932\u0947\u0915\u093F\u0928 \u092F\u0947 \u0935\u0939\u0940 \u092D\u093E\
+      \u0930\u0924\u0940\u092F \u0925\u0947, \u091C\u093F\u0928 \u092A\u0930 \u0928\
+      \u0949\u0930\u094D\u0925\u092E\u094D\u092A\u094D\u091F\u0928 \u0915\u093E\u0909\
+      \u0902\u091F\u0940 \u092E\u0947\u0902 \u0939\u092E\u093E\u0930\u0947 \u0926\u094B\
+      \u0938\u094D\u0924\u094B\u0902 \u0915\u0940 \u0939\u0924\u094D\u092F\u093E \u0915\
+      \u0930\u0928\u0947 \u0915\u093E \u0909\u091A\u093F\u0924 \u0938\u0902\u0926\u0947\
+      \u0939 \u0925\u093E, \u0915\u0941\u091B \u0915\u094D\u0935\u0947\u0915\u0930\
+      \u094B\u0902 \u0915\u0947 \u092A\u094D\u0930\u092D\u093E\u0935 \u0938\u0947\
+      \ \u092A\u0915\u0921\u093C\u0947 \u0917\u090F \u0925\u0947 \u092E\u093E\u0930\
+      \u0947 \u0917\u090F \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0926\u094B\
+      \u0938\u094D\u0924\u094B\u0902 \u0914\u0930 \u0938\u0902\u092C\u0902\u0927\u094B\
+      \u0902 \u0915\u0940 \u0928\u093E\u0930\u093E\u091C\u0917\u0940 \u0938\u0947\
+      \ \u0909\u0928\u094D\u0939\u0947\u0902 \u092C\u091A\u093E\u0928\u0947 \u0915\
+      \u0947 \u0932\u093F\u090F, \u0914\u0930 \u0938\u0930\u094D\u0926\u093F\u092F\
+      \u094B\u0902 \u0924\u0915 \u0909\u0928\u0915\u093E \u0938\u092E\u0930\u094D\u0925\
+      \u0928 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0938\u0930\
+      \u0915\u093E\u0930 \u0915\u0940 \u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0915\
+      \u0947 \u0924\u0939\u0924\u0964 \u0907\u0938 \u0938\u0902\u0926\u0930\u094D\u092D\
+      \ \u0915\u094B \u090F\u0915 \u0938\u094D\u092A\u0937\u094D\u091F\u0940\u0915\
+      \u0930\u0923 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u092A\u0922\
+      \u093C\u093E \u091C\u093E\u0928\u093E \u091A\u093E\u0939\u093F\u090F, \u0928\
+      \ \u0915\u093F \u0905\u092A\u0930\u093E\u0927 \u092F\u093E \u0916\u0947\u0926\
+      \ \u0915\u0940 \u0938\u094D\u0935\u0940\u0915\u0943\u0924\u093F \u0915\u0947\
+      \ \u0930\u0942\u092A \u092E\u0947\u0902\u0964) \u090A\u092A\u0930 \u0926\u093F\
+      \u090F \u0917\u090F \u0938\u094D\u092A\u0937\u094D\u091F\u0940\u0915\u0930\u0923\
+      \ \u092E\u0947\u0902 \u0935\u094D\u092F\u0915\u094D\u0924 \u092D\u093E\u0935\
+      \u0928\u093E\u090F\u0902 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u0907\u0924\
+      \u093F\u0939\u093E\u0938 \u0915\u0947 \u0914\u092A\u0928\u093F\u0935\u0947\u0936\
+      \u093F\u0915 \u0915\u093E\u0932 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928\
+      \ \u091A\u0932 \u0930\u0939\u0947 \u0924\u0928\u093E\u0935\u094B\u0902 \u092E\
+      \u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0915\u094B \u0926\u0930\u094D\u0936\
+      \u093E\u0924\u0940 \u0939\u0948\u0902?"
+  - input_choice_list:
+      A: "\u0938\u092E\u093E\u0928 \u0905\u0927\u093F\u0915\u093E\u0930 \u0938\u0902\
+        \u0936\u094B\u0927\u0928"
+      B: "\u0935\u094D\u092F\u093E\u092A\u0915 \u092E\u0924\u093E\u0927\u093F\u0915\
+        \u093E\u0930"
+      C: "\u0930\u093E\u091C\u094D\u092F\u094B\u0902 \u0915\u0947 \u0905\u0927\u093F\
+        \u0915\u093E\u0930"
+      D: "\u0928\u093F\u0937\u0947\u0927"
+    input_correct_responses:
+    - B
+    input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948\u0964 "\u0928\u090F \u0915\u093E\u0928\u0942\
+      \u0928 \u0938\u0902\u0939\u093F\u0924\u093E \u092E\u0947\u0902, \u091C\u094B\
+      \ \u092E\u0941\u091D\u0947 \u0932\u0917\u0924\u093E \u0939\u0948, \u0906\u092A\
+      \u0915\u0947 \u0932\u093F\u090F \u092F\u0939 \u0906\u0935\u0936\u094D\u092F\u0915\
+      \ \u0939\u094B\u0917\u093E \u0915\u093F \u092E\u0948\u0902 \u091A\u093E\u0939\
+      \u0924\u093E \u0939\u0942\u0902 \u0915\u093F \u0906\u092A \u092E\u0939\u093F\
+      \u0932\u093E\u0913\u0902 \u0915\u094B \u092F\u093E\u0926 \u0930\u0916\u0947\u0902\
+      , \u0914\u0930 \u0905\u092A\u0928\u0947 \u092A\u0942\u0930\u094D\u0935\u091C\
+      \u094B\u0902 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902\
+      \ \u0909\u0928\u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u0905\u0927\u093F\
+      \u0915 \u0909\u0926\u093E\u0930 \u0914\u0930 \u0905\u0928\u0941\u0915\u0942\u0932\
+      \ \u092C\u0928\u0947\u0902\u0964 \u092A\u0924\u093F\u092F\u094B\u0902 \u0915\
+      \u0947 \u0939\u093E\u0925\u094B\u0902 \u092E\u0947\u0902 \u0910\u0938\u0940\
+      \ \u0905\u0938\u0940\u092E\u093F\u0924 \u0936\u0915\u094D\u0924\u093F \u0928\
+      \ \u0926\u0947\u0902 \u092F\u093E\u0926 \u0930\u0916\u0947\u0902 \u0915\u093F\
+      \ \u092F\u0926\u093F \u0938\u0902\u092D\u0935 \u0939\u0941\u0906 \u0924\u094B\
+      \ \u0938\u092D\u0940 \u092A\u0941\u0930\u0941\u0937 \u0905\u0924\u094D\u092F\
+      \u093E\u091A\u093E\u0930\u0940 \u0939\u094B\u0902\u0917\u0947\u0964 \u092F\u0926\
+      \u093F \u092E\u0939\u093F\u0932\u093E\u0913\u0902 \u0915\u0940 \u0935\u093F\u0936\
+      \u0947\u0937 \u0926\u0947\u0916\u092D\u093E\u0932 \u0914\u0930 \u0927\u094D\u092F\
+      \u093E\u0928 \u0928\u0939\u0940\u0902 \u0926\u093F\u092F\u093E \u0917\u092F\u093E\
+      \ \u0924\u094B \u0939\u092E \u0935\u093F\u0926\u094D\u0930\u094B\u0939 \u0915\
+      \u094B \u092C\u0922\u093C\u093E\u0935\u093E \u0926\u0947\u0928\u0947 \u0915\u0947\
+      \ \u0932\u093F\u090F \u0926\u0943\u0922\u093C \u0939\u0948\u0902, \u0914\u0930\
+      \ \u0916\u0941\u0926 \u0915\u094B \u0910\u0938\u0947 \u0915\u093F\u0938\u0940\
+      \ \u092D\u0940 \u0915\u093E\u0928\u0942\u0928 \u0938\u0947 \u092C\u0902\u0927\
+      \u0947 \u0928\u0939\u0940\u0902 \u0930\u0916\u0947\u0902\u0917\u0947 \u091C\u093F\
+      \u0938\u092E\u0947\u0902 \u0939\u092E\u093E\u0930\u0940 \u0915\u094B\u0908 \u0906\
+      \u0935\u093E\u091C \u092F\u093E \u092A\u094D\u0930\u0924\u093F\u0928\u093F\u0927\
+      \u093F\u0924\u094D\u0935 \u0928\u0939\u0940\u0902 \u0939\u0948\u0964" 1776\
+      \ \u092E\u0947\u0902 \u091C\u0949\u0928 \u090F\u0921\u092E\u094D\u0938 \u0915\
+      \u094B \u0932\u093F\u0916\u0947 \u090F\u0915 \u092A\u0924\u094D\u0930 \u092E\
+      \u0947\u0902 \u0905\u092C\u0940\u0917\u0948\u0932 \u090F\u0921\u092E\u094D\u0938\
+      \ \u0928\u0947 \u0915\u0939\u093E, "\u092E\u0939\u093F\u0932\u093E\u0913\
+      \u0902 \u0915\u0947 \u0932\u093F\u090F \u0935\u093F\u0936\u0947\u0937 \u0915\
+      \u093E\u0928\u0942\u0928 \u0928\u0947 \u0939\u092E\u0947\u0902 \u0938\u092C\u0938\
+      \u0947 \u0935\u093F\u0937\u092E \u0938\u094D\u0925\u093F\u0924\u093F \u092E\u0947\
+      \u0902 \u0921\u093E\u0932 \u0926\u093F\u092F\u093E \u0939\u0948\u0964 \u092E\
+      \u0939\u093F\u0932\u093E\u0913\u0902 \u0928\u0947 \u090F\u0915 \u0935\u0930\u094D\
+      \u0917 \u092E\u0947\u0902 \u0928\u093E\u0917\u0930\u093F\u0915\u094B\u0902 \u0915\
+      \u0947 \u0905\u0927\u093F\u0915\u093E\u0930\u094B\u0902 \u0915\u0947 \u0938\u093E\
+      \u0925 \u0928\u093F\u0935\u0947\u0936 \u0915\u093F\u092F\u093E \u0939\u0948\
+      \ - \u092E\u0924\u0926\u093E\u0924\u093E, \u091C\u0942\u0930\u0940 \u0938\u0926\
+      \u0938\u094D\u092F, \u0915\u093E\u0930\u094D\u092F\u093E\u0932\u092F-\u0927\u093E\
+      \u0930\u0915 - \u090F\u0915 \u0915\u093E\u0932\u094D\u092A\u0928\u093F\u0915\
+      \ \u0930\u0947\u0916\u093E \u0915\u094B \u092A\u093E\u0930 \u0915\u0930 \u0930\
+      \u0939\u0947 \u0939\u0948\u0902\u0964 \u0905\u0917\u0932\u0947 \u0935\u093F\u0937\
+      \u092F\u0964 \u0915\u0941\u091B \u0930\u093E\u091C\u094D\u092F\u094B\u0902 \u092E\
+      \u0947\u0902, \u090F\u0915 \u0935\u093F\u0935\u093E\u0939\u093F\u0924 \u092E\
+      \u0939\u093F\u0932\u093E \u0905\u092A\u0928\u0947 \u0928\u093E\u092E \u092A\u0930\
+      \ \u0938\u0902\u092A\u0924\u094D\u0924\u093F \u0930\u0916 \u0938\u0915\u0924\
+      \u0940 \u0939\u0948 \u0914\u0930 \u0935\u094D\u092F\u0935\u0938\u093E\u092F\
+      \ \u0915\u0930 \u0938\u0915\u0924\u0940 \u0939\u0948; \u0905\u0928\u094D\u092F\
+      \ \u092E\u0947\u0902, \u0909\u0938\u0915\u0940 \u0915\u092E\u093E\u0908 \u0909\
+      \u0938\u0915\u0947 \u092A\u0924\u093F \u0915\u0940 \u0939\u094B\u0924\u0940\
+      \ \u0939\u0948\u0964 \u0915\u0941\u091B \u0930\u093E\u091C\u094D\u092F\u094B\
+      \u0902 \u092E\u0947\u0902, \u090F\u0915 \u092E\u0939\u093F\u0932\u093E \u0905\
+      \u092A\u0928\u0947 \u092A\u0924\u093F \u0915\u0947 \u0916\u093F\u0932\u093E\u092B\
+      \ \u0917\u0935\u093E\u0939\u0940 \u0926\u0947 \u0938\u0915\u0924\u0940 \u0939\
+      \u0948, \u092E\u0941\u0915\u0926\u092E\u093E \u0915\u0930 \u0938\u0915\u0924\
+      \u0940 \u0939\u0948 \u0914\u0930 \u0909\u0938 \u092A\u0930 \u092E\u0941\u0915\
+      \u0926\u092E\u093E \u091A\u0932\u093E\u092F\u093E \u091C\u093E \u0938\u0915\u0924\
+      \u093E \u0939\u0948\u0964 \u0905\u0926\u093E\u0932\u0924\u0947\u0902; \u0926\
+      \u0942\u0938\u0930\u094B\u0902 \u092E\u0947\u0902, \u0935\u094D\u092F\u0915\u094D\
+      \u0924\u093F, \u0938\u0902\u092A\u0924\u094D\u0924\u093F \u092F\u093E \u091A\
+      \u0930\u093F\u0924\u094D\u0930 \u0915\u094B \u0939\u0941\u090F \u0928\u0941\u0915\
+      \u0938\u093E\u0928 \u0915\u0947 \u092E\u093E\u092E\u0932\u0947 \u092E\u0947\u0902\
+      \ \u0909\u0938\u0915\u0947 \u092A\u093E\u0938 \u0915\u094B\u0908 \u0928\u093F\
+      \u0935\u093E\u0930\u0923 \u0928\u0939\u0940\u0902 \u0939\u0948\u0964 \u092A\u0924\
+      \u093F \u092E\u0947\u0902 \u0935\u094D\u092F\u092D\u093F\u091A\u093E\u0930 \u0915\
+      \u0947 \u0915\u093E\u0930\u0923 \u0924\u0932\u093E\u0915 \u0915\u0947 \u092E\
+      \u093E\u092E\u0932\u0947 \u092E\u0947\u0902, \u0928\u093F\u0930\u094D\u0926\u094B\
+      \u0937 \u092A\u0924\u094D\u0928\u0940 \u0915\u094B \u092C\u091A\u094D\u091A\u094B\
+      \u0902 \u092F\u093E \u0938\u0902\u092A\u0924\u094D\u0924\u093F \u092A\u0930\
+      \ \u0915\u094B\u0908 \u0905\u0927\u093F\u0915\u093E\u0930 \u0928\u0939\u0940\
+      \u0902 \u092E\u093E\u0928\u093E \u091C\u093E\u0924\u093E \u0939\u0948, \u091C\
+      \u092C \u0924\u0915 \u0915\u093F \u0928\u094D\u092F\u093E\u092F\u093E\u0932\u092F\
+      \ \u0915\u0940 \u0935\u093F\u0936\u0947\u0937 \u0921\u093F\u0915\u094D\u0930\
+      \u0940\u0964 \u0932\u0947\u0915\u093F\u0928 \u0938\u0902\u0918 \u0915\u0947\
+      \ \u0915\u093F\u0938\u0940 \u092D\u0940 \u0930\u093E\u091C\u094D\u092F \u092E\
+      \u0947\u0902 \u092A\u0924\u094D\u0928\u0940 \u0915\u094B \u0905\u092A\u0928\u0947\
+      \ \u0938\u094D\u0935\u092F\u0902 \u0915\u0947 \u0935\u094D\u092F\u0915\u094D\
+      \u0924\u093F, \u092F\u093E \u0905\u092A\u0928\u0947 \u092A\u0924\u093F \u0915\
+      \u0947 \u091C\u0940\u0935\u0928 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928\
+      \ \u0938\u0939-\u0938\u093E\u091D\u0947\u0926\u093E\u0930\u0940 \u0915\u0940\
+      \ \u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0915\u092E\u093E\u0908 \u0915\
+      \u0947 \u0915\u093F\u0938\u0940 \u092D\u0940 \u0939\u093F\u0938\u094D\u0938\u0947\
+      \ \u092A\u0930 \u0905\u0927\u093F\u0915\u093E\u0930 \u0928\u0939\u0940\u0902\
+      \ \u0939\u0948\u0964 \u0915\u0941\u091B \u0930\u093E\u091C\u094D\u092F\u094B\
+      \u0902 \u092E\u0947\u0902 \u092E\u0939\u093F\u0932\u093E\u090F\u0902 \u092A\u094D\
+      \u0930\u0935\u0947\u0936 \u0915\u0930 \u0938\u0915\u0924\u0940 \u0939\u0948\u0902\
+      \ \u0932\u0949 \u0938\u094D\u0915\u0942\u0932 \u0914\u0930 \u0905\u0926\u093E\
+      \u0932\u0924\u094B\u0902 \u092E\u0947\u0902 \u092A\u094D\u0930\u0948\u0915\u094D\
+      \u091F\u093F\u0938; \u0905\u0928\u094D\u092F \u092E\u0947\u0902 \u0935\u0947\
+      \ \u0928\u093F\u0937\u093F\u0926\u094D\u0927 \u0939\u0948\u0902\u0964 \u0915\
+      \u0941\u091B \u0935\u093F\u0936\u094D\u0935\u0935\u093F\u0926\u094D\u092F\u093E\
+      \u0932\u092F\u094B\u0902 \u092E\u0947\u0902 \u0932\u0921\u093C\u0915\u093F\u092F\
+      \u094B\u0902 \u0915\u094B \u0932\u0921\u093C\u0915\u094B\u0902 \u0915\u0947\
+      \ \u0938\u092E\u093E\u0928 \u0936\u0948\u0915\u094D\u0937\u0923\u093F\u0915\
+      \ \u0932\u093E\u092D \u092E\u093F\u0932\u0924\u093E \u0939\u0948, \u091C\u092C\
+      \u0915\u093F \u0926\u0947\u0936 \u0915\u0947 \u0915\u0908 \u0917\u094C\u0930\
+      \u0935\u0936\u093E\u0932\u0940 \u0938\u0902\u0938\u094D\u0925\u093E\u0928 \u0909\
+      \u0928\u094D\u0939\u0947\u0902 \u092A\u094D\u0930\u0935\u0947\u0936 \u0926\u0947\
+      \u0928\u0947 \u0938\u0947 \u0907\u0928\u0915\u093E\u0930 \u0915\u0930\u0924\u0947\
+      \ \u0939\u0948\u0902, \u0939\u093E\u0932\u093E\u0902\u0915\u093F \u091A\u0940\
+      \u0928, \u091C\u093E\u092A\u093E\u0928 \u0914\u0930 \u0905\u092B\u094D\u0930\
+      \u0940\u0915\u093E \u0915\u0947 \u092C\u0947\u091F\u094B\u0902 \u0915\u093E\
+      \ \u0935\u0939\u093E\u0902 \u0938\u094D\u0935\u093E\u0917\u0924 \u0915\u093F\
+      \u092F\u093E \u091C\u093E\u0924\u093E \u0939\u0948\u0964 \u0932\u0947\u0915\u093F\
+      \u0928 \u0915\u0908 \u0930\u093E\u091C\u094D\u092F\u094B\u0902 \u092E\u0947\u0902\
+      \ \u092A\u0939\u0932\u0947 \u0938\u0947 \u0939\u0940 \u0926\u093F\u090F \u0917\
+      \u090F \u0935\u093F\u0936\u0947\u0937\u093E\u0927\u093F\u0915\u093E\u0930 \u0915\
+      \u093F\u0938\u0940 \u092D\u0940 \u0924\u0930\u0939 \u0938\u0947 \u0938\u0941\
+      \u0930\u0915\u094D\u0937\u093F\u0924 \u0928\u0939\u0940\u0902 \u0939\u0948\u0902\
+      \u0964" \u0938\u0941\u0938\u093E\u0928 \u092C\u0940. \u090F\u0902\u0925\
+      \u094B\u0928\u0940, "\u092E\u0939\u093F\u0932\u093E\u0913\u0902 \u0915\u0947\
+      \ \u0932\u093F\u090F \u0905\u0927\u093F\u0915\u093E\u0930\u094B\u0902 \u0915\
+      \u0940 \u0918\u094B\u0937\u0923\u093E," 4 \u091C\u0941\u0932\u093E\u0908\
+      , 1876 \u0938\u0941\u0938\u093E\u0928 \u092C\u0940. \u090F\u0902\u0925\u094B\
+      \u0928\u0940 \u0926\u094D\u0935\u093E\u0930\u093E \u0926\u0942\u0938\u0930\u0947\
+      \ \u0905\u0902\u0936 \u092E\u0947\u0902 \u0935\u094D\u092F\u0915\u094D\u0924\
+      \ \u0915\u0940 \u0917\u0908 \u092D\u093E\u0935\u0928\u093E\u090F\u0902 \u0938\
+      \u0902\u092D\u0935\u0924\u0903 \u0938\u092E\u0930\u094D\u0925\u0928 \u092E\u0947\
+      \u0902 \u0939\u0948\u0902 \u0915\u093E"
+  - input_choice_list:
+      A: "\u0905\u092E\u0947\u0930\u093F\u0915\u093F\u092F\u094B\u0902 \u0915\u094B\
+        \ \u0935\u093F\u092F\u0924\u0928\u093E\u092E \u092E\u0947\u0902 \u0905\u092A\
+        \u0928\u0940 \u0924\u0915\u0928\u0940\u0915\u0940 \u092C\u0922\u093C\u0924\
+        \ \u0915\u094B \u0905\u0927\u093F\u0915\u0924\u092E \u0915\u0930\u0928\u093E\
+        \ \u0939\u094B\u0917\u093E\u0964"
+      B: "\u0935\u093F\u092F\u0924\u0928\u093E\u092E \u092E\u0947\u0902 \u0905\u092E\
+        \u0947\u0930\u093F\u0915\u0940 \u092C\u092E\u092C\u093E\u0930\u0940 \u091A\
+        \u0930\u0923 \u0926\u0930 \u091A\u0930\u0923 \u092F\u0941\u0926\u094D\u0927\
+        \ \u092E\u0947\u0902 \u092A\u094D\u0930\u0917\u0924\u093F \u0915\u0940 \u0913\
+        \u0930 \u0932\u0947 \u091C\u093E \u0930\u0939\u0940 \u0939\u0948\u0964"
+      C: "\u0935\u093F\u092F\u0924\u0928\u093E\u092E \u092E\u0947\u0902 \u0905\u092E\
+        \u0947\u0930\u093F\u0915\u0940 \u092C\u092E\u092C\u093E\u0930\u0940 \u0935\
+        \u093F\u092B\u0932\u0924\u093E \u0939\u0948."
+      D: "\u0935\u093F\u092F\u0924\u0928\u093E\u092E \u092E\u0947\u0902 \u092F\u0941\
+        \u0926\u094D\u0927 \u0915\u094B \u0932\u0947\u0915\u0930 \u0905\u092E\u0947\
+        \u0930\u093F\u0915\u093E \u0915\u094B \u092A\u0930\u093E\u091C\u092F \u0915\
+        \u0947 \u0906\u0917\u0947 \u091D\u0941\u0915\u0928\u093E \u0928\u0939\u0940\
+        \u0902 \u091A\u093E\u0939\u093F\u090F\u0964"
+    input_correct_responses:
+    - C
+    input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948\u0964 \u0939\u092E\u093E\u0930\u0947 \u0928\u0947\
+      \u0924\u093E \u0909\u0924\u094D\u0924\u0930 \u0938\u0947 \u0906\u0915\u094D\u0930\
+      \u092E\u0923 \u0930\u094B\u0915\u0928\u0947 \u0915\u0940 \u092C\u093E\u0924\
+      \ \u0915\u0930\u0924\u0947 \u0939\u0948\u0902, \u0932\u0947\u0915\u093F\u0928\
+      \ \u0939\u092E\u093E\u0930\u0947 \u0939\u0938\u094D\u0924\u0915\u094D\u0937\u0947\
+      \u092A \u0915\u0930\u0928\u0947 \u0924\u0915 \u092F\u0939 \u0935\u093F\u092F\
+      \u0924\u0928\u093E\u092E\u0940 \u0938\u092E\u0942\u0939\u094B\u0902 \u0915\u0947\
+      \ \u092C\u0940\u091A \u0938\u0902\u0918\u0930\u094D\u0937 \u0925\u093E\u0964\
+      \ \u0910\u0938\u093E \u0932\u0917\u0924\u093E \u0939\u0948 \u0915\u093F \u0939\
+      \u092E \u0935\u093F\u092F\u0924\u0928\u093E\u092E\u093F\u092F\u094B\u0902 \u0915\
+      \u094B \u0939\u094B \u091A\u0940 \u092E\u093F\u0928\u094D\u0939 \u0938\u0947\
+      \ \u092C\u091A\u093E\u0928\u0947 \u092A\u0930 \u0906\u092E\u093E\u0926\u093E\
+      \ \u0939\u0948\u0902, \u092D\u0932\u0947 \u0939\u0940 \u0907\u0938\u0915\u0947\
+      \ \u0932\u093F\u090F \u0939\u092E\u0947\u0902 \u0909\u0928\u094D\u0939\u0947\
+      \u0902 \u092E\u093E\u0930\u0928\u093E \u092A\u0921\u093C\u0947 \u0914\u0930\
+      \ \u0909\u0928\u0915\u0947 \u0926\u0947\u0936 \u0915\u094B \u0927\u094D\u0935\
+      \u0938\u094D\u0924 \u0915\u0930\u0928\u093E \u092A\u0921\u093C\u0947\u0964 \u091C\
+      \u0948\u0938\u093E \u0915\u093F \u092E\u0942\u0932 \u0932\u094B\u0917\u094B\u0902\
+      \ \u0928\u0947 \u092C\u092E\u092C\u093E\u0930\u0940 \u0935\u093E\u0932\u0947\
+      \ \u0917\u093E\u0902\u0935\u094B\u0902, \u0928\u0947\u092A\u0932\u092E \u0926\
+      \u094D\u0935\u093E\u0930\u093E \u091C\u0932\u093E\u090F \u0917\u090F \u092E\u0939\
+      \u093F\u0932\u093E\u0913\u0902 \u0914\u0930 \u092C\u091A\u094D\u091A\u094B\u0902\
+      , \u091A\u093E\u0935\u0932 \u0915\u0940 \u092B\u0938\u0932\u094B\u0902 \u0915\
+      \u094B \u0928\u0937\u094D\u091F \u0915\u0930 \u0926\u093F\u092F\u093E \u0914\
+      \u0930 \u0939\u092E\u093E\u0930\u0947 \u0938\u0948\u0928\u094D\u092F \u0915\u0930\
+      \u094D\u092E\u093F\u092F\u094B\u0902 \u0915\u0947 \u0938\u093E\u0925 \u0936\u0939\
+      \u0930\u094B\u0902 \u092A\u0930 \u0915\u092C\u094D\u091C\u093E \u0915\u0930\
+      \ \u0932\u093F\u092F\u093E, \u0915\u093E \u0938\u0930\u094D\u0935\u0947\u0915\
+      \u094D\u0937\u0923 \u0915\u093F\u092F\u093E, \u0935\u0947 \u0928\u093F\u0938\
+      \u094D\u0938\u0902\u0926\u0947\u0939 \u0935\u093F\u092F\u0924\u0915\u093E\u0902\
+      \u0917 \u0917\u0941\u0930\u093F\u0932\u094D\u0932\u093E\u0913\u0902 \u0914\u0930\
+      \ \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u0938\u0947\u0928\u093E\u0913\u0902\
+      \ \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0917\u0941\u092A\
+      \u094D\u0924 \u0930\u0942\u092A \u0938\u0947 \u0915\u0939 \u0930\u0939\u0947\
+      \ \u0939\u0948\u0902, "\u0906\u092A\u0915\u0947 \u0926\u094B\u0928\u094B\
+      \u0902 \u0918\u0930\u094B\u0902 \u092A\u0930 \u090F\u0915 \u092A\u094D\u0932\
+      \u0947\u0917 \u0939\u0948 \u0964" ...\u0909\u0924\u094D\u0924\u0930 \u0914\
+      \u0930 \u0926\u0915\u094D\u0937\u093F\u0923 \u092E\u0947\u0902 \u092C\u092E\u092C\
+      \u093E\u0930\u0940 \u092C\u0902\u0926 \u0915\u0930\u0947\u0902, \u0924\u0932\
+      \u093E\u0936\u0940 \u092C\u0902\u0926 \u0915\u0930\u0947\u0902 \u0914\u0930\
+      \ \u0906\u0915\u094D\u0930\u093E\u092E\u0915 \u0905\u092D\u093F\u092F\u093E\u0928\
+      \u094B\u0902 \u0915\u094B \u0928\u0937\u094D\u091F \u0915\u0930\u0947\u0902\
+      , \u0914\u0930 \u0939\u092E\u093E\u0930\u0940 \u0938\u0948\u0928\u094D\u092F\
+      \ \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0915\u094B \u091C\u092E\
+      \u0940\u0928 \u092A\u0930 \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908 \u0915\
+      \u0930\u0928\u0947 \u0924\u0915 \u0938\u0940\u092E\u093F\u0924 \u0930\u0916\u0947\
+      \u0902\u0964 \u0909\u0924\u094D\u0924\u0930 \u092E\u0947\u0902 \u092C\u092E\u092C\
+      \u093E\u0930\u0940 \u0926\u0915\u094D\u0937\u093F\u0923 \u0915\u0940 \u0913\u0930\
+      \ \u0938\u0948\u0928\u093F\u0915\u094B\u0902 \u0915\u0947 \u092A\u094D\u0930\
+      \u0935\u093E\u0939 \u0915\u094B \u0930\u094B\u0915\u0928\u0947 \u092F\u093E\
+      \ \u0917\u0902\u092D\u0940\u0930 \u0930\u0942\u092A \u0938\u0947 \u0930\u094B\
+      \u0915\u0928\u0947 \u092E\u0947\u0902 \u0935\u093F\u092B\u0932 \u0930\u0939\u0940\
+      \ \u0939\u0948 \u0914\u0930 \u0935\u093E\u0938\u094D\u0924\u0935 \u092E\u0947\
+      \u0902, \u0939\u0928\u094B\u0908 \u0926\u094D\u0935\u093E\u0930\u093E \u092C\
+      \u0939\u0941\u0924 \u092C\u0921\u093C\u0947 \u092F\u0941\u0926\u094D\u0927 \u092A\
+      \u094D\u0930\u092F\u093E\u0938 \u0915\u094B \u092A\u094D\u0930\u0947\u0930\u093F\
+      \u0924 \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\
+      \u0948\u0964 \u2014\u0938\u0940\u0928\u0947\u091F\u0930 \u091C\u0949\u0930\u094D\
+      \u091C \u092E\u0948\u0915\u0917\u0935\u0930\u094D\u0928, "\u0926 \u0932\
+      \u0947\u0938\u0928\u094D\u0938 \u0911\u092B\u093C \u0935\u093F\u092F\u0924\u0928\
+      \u093E\u092E," 25 \u0905\u092A\u094D\u0930\u0948\u0932, 1967 1960 \u0915\
+      \u0947 \u0926\u0936\u0915 \u0915\u0940 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\
+      \u0916\u093F\u0924 \u0930\u093E\u092F \u092E\u0947\u0902 \u0938\u0947 \u0915\
+      \u094C\u0928 \u0938\u0940 \u0930\u093E\u092F \u0938\u092C\u0938\u0947 \u0938\
+      \u0940\u0927\u0947 \u0924\u094C\u0930 \u092A\u0930 \u091C\u0949\u0930\u094D\u091C\
+      \ \u092E\u0948\u0915\u0917\u0935\u0930\u094D\u0928 \u0915\u0947 \u092D\u093E\
+      \u0937\u0923 \u0915\u0947 \u092A\u0930\u093F\u092A\u094D\u0930\u0947\u0915\u094D\
+      \u0937\u094D\u092F \u0915\u094B \u0926\u0930\u094D\u0936\u093E\u0924\u0940 \u0939\
+      \u0948?"
+  - input_choice_list:
+      A: "\u0905\u092C\u0940\u0917\u0948\u0932 \u090F\u0921\u092E\u094D\u0938"
+      B: "\u0915\u094D\u0932\u093E\u0930\u093E \u092C\u093E\u0930\u094D\u091F\u0928"
+      C: "\u0936\u0930\u094D\u0932\u0940 \u091F\u0947\u0902\u092A\u0932"
+      D: "\u0939\u093F\u0932\u0947\u0930\u0940 \u0915\u094D\u0932\u093F\u0902\u091F\
+        \u0928"
+    input_correct_responses:
+    - B
+    input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948\u0964 \u092E\u0948\u0902 \u0935\u094D\u092F\u0915\
+      \u094D\u0924\u093F\u0917\u0924 \u0926\u093E\u0935\u0947 \u0915\u0930\u0928\u0947\
+      \ \u092F\u093E \u0935\u094D\u092F\u0915\u094D\u0924\u093F\u0917\u0924 \u0932\
+      \u093E\u092D \u0932\u0947\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0928\
+      \u0939\u0940\u0902 \u0906\u092F\u093E \u0939\u0942\u0902; \u092E\u0948\u0902\
+      \ \u0909\u0928 \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0935\u0915\u0940\
+      \u0932 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u092A\u0947\u0936\
+      \ \u0939\u094B\u0924\u093E \u0939\u0942\u0902 \u091C\u094B \u0905\u092A\u0928\
+      \u0947 \u092E\u093E\u092E\u0932\u0947 \u0915\u0940 \u092A\u0948\u0930\u0935\u0940\
+      \ \u0928\u0939\u0940\u0902 \u0915\u0930 \u0938\u0915\u0924\u0947; \u092E\u0948\
+      \u0902 \u0909\u0928 \u0932\u094B\u0917\u094B\u0902 \u0915\u093E \u092E\u093F\
+      \u0924\u094D\u0930 \u092C\u0928\u0915\u0930 \u0906\u0924\u093E \u0939\u0942\u0902\
+      \ \u091C\u094B \u0935\u0940\u0930\u093E\u0928, \u0909\u0924\u094D\u092A\u0940\
+      \u0921\u093C\u093F\u0924 \u0914\u0930 \u0909\u091C\u093E\u0921\u093C \u0939\u0948\
+      \u0902\u0964 \u0908\u0936\u094D\u0935\u0930 \u0915\u0947 \u0935\u093F\u0927\u093E\
+      \u0928 \u092E\u0947\u0902, \u092E\u0948\u0902 \u0909\u0938 \u092A\u093E\u0917\
+      \u0932 \u0915\u0940 \u0906\u0935\u093E\u091C \u0939\u0942\u0902 \u091C\u093F\
+      \u0938\u0915\u0940 \u0906\u092A\u0915\u0940 \u091C\u0947\u0932\u094B\u0902 \u0915\
+      \u0940 \u0938\u0941\u0928\u0938\u093E\u0928 \u0915\u093E\u0932\u0915\u094B\u0920\
+      \u0930\u093F\u092F\u094B\u0902 \u0938\u0947 \u0928\u093F\u0915\u0932\u0928\u0947\
+      \ \u0935\u093E\u0932\u0940 \u092E\u0930\u094D\u092E\u0938\u094D\u092A\u0930\u094D\
+      \u0936\u0940 \u091A\u0940\u0916\u0947\u0902 \u0906\u092A\u0915\u0947 \u0935\u093F\
+      \u0927\u093E\u0928 \u092D\u0935\u0928 \u092E\u0947\u0902 \u092A\u094D\u0930\u0935\
+      \u0947\u0936 \u0928\u0939\u0940\u0902 \u0915\u0930 \u092A\u093E\u0924\u0940\u0902\
+      \u0964 \u092E\u0948\u0902 \u0909\u0928 \u0917\u0930\u0940\u092C \u092A\u093E\
+      \u0917\u0932 \u092A\u094D\u0930\u093E\u0923\u093F\u092F\u094B\u0902 \u0915\u0940\
+      \ \u0906\u0936\u093E \u0939\u0942\u0902 \u091C\u094B \u0906\u092A\u0915\u0947\
+      \ \u0917\u0930\u0940\u092C \u0918\u0930\u094B\u0902 \u0915\u0940 \u0915\u094B\
+      \u0920\u0930\u093F\u092F\u094B\u0902, \u0938\u094D\u091F\u093E\u0932\u094B\u0902\
+      , \u092A\u093F\u0902\u091C\u0930\u094B\u0902 \u0914\u0930 \u092C\u0947\u0915\
+      \u093E\u0930 \u0915\u092E\u0930\u094B\u0902 \u092E\u0947\u0902 \u0906\u0930\u093E\
+      \u092E \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\u0964 \u092E\u0948\u0902\
+      \ \u0906\u092A\u0915\u0947 \u0928\u093F\u091C\u0940 \u0906\u0935\u093E\u0938\
+      \u094B\u0902, \u0915\u0932\u092E\u0916\u093E\u0928\u094B\u0902 \u0914\u0930\
+      \ \u0915\u0947\u092C\u093F\u0928\u094B\u0902 \u092E\u0947\u0902 \u091B\u093F\
+      \u092A\u0947 \u0939\u0941\u090F \u0938\u0948\u0915\u0921\u093C\u094B\u0902 \u0935\
+      \u093F\u0932\u093E\u092A \u0915\u0930\u0928\u0947 \u0935\u093E\u0932\u0947,\
+      \ \u092A\u0940\u0921\u093C\u093F\u0924 \u092A\u094D\u0930\u093E\u0923\u093F\u092F\
+      \u094B\u0902 \u0915\u093E \u0930\u0939\u0938\u094D\u092F\u094B\u0926\u094D\u0918\
+      \u093E\u091F\u0928 \u0939\u0942\u0902 - \u0938\u092D\u0940 \u0909\u092A\u091A\
+      \u093E\u0930 \u092A\u094D\u0930\u092D\u093E\u0935\u094B\u0902 \u0938\u0947,\
+      \ \u0938\u092D\u0940 \u092E\u0928-\u092A\u0941\u0928\u0930\u094D\u092A\u094D\
+      \u0930\u093E\u092A\u094D\u0924\u093F \u0938\u0902\u092C\u0902\u0927\u0940 \u091A\
+      \u093F\u0902\u0924\u093E\u0913\u0902 \u0938\u0947 \u0926\u0942\u0930\u0964 ...\
+      \ \u0915\u094D\u092F\u093E \u0909\u0928\u0915\u0940 \u0909\u0926\u093E\u0938\
+      \u0940 \u0915\u093E \u0907\u0924\u093F\u0939\u093E\u0938 \u0906\u092A\u0915\u0947\
+      \ \u0938\u093E\u092E\u0928\u0947 \u092B\u0948\u0932 \u0938\u0915\u0924\u093E\
+      \ \u0939\u0948 \u091C\u0948\u0938\u093E \u0915\u093F \u092A\u093F\u091B\u0932\
+      \u0947 \u0924\u0940\u0928 \u092E\u0939\u0940\u0928\u094B\u0902 \u0915\u0947\
+      \ \u0926\u094C\u0930\u093E\u0928 \u092E\u0947\u0930\u0940 \u0926\u0941\u0916\
+      \u0940 \u0906\u0924\u094D\u092E\u093E \u0915\u094B \u092A\u0924\u093E \u091A\
+      \u0932\u093E, \u0906\u092A \u0915\u093F\u0924\u0928\u0940 \u0924\u0924\u094D\
+      \u092A\u0930\u0924\u093E \u0938\u0947, \u0915\u093F\u0924\u0928\u0940 \u0908\
+      \u092E\u093E\u0928\u0926\u093E\u0930\u0940 \u0938\u0947 \u0930\u093E\u0939\u0924\
+      \ \u0915\u0947 \u0938\u092C\u0938\u0947 \u0938\u094D\u0935\u0940\u0915\u0943\
+      \u0924 \u0938\u093E\u0927\u0928\u094B\u0902 \u0915\u0940 \u0916\u094B\u091C\
+      \ \u0915\u0930\u0947\u0902\u0917\u0947; \u0924\u0941\u0932\u0928\u093E\u0924\
+      \u094D\u092E\u0915 \u0930\u0942\u092A \u0938\u0947, \u0906\u092A\u0938\u0947\
+      \ \u091C\u094B \u0924\u094D\u092F\u093E\u0917 \u0915\u0930\u0928\u0947 \u0915\
+      \u0947 \u0932\u093F\u090F \u0915\u0939\u093E \u0917\u092F\u093E \u0939\u0948\
+      , \u0935\u0939 \u0915\u093F\u0924\u0928\u093E \u0924\u0941\u091A\u094D\u091B\
+      , \u0915\u093F\u0924\u0928\u093E \u092E\u0939\u0924\u094D\u0935\u0939\u0940\u0928\
+      \ \u092A\u094D\u0930\u0924\u0940\u0924 \u0939\u094B\u0917\u093E; \u092A\u094D\
+      \u0930\u0924\u094D\u092F\u0947\u0915 \u0928\u093E\u0917\u0930\u093F\u0915 \u0938\
+      \u0947 \u090F\u0915\u0924\u094D\u0930 \u0915\u093F\u090F \u0917\u090F \u0915\
+      \u0941\u091B \u092A\u0948\u0938\u0947 \u0914\u0930 \u0921\u0949\u0932\u0930\
+      , \u092A\u0940\u0921\u093C\u093F\u0924 \u092A\u093E\u0917\u0932\u094B\u0902\
+      \ \u0915\u0947 \u0932\u093F\u090F \u0938\u0941\u0930\u0915\u094D\u0937\u093F\
+      \u0924 \u0915\u093F\u090F \u091C\u093E\u0928\u0947 \u0935\u093E\u0932\u0947\
+      \ \u0915\u0941\u091B \u0928\u093F\u0936\u094D\u091A\u093F\u0924 \u0932\u093E\
+      \u092D\u094B\u0902 \u0914\u0930 \u0935\u093F\u0936\u093E\u0932 \u092D\u0932\u093E\
+      \u0908 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u090F\
+      \u0915 \u0938\u0902\u092A\u0924\u094D\u0924\u093F \u0915\u0947 \u0930\u0942\u092A\
+      \ \u092E\u0947\u0902 \u092E\u0942\u0932\u094D\u092F \u092E\u0947\u0902 \u0915\
+      \u0948\u0938\u0947 \u0915\u092E \u0939\u094B \u091C\u093E\u090F\u0902\u0917\u0947\
+      ... \u0928\u093F\u0930\u094D\u092E\u093E\u0923 \u0915\u0947 \u0932\u093F\u090F\
+      \ \u092A\u0930\u094D\u092F\u093E\u092A\u094D\u0924 \u0928\u093F\u0927\u093F\
+      \ \u0915\u0947 \u0938\u092E\u0930\u094D\u092A\u0923 \u0914\u0930 \u0906\u0935\
+      \u0947\u0926\u0928 \u0938\u0947 \u090F\u0915 \u0909\u092A\u092F\u0941\u0915\u094D\
+      \u0924 \u0905\u0938\u094D\u092A\u0924\u093E\u0932 \u0915\u093E... -\u0921\u094B\
+      \u0930\u094B\u0925\u093F\u092F\u093E \u0921\u093F\u0915\u094D\u0938, \u092E\u0947\
+      \u092E\u094B\u0930\u093F\u092F\u0932 \u0938\u0949\u0932\u093F\u0938\u093F\u091F\
+      \u093F\u0902\u0917 \u090F \u0938\u094D\u091F\u0947\u091F \u0939\u0949\u0938\u094D\
+      \u092A\u093F\u091F\u0932 \u092B\u0949\u0930 \u0926 \u092A\u094D\u0930\u094B\u091F\
+      \u0947\u0915\u094D\u0936\u0928 \u090F\u0902\u0921 \u0915\u094D\u092F\u094B\u0930\
+      \ \u0911\u092B \u0926 \u0907\u0928\u0938\u0947\u0928, \u0938\u092C\u092E\u093F\
+      \u091F\u0947\u0921 \u091F\u0942 \u0926 \u091C\u0928\u0930\u0932 \u0905\u0938\
+      \u0947\u0902\u092C\u0932\u0940 \u0911\u092B \u0928\u0949\u0930\u094D\u0925 \u0915\
+      \u0948\u0930\u094B\u0932\u093F\u0928\u093E, \u0928\u0935\u0902\u092C\u0930 1848\
+      \ \u0921\u094B\u0930\u094B\u0925\u093F\u092F\u093E \u0921\u093F\u0915\u094D\u0938\
+      \ \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u0915\u093F\u0938\u0938\u0947\
+      \ \u0915\u0940 \u091C\u093E \u0938\u0915\u0924\u0940 \u0939\u0948?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_us_history
+tag: mmlu_hi_llama_humanities_tasks
+task: mmlu_hi_llama_high_school_us_history
+task_alias: high_school_us_history

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_world_history.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0939\u093F\u0928\u094D\u0926\u0942 \u0927\u0930\u094D\u092E"
+      B: "\u092C\u0941\u0926\u094D\u0927 \u0927\u0930\u094D\u092E"
+      C: "\u0936\u093F\u0902\u0924\u094B \u0927\u0930\u094D\u092E"
+      D: "\u092A\u093E\u0930\u0938\u0940 \u0927\u0930\u094D\u092E"
+    input_correct_responses:
+    - A
+    input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948\u0964 \u0909\u0938\u092E\u0947\u0902 \u0938\u092D\
+      \u0940 \u0915\u093E\u0930\u094D\u092F, \u0907\u091A\u094D\u091B\u093E\u090F\u0902\
+      , \u0938\u092D\u0940 \u0938\u0941\u0917\u0902\u0927 \u0914\u0930 \u0938\u092D\
+      \u0940 \u0938\u094D\u0935\u093E\u0926 \u0936\u093E\u092E\u093F\u0932 \u0939\u0948\
+      \u0902\u0964 \u0935\u0939 \u0938\u0902\u092A\u0942\u0930\u094D\u0923 \u092C\u094D\
+      \u0930\u0939\u094D\u092E\u093E\u0902\u0921 \u0915\u094B \u0905\u092A\u0928\u0947\
+      \ \u092E\u0947\u0902 \u0938\u092E\u0947\u091F\u0947 \u0939\u0941\u090F \u0939\
+      \u0948 \u0914\u0930 \u092E\u094C\u0928 \u0930\u0939\u0915\u0930 \u0938\u092D\
+      \u0940 \u0938\u0947 \u092A\u094D\u0930\u0947\u092E \u0915\u0930\u0924\u093E\
+      \ \u0939\u0948\u0964 \u092F\u0939\u0940 \u0906\u0924\u094D\u092E\u093E \u0939\
+      \u0948 \u091C\u094B \u092E\u0947\u0930\u0947 \u0939\u0943\u0926\u092F \u092E\
+      \u0947\u0902 \u0939\u0948, \u092F\u0939\u0940 \u092C\u094D\u0930\u0939\u094D\
+      \u092E \u0939\u0948\u0964 \u092E\u0948\u0902 \u0909\u0938\u0915\u0947 \u092A\
+      \u093E\u0938 \u0924\u092C \u0906\u090A\u0902\u0917\u093E \u091C\u092C \u092E\
+      \u0948\u0902 \u0907\u0938 \u091C\u0940\u0935\u0928 \u0938\u0947 \u0906\u0917\
+      \u0947 \u0928\u093F\u0915\u0932 \u091C\u093E\u090A\u0902\u0917\u093E, \u0914\
+      \u0930 \u0909\u0938\u0915\u0947 \u092A\u093E\u0938 \u0935\u0939 \u0906\u090F\
+      \u0917\u093E \u091C\u093F\u0938\u0915\u0947 \u092A\u093E\u0938 \u0935\u093F\u0936\
+      \u094D\u0935\u093E\u0938 \u0939\u0948 \u0914\u0930 \u0938\u0902\u0926\u0947\u0939\
+      \ \u0928\u0939\u0940\u0902 \u0939\u0948\u0964 -\u0909\u092A\u0928\u093F\u0937\
+      \u0926, \u092D\u093E\u0930\u0924, \u0938\u0940. 1000 \u0908\u0938\u093E \u092A\
+      \u0942\u0930\u094D\u0935 \u0935\u0915\u094D\u0924\u093E \u0938\u0902\u092D\u0935\
+      \u0924\u0903 \u0915\u093F\u0938 \u0927\u0930\u094D\u092E \u0938\u0947 \u0938\
+      \u0902\u092C\u0902\u0927\u093F\u0924 \u0925\u093E?"
+  - input_choice_list:
+      A: "\u0914\u0926\u094D\u092F\u094B\u0917\u093F\u0915 \u0915\u094D\u0930\u093E\
+        \u0902\u0924\u093F"
+      B: "\u0909\u092A\u0928\u093F\u0935\u0947\u0936\u0935\u093E\u0926"
+      C: "\u0915\u094D\u0937\u0947\u0924\u094D\u0930\u0940\u092F \u092E\u0941\u0915\
+        \u094D\u0924 \u0935\u094D\u092F\u093E\u092A\u093E\u0930 \u0938\u0902\u0918"
+      D: "\u0928\u093F\u0930\u0902\u0915\u0941\u0936"
+    input_correct_responses:
+    - B
+    input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948\u0964 "\u0928\u0935-\u0909\u092A\u0928\u093F\
+      \u0935\u0947\u0936\u0935\u093E\u0926 \u0915\u0947 \u0916\u093F\u0932\u093E\u092B\
+      \ \u0938\u0902\u0918\u0930\u094D\u0937 \u0915\u093E \u0909\u0926\u094D\u0926\
+      \u0947\u0936\u094D\u092F \u0935\u093F\u0915\u0938\u093F\u0924 \u0926\u0941\u0928\
+      \u093F\u092F\u093E \u0915\u0940 \u092A\u0942\u0902\u091C\u0940 \u0915\u094B\
+      \ \u0915\u092E \u0935\u093F\u0915\u0938\u093F\u0924 \u0926\u0947\u0936\u094B\
+      \u0902 \u092E\u0947\u0902 \u0915\u093E\u092E \u0915\u0930\u0928\u0947 \u0938\
+      \u0947 \u0930\u094B\u0915\u0928\u093E \u0928\u0939\u0940\u0902 \u0939\u0948\u0964\
+      \ \u0907\u0938\u0915\u093E \u0909\u0926\u094D\u0926\u0947\u0936\u094D\u092F\
+      \ \u0935\u093F\u0915\u0938\u093F\u0924 \u0926\u0947\u0936\u094B\u0902 \u0915\
+      \u0940 \u0935\u093F\u0924\u094D\u0924\u0940\u092F \u0936\u0915\u094D\u0924\u093F\
+      \ \u0915\u094B \u0907\u0938 \u0924\u0930\u0939 \u0938\u0947 \u0907\u0938\u094D\
+      \u0924\u0947\u092E\u093E\u0932 \u0939\u094B\u0928\u0947 \u0938\u0947 \u0930\u094B\
+      \u0915\u0928\u093E \u0939\u0948 \u0915\u093F \u0915\u092E \u0935\u093F\u0915\
+      \u0938\u093F\u0924 \u0926\u0947\u0936\u094B\u0902 \u0915\u094B \u0917\u0930\u0940\
+      \u092C \u092C\u0928\u093E\u092F\u093E \u091C\u093E \u0938\u0915\u0947\u0964\
+      " \u0917\u0941\u091F\u0928\u093F\u0930\u092A\u0947\u0915\u094D\u0937\u0924\
+      \u093E, \u091C\u0948\u0938\u093E \u0915\u093F \u0918\u093E\u0928\u093E \u0914\
+      \u0930 \u0915\u0908 \u0905\u0928\u094D\u092F \u0926\u0947\u0936\u094B\u0902\
+      \ \u0926\u094D\u0935\u093E\u0930\u093E \u0905\u092A\u0928\u093E\u092F\u093E\
+      \ \u091C\u093E\u0924\u093E \u0939\u0948, \u0938\u092D\u0940 \u0930\u093E\u091C\
+      \u094D\u092F\u094B\u0902 \u0915\u0947 \u0938\u093E\u0925 \u0938\u0939\u092F\u094B\
+      \u0917 \u092A\u0930 \u0906\u0927\u093E\u0930\u093F\u0924 \u0939\u0948, \u091A\
+      \u093E\u0939\u0947 \u0935\u0947 \u092A\u0942\u0902\u091C\u0940\u0935\u093E\u0926\
+      \u0940 \u0939\u094B\u0902, \u0938\u092E\u093E\u091C\u0935\u093E\u0926\u0940\
+      \ \u0939\u094B\u0902 \u092F\u093E \u092E\u093F\u0936\u094D\u0930\u093F\u0924\
+      \ \u0905\u0930\u094D\u0925\u0935\u094D\u092F\u0935\u0938\u094D\u0925\u093E \u0935\
+      \u093E\u0932\u0947 \u0939\u094B\u0902\u0964 \u0907\u0938\u0932\u093F\u090F,\
+      \ \u0910\u0938\u0940 \u0928\u0940\u0924\u093F \u092E\u0947\u0902 \u092A\u0942\
+      \u0902\u091C\u0940\u0935\u093E\u0926\u0940 \u0926\u0947\u0936\u094B\u0902 \u0938\
+      \u0947 \u0935\u093F\u0926\u0947\u0936\u0940 \u0928\u093F\u0935\u0947\u0936 \u0936\
+      \u093E\u092E\u093F\u0932 \u0939\u094B\u0924\u093E \u0939\u0948, \u0932\u0947\
+      \u0915\u093F\u0928 \u092F\u0939 \u0905\u0935\u0936\u094D\u092F \u0939\u094B\u0928\
+      \u093E \u091A\u093E\u0939\u093F\u090F \u0917\u0941\u091F\u0928\u093F\u0930\u092A\
+      \u0947\u0915\u094D\u0937 \u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u0938\u0930\
+      \u0915\u093E\u0930 \u0926\u094D\u0935\u093E\u0930\u093E \u0905\u092A\u0928\u0947\
+      \ \u0939\u093F\u0924\u094B\u0902 \u0915\u094B \u0927\u094D\u092F\u093E\u0928\
+      \ \u092E\u0947\u0902 \u0930\u0916\u0924\u0947 \u0939\u0941\u090F \u0924\u0948\
+      \u092F\u093E\u0930 \u0915\u0940 \u0917\u0908 \u0930\u093E\u0937\u094D\u091F\u094D\
+      \u0930\u0940\u092F \u092F\u094B\u091C\u0928\u093E \u0915\u0947 \u0905\u0928\u0941\
+      \u0938\u093E\u0930 \u0928\u093F\u0935\u0947\u0936 \u0915\u093F\u092F\u093E \u091C\
+      \u093E\u0928\u093E \u091A\u093E\u0939\u093F\u090F\u0964 \u092E\u0941\u0926\u094D\
+      \u0926\u093E \u092F\u0939 \u0928\u0939\u0940\u0902 \u0939\u0948 \u0915\u093F\
+      \ \u0935\u093F\u0926\u0947\u0936\u0940 \u0928\u093F\u0935\u0947\u0936\u0915\
+      \ \u0915\u094B \u0905\u092A\u0928\u0947 \u0928\u093F\u0935\u0947\u0936 \u092A\
+      \u0930 \u0915\u094D\u092F\u093E \u0930\u093F\u091F\u0930\u094D\u0928 \u092E\u093F\
+      \u0932\u0924\u093E \u0939\u0948...\u0938\u0935\u093E\u0932 \u0938\u0924\u094D\
+      \u0924\u093E \u0915\u093E \u0939\u0948\u0964 \u090F\u0915 \u0930\u093E\u091C\
+      \u094D\u092F \u092E\u0947\u0902 \u0928\u0935-\u0909\u092A\u0928\u093F\u0935\u0947\
+      \u0936\u0935\u093E\u0926 \u0915\u0940 \u092A\u0915\u0921\u093C \u0905\u092A\u0928\
+      \u0947 \u092D\u093E\u0917\u094D\u092F \u0915\u0940 \u0938\u094D\u0935\u093E\u092E\
+      \u0940 \u0928\u0939\u0940\u0902 \u0939\u0948\u0964" \u0915\u094D\u0935\u093E\
+      \u092E\u0947 \u0928\u0915\u094D\u0930\u0942\u092E\u093E, \u0928\u0935-\u0909\
+      \u092A\u0928\u093F\u0935\u0947\u0936\u0935\u093E\u0926, 1965 \u0928\u093F\u092E\
+      \u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\
+      \u094C\u0928 \u0928\u0915\u094D\u0930\u0942\u092E\u093E \u0915\u0947 \u0932\u0947\
+      \u0916\u0928 \u0915\u0947 \u0932\u093F\u090F \u0938\u092C\u0938\u0947 \u0905\
+      \u091A\u094D\u091B\u093E \u0938\u0902\u0926\u0930\u094D\u092D \u092A\u094D\u0930\
+      \u0926\u093E\u0928 \u0915\u0930\u0924\u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u092C\u093E\u0932 \u0936\u094D\u0930\u092E \u0915\u0940 \u0938\u093E\u092E\
+        \u093E\u091C\u093F\u0915 \u0938\u094D\u0935\u0940\u0915\u0943\u0924\u093F"
+      B: "\u091C\u0930\u094D\u092E\u0928\u0940 \u092E\u0947\u0902 \u0918\u091F\u0924\
+        \u0940 \u091C\u0940\u0935\u0928 \u092A\u094D\u0930\u0924\u094D\u092F\u093E\
+        \u0936\u093E"
+      C: "\u091C\u0930\u094D\u092E\u0928 \u0935\u094D\u092F\u093E\u092A\u093E\u0930\
+        \ \u0936\u0941\u0932\u094D\u0915\u094B\u0902 \u0915\u0940 \u0906\u0932\u094B\
+        \u091A\u0928\u093E"
+      D: "\u0914\u0926\u094D\u092F\u094B\u0917\u093F\u0915 \u092A\u0942\u0902\u091C\
+        \u0940\u0935\u093E\u0926 \u0915\u0947 \u0932\u093F\u090F \u091C\u093F\u092E\
+        \u094D\u092E\u0947\u0926\u093E\u0930 \u0928\u0915\u093E\u0930\u093E\u0924\u094D\
+        \u092E\u0915 \u092A\u094D\u0930\u092D\u093E\u0935"
+    input_correct_responses:
+    - D
+    input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948\u0964 "\u0915\u0930\u094D\u092E\u091A\u093E\
+      \u0930\u0940 \u0915\u0940 \u0905\u0938\u0932\u0940 \u0936\u093F\u0915\u093E\u092F\
+      \u0924 \u0909\u0938\u0915\u0947 \u0905\u0938\u094D\u0924\u093F\u0924\u094D\u0935\
+      \ \u0915\u0940 \u0905\u0938\u0941\u0930\u0915\u094D\u0937\u093E \u0939\u0948\
+      ; \u0909\u0938\u0947 \u092F\u0915\u0940\u0928 \u0928\u0939\u0940\u0902 \u0939\
+      \u0948 \u0915\u093F \u0909\u0938\u0915\u0947 \u092A\u093E\u0938 \u0939\u092E\
+      \u0947\u0936\u093E \u0915\u093E\u092E \u0930\u0939\u0947\u0917\u093E, \u0909\
+      \u0938\u0947 \u092F\u0915\u0940\u0928 \u0928\u0939\u0940\u0902 \u0939\u0948\
+      \ \u0915\u093F \u0935\u0939 \u0939\u092E\u0947\u0936\u093E \u0938\u094D\u0935\
+      \u0938\u094D\u0925 \u0930\u0939\u0947\u0917\u093E, \u0914\u0930 \u0909\u0938\
+      \u0947 \u0932\u0917\u0924\u093E \u0939\u0948 \u0915\u093F \u090F\u0915 \u0926\
+      \u093F\u0928 \u0935\u0939 \u092C\u0942\u0922\u093C\u093E \u0939\u094B \u091C\
+      \u093E\u090F\u0917\u093E \u0914\u0930 \u0915\u093E\u092E \u0915\u0930\u0928\u0947\
+      \ \u0915\u0947 \u0932\u093F\u090F \u0905\u092F\u094B\u0917\u094D\u092F \u0939\
+      \u094B \u091C\u093E\u090F\u0917\u093E \u092F\u0926\u093F \u0935\u0939 \u0917\
+      \u0930\u0940\u092C\u0940 \u092E\u0947\u0902 \u0917\u093F\u0930 \u091C\u093E\u0924\
+      \u093E \u0939\u0948, \u092D\u0932\u0947 \u0939\u0940 \u0915\u0947\u0935\u0932\
+      \ \u0932\u0902\u092C\u0940 \u092C\u0940\u092E\u093E\u0930\u0940 \u0915\u0947\
+      \ \u0915\u093E\u0930\u0923, \u0924\u092C \u0935\u0939 \u092A\u0942\u0930\u0940\
+      \ \u0924\u0930\u0939 \u0938\u0947 \u0905\u0938\u0939\u093E\u092F \u0939\u094B\
+      \ \u091C\u093E\u0924\u093E \u0939\u0948, \u0905\u092A\u0928\u0947 \u0909\u092A\
+      \u0915\u0930\u0923\u094B\u0902 \u092A\u0930 \u091C\u093E\u0902\u091A \u0915\u0930\
+      \u0924\u093E \u0939\u0948, \u0914\u0930 \u0938\u092E\u093E\u091C \u0935\u0930\
+      \u094D\u0924\u092E\u093E\u0928 \u092E\u0947\u0902 \u0917\u0930\u0940\u092C\u094B\
+      \u0902 \u0915\u0947 \u0932\u093F\u090F \u0938\u093E\u092E\u093E\u0928\u094D\u092F\
+      \ \u092E\u0926\u0926 \u0938\u0947 \u092A\u0930\u0947 \u0909\u0938\u0915\u0947\
+      \ \u092A\u094D\u0930\u0924\u093F \u0915\u093F\u0938\u0940 \u092D\u0940 \u0935\
+      \u093E\u0938\u094D\u0924\u0935\u093F\u0915 \u0926\u093E\u092F\u093F\u0924\u094D\
+      \u0935 \u0915\u094B \u0928\u0939\u0940\u0902 \u092A\u0939\u091A\u093E\u0928\u0924\
+      \u093E \u0939\u0948, \u092D\u0932\u0947 \u0939\u0940 \u0909\u0938\u0928\u0947\
+      \ \u0910\u0938\u093E \u0915\u093F\u092F\u093E \u0939\u094B \u0939\u0930 \u0938\
+      \u092E\u092F \u0907\u0924\u0928\u0940 \u0908\u092E\u093E\u0928\u0926\u093E\u0930\
+      \u0940 \u0914\u0930 \u0932\u0917\u0928 \u0938\u0947 \u0915\u093E\u092E \u0915\
+      \u0930 \u0930\u0939\u093E \u0939\u0942\u0902\u0964 \u0917\u0930\u0940\u092C\u094B\
+      \u0902 \u0915\u0947 \u0932\u093F\u090F \u0938\u093E\u092E\u093E\u0928\u094D\u092F\
+      \ \u092E\u0926\u0926, \u0939\u093E\u0932\u093E\u0902\u0915\u093F, \u0935\u093E\
+      \u0902\u091B\u093F\u0924 \u0928\u0939\u0940\u0902 \u0939\u0948, \u0916\u093E\
+      \u0938\u0915\u0930 \u092C\u0921\u093C\u0947 \u0936\u0939\u0930\u094B\u0902 \u092E\
+      \u0947\u0902, \u091C\u0939\u093E\u0902 \u092F\u0939 \u0926\u0947\u0936 \u0915\
+      \u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u092C\u0939\u0941\u0924\
+      \ \u0916\u0930\u093E\u092C \u0939\u0948\u0964'' \u0913\u091F\u094D\u091F\
+      \u094B \u0935\u0949\u0928 \u092C\u093F\u0938\u094D\u092E\u093E\u0930\u094D\u0915\
+      , 1884 \u0913\u091F\u094D\u091F\u094B \u0935\u0949\u0928 \u092C\u093F\u0938\u094D\
+      \u092E\u093E\u0930\u094D\u0915 \u0928\u0947 \u0938\u0902\u092D\u0935\u0924\u0903\
+      \ \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902\
+      \ \u0938\u0947 \u0915\u093F\u0938 \u092E\u0941\u0926\u094D\u0926\u0947 \u0915\
+      \u0940 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E \u092E\
+      \u0947\u0902 \u092F\u0939 \u092D\u093E\u0937\u0923 \u0926\u093F\u092F\u093E\
+      \ \u0925\u093E?"
+  - input_choice_list:
+      A: "\u0939\u0930 \u0915\u0940\u092E\u0924 \u092A\u0930 \u0938\u0948\u0928\u094D\
+        \u092F \u0935\u0930\u094D\u091A\u0938\u094D\u0935 \u0915\u093E\u092F\u092E\
+        \ \u0930\u0916\u0928\u093E"
+      B: "\u0927\u093E\u0930\u094D\u092E\u093F\u0915 \u0938\u0902\u092A\u094D\u0930\
+        \u0926\u093E\u092F\u094B\u0902 \u0915\u0947 \u092C\u0940\u091A \u092C\u0922\
+        \u093C\u0924\u093E \u0924\u0928\u093E\u0935"
+      C: "\u0911\u091F\u094B\u092E\u0928 \u0938\u093E\u092E\u094D\u0930\u093E\u091C\
+        \u094D\u092F \u0915\u0947 \u092A\u0924\u0928 \u0915\u093E \u0915\u093E\u0930\
+        \u0923 \u092C\u0928\u0928\u0947 \u0935\u093E\u0932\u0947 \u0915\u093E\u0930\
+        \u0915"
+      D: "\u0907\u0938\u094D\u0932\u093E\u092E\u0940 \u0938\u093E\u092E\u094D\u0930\
+        \u093E\u091C\u094D\u092F\u094B\u0902 \u0915\u0947 \u092C\u0940\u091A \u0936\
+        \u093E\u0902\u0924\u093F \u0938\u094D\u0925\u093E\u092A\u0928\u093E \u0915\
+        \u0947 \u092A\u094D\u0930\u092F\u093E\u0938"
+    input_correct_responses:
+    - B
+    input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948\u0964 "\u0935\u093E\u0938\u094D\u0924\u0935\
+      \ \u092E\u0947\u0902, \u0926\u094B\u0928\u094B\u0902 \u092A\u094D\u0930\u0924\
+      \u093F\u0937\u094D\u0920\u093F\u0924 [\u0935\u093F\u0926\u094D\u0935\u093E\u0928\
+      \u094B\u0902] \u0915\u0947 \u092B\u0924\u0935\u0947 \u091C\u094B \u0924\u0930\
+      \u094D\u0915 \u0914\u0930 \u092A\u0930\u0902\u092A\u0930\u093E \u092A\u0930\
+      \ \u0938\u092E\u093E\u0928 \u0930\u0942\u092A \u0938\u0947 \u0905\u092A\u0928\
+      \u0940 \u0930\u093E\u092F \u0906\u0927\u093E\u0930\u093F\u0924 \u0915\u0930\u0924\
+      \u0947 \u0939\u0948\u0902 \u0914\u0930 \u0938\u0941\u0928\u094D\u0928\u0940\
+      \ \u0938\u092E\u0941\u0926\u093E\u092F \u0915\u0940 \u0938\u0930\u094D\u0935\
+      \u0938\u092E\u094D\u092E\u0924\u093F \u0907\u0938 \u092C\u093E\u0924 \u092A\u0930\
+      \ \u0938\u0939\u092E\u0924 \u0939\u0948 \u0915\u093F \u0926\u0941\u0937\u094D\
+      \u091F \u0928\u0935\u093E\u091A\u093E\u0930 \u0915\u0947 \u0935\u093F\u0928\u093E\
+      \u0936, \u0935\u093F\u0928\u093E\u0936 \u0914\u0930 \u0928\u093F\u0937\u094D\
+      \u0915\u093E\u0938\u0928 \u0915\u093E \u092A\u094D\u0930\u093E\u091A\u0940\u0928\
+      \ \u0926\u093E\u092F\u093F\u0924\u094D\u0935 \u0939\u092E\u093E\u0930\u0947\
+      \ \u092E\u0939\u093E\u0928 \u0915\u093E \u0909\u0926\u094D\u0926\u0947\u0936\
+      \u094D\u092F \u0939\u094B\u0928\u093E \u091A\u093E\u0939\u093F\u090F \u0906\u0915\
+      \u093E\u0902\u0915\u094D\u0937\u093E, "\u0927\u093E\u0930\u094D\u092E\u093F\
+      \u0915 \u0909\u0924\u094D\u0938\u093E\u0939 \u0932\u093E\u092D\u0915\u093E\u0930\
+      \u0940 \u0908\u0936\u094D\u0935\u0930 \u0915\u0947 \u0935\u093F\u0936\u094D\u0935\
+      \u093E\u0938 \u0915\u0940 \u091C\u0940\u0924 \u0939\u0948"; \u092B\u093F\
+      \u0930, \u092A\u0948\u0917\u0902\u092C\u0930 \u0915\u0947 \u0936\u092C\u094D\
+      \u0926\u094B\u0902 \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930 (\u0909\
+      \u0938 \u092A\u0930 \u0936\u093E\u0902\u0924\u093F \u0939\u094B!) "\u091C\
+      \u094B \u0915\u094B\u0908 \u092D\u0940 \u0939\u092E\u093E\u0930\u0947 \u0906\
+      \u0926\u0947\u0936 \u092E\u0947\u0902 \u092C\u0941\u0930\u0947 \u0928\u0935\u093E\
+      \u091A\u093E\u0930 \u0915\u093E \u092A\u0930\u093F\u091A\u092F \u0926\u0947\u0924\
+      \u093E \u0939\u0948 \u0909\u0938\u0947 \u0928\u093F\u0937\u094D\u0915\u093E\u0938\
+      \u093F\u0924 \u0915\u0930 \u0926\u093F\u092F\u093E \u091C\u093E\u0928\u093E\
+      \ \u091A\u093E\u0939\u093F\u090F" \u0914\u0930 "\u091C\u094B \u0915\
+      \u094B\u0908 \u092D\u0940 \u0910\u0938\u093E \u0915\u0930\u0924\u093E \u0939\
+      \u0948" \u0939\u092E\u093E\u0930\u0947 \u0906\u0926\u0947\u0936 \u0915\u0947\
+      \ \u0916\u093F\u0932\u093E\u092B \u0915\u0941\u091B \u092D\u0940 \u0928\u093F\
+      \u0937\u094D\u0915\u093E\u0938\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\
+      \u0928\u093E \u091A\u093E\u0939\u093F\u090F," \u0915\u093E\u0930\u094D\u0930\
+      \u0935\u093E\u0908 \u0906\u0935\u0936\u094D\u092F\u0915 \u0914\u0930 \u0905\u0924\
+      \u094D\u092F\u093E\u0935\u0936\u094D\u092F\u0915 \u0939\u094B \u0917\u0908 \u0939\
+      \u0948..." \u0913\u091F\u094B\u092E\u0928 \u0938\u0941\u0932\u094D\u0924\
+      \u093E\u0928 \u0938\u0947\u0932\u093F\u092E \u092A\u094D\u0930\u0925\u092E \u0915\
+      \u093E \u0938\u092B\u093C\u093E\u0935\u093F\u0926 \u0936\u093E\u0939 \u0907\u0938\
+      \u094D\u092E\u093E\u0907\u0932 \u092A\u094D\u0930\u0925\u092E \u0915\u094B \u092A\
+      \u0924\u094D\u0930, 1514 \u0938\u0947\u0932\u093F\u092E \u092A\u094D\u0930\u0925\
+      \u092E \u0915\u093E \u092A\u0924\u094D\u0930 \u0938\u094D\u092A\u0937\u094D\u091F\
+      \ \u0930\u0942\u092A \u0938\u0947 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\
+      \u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0915\u093E\
+      \ \u0909\u0926\u093E\u0939\u0930\u0923 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0938\u094D\u0925\u093E\u092A\u093F\u0924 \u0930\u093E\u091C\u094D\u092F\
+        \ \u0938\u0902\u0930\u091A\u0928\u093E \u0915\u0947 \u092A\u0924\u0928 \u0915\
+        \u0947 \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947 \u0935\u094D\u092F\
+        \u093E\u092A\u093E\u0930 \u092E\u093E\u0930\u094D\u0917\u094B\u0902 \u0915\
+        \u093E \u091F\u0942\u091F\u0928\u093E"
+      B: "\u092D\u094B\u091C\u0928 \u0915\u0940 \u0905\u0927\u093F\u0915 \u092A\u094D\
+        \u0930\u091A\u0941\u0930 \u0906\u092A\u0942\u0930\u094D\u0924\u093F \u0915\
+        \u0947 \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947 \u0935\u093F\u0936\
+        \u094D\u0935 \u0915\u0940 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\u093E\
+        \ \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F"
+      C: "\u0926\u0941\u0928\u093F\u092F\u093E \u092D\u0930 \u092E\u0947\u0902 \u091A\
+        \u0940\u0928\u0940 \u0914\u0930 \u092D\u093E\u0930\u0924\u0940\u092F \u0935\
+        \u093F\u0936\u094D\u0935\u093E\u0938 \u092A\u094D\u0930\u0923\u093E\u0932\u093F\
+        \u092F\u094B\u0902 \u0915\u093E \u092A\u094D\u0930\u0938\u093E\u0930"
+      D: "\u0938\u093E\u092E\u093E\u091C\u093F\u0915 \u0905\u0936\u093E\u0902\u0924\
+        \u093F \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F"
+    input_correct_responses:
+    - B
+    input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
+      \u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948\u0964 "[\u0935\u093F\u0936\u094D\u0935\
+      \ \u0915\u0947] \u0938\u092E\u093E\u091C\u094B\u0902 \u092E\u0947\u0902 \u0938\
+      \u0947 \u0915\u092E \u0938\u0947 \u0915\u092E \u090F\u0915 \u0915\u094B [\u0935\
+      \u0948\u0936\u094D\u0935\u093F\u0915 \u0906\u0927\u093F\u092A\u0924\u094D\u092F\
+      \ \u0939\u093E\u0938\u093F\u0932 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\
+      \u093F\u090F] \u0915\u093F\u0938\u0940 \u0924\u0930\u0939 \u0905\u092A\u0928\
+      \u0940 \u0909\u0924\u094D\u092A\u093E\u0926\u0915\u0924\u093E \u092E\u0947\u0902\
+      \ \u092D\u093E\u0930\u0940 \u0935\u0943\u0926\u094D\u0927\u093F \u0915\u0930\
+      \u0928\u0940 \u0939\u094B\u0917\u0940\u0964 \u0935\u0939 \u0915\u094D\u0935\u093E\
+      \u0902\u091F\u092E \u091B\u0932\u093E\u0902\u0917 \u0935\u093F\u092D\u093F\u0928\
+      \u094D\u0928 \u0935\u0948\u091C\u094D\u091E\u093E\u0928\u093F\u0915, \u0924\u0915\
+      \u0928\u0940\u0915\u0940, \u0915\u0943\u0937\u093F \u0914\u0930 \u0914\u0926\
+      \u094D\u092F\u094B\u0917\u093F\u0915 \u0915\u094D\u0930\u093E\u0902\u0924\u093F\
+      \u092F\u094B\u0902 \u0938\u0947 \u092A\u0939\u0932\u0947 \u0932\u0917\u093E\u0928\
+      \u0940 \u0939\u094B\u0917\u0940, \u091C\u093F\u0938 \u092A\u0930 \u0939\u092E\
+      \u093E\u0930\u0947 \u0915\u094D\u0935\u093E\u0902\u091F\u092E-\u091B\u0932\u093E\
+      \u0902\u0917 \u0915\u0947 \u092C\u093E\u0926 \u0915\u0940 \u0926\u0941\u0928\
+      \u093F\u092F\u093E \u0906\u0930\u093E\u092E \u0915\u0930 \u0930\u0939\u0940\
+      \ \u0939\u0948\u0964 \u092F\u0939 \u0915\u0947\u0935\u0932 \u091B\u0932\u093E\
+      \u0902\u0917 \u0932\u0917\u093E\u0928\u0947 \u0935\u093E\u0932\u0947 \u0938\u092E\
+      \u093E\u091C \u0915\u0940 \u092D\u0942\u092E\u093F \u0915\u0947 \u092C\u093E\
+      \u0939\u0930 \u092A\u0942\u0930\u0947 \u092E\u0939\u093E\u0926\u094D\u0935\u0940\
+      \u092A\u094B\u0902 \u0915\u0947 \u092A\u093E\u0930\u093F\u0938\u094D\u0925\u093F\
+      \u0924\u093F\u0915 \u0924\u0902\u0924\u094D\u0930, \u0916\u0928\u093F\u091C\
+      \ \u0938\u0902\u0938\u093E\u0927\u0928\u094B\u0902 \u0914\u0930 \u092E\u093E\
+      \u0928\u0935 \u0938\u0902\u092A\u0924\u094D\u0924\u093F\u092F\u094B\u0902 \u0915\
+      \u093E \u0936\u094B\u0937\u0923 \u0915\u0930\u0915\u0947 \u092A\u0942\u0930\u093E\
+      \ \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\u0948\
+      \u0964 \u092A\u0936\u094D\u091A\u093F\u092E\u0940 \u092F\u0942\u0930\u094B\u092A\
+      \ \u0928\u0947 \u0905\u092A\u0928\u0940 \u0915\u094D\u0930\u0942\u0930\u0924\
+      \u093E \u0914\u0930 \u092C\u0902\u0926\u0942\u0915\u094B\u0902 \u0915\u0947\
+      \ \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947 \u0910\u0938\u093E \u0939\
+      \u0940 \u0915\u093F\u092F\u093E \u0914\u0930 , \u092D\u094C\u0917\u094B\u0932\
+      \u093F\u0915 \u0914\u0930 \u092A\u093E\u0930\u093F\u0938\u094D\u0925\u093F\u0924\
+      \u093F\u0915 \u092D\u093E\u0917\u094D\u092F \u0938\u0947 \u0905\u0927\u093F\u0915\
+      \ \u092E\u0939\u0924\u094D\u0935\u092A\u0942\u0930\u094D\u0923 \u0939\u0948\u0964\
+      " \u0915\u0949\u092A\u0940\u0930\u093E\u0907\u091F \xA9 2015 \u0915\u0948\
+      \u092E\u094D\u092C\u094D\u0930\u093F\u091C \u092F\u0942\u0928\u093F\u0935\u0930\
+      \u094D\u0938\u093F\u091F\u0940 \u092A\u094D\u0930\u0947\u0938\u0964 \u0905\u0932\
+      \u094D\u092B\u094D\u0930\u0947\u0921 \u0915\u094D\u0930\u0949\u0938\u094D\u092C\
+      \u0940, \u0907\u0924\u093F\u0939\u093E\u0938\u0915\u093E\u0930, \u092A\u093E\
+      \u0930\u093F\u0938\u094D\u0925\u093F\u0924\u093F\u0915 \u0938\u093E\u092E\u094D\
+      \u0930\u093E\u091C\u094D\u092F\u0935\u093E\u0926, 2004 \u092A\u0930\u093F\u091A\
+      \u094D\u091B\u0947\u0926 \u092E\u0947\u0902 \u0909\u0932\u094D\u0932\u093F\u0916\
+      \u093F\u0924 "\u0915\u094D\u0935\u093E\u0902\u091F\u092E \u091C\u0902\u092A\
+      " \u0928\u0947 1450-1750 \u0938\u0940\u0908 \u0915\u0940 \u0905\u0935\u0927\
+      \u093F \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
+      \u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u0935\u093F\u0915\
+      \u093E\u0938 \u092E\u0947\u0902 \u0938\u092C\u0938\u0947 \u0938\u0940\u0927\u0947\
+      \ \u092F\u094B\u0917\u0926\u093E\u0928 \u0926\u093F\u092F\u093E?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_high_school_world_history
+tag: mmlu_hi_llama_humanities_tasks
+task: mmlu_hi_llama_high_school_world_history
+task_alias: high_school_world_history

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_human_aging.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u090F\u0915 \u090F\u0936\u093F\u092F\u093E\u0908 \u092A\u0941\u0930\u0941\
+        \u0937 \u092F\u093E \u092E\u0939\u093F\u0932\u093E"
+      B: "\u090F\u0915 \u0939\u093F\u0938\u094D\u092A\u0948\u0928\u093F\u0915 \u0906\
+        \u0926\u092E\u0940"
+      C: "\u090F\u0915 \u0905\u092B\u093C\u094D\u0930\u0940\u0915\u0940 \u0905\u092E\
+        \u0947\u0930\u093F\u0915\u0940 \u092E\u0939\u093F\u0932\u093E"
+      D: "\u090F\u0915 \u0936\u094D\u0935\u0947\u0924 \u092A\u0941\u0930\u0941\u0937\
+        \ \u092F\u093E \u092E\u0939\u093F\u0932\u093E"
+    input_correct_responses:
+    - C
+    input_question: "2019 \u0924\u0915 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\
+      \u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u0935\u094D\
+      \u092F\u0915\u094D\u0924\u093F \u0915\u0947 \u0918\u0930 \u092A\u0930 \u0905\
+      \u0915\u0947\u0932\u0947 \u0930\u0939\u0928\u0947 \u0915\u0940 \u0905\u0927\u093F\
+      \u0915 \u0938\u0902\u092D\u093E\u0935\u0928\u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0915\u093F\u0936\u094B\u0930\u093E\u0935\u0938\u094D\u0925\u093E \u0915\
+        \u093E \u0932\u093E\u092D"
+      B: "\u0938\u094D\u092E\u0943\u0924\u093F \u0909\u092D\u093E\u0930"
+      C: "\u0938\u094D\u092E\u093E\u0930\u0915 \u0938\u094D\u092E\u093E\u0930\u0915"
+      D: "\u0926\u094D\u0935\u093F\u0918\u093E\u0924 \u092A\u0941\u0928\u0930\u094D\
+        \u092A\u094D\u0930\u093E\u092A\u094D\u0924\u093F \u0938\u094D\u092A\u093E\u0907\
+        \u0915"
+    input_correct_responses:
+    - B
+    input_question: "\u092F\u0939 \u0928\u093F\u0937\u094D\u0915\u0930\u094D\u0937\
+      \ \u0915\u093F \u0935\u092F\u0938\u094D\u0915 \u0905\u092A\u0928\u0947 \u0915\
+      \u093F\u0936\u094B\u0930\u093E\u0935\u0938\u094D\u0925\u093E \u0915\u0940 \u0918\
+      \u091F\u0928\u093E\u0913\u0902 \u0915\u094B \u0905\u092A\u0928\u0947 \u091C\u0940\
+      \u0935\u0928 \u0915\u0947 \u0905\u0928\u094D\u092F \u0905\u0935\u0927\u093F\u092F\
+      \u094B\u0902 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902\
+      \ \u092C\u0947\u0939\u0924\u0930 \u0922\u0902\u0917 \u0938\u0947 \u092F\u093E\
+      \u0926 \u0930\u0916\u0924\u0947 \u0939\u0948\u0902, \u0915\u0939\u0932\u093E\
+      \u0924\u0940 \u0939\u0948"
+  - input_choice_list:
+      A: "\u091F\u0947\u0915\u094D\u0938\u093E\u0938"
+      B: "\u0915\u0948\u0932\u093F\u092B\u094B\u0930\u094D\u0928\u093F\u092F\u093E"
+      C: "\u0939\u0935\u093E\u0908"
+      D: "\u0935\u0930\u092E\u094B\u0902\u091F"
+    input_correct_responses:
+    - A
+    input_question: "\u091C\u092C \u0935\u0943\u0926\u094D\u0927 \u0935\u092F\u0938\
+      \u094D\u0915 \u0938\u0947\u0935\u093E\u0928\u093F\u0935\u0943\u0924\u094D\u0924\
+      \u093F \u0915\u0947 \u092C\u093E\u0926 \u0915\u093F\u0938\u0940 \u0928\u090F\
+      \ \u0930\u093E\u091C\u094D\u092F \u092E\u0947\u0902 \u091A\u0932\u0947 \u091C\
+      \u093E\u0924\u0947 \u0939\u0948\u0902, \u0924\u094B \u0928\u093F\u092E\u094D\
+      \u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\
+      \u0928 \u0938\u093E \u0917\u0902\u0924\u0935\u094D\u092F \u0905\u0927\u093F\u0915\
+      \ \u0938\u0902\u092D\u093E\u0935\u093F\u0924 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0928\u093F\u0915\u094B\u091F\u0940\u0928"
+      B: "\u091F\u093E\u0930"
+      C: "\u0915\u093E\u0930\u094D\u092C\u0928 \u092E\u094B\u0928\u094B\u0906\u0915\
+        \u094D\u0938\u093E\u0907\u0921"
+      D: "\u0927\u0941\u090F\u0901 \u0915\u0947 \u0915\u0923"
+    input_correct_responses:
+    - B
+    input_question: "\u0924\u092E\u094D\u092C\u093E\u0915\u0942 \u0915\u0947 \u0927\
+      \u0941\u090F\u0902 \u092E\u0947\u0902 \u0915\u094C\u0928 \u0938\u093E \u0924\
+      \u0924\u094D\u0935 \u0915\u0948\u0902\u0938\u0930 \u0915\u0947 \u0932\u093F\u090F\
+      \ \u091C\u093F\u092E\u094D\u092E\u0947\u0926\u093E\u0930 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u090F\u0915 \u0935\u0943\u0926\u094D\u0927 \u0939\u093F\u0938\u094D\u092A\
+        \u0948\u0928\u093F\u0915 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u092E\
+        \u0939\u093F\u0932\u093E"
+      B: "\u090F\u0915 \u0935\u0943\u0926\u094D\u0927 \u0905\u092B\u093C\u094D\u0930\
+        \u0940\u0915\u0940 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u092E\u0939\
+        \u093F\u0932\u093E"
+      C: "\u090F\u0915 \u0935\u0943\u0926\u094D\u0927 \u090F\u0936\u093F\u092F\u093E\
+        \u0908 \u0905\u092E\u0947\u0930\u093F\u0915\u0940 \u092E\u0939\u093F\u0932\
+        \u093E"
+      D: "\u090F\u0915 \u0935\u0943\u0926\u094D\u0927 \u092E\u0942\u0932 \u0905\u092E\
+        \u0947\u0930\u093F\u0915\u0940 \u092E\u0939\u093F\u0932\u093E"
+    input_correct_responses:
+    - C
+    input_question: "\u0905\u0928\u094D\u092F \u0938\u092D\u0940 \u092C\u093E\u0924\
+      \u0947\u0902 \u0938\u092E\u093E\u0928 \u0939\u094B\u0928\u0947 \u092A\u0930\
+      , \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902\
+      \ \u0938\u0947 \u0915\u093F\u0938 \u0935\u094D\u092F\u0915\u094D\u0924\u093F\
+      \ \u092E\u0947\u0902 \u0911\u0938\u094D\u091F\u093F\u092F\u094B\u092A\u094B\u0930\
+      \u094B\u0938\u093F\u0938 \u0939\u094B\u0928\u0947 \u0915\u0940 \u0905\u0927\u093F\
+      \u0915 \u0938\u0902\u092D\u093E\u0935\u0928\u093E \u0939\u0948?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_aging
+tag: mmlu_hi_llama_other_tasks
+task: mmlu_hi_llama_human_aging
+task_alias: human_aging

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_human_sexuality.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u092A\u0939\u0932\u0940 \u0924\u093F\u092E\u093E\u0939\u0940 \u0915\u0947\
+        \ \u0926\u094C\u0930\u093E\u0928"
+      B: "\u0926\u0942\u0938\u0930\u0940 \u0924\u093F\u092E\u093E\u0939\u0940 \u0915\
+        \u0947 \u0926\u094C\u0930\u093E\u0928"
+      C: "\u0924\u0940\u0938\u0930\u0940 \u0924\u093F\u092E\u093E\u0939\u0940 \u0915\
+        \u0947 \u0926\u094C\u0930\u093E\u0928"
+      D: "\u092A\u0942\u0930\u0940 \u0917\u0930\u094D\u092D\u093E\u0935\u0938\u094D\
+        \u0925\u093E \u0915\u0947 \u0926\u094C\u0930\u093E\u0928"
+    input_correct_responses:
+    - A
+    input_question: "\u092E\u0949\u0930\u094D\u0928\u093F\u0902\u0917 \u0938\u093F\
+      \u0915\u0928\u0947\u0938 \u0906\u092E \u0924\u094C\u0930 \u092A\u0930 \u090F\
+      \u0915 \u0938\u092E\u0938\u094D\u092F\u093E \u0939\u0948:"
+  - input_choice_list:
+      A: "\u090F\u0915 \u092E\u091C\u092C\u0942\u0924 \u0905\u0939\u0902\u0915\u093E\
+        \u0930"
+      B: "\u090F\u0915 \u0915\u092E\u091C\u094B\u0930 \u0938\u0941\u092A\u0930\u0907\
+        \u0917\u094B"
+      C: "\u090F\u0915 \u0915\u092E\u091C\u094B\u0930 \u0906\u0908\u0921\u0940"
+      D: "\u090F\u0915 \u092E\u091C\u092C\u0942\u0924 \u0938\u0941\u092A\u0930\u0907\
+        \u0917\u094B"
+    input_correct_responses:
+    - B
+    input_question: "\u090F\u0915 \u092E\u0939\u093F\u0932\u093E \u091C\u094B \u091C\
+      \u093E\u0928\u0924\u0940 \u0939\u0948 \u0915\u093F \u0909\u0938\u0947 \u0938\
+      \u0915\u094D\u0930\u093F\u092F \u0939\u0930\u094D\u092A\u0940\u0938 \u0914\u0930\
+      \ \u0905\u0928\u0941\u092A\u091A\u093E\u0930\u093F\u0924 \u0938\u093F\u092B\u0932\
+      \u093F\u0938 \u0939\u0948, \u0932\u0947\u0915\u093F\u0928 \u0935\u0939 \u0905\
+      \u092A\u0928\u0947 \u0938\u093E\u0925\u0940 \u0915\u094B \u0905\u092A\u0928\u0940\
+      \ \u0938\u094D\u0925\u093F\u0924\u093F \u0915\u0947 \u092C\u093E\u0930\u0947\
+      \ \u092E\u0947\u0902 \u092C\u0924\u093E\u090F \u092C\u093F\u0928\u093E \u092F\
+      \u094C\u0928 \u0938\u0902\u092C\u0902\u0927 \u092C\u0928\u093E\u0928\u093E \u091C\
+      \u093E\u0930\u0940 \u0930\u0916\u0924\u0940 \u0939\u0948, \u0924\u094B \u092E\
+      \u0928\u094B\u0935\u093F\u0936\u094D\u0932\u0947\u0937\u0923\u093E\u0924\u094D\
+      \u092E\u0915 \u0936\u092C\u094D\u0926\u094B\u0902 \u092E\u0947\u0902:"
+  - input_choice_list:
+      A: "\u0924\u0925\u094D\u092F \u092F\u0939 \u0939\u0948 \u0915\u093F \u0909\u0928\
+        \u0915\u0947 \u092A\u093E\u0938 \u0926\u0941\u0930\u094D\u0926\u092E\u094D\
+        \u092F \u0905\u0935\u0927\u093F \u0928\u0939\u0940\u0902 \u0939\u0948\u0964"
+      B: "\u092F\u094B\u0928\u093F \u0915\u0940 \u0906\u0902\u0924\u0930\u093F\u0915\
+        \ \u092A\u0930\u0924\u094B\u0902 \u0915\u0940 \u092A\u094D\u0930\u0924\u093F\
+        \u0915\u094D\u0930\u093F\u092F\u093E\u0964"
+      C: "\u0935\u093F\u092D\u093F\u0928\u094D\u0928 \u0938\u094D\u0925\u093E\u0928\
+        \u094B\u0902 \u092A\u0930 \u092C\u093E\u0930\u0940-\u092C\u093E\u0930\u0940\
+        \ \u0938\u0947 \u0915\u093E\u092E\u094B\u0928\u094D\u092E\u093E\u0926 \u0939\
+        \u094B\u0928\u093E\u0964"
+      D: "\u091C\u0940-\u0938\u094D\u092A\u0949\u091F."
+    input_correct_responses:
+    - A
+    input_question: "\u092E\u0939\u093F\u0932\u093E\u0913\u0902 \u092E\u0947\u0902\
+      \ \u090F\u0915\u093E\u0927\u093F\u0915 \u0913\u0930\u094D\u0917\u093E\u0938\u094D\
+      \u092E \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0928\u0947 \u0915\
+      \u0940 \u0915\u094D\u0937\u092E\u0924\u093E \u092E\u0941\u0916\u094D\u092F \u0930\
+      \u0942\u092A \u0938\u0947 \u0928\u093F\u092E\u094D\u0928 \u0915\u093E\u0930\u0923\
+      \u094B\u0902 \u0938\u0947 \u0939\u094B\u0924\u0940 \u0939\u0948:"
+  - input_choice_list:
+      A: "\u0938\u0902\u092D\u094B\u0917"
+      B: "\u0938\u0930\u094D\u0915\u0932 \u091D\u091F\u0915\u0947"
+      C: "\u0928\u0941\u092E\u093E\u0907\u0936\u092C\u093E\u091C\u0940"
+      D: "\u090F\u0915 \u0926\u0942\u0938\u0930\u0947 \u0915\u0947 \u0917\u0941\u092A\
+        \u094D\u0924\u093E\u0902\u0917\u094B\u0902 \u0915\u094B \u091B\u0942\u0928\
+        \u093E"
+    input_correct_responses:
+    - A
+    input_question: "\u0915\u093F\u0936\u094B\u0930\u093E\u0935\u0938\u094D\u0925\u093E\
+      \ \u0915\u0947 \u0926\u094C\u0930\u093E\u0928 \u0939\u094B\u0928\u0947 \u0935\
+      \u093E\u0932\u0940 \u0938\u092E\u0932\u0948\u0902\u0917\u093F\u0915 \u0917\u0924\
+      \u093F\u0935\u093F\u0927\u093F\u092F\u094B\u0902 \u0915\u0940 \u092A\u094D\u0930\
+      \u0915\u0943\u0924\u093F \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\
+      \u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094D\u092F\u093E\
+      \ \u0936\u093E\u092E\u093F\u0932 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0936\u0940\u0918\u094D\u0930\u092A\u0924\u0928"
+      B: "\u0938\u094D\u0916\u0932\u0928 \u0915\u094B \u0930\u094B\u0915\u093E"
+      C: "\u0938\u094D\u0924\u0902\u092D\u0928 \u0935\u093F\u0915\u093E\u0930"
+      D: "\u0938\u094D\u0916\u0932\u0928 \u0938\u0902\u092C\u0902\u0927\u0940 \u0935\
+        \u093F\u0915\u093E\u0930"
+    input_correct_responses:
+    - C
+    input_question: "\u092F\u094C\u0928 \u0909\u092A\u091A\u093E\u0930 \u091A\u093E\
+      \u0939\u0928\u0947 \u0935\u093E\u0932\u0947 \u092A\u0941\u0930\u0941\u0937\u094B\
+      \u0902 \u092E\u0947\u0902 \u0938\u092C\u0938\u0947 \u0906\u092E \u0935\u093F\
+      \u0915\u093E\u0930 \u0939\u0948:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_human_sexuality
+tag: mmlu_hi_llama_social_sciences_tasks
+task: mmlu_hi_llama_human_sexuality
+task_alias: human_sexuality

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_international_law.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0905\u0928\u0941\u091A\u094D\u091B\u0947\u0926 2(4) \u092E\u0947\u0902\
+        \ \u0915\u0947\u0935\u0932 \u0938\u0936\u0938\u094D\u0924\u094D\u0930 \u092C\
+        \u0932 \u0936\u093E\u092E\u093F\u0932 \u0939\u0948"
+      B: "\u0905\u0928\u0941\u091A\u094D\u091B\u0947\u0926 2(4) \u092E\u0947\u0902\
+        \ \u092A\u094D\u0930\u0924\u093F\u092C\u0902\u0927\u094B\u0902 \u0938\u0939\
+        \u093F\u0924 \u0938\u092D\u0940 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\
+        \u0947 \u092C\u0932 \u0936\u093E\u092E\u093F\u0932 \u0939\u0948\u0902"
+      C: "\u0905\u0928\u0941\u091A\u094D\u091B\u0947\u0926 2(4) \u092E\u0947\u0902\
+        \ \u0930\u093E\u091C\u094D\u092F\u094B\u0902 \u0915\u0947 \u0918\u0930\u0947\
+        \u0932\u0942 \u092E\u093E\u092E\u0932\u094B\u0902 \u092E\u0947\u0902 \u0938\
+        \u092D\u0940 \u0939\u0938\u094D\u0924\u0915\u094D\u0937\u0947\u092A \u0936\
+        \u093E\u092E\u093F\u0932 \u0939\u0948\u0902"
+      D: "\u0905\u0928\u0941\u091A\u094D\u091B\u0947\u0926 2(4) \u092E\u0947\u0902\
+        \ \u0915\u0947\u0935\u0932 \u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u0915\
+        \u094D\u0937\u0947\u0924\u094D\u0930\u0940\u092F \u0905\u0916\u0902\u0921\u0924\
+        \u093E \u0915\u0947 \u0935\u093F\u0930\u0941\u0926\u094D\u0927 \u0928\u093F\
+        \u0930\u094D\u0926\u0947\u0936\u093F\u0924 \u092C\u0932 \u0936\u093E\u092E\
+        \u093F\u0932 \u0939\u0948"
+    input_correct_responses:
+    - A
+    input_question: "\u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0930\u093E\u0937\
+      \u094D\u091F\u094D\u0930 \u091A\u093E\u0930\u094D\u091F\u0930 \u0915\u093E \u0905\
+      \u0928\u0941\u091A\u094D\u091B\u0947\u0926 2(4) \u0915\u093F\u0938 \u092A\u094D\
+      \u0930\u0915\u093E\u0930 \u0915\u0947 \u092C\u0932 \u092A\u0930 \u092A\u094D\
+      \u0930\u0924\u093F\u092C\u0902\u0927 \u0932\u0917\u093E\u0924\u093E \u0939\u0948\
+      ?"
+  - input_choice_list:
+      A: "\u092F\u0926\u093F ICJ \u0915\u0947 \u0938\u092E\u0915\u094D\u0937 \u0915\
+        \u093F\u0938\u0940 \u0935\u093F\u0935\u093E\u0926\u093E\u0938\u094D\u092A\u0926\
+        \ \u092E\u093E\u092E\u0932\u0947 \u092E\u0947\u0902 \u0915\u093F\u0938\u0940\
+        \ \u092A\u0915\u094D\u0937 \u0915\u0947 \u092A\u093E\u0938 \u0928\u094D\u092F\
+        \u093E\u092F\u093E\u0927\u0940\u0936 \u0915\u0947 \u0930\u0942\u092A \u092E\
+        \u0947\u0902 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u092C\
+        \u0948\u0920\u0915 \u0928\u0939\u0940\u0902 \u0939\u0948, \u0924\u094B \u0935\
+        \u0939 \u0909\u0938 \u092E\u093E\u092E\u0932\u0947 \u0915\u0947 \u0932\u093F\
+        \u090F \u0915\u093F\u0938\u0940 \u0915\u094B \u0928\u094D\u092F\u093E\u092F\
+        \u093E\u0927\u0940\u0936 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902\
+        \ \u0928\u093E\u092E\u093E\u0902\u0915\u093F\u0924 \u0915\u0930\u0928\u0947\
+        \ \u0915\u093E \u0939\u0915\u0926\u093E\u0930 \u0939\u0948, \u0928\u094D\u092F\
+        \u093E\u092F\u093E\u0927\u0940\u0936 \u0924\u0926\u0930\u094D\u0925 \u0915\
+        \u0947 \u092A\u0926 \u0915\u0947 \u0938\u093E\u0925\u0964"
+      B: "\u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\u0936 \u0924\u0926\u0930\
+        \u094D\u0925 \u0928\u093F\u0930\u094D\u0923\u093E\u092F\u0915 \u092E\u0924\
+        \ \u0915\u0947 \u0938\u093E\u0925 ICJ \u0915\u0940 \u092A\u0940\u0920 \u0915\
+        \u0947 \u0938\u0926\u0938\u094D\u092F \u0939\u094B\u0924\u0947 \u0939\u0948\
+        \u0902"
+      C: "\u092F\u0926\u093F \u0915\u094B\u0908 \u0928\u094D\u092F\u093E\u092F\u093E\
+        \u0927\u0940\u0936 \u0905\u092F\u094B\u0917\u094D\u092F \u0939\u094B \u091C\
+        \u093E\u0924\u093E \u0939\u0948 \u092F\u093E \u0909\u0938\u0915\u0940 \u092E\
+        \u0943\u0924\u094D\u092F\u0941 \u0939\u094B \u091C\u093E\u0924\u0940 \u0939\
+        \u0948, \u0924\u094B \u0924\u0926\u0930\u094D\u0925 \u0928\u094D\u092F\u093E\
+        \u092F\u093E\u0927\u0940\u0936 \u090F\u0915 \u0938\u0930\u094B\u0917\u0947\
+        \u091F \u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\u0936 \u0939\u094B\
+        \u0924\u093E \u0939\u0948"
+      D: "\u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\u0936 \u0924\u0926\u0930\
+        \u094D\u0925 \u0935\u0939 \u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\
+        \u0936 \u0939\u094B\u0924\u093E \u0939\u0948 \u091C\u093F\u0938\u0947 \u092A\
+        \u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u092A\u0915\u094D\u0937 \u0939\
+        \u092E\u0947\u0936\u093E \u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915\
+        \ \u0935\u093F\u0935\u093E\u0926\u093E\u0938\u094D\u092A\u0926 \u092E\u093E\
+        \u092E\u0932\u0947 \u092E\u0947\u0902 \u0928\u093E\u092E\u093F\u0924 \u0915\
+        \u0930\u0947\u0917\u093E"
+    input_correct_responses:
+    - A
+    input_question: "\u0928\u094D\u092F\u093E\u092F\u093E\u0927\u0940\u0936 \u0924\
+      \u0926\u0930\u094D\u0925 \u0915\u094D\u092F\u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u092F\u0939 \u090F\u0915 \u0938\u094D\u0935\u0940\u0915\u093E\u0930\u094D\
+        \u092F \u0906\u0930\u0915\u094D\u0937\u0923 \u0939\u0948 \u092F\u0926\u093F\
+        \ \u0906\u0930\u0915\u094D\u0937\u0923 \u0915\u0930\u0928\u0947 \u0935\u093E\
+        \u0932\u0947 \u0926\u0947\u0936 \u0915\u093E \u0915\u093E\u0928\u0942\u0928\
+        \ \u090F\u0915 \u0905\u0932\u0917 \u092A\u0930\u093F\u092D\u093E\u0937\u093E\
+        \ \u0932\u093E\u0917\u0942 \u0915\u0930\u0924\u093E \u0939\u0948"
+      B: "\u092F\u0939 \u090F\u0915 \u0905\u0938\u094D\u0935\u0940\u0915\u093E\u0930\
+        \u094D\u092F \u0906\u0930\u0915\u094D\u0937\u0923 \u0939\u0948 \u0915\u094D\
+        \u092F\u094B\u0902\u0915\u093F \u092F\u0939 ICCPR \u0915\u0947 \u0909\u0926\
+        \u094D\u0926\u0947\u0936\u094D\u092F \u0914\u0930 \u0909\u0926\u094D\u0926\
+        \u0947\u0936\u094D\u092F \u0915\u093E \u0909\u0932\u094D\u0932\u0902\u0918\
+        \u0928 \u0915\u0930\u0924\u093E \u0939\u0948"
+      C: "\u092F\u0939 \u090F\u0915 \u0905\u0938\u094D\u0935\u0940\u0915\u093E\u0930\
+        \u094D\u092F \u0906\u0930\u0915\u094D\u0937\u0923 \u0939\u0948 \u0915\u094D\
+        \u092F\u094B\u0902\u0915\u093F \u0906\u0908\u0938\u0940\u0938\u0940\u092A\u0940\
+        \u0906\u0930 \u092E\u0947\u0902 \u092F\u093E\u0924\u0928\u093E \u0915\u0940\
+        \ \u092A\u0930\u093F\u092D\u093E\u0937\u093E \u092A\u094D\u0930\u0925\u093E\
+        \u0917\u0924 \u0905\u0902\u0924\u0930\u0930\u093E\u0937\u094D\u091F\u094D\u0930\
+        \u0940\u092F \u0915\u093E\u0928\u0942\u0928 \u0915\u0947 \u0905\u0928\u0941\
+        \u0930\u0942\u092A \u0939\u0948"
+      D: "\u092F\u0939 \u090F\u0915 \u0938\u094D\u0935\u0940\u0915\u093E\u0930\u094D\
+        \u092F \u0906\u0930\u0915\u094D\u0937\u0923 \u0939\u0948 \u0915\u094D\u092F\
+        \u094B\u0902\u0915\u093F \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0905\
+        \u0902\u0924\u0930\u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u0915\
+        \u093E\u0928\u0942\u0928 \u0915\u0947 \u0924\u0939\u0924 \u0930\u093E\u091C\
+        \u094D\u092F\u094B\u0902 \u0915\u094B \u0938\u0902\u0927\u093F\u092F\u094B\
+        \u0902 \u092E\u0947\u0902 \u0906\u0930\u0915\u094D\u0937\u0923 \u0926\u0930\
+        \u094D\u091C \u0915\u0930\u0928\u0947 \u0915\u093E \u0905\u0927\u093F\u0915\
+        \u093E\u0930 \u0939\u0948"
+    input_correct_responses:
+    - B
+    input_question: "\u0915\u094D\u092F\u093E \u0906\u0908\u0938\u0940\u0938\u0940\
+      \u092A\u0940\u0906\u0930 \u092E\u0947\u0902 \u092F\u093E\u0924\u0928\u093E \u0915\
+      \u0940 \u092A\u0930\u093F\u092D\u093E\u0937\u093E \u092E\u0947\u0902 \u0906\u0930\
+      \u0915\u094D\u0937\u0923 \u0938\u092E\u0915\u093E\u0932\u0940\u0928 \u0935\u094D\
+      \u092F\u0935\u0939\u093E\u0930 \u092E\u0947\u0902 \u0938\u094D\u0935\u0940\u0915\
+      \u093E\u0930\u094D\u092F \u0939\u094B\u0917\u093E?"
+  - input_choice_list:
+      A: "\u091C\u092C \u092D\u0940 \u0938\u0939\u092E\u0924\u093F \u0926\u0940 \u091C\
+        \u093E\u0924\u0940 \u0939\u0948 \u0924\u094B \u0935\u0939 \u0917\u093C\u0932\
+        \u0924\u0940 \u0915\u094B \u0930\u094B\u0915\u0928\u0947 \u0935\u093E\u0932\
+        \u0940 \u092A\u0930\u093F\u0938\u094D\u0925\u093F\u0924\u093F \u0915\u0947\
+        \ \u0930\u0942\u092A \u092E\u0947\u0902 \u0915\u093E\u092E \u0915\u0930 \u0938\
+        \u0915\u0924\u0940 \u0939\u0948"
+      B: "\u0938\u0939\u092E\u0924\u093F \u0915\u092D\u0940 \u092D\u0940 \u0917\u093C\
+        \u0932\u0924\u0940 \u0915\u094B \u0930\u094B\u0915\u0928\u0947 \u0935\u093E\
+        \u0932\u0940 \u092A\u0930\u093F\u0938\u094D\u0925\u093F\u0924\u093F \u0915\
+        \u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0915\u093E\u092E \u0928\u0939\
+        \u0940\u0902 \u0915\u0930 \u0938\u0915\u0924\u0940"
+      C: "\u0938\u0939\u092E\u0924\u093F \u0917\u093C\u0932\u0924\u0940 \u0915\u094B\
+        \ \u0930\u094B\u0915\u0928\u0947 \u0935\u093E\u0932\u0940 \u092A\u0930\u093F\
+        \u0938\u094D\u0925\u093F\u0924\u093F \u0915\u0947 \u0930\u0942\u092A \u092E\
+        \u0947\u0902 \u0915\u093E\u092E \u0915\u0930 \u0938\u0915\u0924\u0940 \u0939\
+        \u0948, \u092C\u0936\u0930\u094D\u0924\u0947 \u0938\u0939\u092E\u0924\u093F\
+        \ \u0935\u0948\u0927 \u0939\u094B \u0914\u0930 \u0907\u0938 \u0939\u0926 \u0924\
+        \u0915 \u0915\u093F \u0906\u091A\u0930\u0923 \u0926\u0940 \u0917\u0908 \u0938\
+        \u0939\u092E\u0924\u093F \u0915\u0940 \u0938\u0940\u092E\u093E \u0915\u0947\
+        \ \u092D\u0940\u0924\u0930 \u0930\u0939\u0947\u0964"
+      D: "\u0938\u0939\u092E\u0924\u093F \u0939\u092E\u0947\u0936\u093E \u0917\u093C\
+        \u0932\u0924\u0940 \u0915\u094B \u0930\u094B\u0915\u0928\u0947 \u0935\u093E\
+        \u0932\u0940 \u092A\u0930\u093F\u0938\u094D\u0925\u093F\u0924\u093F \u0915\
+        \u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0915\u093E\u092E \u0915\u0930\
+        \ \u0938\u0915\u0924\u0940 \u0939\u0948, \u091A\u093E\u0939\u0947 \u0930\u093E\
+        \u091C\u094D\u092F \u0915\u093E \u0915\u094B\u0908 \u092D\u0940 \u0905\u0902\
+        \u0917 \u0907\u0938\u0947 \u0926\u0947"
+    input_correct_responses:
+    - C
+    input_question: "\u0915\u092C '\u0938\u0939\u092E\u0924\u093F' \u0915\u093F\
+      \u0938\u0940 \u0930\u093E\u091C\u094D\u092F \u0915\u0947 \u0906\u091A\u0930\u0923\
+      \ \u0915\u0940 \u0917\u0932\u0924\u0924\u093E \u0915\u094B \u0930\u094B\u0915\
+      \u0928\u0947 \u0935\u093E\u0932\u0940 \u092A\u0930\u093F\u0938\u094D\u0925\u093F\
+      \u0924\u093F \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0915\u093E\
+      \u092E \u0915\u0930 \u0938\u0915\u0924\u0940 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0915\u093F\u0938\u0940 \u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u092C\
+        \u093E\u0927\u094D\u092F\u0924\u093E \u0915\u0940 \u0938\u0939\u092E\u0924\
+        \u093F \u0915\u0947\u0935\u0932 \u0905\u0928\u0941\u0938\u092E\u0930\u094D\
+        \u0925\u0928 \u0926\u094D\u0935\u093E\u0930\u093E \u0935\u094D\u092F\u0915\
+        \u094D\u0924 \u0915\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948"
+      B: "\u0915\u093F\u0938\u0940 \u0938\u0902\u0927\u093F \u0938\u0947 \u092C\u0902\
+        \u0927\u0947 \u0930\u0939\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0930\
+        \u093E\u091C\u094D\u092F \u0915\u0940 \u0938\u0939\u092E\u0924\u093F \u0939\
+        \u0938\u094D\u0924\u093E\u0915\u094D\u0937\u0930, \u0905\u0928\u0941\u0938\
+        \u092E\u0930\u094D\u0925\u0928, \u0938\u094D\u0935\u0940\u0915\u0943\u0924\
+        \u093F, \u0905\u0928\u0941\u092E\u094B\u0926\u0928 \u092F\u093E \u092A\u0930\
+        \u093F\u0917\u094D\u0930\u0939\u0923 \u0926\u094D\u0935\u093E\u0930\u093E\
+        \ \u0935\u094D\u092F\u0915\u094D\u0924 \u0915\u0940 \u091C\u093E \u0938\u0915\
+        \u0924\u0940 \u0939\u0948"
+      C: "\u092C\u093E\u0927\u094D\u092F \u0939\u094B\u0928\u0947 \u0915\u0947 \u0932\
+        \u093F\u090F \u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u0938\u0939\u092E\
+        \u0924\u093F \u0939\u0938\u094D\u0924\u093E\u0915\u094D\u0937\u0930 \u0926\
+        \u094D\u0935\u093E\u0930\u093E \u0935\u094D\u092F\u0915\u094D\u0924 \u0915\
+        \u0940 \u091C\u093E\u0924\u0940 \u0939\u0948"
+      D: "\u092C\u093E\u0927\u094D\u092F \u0939\u094B\u0928\u0947 \u0915\u0947 \u0932\
+        \u093F\u090F \u0930\u093E\u091C\u094D\u092F \u0915\u0940 \u0938\u0939\u092E\
+        \u0924\u093F \u0909\u0928\u0915\u0947 \u0926\u094D\u0935\u093E\u0930\u093E\
+        \ \u091A\u0941\u0928\u0947 \u0917\u090F \u0915\u093F\u0938\u0940 \u092D\u0940\
+        \ \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947 \u0935\u094D\u092F\u0915\
+        \u094D\u0924 \u0915\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948"
+    input_correct_responses:
+    - B
+    input_question: "\u0915\u093F\u0938\u0940 \u0930\u093E\u091C\u094D\u092F \u0938\
+      \u0947 \u092C\u0902\u0927\u0947 \u0930\u0939\u0928\u0947 \u0915\u0940 \u0938\
+      \u0939\u092E\u0924\u093F \u0915\u0948\u0938\u0947 \u0935\u094D\u092F\u0915\u094D\
+      \u0924 \u0915\u0940 \u091C\u093E \u0938\u0915\u0924\u0940 \u0939\u0948?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_international_law
+tag: mmlu_hi_llama_humanities_tasks
+task: mmlu_hi_llama_international_law
+task_alias: international_law

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_jurisprudence.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u092A\u0940\u0913\u092A\u0940 \u0938\u094D\u0935\u0924\u0902\u0924\u094D\
+        \u0930\u0924\u093E \u0938\u0947 \u090A\u092A\u0930 \u0938\u092E\u093E\u0928\
+        \u0924\u093E \u0915\u094B \u091A\u0941\u0928\u0947\u0917\u0940\u0964"
+      B: "\u092A\u0940\u0913\u092A\u0940 '\u0905\u0927\u093F\u0915\u0924\u092E\
+        ' \u0930\u0923\u0928\u0940\u0924\u093F \u0915\u093E \u0935\u093F\u0915\
+        \u0932\u094D\u092A \u091A\u0941\u0928\u0947\u0917\u093E\u0964"
+      C: "\u092A\u0940\u0913\u092A\u0940 '\u0905\u0902\u0924\u0930 \u0938\u093F\
+        \u0926\u094D\u0927\u093E\u0902\u0924' \u0915\u093E \u0935\u093F\u0915\u0932\
+        \u094D\u092A \u091A\u0941\u0928\u0947\u0917\u093E\u0964"
+      D: "\u092A\u0940\u0913\u092A\u0940 '\u092A\u094D\u0930\u093E\u0915\u0943\
+        \u0924\u093F\u0915 \u0938\u094D\u0935\u0924\u0902\u0924\u094D\u0930\u0924\u093E\
+        \ \u0915\u0940 \u0935\u094D\u092F\u0935\u0938\u094D\u0925\u093E' \u0915\
+        \u094B \u0905\u0938\u094D\u0935\u0940\u0915\u093E\u0930 \u0915\u0930 \u0926\
+        \u0947\u0917\u093E\u0964"
+    input_correct_responses:
+    - A
+    input_question: "\u0930\u0949\u0932\u094D\u0938 \u0915\u093E \u0926\u093E\u0935\
+      \u093E \u0939\u0948 \u0915\u093F \u092A\u0940\u0913\u092A\u0940 (\u092E\u0942\
+      \u0932 \u092A\u0926 \u092A\u0930 \u092E\u094C\u091C\u0942\u0926 \u0932\u094B\
+      \u0917\u094B\u0902) \u0926\u094D\u0935\u093E\u0930\u093E \u0915\u093F\u0938\
+      \ \u092A\u0926 \u0915\u094B \u0905\u092A\u0928\u093E\u0928\u0947 \u0915\u0940\
+      \ \u0938\u092C\u0938\u0947 \u0915\u092E \u0938\u0902\u092D\u093E\u0935\u0928\
+      \u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0935\u094D\u092F\u0915\u094D\u0924\u093F\u0917\u0924 \u0938\u094D\u0935\
+        \u0924\u0902\u0924\u094D\u0930\u0924\u093E \u0915\u094B \u0905\u0927\u093F\
+        \u0915\u0924\u092E \u0915\u0930\u0928\u093E"
+      B: "\u0938\u092E\u091D\u094C\u0924\u0947 \u0915\u0947 \u0932\u093F\u090F \u0906\
+        \u0927\u093E\u0930 \u092A\u094D\u0930\u0926\u093E\u0928 \u0915\u0930\u0928\
+        \u093E"
+      C: "\u0936\u093E\u0902\u0924\u093F \u092C\u0928\u093E\u090F \u0930\u0916\u0928\
+        \u093E"
+      D: "\u092E\u0941\u0915\u094D\u0924 \u0909\u0926\u094D\u092F\u092E \u092A\u094D\
+        \u0930\u0923\u093E\u0932\u0940 \u0915\u0947 \u0938\u093F\u0926\u094D\u0927\
+        \u093E\u0902\u0924\u094B\u0902 \u0915\u094B \u092C\u0922\u093C\u093E\u0935\
+        \u093E \u0926\u0947\u0928\u093E"
+    input_correct_responses:
+    - D
+    input_question: "\u0915\u093E\u0928\u0942\u0928 \u0915\u0947 \u0915\u093E\u0930\
+      \u094D\u092F\u094B\u0902 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\
+      \u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0947\
+      \ \u091B\u094B\u0921\u093C\u0915\u0930 \u0938\u092D\u0940 \u0936\u093E\u092E\
+      \u093F\u0932 \u0939\u0948\u0902?"
+  - input_choice_list:
+      A: "\u0905\u0927\u093F\u0915\u093E\u0930\u0964"
+      B: "\u0915\u0930\u093F\u0936\u094D\u092E\u093E."
+      C: "\u0938\u0939\u092F\u094B\u0917\u0964"
+      D: "\u092A\u0942\u0902\u091C\u0940\u0935\u093E\u0926."
+    input_correct_responses:
+    - D
+    input_question: "\u0914\u092A\u091A\u093E\u0930\u093F\u0915 \u0930\u0942\u092A\
+      \ \u0938\u0947 \u0924\u0930\u094D\u0915\u0938\u0902\u0917\u0924 \u0915\u093E\
+      \u0928\u0942\u0928 \u0915\u0947 \u0935\u093F\u0915\u093E\u0938 \u0915\u0947\
+      \ \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0935\u0947\u092C\u0930 \u0915\
+      \u0940 \u0935\u094D\u092F\u093E\u0916\u094D\u092F\u093E \u0915\u094B \u0915\u094C\
+      \u0928 \u0938\u093E \u0936\u092C\u094D\u0926 \u0938\u092C\u0938\u0947 \u0905\
+      \u091A\u094D\u091B\u093E \u0938\u093E\u0930\u093E\u0902\u0936\u093F\u0924 \u0915\
+      \u0930\u0924\u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u092A\u094D\u0930\u093E\u0915\u0943\u0924\u093F\u0915 \u0915\u093E\u0928\
+        \u0942\u0928"
+      B: "\u0935\u093F\u0936\u094D\u0932\u0947\u0937\u0923\u093E\u0924\u094D\u092E\
+        \u0915"
+      C: "\u0910\u0924\u093F\u0939\u093E\u0938\u093F\u0915"
+      D: "\u0938\u092E\u093E\u091C\u0936\u093E\u0938\u094D\u0924\u094D\u0930\u0940\
+        \u092F"
+    input_correct_responses:
+    - A
+    input_question: "\u0928\u094D\u092F\u093E\u092F\u0936\u093E\u0938\u094D\u0924\u094D\
+      \u0930 \u0915\u0947 ________ \u0938\u094D\u0915\u0942\u0932 \u0915\u093E \u092E\
+      \u093E\u0928\u0928\u093E \u0939\u0948 \u0915\u093F \u0915\u093E\u0928\u0942\u0928\
+      \ "\u0938\u0939\u0940" \u092A\u0930 \u0906\u0927\u093E\u0930\u093F\
+      \u0924 \u0939\u0948\u0964"
+  - input_choice_list:
+      A: "\u092A\u0924\u094D\u0930 \u092C\u0947\u091A\u0928\u0947 \u0915\u093E \u092A\
+        \u094D\u0930\u0938\u094D\u0924\u093E\u0935 \u0939\u0948"
+      B: "\u0915\u094B\u0908 \u0935\u0948\u0927 \u092A\u094D\u0930\u0938\u094D\u0924\
+        \u093E\u0935 \u092A\u0924\u094D\u0930 \u0926\u094D\u0935\u093E\u0930\u093E\
+        \ \u0928\u0939\u0940\u0902 \u0926\u093F\u092F\u093E \u091C\u093E \u0938\u0915\
+        \u0924\u093E\u0964"
+      C: "\u092A\u0924\u094D\u0930 \u092E\u0947\u0902 \u090F\u0915 \u0935\u0948\u0927\
+        \ \u092A\u094D\u0930\u0938\u094D\u0924\u093E\u0935 \u0939\u0948 \u091C\u094B\
+        \ \u0909\u091A\u093F\u0924 \u0938\u092E\u092F \u0915\u0947 \u092D\u0940\u0924\
+        \u0930 \u0938\u092E\u093E\u092A\u094D\u0924 \u0939\u094B \u091C\u093E\u090F\
+        \u0917\u093E\u0964"
+      D: "\u092A\u0924\u094D\u0930 \u092E\u0947\u0902 \u092A\u094D\u0930\u0938\u094D\
+        \u0924\u093E\u0935 \u0915\u0947 \u0906\u0935\u0936\u094D\u092F\u0915 \u0924\
+        \u0924\u094D\u0935\u094B\u0902 \u092E\u0947\u0902 \u0938\u0947 \u090F\u0915\
+        \ \u0915\u093E \u0905\u092D\u093E\u0935 \u0939\u0948\u0964"
+    input_correct_responses:
+    - D
+    input_question: "\u0907\u0935\u0930\u0938\u0928 \u091C\u094D\u0935\u0948\u0932\
+      \u0930\u094D\u0938 \u0928\u0947 \u092E\u093F\u0932\u0930 \u0915\u094B \u090F\
+      \u0915 \u092A\u0924\u094D\u0930 \u0932\u093F\u0916\u093E, '\u0939\u092E\u0947\
+      \u0902 \u090F\u0915 \u0905\u0938\u093E\u0927\u093E\u0930\u0923 \u092C\u0922\u093C\
+      \u093F\u092F\u093E \u0938\u0947\u0932\u094D\u092B \u0935\u093E\u0907\u0902\u0921\
+      \u093F\u0902\u0917 \u0930\u094B\u0932\u0949\u0915\u094D\u0938 \u0918\u0921\u093C\
+      \u0940 \u092E\u093F\u0932\u0940 \u0939\u0948 \u091C\u093F\u0938\u0947 \u0939\
+      \u092E \u0906\u092A\u0915\u094B \u092C\u0939\u0941\u0924 \u0905\u0928\u0941\u0915\
+      \u0942\u0932 \u0915\u0940\u092E\u0924 \u092A\u0930 \u092C\u0947\u091A\u0947\u0902\
+      \u0917\u0947\u0964'"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_jurisprudence
+tag: mmlu_hi_llama_humanities_tasks
+task: mmlu_hi_llama_jurisprudence
+task_alias: jurisprudence

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_logical_fallacies.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u0924\u0941\u092E \u0920\u0940\u0915 \u0939\u094B"
+      B: "\u0918\u094B\u0921\u093C\u093E \u0939\u0901\u0938\u093E"
+      C: "\u0935\u094D\u092F\u0915\u094D\u0924\u093F \u0915\u0947 \u0935\u093F\u0930\
+        \u0941\u0926\u094D\u0927 \u0924\u0930\u094D\u0915"
+      D: ignoratio elenchi
+    input_correct_responses:
+    - C
+    input_question: "\u092F\u0926\u093F \u0915\u094B\u0908 \u0935\u093F\u0930\u094B\
+      \u0927\u0940 \u0915\u0947 \u0924\u0930\u094D\u0915 \u0915\u093E \u091C\u0935\
+      \u093E\u092C \u0926\u0947\u0928\u0947 \u0915\u0947 \u092C\u091C\u093E\u092F\
+      , \u0915\u093F\u0938\u0940 \u0935\u093F\u0930\u094B\u0927\u0940 \u0924\u0930\
+      \u094D\u0915\u0915\u0930\u094D\u0924\u093E \u0915\u0947 \u091A\u0930\u093F\u0924\
+      \u094D\u0930 \u092A\u0930 \u0939\u092E\u0932\u093E \u0915\u0930\u0924\u093E\
+      \ \u0939\u0948, \u0924\u094B \u092A\u0939\u0932\u0947 \u0935\u094D\u092F\u0915\
+      \u094D\u0924\u093F \u0928\u0947 \u0938\u0902\u092D\u0935\u0924\u0903 \u0928\u093F\
+      \u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947\
+      \ \u0915\u094C\u0928 \u0938\u0940 \u092D\u094D\u0930\u093E\u0902\u0924\u093F\
+      \ \u0915\u0940 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0915\u093F\u0938\u0940 \u091A\u0940\u091C\u093C \u092A\u0930 \u092C\u0939\
+        \u0938 \u0915\u0930\u0928\u093E \u0915\u0947\u0935\u0932 \u0907\u0938\u0932\
+        \u093F\u090F \u0918\u091F\u093F\u092F\u093E \u0939\u0948 \u0915\u094D\u092F\
+        \u094B\u0902\u0915\u093F \u092F\u0939 \u0910\u0938\u093E \u0915\u0941\u091B\
+        \ \u0928\u0939\u0940\u0902 \u0915\u0930\u0924\u093E \u0939\u0948 \u091C\u093F\
+        \u0938\u0947 \u0915\u0930\u0928\u0947 \u0915\u093E \u0907\u0938\u0915\u093E\
+        \ \u0907\u0930\u093E\u0926\u093E \u0915\u092D\u0940 \u0928\u0939\u0940\u0902\
+        \ \u0925\u093E\u0964"
+      B: "\u092A\u094D\u0930\u0938\u094D\u0924\u093E\u0935 \u092E\u0947\u0902 \u090F\
+        \u0915 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0926\u093E\u0935\u0947 \u0936\
+        \u093E\u092E\u093F\u0932 \u0915\u0930\u0928\u093E \u0914\u0930 \u090F\u0915\
+        \ \u0926\u093E\u0935\u0947 \u0915\u0947 \u0938\u092C\u0942\u0924 \u0915\u094B\
+        \ \u0938\u092D\u0940 \u0926\u093E\u0935\u094B\u0902 \u0915\u0947 \u0932\u093F\
+        \u090F \u0938\u092C\u0942\u0924 \u092E\u093E\u0928\u0928\u093E\u0964"
+      C: "\u0938\u092C\u0942\u0924\u094B\u0902 \u0915\u0940 \u091C\u093E\u0902\u091A\
+        \ \u0915\u0930\u0928\u0947 \u0938\u0947 \u092A\u0939\u0932\u0947 \u0928\u093F\
+        \u0937\u094D\u0915\u0930\u094D\u0937 \u0928\u093F\u0915\u093E\u0932\u0928\u093E\
+        , \u0914\u0930 \u0915\u0947\u0935\u0932 \u0909\u0928 \u0938\u092C\u0942\u0924\
+        \u094B\u0902 \u092A\u0930 \u0935\u093F\u091A\u093E\u0930 \u0915\u0930\u0928\
+        \u093E \u091C\u094B \u0909\u0938 \u0928\u093F\u0937\u094D\u0915\u0930\u094D\
+        \u0937 \u0915\u093E \u0938\u092E\u0930\u094D\u0925\u0928 \u0915\u0930\u0924\
+        \u0947 \u0939\u0948\u0902\u0964"
+      D: "\u0910\u0938\u093E \u092A\u094D\u0930\u0936\u094D\u0928 \u092A\u0942\u091B\
+        \u0928\u093E \u091C\u093F\u0938\u092E\u0947\u0902 \u092F\u093E \u0924\u094B\
+        \ \u090F\u0915 \u0905\u092A\u094D\u0930\u092E\u093E\u0923\u093F\u0924 \u0927\
+        \u093E\u0930\u0923\u093E \u092F\u093E \u090F\u0915 \u0938\u0947 \u0905\u0927\
+        \u093F\u0915 \u092A\u094D\u0930\u0936\u094D\u0928 \u0936\u093E\u092E\u093F\
+        \u0932 \u0939\u094B\u0902, \u0907\u0938 \u092A\u094D\u0930\u0915\u093E\u0930\
+        \ \u0938\u0940\u0927\u093E \u0939\u093E\u0901 \u092F\u093E \u0928\u093E \u0909\
+        \u0924\u094D\u0924\u0930 \u0905\u0930\u094D\u0925\u0939\u0940\u0928 \u0939\
+        \u094B \u091C\u093E\u0924\u093E \u0939\u0948\u0964"
+    input_correct_responses:
+    - D
+    input_question: "\u091C\u091F\u093F\u0932 \u092A\u094D\u0930\u0936\u094D\u0928\
+      \ \u092D\u094D\u0930\u093E\u0902\u0924\u093F \u0938\u0947 \u092C\u0928\u093E\
+      \ \u0939\u0948"
+  - input_choice_list:
+      A: "\u0932\u0918\u0941 \u0906\u0927\u093E\u0930 \u0915\u094B \u092A\u0942\u0930\
+        \u094D\u0935\u0935\u0943\u0924\u094D\u0924 \u0915\u094B \u0928\u0915\u093E\
+        \u0930\u0928\u093E \u091A\u093E\u0939\u093F\u090F"
+      B: "\u092A\u094D\u0930\u092E\u0941\u0916 \u0906\u0927\u093E\u0930 \u0915\u094B\
+        \ \u092A\u0930\u093F\u0923\u093E\u092E\u0940 \u0915\u0940 \u092A\u0941\u0937\
+        \u094D\u091F\u093F \u0915\u0930\u0928\u0940 \u091A\u093E\u0939\u093F\u090F"
+      C: "\u092E\u0927\u094D\u092F \u092A\u0926 \u0915\u093E \u0909\u092A\u092F\u094B\
+        \u0917 \u0915\u092E \u0938\u0947 \u0915\u092E \u090F\u0915 \u0906\u0927\u093E\
+        \u0930 \u092E\u0947\u0902 \u0938\u093E\u0930\u094D\u0935\u092D\u094C\u092E\
+        \u093F\u0915 \u092F\u093E \u0905\u092F\u094B\u0917\u094D\u092F \u0905\u0930\
+        \u094D\u0925 \u092E\u0947\u0902 \u0915\u093F\u092F\u093E \u091C\u093E\u0928\
+        \u093E \u091A\u093E\u0939\u093F\u090F"
+      D: "\u090A\u092A\u0930 \u0915\u0947 \u0938\u092D\u0940"
+    input_correct_responses:
+    - C
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0935\u0948\
+      \u0927 \u0936\u094D\u0930\u0947\u0923\u0940\u092C\u0926\u094D\u0927 \u0928\u094D\
+      \u092F\u093E\u092F\u0935\u093E\u0915\u094D\u092F \u0915\u0947 \u092C\u093E\u0930\
+      \u0947 \u092E\u0947\u0902 \u0938\u0924\u094D\u092F \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0935\u093F\u092D\u093E\u091C\u0928"
+      B: "\u0938\u0902\u0918\u091F\u0928"
+      C: "\u0935\u094D\u092F\u0915\u094D\u0924\u093F \u0938\u0947 \u0905\u092A\u0940\
+        \u0932 \u0915\u0930\u0947\u0902"
+      D: "\u0905\u091C\u094D\u091E\u093E\u0928\u0924\u093E \u0915\u0940 \u0905\u092A\
+        \u0940\u0932"
+    input_correct_responses:
+    - B
+    input_question: "\u092F\u0939 \u0924\u0930\u094D\u0915 \u0926\u0947\u0928\u093E\
+      \ \u0915\u093F \u091C\u094B \u092D\u093E\u0917\u094B\u0902 \u0915\u0947 \u092C\
+      \u093E\u0930\u0947 \u092E\u0947\u0902 \u0938\u0924\u094D\u092F \u0939\u0948\
+      \ \u0935\u0939 \u0938\u0902\u092A\u0942\u0930\u094D\u0923 \u0915\u0947 \u0932\
+      \u093F\u090F \u092D\u0940 \u0938\u0924\u094D\u092F \u0939\u094B\u0928\u093E\
+      \ \u091A\u093E\u0939\u093F\u090F, \u092F\u0939 \u090F\u0915 \u092D\u094D\u0930\
+      \u093E\u0902\u0924\u093F \u0939\u0948..."
+  - input_choice_list:
+      A: "\u0916\u093C\u0930\u093E\u092C \u0916\u0947\u0932 \u0915\u094C\u0936\u0932"
+      B: "\u0915\u0930\u0941\u0923\u093E \u0915\u0940 \u0905\u092A\u0940\u0932"
+      C: "\u0935\u094D\u092F\u0915\u094D\u0924\u093F \u0915\u0947 \u0935\u093F\u0930\
+        \u0941\u0926\u094D\u0927 \u0924\u0930\u094D\u0915"
+      D: "\u0916\u0902\u0921\u0928 \u0915\u0940 \u0905\u091C\u094D\u091E\u093E\u0928\
+        \u0924\u093E"
+    input_correct_responses:
+    - D
+    input_question: "\u091C\u092C \u090F\u0915 \u0924\u0930\u094D\u0915\u0915\u0930\
+      \u094D\u0924\u093E \u092A\u094D\u0930\u0924\u093F\u0928\u093F\u092F\u0941\u0915\
+      \u094D\u0924\u093F \u0915\u0947 \u0926\u094C\u0930\u093E\u0928 \u092D\u094D\u0930\
+      \u092E \u092A\u0948\u0926\u093E \u0915\u0930\u0924\u093E \u0939\u0948, \u0915\
+      \u094D\u092F\u094B\u0902\u0915\u093F \u092A\u094D\u0930\u0924\u093F\u0928\u093F\
+      \u092F\u0941\u0915\u094D\u0924\u093F \u092E\u0947\u0902 \u0938\u0902\u0932\u0917\
+      \u094D\u0928 \u0939\u094B\u0928\u0947 \u0915\u0940 \u0935\u093E\u0938\u094D\u0924\
+      \u0935\u093F\u0915 \u092F\u093E \u0926\u093F\u0916\u093E\u0935\u091F\u0940 \u0915\
+      \u094D\u0937\u092E\u0924\u093E \u0915\u0940 \u0915\u092E\u0940 \u0939\u094B\u0924\
+      \u0940 \u0939\u0948, \u0924\u094B \u0909\u0938 \u0924\u0930\u094D\u0915\u0915\
+      \u0930\u094D\u0924\u093E \u0928\u0947 \u092D\u094D\u0930\u093E\u0902\u0924\u093F\
+      \ \u0915\u0940 \u0939\u094B \u0938\u0915\u0924\u0940 \u0939\u0948\u0964"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_logical_fallacies
+tag: mmlu_hi_llama_humanities_tasks
+task: mmlu_hi_llama_logical_fallacies
+task_alias: logical_fallacies

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_machine_learning.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: 2.0/15
+      B: 1.0/7
+      C: 3.0/16
+      D: 1.0/5
+    input_correct_responses:
+    - B
+    input_question: "\u090F\u0915 6-\u0924\u0930\u092B\u093E \u092A\u093E\u0938\u0947\
+      \ \u0915\u094B 15 \u092C\u093E\u0930 \u0918\u0941\u092E\u093E\u092F\u093E \u091C\
+      \u093E\u0924\u093E \u0939\u0948 \u0914\u0930 \u092A\u0930\u093F\u0923\u093E\u092E\
+      \ \u0907\u0938 \u092A\u094D\u0930\u0915\u093E\u0930 \u0939\u0948\u0902: \u092A\
+      \u0915\u094D\u0937 1 0 \u092C\u093E\u0930 \u090A\u092A\u0930 \u0906\u0924\u093E\
+      \ \u0939\u0948; \u092A\u0915\u094D\u0937 2: 1 \u092C\u093E\u0930; \u092A\u0915\
+      \u094D\u0937 3: 2 \u092C\u093E\u0930; \u092A\u0915\u094D\u0937 4: 3 \u092C\u093E\
+      \u0930; \u092A\u0915\u094D\u0937 5:4 \u092C\u093E\u0930; \u092A\u0915\u094D\u0937\
+      \ 6:5 \u092C\u093E\u0930. \u0907\u0928 \u092A\u0930\u093F\u0923\u093E\u092E\u094B\
+      \u0902 \u0915\u0947 \u0906\u0927\u093E\u0930 \u092A\u0930, \u0910\u0921-1 \u0938\
+      \u094D\u092E\u0942\u0925\u093F\u0902\u0917 \u0915\u093E \u0909\u092A\u092F\u094B\
+      \u0917 \u0915\u0930\u0924\u0947 \u0938\u092E\u092F \u0938\u093E\u0907\u0921\
+      \ 3 \u0915\u0947 \u0906\u0928\u0947 \u0915\u0940 \u0915\u094D\u092F\u093E \u0938\
+      \u0902\u092D\u093E\u0935\u0928\u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u092F\u093E\u0926\u0943\u091A\u094D\u091B\u093F\u0915 \u092B\u0938\u0932\
+        \ \u0914\u0930 \u0915\u094D\u0937\u0948\u0924\u093F\u091C \u092B\u094D\u0932\
+        \u093F\u092A"
+      B: "\u092F\u093E\u0926\u0943\u091A\u094D\u091B\u093F\u0915 \u092B\u0938\u0932\
+        \ \u0914\u0930 \u090A\u0930\u094D\u0927\u094D\u0935\u093E\u0927\u0930 \u092B\
+        \u094D\u0932\u093F\u092A"
+      C: posterization
+      D: "\u0915\u091F\u094C\u0924\u0940"
+    input_correct_responses:
+    - A
+    input_question: "\u092A\u094D\u0930\u093E\u0915\u0943\u0924\u093F\u0915 \u091B\
+      \u0935\u093F\u092F\u094B\u0902 \u0915\u0947 \u0932\u093F\u090F \u0915\u094C\u0928\
+      \ \u0938\u093E \u091B\u0935\u093F \u0921\u0947\u091F\u093E \u0938\u0902\u0935\
+      \u0930\u094D\u0926\u094D\u0927\u0928 \u0938\u092C\u0938\u0947 \u0906\u092E \u0939\
+      \u0948?"
+  - input_choice_list:
+      A: "\u092E\u0947\u0930\u0940 \u0935\u093F\u0927\u093F \u092A\u093F\u091B\u0932\
+        \u0940 \u0938\u092D\u0940 \u0935\u093F\u0927\u093F\u092F\u094B\u0902 \u0915\
+        \u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0915\u092E \u092A\
+        \u094D\u0930\u0936\u093F\u0915\u094D\u0937\u0923 \u0924\u094D\u0930\u0941\u091F\
+        \u093F \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0924\u0940\
+        \ \u0939\u0948!"
+      B: "\u092E\u0947\u0930\u0940 \u0935\u093F\u0927\u093F \u092A\u093F\u091B\u0932\
+        \u0940 \u0938\u092D\u0940 \u0935\u093F\u0927\u093F\u092F\u094B\u0902 \u0915\
+        \u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0915\u092E \u092A\
+        \u0930\u0940\u0915\u094D\u0937\u0923 \u0924\u094D\u0930\u0941\u091F\u093F\
+        \ \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0924\u0940 \u0939\
+        \u0948! (\u092B\u0941\u091F\u0928\u094B\u091F: \u091C\u092C \u0928\u093F\u092F\
+        \u092E\u093F\u0924\u0940\u0915\u0930\u0923 \u092A\u0948\u0930\u093E\u092E\u0940\
+        \u091F\u0930 \u03BB \u091A\u0941\u0928\u093E \u091C\u093E\u0924\u093E \u0939\
+        \u0948 \u0924\u093E\u0915\u093F \u092A\u0930\u0940\u0915\u094D\u0937\u0923\
+        \ \u0924\u094D\u0930\u0941\u091F\u093F \u0915\u094B \u0915\u092E \u0915\u093F\
+        \u092F\u093E \u091C\u093E \u0938\u0915\u0947\u0964)"
+      C: "\u092E\u0947\u0930\u0940 \u0935\u093F\u0927\u093F \u092A\u093F\u091B\u0932\
+        \u0940 \u0938\u092D\u0940 \u0935\u093F\u0927\u093F\u092F\u094B\u0902 \u0915\
+        \u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0915\u092E \u092A\
+        \u0930\u0940\u0915\u094D\u0937\u0923 \u0924\u094D\u0930\u0941\u091F\u093F\
+        \ \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0924\u0940 \u0939\
+        \u0948! (\u092B\u0941\u091F\u0928\u094B\u091F: \u091C\u092C \u0928\u093F\u092F\
+        \u092E\u093F\u0924\u0940\u0915\u0930\u0923 \u092A\u0948\u0930\u093E\u092E\u0940\
+        \u091F\u0930 \u03BB \u091A\u0941\u0928\u093E \u091C\u093E\u0924\u093E \u0939\
+        \u0948 \u0924\u093E\u0915\u093F \u0915\u094D\u0930\u0949\u0938-\u0938\u0924\
+        \u094D\u092F\u093E\u092A\u0928 \u0924\u094D\u0930\u0941\u091F\u093F \u0915\
+        \u094B \u0915\u092E \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0947\
+        \u0964)"
+      D: "\u092E\u0947\u0930\u0940 \u0935\u093F\u0927\u093F \u092A\u093F\u091B\u0932\
+        \u0940 \u0938\u092D\u0940 \u0935\u093F\u0927\u093F\u092F\u094B\u0902 \u0915\
+        \u0940 \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0915\u092E \u0915\
+        \u094D\u0930\u0949\u0938-\u0938\u0924\u094D\u092F\u093E\u092A\u0928 \u0924\
+        \u094D\u0930\u0941\u091F\u093F \u092A\u094D\u0930\u093E\u092A\u094D\u0924\
+        \ \u0915\u0930\u0924\u0940 \u0939\u0948! (\u092B\u0941\u091F\u0928\u094B\u091F\
+        : \u091C\u092C \u0928\u093F\u092F\u092E\u093F\u0924\u0940\u0915\u0930\u0923\
+        \ \u092A\u0948\u0930\u093E\u092E\u0940\u091F\u0930 \u03BB \u091A\u0941\u0928\
+        \u093E \u091C\u093E\u0924\u093E \u0939\u0948 \u0924\u093E\u0915\u093F \u0915\
+        \u094D\u0930\u0949\u0938-\u0938\u0924\u094D\u092F\u093E\u092A\u0928 \u0924\
+        \u094D\u0930\u0941\u091F\u093F \u0915\u094B \u0915\u092E \u0915\u093F\u092F\
+        \u093E \u091C\u093E \u0938\u0915\u0947\u0964)"
+    input_correct_responses:
+    - C
+    input_question: "\u0906\u092A \u0935\u093F\u0936\u094D\u0935 \u0915\u0947 \u0938\
+      \u092C\u0938\u0947 \u0936\u093E\u0928\u0926\u093E\u0930 \u092E\u0936\u0940\u0928\
+      \ \u0932\u0930\u094D\u0928\u093F\u0902\u0917 \u0938\u092E\u094D\u092E\u0947\u0932\
+      \u0928 \u0915\u0947 \u0932\u093F\u090F \u0915\u093E\u0917\u091C\u093E\u0924\
+      \ \u0915\u0940 \u0938\u092E\u0940\u0915\u094D\u0937\u093E \u0915\u0930 \u0930\
+      \u0939\u0947 \u0939\u0948\u0902, \u0914\u0930 \u0906\u092A\u0915\u094B \u0928\
+      \u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u0926\u093E\u0935\u094B\
+      \u0902 \u0915\u0947 \u0938\u093E\u0925 \u092A\u094D\u0930\u0938\u094D\u0924\u0941\
+      \u0924\u093F\u092F\u093E\u0901 \u0926\u093F\u0916\u093E\u0908 \u0926\u0947\u0924\
+      \u0940 \u0939\u0948\u0902\u0964 \u0906\u092A \u0915\u093F\u0938\u0947 \u0938\
+      \u094D\u0935\u0940\u0915\u093E\u0930 \u0915\u0930\u0928\u0947 \u092A\u0930 \u0935\
+      \u093F\u091A\u093E\u0930 \u0915\u0930\u0947\u0902\u0917\u0947?"
+  - input_choice_list:
+      A: "\u0932\u0917\u092D\u0917 10 \u0909\u0926\u093E\u0939\u0930\u0923"
+      B: "\u0932\u0917\u092D\u0917 100 \u0909\u0926\u093E\u0939\u0930\u0923"
+      C: "100 \u0914\u0930 500 \u0909\u0926\u093E\u0939\u0930\u0923\u094B\u0902 \u0915\
+        \u0947 \u092C\u0940\u091A"
+      D: "1000 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0909\u0926\u093E\u0939\u0930\
+        \u0923"
+    input_correct_responses:
+    - D
+    input_question: "0/1 \u0939\u093E\u0928\u093F \u0915\u093E \u0905\u0928\u0941\u092E\
+      \u093E\u0928 \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\u0930\u0928\u0947\
+      \ \u0915\u0947 \u0932\u093F\u090F \u091C\u094B \u0935\u093E\u0938\u094D\u0924\
+      \u0935\u093F\u0915 0/1 \u0939\u093E\u0928\u093F \u0915\u0947 1 \u092A\u094D\u0930\
+      \u0924\u093F\u0936\u0924 \u0938\u0947 \u0915\u092E \u0939\u0948 (\u0938\u0902\
+      \u092D\u093E\u0935\u0928\u093E 95% \u0915\u0947 \u0938\u093E\u0925), \u0939\u094B\
+      \u092B\u0921\u093F\u0902\u0917 \u0915\u0940 \u0905\u0938\u092E\u093E\u0928\u0924\
+      \u093E \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930 \u0906\u0908\u0906\u0908\
+      \u0921\u0940 \u092A\u0930\u0940\u0915\u094D\u0937\u0923 \u0938\u0947\u091F \u092E\
+      \u0947\u0902 \u0915\u093F\u0924\u0928\u0947 \u0909\u0926\u093E\u0939\u0930\u0923\
+      \ \u0939\u094B\u0928\u0947 \u091A\u093E\u0939\u093F\u090F?"
+  - input_choice_list:
+      A: "\u092F\u0939 \u0915\u092E\u094D\u092A\u094D\u092F\u0942\u091F\u0947\u0936\
+        \u0928\u0932 \u0930\u0942\u092A \u0938\u0947 \u092C\u0939\u0941\u0924 \u092E\
+        \u0939\u0902\u0917\u093E \u0939\u0948."
+      B: "\u0907\u0938\u0915\u093E \u092A\u0930\u093F\u0923\u093E\u092E \u0938\u0902\
+        \u092D\u0935\u0924\u0903 \u090F\u0915 \u0928\u093F\u0930\u094D\u0923\u092F\
+        \ \u0935\u0943\u0915\u094D\u0937 \u0939\u094B\u0917\u093E \u091C\u094B \u092A\
+        \u094D\u0930\u0936\u093F\u0915\u094D\u0937\u0923 \u0938\u0947\u091F \u0914\
+        \u0930 \u091F\u0947\u0938\u094D\u091F\u0938\u0947\u091F \u092A\u0930 \u0916\
+        \u0930\u093E\u092C \u0938\u094D\u0915\u094B\u0930 \u0915\u0930\u0947\u0917\
+        \u093E\u0964"
+      C: "\u0907\u0938\u0915\u093E \u092A\u0930\u093F\u0923\u093E\u092E \u0938\u0902\
+        \u092D\u0935\u0924\u0903 \u090F\u0915 \u0928\u093F\u0930\u094D\u0923\u092F\
+        \ \u0935\u0943\u0915\u094D\u0937 \u0939\u094B\u0917\u093E \u091C\u094B \u092A\
+        \u094D\u0930\u0936\u093F\u0915\u094D\u0937\u0923 \u0938\u0947\u091F \u092A\
+        \u0930 \u0905\u091A\u094D\u091B\u093E \u0938\u094D\u0915\u094B\u0930 \u0915\
+        \u0930\u0924\u093E \u0939\u0948 \u0932\u0947\u0915\u093F\u0928 \u092A\u0930\
+        \u0940\u0915\u094D\u0937\u0923 \u0938\u0947\u091F \u092A\u0930 \u0916\u0930\
+        \u093E\u092C\u0964"
+      D: "\u0907\u0938\u0915\u093E \u092A\u0930\u093F\u0923\u093E\u092E \u0938\u0902\
+        \u092D\u0935\u0924\u0903 \u090F\u0915 \u0928\u093F\u0930\u094D\u0923\u092F\
+        \ \u0935\u0943\u0915\u094D\u0937 \u0939\u094B\u0917\u093E \u091C\u094B \u091F\
+        \u0947\u0938\u094D\u091F\u0938\u0947\u091F \u092A\u0930 \u0905\u091A\u094D\
+        \u091B\u093E \u0938\u094D\u0915\u094B\u0930 \u0915\u0930\u0924\u093E \u0939\
+        \u0948 \u0932\u0947\u0915\u093F\u0928 \u092A\u094D\u0930\u0936\u093F\u0915\
+        \u094D\u0937\u0923 \u0938\u0947\u091F \u092A\u0930 \u0916\u0930\u093E\u092C\
+        \ \u0938\u094D\u0915\u094B\u0930 \u0915\u0930\u0924\u093E \u0939\u0948\u0964"
+    input_correct_responses:
+    - C
+    input_question: "\u092A\u0930\u0902\u092A\u0930\u093E\u0917\u0924 \u0930\u0942\
+      \u092A \u0938\u0947, \u091C\u092C \u0939\u092E\u093E\u0930\u0947 \u092A\u093E\
+      \u0938 \u0928\u093F\u0930\u094D\u0923\u092F-\u0935\u0943\u0915\u094D\u0937 \u0938\
+      \u0940\u0916\u0928\u0947 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928 \u090F\u0915\
+      \ \u0935\u093E\u0938\u094D\u0924\u0935\u093F\u0915-\u092E\u0942\u0932\u094D\u092F\
+      \u0935\u093E\u0928 \u0907\u0928\u092A\u0941\u091F \u0935\u093F\u0936\u0947\u0937\
+      \u0924\u093E \u0939\u094B\u0924\u0940 \u0939\u0948, \u0924\u094B \u0939\u092E\
+      \ \u0907\u0938 \u0906\u0927\u093E\u0930 \u092A\u0930 \u090F\u0915 \u0926\u094D\
+      \u0935\u093F\u0906\u0927\u093E\u0930\u0940 \u0935\u093F\u092D\u093E\u091C\u0928\
+      \ \u092A\u0930 \u0935\u093F\u091A\u093E\u0930 \u0915\u0930\u0924\u0947 \u0939\
+      \u0948\u0902 \u0915\u093F \u0915\u094D\u092F\u093E \u0935\u093F\u0936\u0947\u0937\
+      \u0924\u093E \u0915\u0941\u091B \u0938\u0940\u092E\u093E \u0938\u0947 \u090A\
+      \u092A\u0930 \u092F\u093E \u0928\u0940\u091A\u0947 \u0939\u0948\u0964 \u092A\
+      \u0948\u091F \u0915\u093E \u0938\u0941\u091D\u093E\u0935 \u0939\u0948 \u0915\
+      \u093F \u0907\u0938\u0915\u0947 \u092C\u091C\u093E\u092F \u0939\u092E\u0947\u0902\
+      \ \u0935\u093F\u0936\u0947\u0937\u0924\u093E \u0915\u0947 \u092A\u094D\u0930\
+      \u0924\u094D\u092F\u0947\u0915 \u0935\u093F\u0936\u093F\u0937\u094D\u091F \u092E\
+      \u093E\u0928 \u0915\u0947 \u0932\u093F\u090F \u090F\u0915 \u0936\u093E\u0916\
+      \u093E \u0915\u0947 \u0938\u093E\u0925 \u092E\u0932\u094D\u091F\u0940\u0935\u0947\
+      \ \u0935\u093F\u092D\u093E\u091C\u0928 \u0915\u0930\u0928\u093E \u091A\u093E\
+      \u0939\u093F\u090F\u0964 \u0928\u0940\u091A\u0947 \u0926\u0940 \u0917\u0908\
+      \ \u0938\u0942\u091A\u0940 \u0938\u0947 \u092A\u0948\u091F \u0915\u0947 \u0938\
+      \u0941\u091D\u093E\u0935 \u0915\u0940 \u0938\u092C\u0938\u0947 \u092C\u0921\u093C\
+      \u0940 \u0938\u092E\u0938\u094D\u092F\u093E \u091A\u0941\u0928\u0947\u0902:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_machine_learning
+tag: mmlu_hi_llama_stem_tasks
+task: mmlu_hi_llama_machine_learning
+task_alias: machine_learning

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_management.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u092A\u094D\u0930\u093E\u0930\u0902\u092D\u093F\u0915 \u0938\u094D\u0925\
+        \u093F\u0924\u093F \u0914\u0930 \u0905\u0902\u0924\u093F\u092E \u0938\u094D\
+        \u0925\u093F\u0924\u093F"
+      B: "\u0936\u0941\u0930\u0941\u0906\u0924\u0940 \u092E\u093E\u0939\u094C\u0932\
+        \ \u0914\u0930 \u092C\u0926\u0932\u093E \u0939\u0941\u0906 \u092E\u093E\u0939\
+        \u094C\u0932"
+      C: "\u0938\u0902\u0917\u0920\u0928\u093E\u0924\u094D\u092E\u0915 \u0938\u0902\
+        \u0930\u091A\u0928\u093E \u0914\u0930 \u0915\u0902\u0921\u0940\u0936\u0928\
+        \u093F\u0902\u0917"
+      D: "\u0938\u0902\u0930\u091A\u0928\u093E \u0914\u0930 \u0935\u093F\u091A\u093E\
+        \u0930 \u0906\u0930\u0902\u092D \u0915\u0930\u0928\u093E"
+    input_correct_responses:
+    - D
+    input_question: "\u0928\u0947\u0924\u0943\u0924\u094D\u0935 \u092E\u0947\u0902\
+      \ \u0913\u0939\u093F\u092F\u094B \u0905\u0927\u094D\u092F\u092F\u0928 \u0915\
+      \u0947 \u0926\u094B \u092E\u0941\u0916\u094D\u092F \u0906\u092F\u093E\u092E\
+      \ \u0915\u094D\u092F\u093E \u0939\u0948\u0902?"
+  - input_choice_list:
+      A: "\u092B\u094D\u0930\u0947\u0921\u0930\u093F\u0915 \u0939\u0930\u094D\u091F\
+        \u091C\u093C\u092C\u0930\u094D\u0917"
+      B: "\u0921\u0940\u0938\u0940 \u092E\u0948\u0915\u094D\u0932\u0947\u0932\u0948\
+        \u0902\u0921"
+      C: "\u0905\u092C\u094D\u0930\u093E\u0939\u092E \u092E\u0947\u0938\u094D\u0932\
+        \u094B"
+      D: "\u0921\u0917\u0932\u0938 \u092E\u0948\u0915\u0917\u094D\u0930\u0947\u0917\
+        \u0930"
+    input_correct_responses:
+    - A
+    input_question: "\u0938\u094D\u0935\u091A\u094D\u091B\u0924\u093E \u0915\u093E\
+      \u0930\u0915 \u0915\u093F\u0938 \u0932\u0947\u0916\u0915 \u0938\u0947 \u0938\
+      \u092E\u094D\u092C\u0902\u0927\u093F\u0924 \u0939\u0948\u0902?"
+  - input_choice_list:
+      A: "\u092A\u094D\u0930\u0924\u0940\u0915"
+      B: "\u0905\u0928\u0941\u0937\u094D\u0920\u093E\u0928 \u090F\u0935\u0902 \u0926\
+        \u093F\u0928\u091A\u0930\u094D\u092F\u093E"
+      C: "\u092C\u093F\u091C\u0932\u0940 \u0938\u0902\u0930\u091A\u0928\u093E\u090F\
+        \u0901"
+      D: "\u0928\u093F\u092F\u0902\u0924\u094D\u0930\u0923 \u092A\u094D\u0930\u0923\
+        \u093E\u0932\u0940"
+    input_correct_responses:
+    - A
+    input_question: "\u0938\u093E\u0902\u0938\u094D\u0915\u0943\u0924\u093F\u0915\
+      \ \u0935\u0947\u092C \u0915\u093E \u0915\u094C\u0928 \u0938\u093E \u0924\u0924\
+      \u094D\u0935 \u0930\u0940\u0917\u0932\u093F\u092F\u093E \u092C\u0928\u093E\u0924\
+      \u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0939\u094C\u0938\u0932\u093E"
+      B: "\u0928\u0935\u093E\u091A\u093E\u0930"
+      C: "\u0935\u093F\u0915\u093E\u0938 \u0938\u0902\u0938\u093E\u0927\u0928"
+      D: "\u0905\u0928\u0941\u0915\u0942\u0932\u0928"
+    input_correct_responses:
+    - A
+    input_question: "\u0915\u094C\u0928 \u0938\u0940 \u0935\u093F\u0936\u0947\u0937\
+      \u0924\u093E \u092A\u094D\u0930\u092C\u0902\u0927\u0928 \u0915\u0947 '\u0913\
+      \u092A\u0928 \u0938\u093F\u0938\u094D\u091F\u092E' \u092E\u0949\u0921\u0932\
+      \ \u0915\u0940 \u092A\u094D\u0930\u092E\u0941\u0916 \u0935\u093F\u0936\u0947\
+      \u0937\u0924\u093E \u0928\u0939\u0940\u0902 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0936\u094D\u0930\u0947\u0923\u0940\u092C\u0926\u094D\u0927"
+      B: "\u0928\u094C\u0915\u0930\u0936\u093E\u0939\u0940"
+      C: "\u0938\u092E\u0924\u0932"
+      D: "\u0915\u093E\u0930\u094D\u092F\u093E\u0924\u094D\u092E\u0915"
+    input_correct_responses:
+    - C
+    input_question: "\u092A\u094D\u0930\u092C\u0902\u0927\u0928 \u0915\u0940 \u0932\
+      \u094B\u0915\u0924\u093E\u0902\u0924\u094D\u0930\u093F\u0915 \u0914\u0930 \u0938\
+      \u092E\u093E\u0935\u0947\u0936\u0940 \u0936\u0948\u0932\u093F\u092F\u094B\u0902\
+      \ \u0915\u0940 \u0935\u093F\u0936\u0947\u0937\u0924\u093E \u0935\u093E\u0932\
+      \u0940 \u0938\u0902\u0917\u0920\u0928\u093E\u0924\u094D\u092E\u0915 \u0938\u0902\
+      \u0930\u091A\u0928\u093E\u0913\u0902 \u0915\u093E \u0935\u0930\u094D\u0923\u0928\
+      \ \u0915\u0948\u0938\u0947 \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\
+      \u0924\u093E \u0939\u0948?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_management
+tag: mmlu_hi_llama_other_tasks
+task: mmlu_hi_llama_management
+task_alias: management

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_marketing.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u092D\u0942-\u091C\u0928\u0938\u093E\u0902\u0916\u094D\u092F\u093F\u0915\
+        \u0940"
+      B: "\u0909\u0924\u094D\u092A\u093E\u0926 \u0935\u093F\u0936\u093F\u0937\u094D\
+        \u091F\u0940\u0915\u0930\u0923\u0964"
+      C: "ANSOFF \u092E\u0948\u091F\u094D\u0930\u093F\u0915\u094D\u0938\u0964"
+      D: "\u092C\u094D\u0930\u093E\u0902\u0921 \u092A\u094D\u0930\u092C\u0902\u0927\
+        \u0928\u0964"
+    input_correct_responses:
+    - A
+    input_question: "\u091C\u0928\u0938\u093E\u0902\u0916\u094D\u092F\u093F\u0915\u0940\
+      \u092F \u0914\u0930 \u092D\u094C\u0917\u094B\u0932\u093F\u0915 \u091A\u0930\u094B\
+      \u0902 \u0915\u093E \u0938\u0902\u092F\u094B\u091C\u0928 \u0915\u0930\u0924\u0947\
+      \ \u0938\u092E\u092F _____________ \u090F\u0915 \u092A\u094D\u0930\u093E\u0915\
+      \u0943\u0924\u093F\u0915 \u092A\u0930\u093F\u0923\u093E\u092E \u0939\u0948\u0964"
+  - input_choice_list:
+      A: "\u0906\u0909\u091F\u0938\u094B\u0930\u094D\u0938\u093F\u0902\u0917 \u0907\
+        \u0915\u093E\u0908."
+      B: "\u0916\u0930\u0940\u0926 \u0915\u0947\u0902\u0926\u094D\u0930."
+      C: "\u092E\u0941\u0916\u094D\u092F \u0915\u093E\u0930\u094D\u092F\u0915\u093E\
+        \u0930\u0940 \u0907\u0915\u093E\u0908."
+      D: "\u0928\u093F\u0930\u094D\u0923\u092F \u0932\u0947\u0928\u0947 \u0935\u093E\
+        \u0932\u0940 \u0907\u0915\u093E\u0908."
+    input_correct_responses:
+    - D
+    input_question: "\u0915\u093F\u0938\u0940 \u0938\u0902\u0917\u0920\u0928 \u092E\
+      \u0947\u0902, \u0916\u0930\u0940\u0926\u093E\u0930\u0940 \u0938\u0902\u092C\u0902\
+      \u0927\u0940 \u0928\u093F\u0930\u094D\u0923\u092F \u0932\u0947\u0928\u0947 \u0935\
+      \u093E\u0932\u0947 \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0938\u092E\u0942\
+      \u0939 \u0915\u094B _______________ \u0915\u0939\u093E \u091C\u093E\u0924\u093E\
+      \ \u0939\u0948\u0964"
+  - input_choice_list:
+      A: "\u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E\u090F\u0901 \u0938\u0902\
+        \u0938\u094D\u0915\u0943\u0924\u093F \u092A\u0930 \u0914\u0930 \u0938\u093E\
+        \u092E\u093E\u091C\u093F\u0915 \u0935\u0930\u094D\u0917 \u092A\u0930 \u092D\
+        \u0940 \u0928\u093F\u0930\u094D\u092D\u0930 \u0939\u094B\u0924\u0940 \u0939\
+        \u0948\u0902\u0964"
+      B: "\u0907\u0938\u0938\u0947 \u092A\u0939\u0932\u0947 \u0915\u093F \u0909\u091A\
+        \u094D\u091A \u091C\u093C\u0930\u0942\u0930\u0924\u0947\u0902 \u0935\u094D\
+        \u092F\u0935\u0939\u093E\u0930 \u0915\u094B \u092A\u094D\u0930\u092D\u093E\
+        \u0935\u093F\u0924 \u0915\u0930 \u0938\u0915\u0947\u0902, \u0928\u093F\u091A\
+        \u0932\u0947 \u0938\u094D\u0924\u0930 \u0915\u0940 \u091C\u093C\u0930\u0942\
+        \u0930\u0924\u0947\u0902 \u0915\u092E \u0938\u0947 \u0915\u092E \u0906\u0902\
+        \u0936\u093F\u0915 \u0930\u0942\u092A \u0938\u0947 \u0938\u0902\u0924\u0941\
+        \u0937\u094D\u091F \u0939\u094B\u0928\u0940 \u091A\u093E\u0939\u093F\u090F\
+        \u0964"
+      C: "\u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E\u0913\u0902 \u0915\u094B\
+        \ \u0915\u093F\u0938\u0940 \u0935\u093F\u0936\u0947\u0937 \u0915\u094D\u0930\
+        \u092E \u092E\u0947\u0902 \u092A\u094D\u0930\u093E\u0925\u092E\u093F\u0915\
+        \u0924\u093E \u092F\u093E \u0935\u094D\u092F\u0935\u0938\u094D\u0925\u093F\
+        \u0924 \u0928\u0939\u0940\u0902 \u0915\u093F\u092F\u093E \u091C\u093E\u0924\
+        \u093E \u0939\u0948\u0964"
+      D: "\u0938\u0902\u0924\u0941\u0937\u094D\u091F \u091C\u093C\u0930\u0942\u0930\
+        \u0924\u0947\u0902 \u092A\u094D\u0930\u0947\u0930\u0915 \u0939\u094B\u0924\
+        \u0940 \u0939\u0948\u0902, \u0914\u0930 \u091C\u092C \u092E\u094C\u091C\u0942\
+        \u0926\u093E \u091C\u093C\u0930\u0942\u0930\u0924\u0947\u0902 \u092A\u0942\
+        \u0930\u0940 \u0928\u0939\u0940\u0902 \u0939\u094B\u0924\u0940\u0902 \u0924\
+        \u094B \u0928\u0908 \u091C\u093C\u0930\u0942\u0930\u0924\u0947\u0902 \u0938\
+        \u093E\u092E\u0928\u0947 \u0906\u0924\u0940 \u0939\u0948\u0902\u0964"
+    input_correct_responses:
+    - B
+    input_question: "\u092E\u093E\u0938\u094D\u0932\u094B \u0915\u0940 \u0906\u0935\
+      \u0936\u094D\u092F\u0915\u0924\u093E\u0913\u0902 \u0915\u0947 \u092A\u0926\u093E\
+      \u0928\u0941\u0915\u094D\u0930\u092E \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\
+      \u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\
+      \u0928 \u0938\u0940 \u0927\u093E\u0930\u0923\u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0935\u0943\u0926\u094D\u0927 \u0909\u092A\u092D\u094B\u0915\u094D\u0924\
+        \u093E \u091C\u094B \u091A\u0940\u091C\u094B\u0902 \u0938\u0947 \u0915\u0941\
+        \u091B \u0939\u0926 \u0924\u0915 \u0935\u0902\u091A\u093F\u0924 \u092E\u0939\
+        \u0938\u0942\u0938 \u0915\u0930\u0924\u093E \u0939\u0948\u0964"
+      B: "\u0935\u093F\u0935\u093E\u0939\u093F\u0924 \u092E\u0939\u093F\u0932\u093E\
+        \u090F\u0902, \u091C\u093F\u0928\u092E\u0947\u0902 \u0938\u0947 \u0915\u0908\
+        \ \u092E\u0939\u093F\u0932\u093E\u090F\u0902 \u0905\u092A\u0928\u0947 \u091C\
+        \u0940\u0935\u0928 \u092E\u0947\u0902 \u0938\u094D\u0925\u093F\u0930\u0924\
+        \u093E \u0915\u0940 \u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E \u092E\
+        \u0939\u0938\u0942\u0938 \u0915\u0930\u0924\u0940 \u0939\u0948\u0902\u0964"
+      C: "\u0928\u090F \u0905\u092A\u094D\u0930\u0935\u093E\u0938\u0940 \u091C\u094B\
+        \ \u0935\u093E\u0938\u094D\u0924\u0935 \u092E\u0947\u0902 \u0905\u092A\u0928\
+        \u0940 \u0928\u0908 \u0938\u0902\u0938\u094D\u0915\u0943\u0924\u093F \u092E\
+        \u0947\u0902 \u0906\u0924\u094D\u092E\u0938\u093E\u0924 \u0939\u094B\u0928\
+        \u093E \u091A\u093E\u0939\u0924\u0947 \u0939\u0948\u0902\u0964"
+      D: "\u092C\u091A\u094D\u091A\u0947, \u091C\u094B \u0905\u092A\u0928\u0947 \u0905\
+        \u0927\u093F\u0915\u093E\u0902\u0936 \u0916\u0930\u0940\u0926\u093E\u0930\u0940\
+        \ \u0928\u093F\u0930\u094D\u0923\u092F \u092C\u093E\u0939\u0930\u0940 \u092A\
+        \u094D\u0930\u092D\u093E\u0935\u094B\u0902 \u092A\u0930 \u0906\u0927\u093E\
+        \u0930\u093F\u0924 \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\u0964"
+    input_correct_responses:
+    - D
+    input_question: "\u0938\u092E\u093E\u091C \u0915\u0947 \u092D\u0940\u0924\u0930\
+      \ \u0935\u0939 \u090F\u0915\u0932 \u0938\u092E\u0942\u0939 \u091C\u094B \u0938\
+      \u0902\u0926\u0930\u094D\u092D \u0938\u092E\u0942\u0939 \u0915\u0947 \u092A\u094D\
+      \u0930\u092D\u093E\u0935 \u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u0938\u092C\
+      \u0938\u0947 \u0905\u0927\u093F\u0915 \u0938\u0902\u0935\u0947\u0926\u0928\u0936\
+      \u0940\u0932 \u0939\u0948, \u0935\u0939 \u0939\u0948:"
+  - input_choice_list:
+      A: "\u0926\u0947\u0916\u092D\u093E\u0932 \u092A\u0902\u0915\u094D\u0924\u093F\
+        \u092F\u093E\u0901."
+      B: "\u0938\u0940\u0927\u093E \u0921\u093E\u0915\u0964"
+      C: "\u0938\u092E\u094D\u092E\u093F\u0932\u093F\u0924 \u0915\u0930\u0924\u093E\
+        \ \u0939\u0948\u0964"
+      D: "\u0926\u0930\u0935\u093E\u091C\u0947 \u0938\u0947 \u0926\u0930\u0935\u093E\
+        \u091C\u0947 \u0924\u0915\u0964"
+    input_correct_responses:
+    - D
+    input_question: "\u0939\u093E\u0932\u093E\u0901\u0915\u093F \u0938\u093E\u092E\
+      \u0917\u094D\u0930\u0940 \u0914\u0930 \u0917\u0941\u0923\u0935\u0924\u094D\u0924\
+      \u093E \u0915\u094B \u0938\u0940\u0927\u0947 \u092E\u0947\u0932 \u0915\u0940\
+      \ \u0924\u0930\u0939 \u0928\u093F\u092F\u0902\u0924\u094D\u0930\u093F\u0924\
+      \ \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\u0948\
+      , \u0932\u0947\u0915\u093F\u0928 \u0935\u094D\u092F\u0915\u094D\u0924\u093F\u0917\
+      \u0924 \u092A\u0924\u093E \u0924\u0902\u0924\u094D\u0930 \u0915\u0940 \u0915\
+      \u092E\u0940 \u0915\u0947 \u0915\u093E\u0930\u0923 \u0907\u0938 \u092E\u093E\
+      \u0927\u094D\u092F\u092E \u0915\u0940 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\
+      \u0930\u093F\u092F\u093E \u0926\u0930 \u0915\u092E \u0939\u0948\u0964 \u0907\
+      \u0938 \u092E\u0940\u0921\u093F\u092F\u093E \u092A\u094D\u0930\u093E\u0930\u0942\
+      \u092A \u0915\u094B \u0907\u0938 \u0928\u093E\u092E \u0938\u0947 \u091C\u093E\
+      \u0928\u093E \u091C\u093E\u0924\u093E \u0939\u0948:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_marketing
+tag: mmlu_hi_llama_other_tasks
+task: mmlu_hi_llama_marketing
+task_alias: marketing

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_medical_genetics.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u092A\u094B\u0932\u0940\u092E\u0930\u0947\u091C \u0936\u094D\u0930\u0943\
+        \u0902\u0916\u0932\u093E \u0905\u092D\u093F\u0915\u094D\u0930\u093F\u092F\u093E\
+        \u0964"
+      B: "\u090F\u0915\u0932 \u0938\u094D\u091F\u094D\u0930\u0948\u0902\u0921 \u0917\
+        \u0920\u0928\u093E\u0924\u094D\u092E\u0915 \u092C\u0939\u0941\u0930\u0942\u092A\
+        \u0924\u093E \u0935\u093F\u0936\u094D\u0932\u0947\u0937\u0923\u0964"
+      C: "\u0926\u0915\u094D\u0937\u093F\u0923\u0940 \u0927\u092C\u094D\u092C\u093E\
+        ."
+      D: "\u092A\u0936\u094D\u091A\u093F\u092E\u0940 \u0938\u094B\u0916\u094D\u0924\
+        \u093E\u0964"
+    input_correct_responses:
+    - C
+    input_question: "\u092C\u0921\u093C\u0947 \u0924\u094D\u0930\u093F\u0915 \u0926\
+      \u094B\u0939\u0930\u093E\u0935 \u0935\u093F\u0938\u094D\u0924\u093E\u0930 \u0915\
+      \u093E \u092A\u0924\u093E \u0907\u0938\u0915\u0947 \u0926\u094D\u0935\u093E\u0930\
+      \u093E \u0932\u0917\u093E\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E\
+      \ \u0939\u0948:"
+  - input_choice_list:
+      A: "\u090F\u0915 \u090F\u0902\u091C\u093E\u0907\u092E \u091C\u094B \u0938\u093E\
+        \u092E\u093E\u0928\u094D\u092F \u0921\u0940\u090F\u0928\u090F \u092A\u094D\
+        \u0930\u0924\u093F\u0915\u0943\u0924\u093F \u092E\u0947\u0902 \u091F\u0941\
+        \u0915\u0921\u093C\u094B\u0902 \u0915\u094B \u091C\u094B\u0921\u093C\u0924\
+        \u093E \u0939\u0948"
+      B: "\u091C\u0940\u0935\u093E\u0923\u0941 \u092E\u0942\u0932 \u0915\u093E \u090F\
+        \u0915 \u090F\u0902\u091C\u093E\u0907\u092E \u091C\u094B \u0921\u0940\u090F\
+        \u0928\u090F \u0915\u094B \u092A\u0930\u093F\u092D\u093E\u0937\u093F\u0924\
+        \ \u0906\u0927\u093E\u0930 \u0905\u0928\u0941\u0915\u094D\u0930\u092E\u094B\
+        \u0902 \u092E\u0947\u0902 \u0915\u093E\u091F\u0924\u093E \u0939\u0948"
+      C: "\u090F\u0915 \u090F\u0902\u091C\u093E\u0907\u092E \u091C\u094B \u0935\u093F\
+        \u0936\u093F\u0937\u094D\u091F \u091C\u0940\u0928 \u0915\u0947 \u092A\u094D\
+        \u0930\u0924\u093F\u0932\u0947\u0916\u0928 \u0915\u0940 \u0938\u0941\u0935\
+        \u093F\u0927\u093E \u092A\u094D\u0930\u0926\u093E\u0928 \u0915\u0930\u0924\
+        \u093E \u0939\u0948"
+      D: "\u090F\u0915 \u090F\u0902\u091C\u093E\u0907\u092E \u091C\u094B \u0915\u093F\
+        \u0938\u0940 \u0935\u093F\u0936\u0947\u0937 \u092A\u094B\u0937\u0915 \u0924\
+        \u0924\u094D\u0935 \u0924\u0915 \u092A\u0939\u0941\u0902\u091A\u0928\u0947\
+        \ \u0915\u0947 \u0938\u094D\u0924\u0930 \u0915\u094B \u0938\u0940\u092E\u093F\
+        \u0924 \u0915\u0930\u0924\u093E \u0939\u0948"
+    input_correct_responses:
+    - A
+    input_question: "\u0921\u0940\u090F\u0928\u090F \u0932\u093F\u0917\u0947\u091C\
+      \ \u0939\u0948"
+  - input_choice_list:
+      A: "\u0926\u094B\u0928\u094B\u0902 \u090F\u0932\u0940\u0932 \u0938\u094D\u0935\
+        \u0924\u0902\u0924\u094D\u0930 \u0930\u0942\u092A \u0938\u0947 \u0939\u0947\
+        \u091F\u0947\u0930\u094B\u091C\u093C\u093E\u092F\u0917\u094B\u091F \u092E\u0947\
+        \u0902 \u0935\u094D\u092F\u0915\u094D\u0924 \u0939\u094B\u0924\u0947 \u0939\
+        \u0948\u0902"
+      B: "\u090F\u0915 \u090F\u0932\u0940\u0932 \u0926\u0942\u0938\u0930\u0947 \u092A\
+        \u0930 \u0939\u093E\u0935\u0940 \u0939\u0948"
+      C: "\u090F\u0932\u0940\u0932\u094D\u0938 \u090F\u0915 \u0939\u0940 \u0917\u0941\
+        \u0923\u0938\u0942\u0924\u094D\u0930 \u092A\u0930 \u092E\u091C\u092C\u0942\
+        \u0924\u0940 \u0938\u0947 \u091C\u0941\u0921\u093C\u0947 \u0939\u0941\u090F\
+        \ \u0939\u0948\u0902"
+      D: "\u090F\u0932\u0940\u0932\u094D\u0938 \u0935\u093F\u0915\u093E\u0938 \u092E\
+        \u0947\u0902 \u090F\u0915 \u0939\u0940 \u0938\u092E\u092F \u092E\u0947\u0902\
+        \ \u0935\u094D\u092F\u0915\u094D\u0924 \u0939\u094B\u0924\u0947 \u0939\u0948\
+        \u0902"
+    input_correct_responses:
+    - A
+    input_question: "\u0938\u0939\u092A\u094D\u0930\u092D\u0941\u0924\u094D\u0935\
+      \ \u0926\u0930\u094D\u0936\u093E\u0928\u0947 \u0935\u093E\u0932\u093E \u090F\
+      \u0915 \u091C\u0940\u0928"
+  - input_choice_list:
+      A: "\u092A\u093E\u092F\u0932\u094B\u0930\u093F\u0915 \u0938\u094D\u091F\u0947\
+        \u0928\u094B\u0938\u093F\u0938"
+      B: "\u090F\u0915 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\u093E \u092E\u093E\
+        \u0928\u0938\u093F\u0915 \u0935\u093F\u0915\u093E\u0930"
+      C: "\u0938\u094D\u092A\u093E\u0907\u0928\u093E \u092C\u093F\u092B\u093F\u0921\
+        \u093E (\u0928\u094D\u092F\u0942\u0930\u0932 \u091F\u094D\u092F\u0942\u092C\
+        \ \u0926\u094B\u0937)"
+      D: "\u092E\u093E\u0930\u094D\u092B\u0928 \u0938\u093F\u0928\u094D\u0921\u094D\
+        \u0930\u094B\u092E"
+    input_correct_responses:
+    - D
+    input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
+      \ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u0940 \u0938\u094D\
+      \u0925\u093F\u0924\u093F \u092C\u0939\u0941\u0915\u093E\u0930\u0915\u0940\u092F\
+      \ \u0935\u0902\u0936\u093E\u0928\u0941\u0915\u094D\u0930\u092E \u0915\u094B\
+      \ \u0928\u0939\u0940\u0902 \u0926\u0930\u094D\u0936\u093E\u0924\u0940 \u0939\
+      \u0948?"
+  - input_choice_list:
+      A: "\u092A\u094D\u0930\u094B\u092B\u093C\u0947\u091C\u093C I"
+      B: "\u092E\u0947\u091F\u093E\u092B\u093C\u0947\u091C\u093C I"
+      C: "\u092A\u094D\u0930\u094B\u092B\u093C\u0947\u091C\u093C II"
+      D: "\u092E\u0947\u091F\u093E\u092B\u093C\u0947\u091C\u093C II"
+    input_correct_responses:
+    - A
+    input_question: "\u0905\u0930\u094D\u0927\u0938\u0942\u0924\u094D\u0930\u0940\u0935\
+      \u093F\u092D\u093E\u091C\u0928 \u0915\u093E \u091A\u0930\u0923 \u091C\u093F\u0938\
+      \u092E\u0947\u0902 \u0917\u0941\u0923\u0938\u0942\u0924\u094D\u0930 \u091C\u0941\
+      \u0921\u093C\u0924\u0947 \u0939\u0948\u0902 \u0914\u0930 \u092A\u093E\u0930\
+      \ \u0939\u094B \u091C\u093E\u0924\u0947 \u0939\u0948\u0902:"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_medical_genetics
+tag: mmlu_hi_llama_other_tasks
+task: mmlu_hi_llama_medical_genetics
+task_alias: medical_genetics

lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_miscellaneous.yaml

+fewshot_config:
+  sampler: first_n
+  samples:
+  - input_choice_list:
+      A: "\u090F\u0915"
+      B: "\u0926\u094B"
+      C: "\u091A\u093E\u0930"
+      D: "\u0906\u0920"
+    input_correct_responses:
+    - B
+    input_question: "\u090F\u0915 \u092E\u093E\u0928\u0915 \u0911\u091F\u094B\u092E\
+      \u094B\u092C\u093E\u0907\u0932 \u092E\u0947\u0902 \u0915\u093F\u0924\u0928\u0947\
+      \ \u090F\u0915\u094D\u0938\u0932 \u0939\u094B\u0924\u0947 \u0939\u0948\u0902\
+      ?"
+  - input_choice_list:
+      A: "\u092C\u0941\u0921\u093E\u092A\u0947\u0938\u094D\u091F"
+      B: "\u090F\u091F \u092C\u0941\u0921\u094B\u0915\u0928"
+      C: "\u092D\u0942\u091F\u093E\u0928"
+      D: "\u092C\u094D\u0930\u093F\u091F\u0947\u0928"
+    input_correct_responses:
+    - B
+    input_question: "\u0930\u0949\u0915 \u0932\u0947\u091C\u0947\u0902\u0921\u094D\
+      \u0938 \u091A\u0940\u092A \u091F\u094D\u0930\u093F\u0915 \u0915\u0947 1979 \u0915\
+      \u0947 \u0932\u093E\u0907\u0935 \u090F\u0932\u094D\u092C\u092E \u0915\u0947\
+      \ \u0936\u0940\u0930\u094D\u0937\u0915 \u092E\u0947\u0902 \u0915\u093F\u0938\
+      \ \u0938\u094D\u0925\u093E\u0928 \u0915\u093E \u0928\u093E\u092E \u0926\u093F\
+      \u092F\u093E \u0917\u092F\u093E \u0939\u0948?"
+  - input_choice_list:
+      A: "\u090F\u0902\u0925\u094B\u0928\u0940 '\u0938\u094D\u092A\u0921'\
+        \ \u0935\u0947\u092C"
+      B: "\u092E\u093E\u0907\u0915\u0932 '\u090F\u092F\u0930' \u091C\u0949\
+        \u0930\u094D\u0921\u0928"
+      C: "\u091F\u093E\u092F\u0930\u094B\u0928 '\u092E\u0917\u094D\u0917\u094D\
+        \u0938\u0940' \u092C\u094B\u0917\u094D\u0938"
+      D: "\u091C\u0942\u0932\u093F\u092F\u0938 '\u0921\u0949 \u091C\u0947'\
+        \ \u0907\u0930\u0935\u093F\u0902\u0917"
+    input_correct_responses:
+    - A
+    input_question: "NBA \u0938\u094D\u0932\u0948\u092E \u0921\u0902\u0915 \u092A\u094D\
+      \u0930\u0924\u093F\u092F\u094B\u0917\u093F\u0924\u093E \u091C\u0940\u0924\u0928\
+      \u0947 \u0935\u093E\u0932\u093E \u0905\u092C \u0924\u0915 \u0915\u093E \u0938\
+      \u092C\u0938\u0947 \u091B\u094B\u091F\u093E \u0935\u094D\u092F\u0915\u094D\u0924\
+      \u093F \u0915\u094C\u0928 \u0939\u0948?"
+  - input_choice_list:
+      A: "\u0939\u093E\u0907\u0921\u094D\u0930\u094B\u091C\u0928"
+      B: "\u0928\u093E\u092F\u0932\u0949\u0928"
+      C: "\u0911\u0915\u094D\u0938\u0940\u091C\u0928"
+      D: "\u0930\u094B\u0936\u0928\u0940"
+    input_correct_responses:
+    - C
+    input_question: "\u092A\u094D\u0930\u0915\u093E\u0936 \u0938\u0902\u0936\u094D\
+      \u0932\u0947\u0937\u0923 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928 \u0915\u094D\
+      \u092F\u093E \u0909\u0924\u094D\u092A\u0928\u094D\u0928 \u0939\u094B\u0924\u093E\
+      \ \u0939\u0948?"
+  - input_choice_list:
+      A: "'\u0930\u0947\u0921\u093F\u092F\u094B \u0917\u093E \u0917\u093E'"
+      B: "'\u0913\u092C-\u0932\u093E-\u0926\u0940 \u0913\u092C-\u0932\u093E-\u0926\
+        \u093E'"
+      C: "'\u0926\u0947 \u0926\u094B \u0926\u094B \u0926\u094B \u0926\u0947 \u0926\
+        \u093E \u0926\u093E \u0926\u093E'"
+      D: "'\u0907\u0928-\u090F-\u0917\u0926\u094D\u0926\u093E-\u0926\u093E-\u0935\
+        \u093F\u0926\u093E'"
+    input_correct_responses:
+    - C
+    input_question: "\u0907\u0928\u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928\
+      \ \u0938\u093E \u0917\u093E\u0928\u093E \u0930\u0949\u0915 \u092C\u0948\u0902\
+      \u0921 \u0926 \u092A\u0941\u0932\u093F\u0938 \u0915\u0947 \u0932\u093F\u090F\
+      \ \u0936\u0940\u0930\u094D\u0937 10 \u0939\u093F\u091F \u0925\u093E?"
+include: _continuation_template_yaml
+process_docs: !function utils.process_docs_miscellaneous
+tag: mmlu_hi_llama_other_tasks
+task: mmlu_hi_llama_miscellaneous
+task_alias: miscellaneous