Skip to content

GitLab

Unverified Commit 1b357a68 authored by Alexandre Marques's avatar Alexandre Marques Committed by GitHub
Browse files

Multilingual MMLU for Llama instruct models (#2826) 

* Multilingual MMLU

* Refactor process_docs function calls for clarity and consistency
parent 1afb190c
Hide whitespace changes
Inline Side-by-side
Showing with 3083 additions and 0 deletions
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_astronomy.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u092F\u0939 \u0915\u0920\u093F\u0928 \u0939\u094B\u0917\u093E \u0915\u094D\
\u092F\u094B\u0902\u0915\u093F \u091F\u094D\u0930\u0915 \u092E\u0902\u0917\
\u0932 \u0917\u094D\u0930\u0939 \u092A\u0930 \u092D\u093E\u0930\u0940 \u0939\
\u0948\u0964"
B: "\u092F\u0939 \u0906\u0938\u093E\u0928 \u0939\u094B\u0917\u093E \u0915\u094D\
\u092F\u094B\u0902\u0915\u093F \u091F\u094D\u0930\u0915 \u092E\u0902\u0917\
\u0932 \u092A\u0930 \u0939\u0932\u094D\u0915\u093E \u0939\u0948\u0964"
C: "\u092F\u0939 \u0915\u0920\u093F\u0928 \u0939\u094B\u0917\u093E \u0915\u094D\
\u092F\u094B\u0902\u0915\u093F \u091F\u094D\u0930\u0915 \u092E\u0902\u0917\
\u0932 \u0917\u094D\u0930\u0939 \u092A\u0930 \u0939\u0932\u094D\u0915\u093E\
\ \u0939\u0948\u0964"
D: "\u091A\u093E\u0939\u0947 \u0906\u092A \u0915\u0939\u0940\u0902 \u092D\u0940\
\ \u0939\u094B\u0902, \u092F\u0939 \u0935\u0948\u0938\u093E \u0939\u0940 \u0939\
\u094B\u0917\u093E\u0964"
input_correct_responses:
- D
input_question: "\u0906\u092A \u0938\u0921\u093C\u0915 \u092A\u0930 \u090F\u0915\
\ \u091F\u094D\u0930\u0915 \u0915\u094B \u0927\u0915\u094D\u0915\u093E \u0926\
\u0947 \u0930\u0939\u0947 \u0939\u0948\u0902\u0964 \u0915\u094D\u092F\u093E\
\ \u092E\u0902\u0917\u0932 \u0917\u094D\u0930\u0939 \u092A\u0930 \u0907\u0938\
\ \u091F\u094D\u0930\u0915 \u0915\u094B \u0917\u0924\u093F \u0926\u0947\u0928\
\u093E \u0906\u0938\u093E\u0928 \u0939\u094B\u0917\u093E? \u0915\u094D\u092F\
\u094B\u0902? (\u092E\u093E\u0928 \u0932\u0947\u0902 \u0915\u093F \u0915\u094B\
\u0908 \u0918\u0930\u094D\u0937\u0923 \u0928\u0939\u0940\u0902 \u0939\u0948)"
- input_choice_list:
A: "\u0915\u0941\u0907\u092A\u0930 \u092C\u0947\u0932\u094D\u091F; \u091B\u094B\
\u091F\u0940 \u0905\u0935\u0927\u093F \u0915\u0947 \u0927\u0942\u092E\u0915\
\u0947\u0924\u0941 \u0915\u0941\u0907\u092A\u0930 \u092C\u0947\u0932\u094D\
\u091F \u0915\u0940 \u0924\u0930\u0939 \u0939\u0940 \u0938\u094C\u0930 \u092E\
\u0902\u0921\u0932 \u0915\u0947 \u0924\u0932 \u092E\u0947\u0902 \u0939\u094B\
\u0924\u0947 \u0939\u0948\u0902\u0964"
B: "\u0915\u0941\u0907\u092A\u0930 \u092C\u0947\u0932\u094D\u091F; \u091B\u094B\
\u091F\u0940 \u0905\u0935\u0927\u093F \u0915\u0947 \u0927\u0942\u092E\u0915\
\u0947\u0924\u0941 \u092F\u093E\u0926\u0943\u091A\u094D\u091B\u093F\u0915\
\ \u0926\u093F\u0936\u093E\u0913\u0902 \u0938\u0947 \u0906\u0924\u0947 \u0939\
\u0948\u0902 \u091C\u094B \u0915\u0941\u0907\u092A\u0930 \u092C\u0947\u0932\
\u094D\u091F \u0928\u093E\u092E\u0915 \u0927\u0942\u092E\u0915\u0947\u0924\
\u0941\u0913\u0902 \u0915\u0947 \u0917\u094B\u0932\u093E\u0915\u093E\u0930\
\ \u0935\u093F\u0924\u0930\u0923 \u0915\u093E \u0938\u0902\u0915\u0947\u0924\
\ \u0926\u0947\u0924\u0947 \u0939\u0948\u0902\u0964"
C: "\u0915\u094D\u0937\u0941\u0926\u094D\u0930\u0917\u094D\u0930\u0939 \u092C\
\u0947\u0932\u094D\u091F; \u091B\u094B\u091F\u0940 \u0905\u0935\u0927\u093F\
\ \u0915\u0947 \u0927\u0942\u092E\u0915\u0947\u0924\u0941\u0913\u0902 \u0915\
\u0940 \u0915\u0915\u094D\u0937\u0940\u092F \u0905\u0935\u0927\u093F \u0935\
\u0947\u0938\u094D\u091F\u093E \u091C\u0948\u0938\u0947 \u0915\u094D\u0937\
\u0941\u0926\u094D\u0930\u0917\u094D\u0930\u0939\u094B\u0902 \u0915\u0947\
\ \u0938\u092E\u093E\u0928 \u0939\u094B\u0924\u0940 \u0939\u0948 \u0914\u0930\
\ \u092F\u0947 \u0915\u094D\u0937\u0941\u0926\u094D\u0930\u0917\u094D\u0930\
\u0939 \u092C\u0947\u0932\u094D\u091F \u0915\u0940 \u0924\u0930\u0939 \u0939\
\u0940 \u0938\u094C\u0930 \u092E\u0902\u0921\u0932 \u0915\u0947 \u0924\u0932\
\ \u092E\u0947\u0902 \u092A\u093E\u090F \u091C\u093E\u0924\u0947 \u0939\u0948\
\u0902\u0964"
D: "\u090A\u0930\u094D\u091F \u092C\u093E\u0926\u0932; \u091B\u094B\u091F\u0940\
\ \u0905\u0935\u0927\u093F \u0915\u0947 \u0927\u0942\u092E\u0915\u0947\u0924\
\u0941 \u090A\u0930\u094D\u091F \u092C\u093E\u0926\u0932 \u0915\u0940 \u0924\
\u0930\u0939 \u0939\u0940 \u0938\u094C\u0930 \u092E\u0902\u0921\u0932 \u0915\
\u0947 \u0924\u0932 \u092E\u0947\u0902 \u0939\u094B\u0924\u0947 \u0939\u0948\
\u0902\u0964"
input_correct_responses:
- A
input_question: "\u0905\u0927\u093F\u0915\u093E\u0902\u0936 \u091B\u094B\u091F\
\u0940 \u0905\u0935\u0927\u093F \u0915\u0947 \u0927\u0942\u092E\u0915\u0947\u0924\
\u0941 \u0915\u0939\u093E\u0901 \u0938\u0947 \u0906\u0924\u0947 \u0939\u0948\
\u0902 \u0914\u0930 \u0939\u092E \u0915\u0948\u0938\u0947 \u091C\u093E\u0928\
\u0924\u0947 \u0939\u0948\u0902?"
- input_choice_list:
A: "10000 \u0917\u0941\u0928\u093E \u091C\u094D\u092F\u093E\u0926\u093E"
B: "100 \u0917\u0941\u0928\u093E \u091C\u094D\u092F\u093E\u0926\u093E"
C: "1000 \u0917\u0941\u0928\u093E \u091C\u094D\u092F\u093E\u0926\u093E"
D: "10 \u0917\u0941\u0928\u093E \u091C\u094D\u092F\u093E\u0926\u093E"
input_correct_responses:
- A
input_question: "\u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F \u0915\u093F\
\ \u0906\u092A\u0915\u0940 \u0906\u0902\u0916 \u0915\u0940 \u092A\u0941\u0924\
\u0932\u0940 \u0915\u093E \u0935\u094D\u092F\u093E\u0938 5 \u092E\u093F\u092E\
\u0940 \u0939\u0948 \u0914\u0930 \u0906\u092A\u0915\u0947 \u092A\u093E\u0938\
\ 50 \u0938\u0947\u092E\u0940 \u090F\u092A\u0930\u094D\u091A\u0930 \u0935\u093E\
\u0932\u093E \u090F\u0915 \u0926\u0942\u0930\u092C\u0940\u0928 \u0939\u0948\u0964\
\ \u0926\u0942\u0930\u092C\u0940\u0928 \u0906\u092A\u0915\u0940 \u0906\u0902\
\u0916 \u0938\u0947 \u0915\u093F\u0924\u0928\u0940 \u0905\u0927\u093F\u0915\
\ \u0930\u094B\u0936\u0928\u0940 \u0907\u0915\u091F\u094D\u0920\u093E \u0915\
\u0930 \u0938\u0915\u0924\u0940 \u0939\u0948?"
- input_choice_list:
A: "\u092F\u0939\u093E\u0902 \u090F\u0915 \u092C\u093E\u0930 \u090F\u0915 \u0917\
\u094D\u0930\u0939 \u092C\u0928\u093E \u0925\u093E \u0932\u0947\u0915\u093F\
\u0928 \u090F\u0915 \u092D\u092F\u093E\u0935\u0939 \u091F\u0915\u094D\u0915\
\u0930 \u0938\u0947 \u0935\u0939 \u091F\u0942\u091F \u0917\u092F\u093E\u0964"
B: "\u0938\u094C\u0930 \u0928\u093F\u0939\u093E\u0930\u093F\u0915\u093E \u0915\
\u0947 \u0907\u0938 \u092D\u093E\u0917 \u092E\u0947\u0902 \u0917\u094D\u0930\
\u0939 \u092C\u0928\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092A\
\u0930\u094D\u092F\u093E\u092A\u094D\u0924 \u0938\u093E\u092E\u0917\u094D\u0930\
\u0940 \u0928\u0939\u0940\u0902 \u0925\u0940\u0964"
C: "\u090F\u0915 \u0938\u094D\u0925\u0932\u0940\u092F \u0917\u094D\u0930\u0939\
\ \u092C\u0928\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092C\u0939\
\u0941\u0924 \u0905\u0927\u093F\u0915 \u091A\u091F\u094D\u091F\u093E\u0928\
\u0940 \u0938\u093E\u092E\u0917\u094D\u0930\u0940 \u0925\u0940 \u0932\u0947\
\u0915\u093F\u0928 \u090F\u0915 \u0909\u0932\u094D\u0932\u093E\u0938\u092A\
\u0942\u0930\u094D\u0923 \u0917\u094D\u0930\u0939 \u092C\u0928\u093E\u0928\
\u0947 \u0915\u0947 \u0932\u093F\u090F \u092A\u0930\u094D\u092F\u093E\u092A\
\u094D\u0924 \u0917\u0948\u0938\u0940\u092F \u0938\u093E\u092E\u0917\u094D\
\u0930\u0940 \u0928\u0939\u0940\u0902 \u0925\u0940\u0964"
D: "\u092C\u0943\u0939\u0938\u094D\u092A\u0924\u093F \u0915\u0947 \u0938\u093E\
\u0925 \u092A\u094D\u0930\u0924\u093F\u0927\u094D\u0935\u0928\u093F \u0928\
\u0947 \u0938\u093E\u092E\u0917\u094D\u0930\u0940 \u0915\u094B \u090F\u0915\
\ \u0917\u094D\u0930\u0939 \u092C\u0928\u093E\u0928\u0947 \u0915\u0947 \u0932\
\u093F\u090F \u090F\u0915\u0924\u094D\u0930\u093F\u0924 \u0939\u094B\u0928\
\u0947 \u0938\u0947 \u0930\u094B\u0915 \u0926\u093F\u092F\u093E\u0964"
input_correct_responses:
- D
input_question: "\u0935\u0939\u093E\u0901 \u0915\u094B\u0908 \u0917\u094D\u0930\
\u0939 \u0915\u094D\u092F\u094B\u0902 \u0928\u0939\u0940\u0902 \u0939\u0948\
\ \u091C\u0939\u093E\u0901 \u0915\u094D\u0937\u0941\u0926\u094D\u0930\u0917\u094D\
\u0930\u0939 \u092C\u0947\u0932\u094D\u091F \u0938\u094D\u0925\u093F\u0924 \u0939\
\u0948?"
- input_choice_list:
A: "\u0915\u094D\u092F\u094B\u0902\u0915\u093F \u0938\u0924\u0939 \u0905\u0924\
\u094D\u092F\u0927\u093F\u0915 \u0911\u0915\u094D\u0938\u0940\u0915\u0943\u0924\
\ ("\u091C\u0902\u0917 \u0932\u0917\u0947") \u0916\u0928\u093F\u091C\
\u094B\u0902 \u0938\u0947 \u0922\u0915\u0940 \u0939\u0941\u0908 \u0939\u0948\
\u0964"
B: "\u0915\u094D\u092F\u094B\u0902\u0915\u093F \u0935\u093E\u092F\u0941\u092E\
\u0902\u0921\u0932 \u0928\u0940\u0932\u0940 \u0924\u0930\u0902\u0917 \u0926\
\u0948\u0930\u094D\u0927\u094D\u092F \u092A\u0930 \u0905\u0927\u093F\u0915\
\ \u092A\u094D\u0930\u0915\u093E\u0936 \u092C\u093F\u0916\u0947\u0930\u0924\
\u093E \u0939\u0948 \u0914\u0930 \u0905\u0927\u093F\u0915\u0924\u0930 \u0932\
\u093E\u0932 \u092A\u094D\u0930\u0915\u093E\u0936 \u0938\u0902\u091A\u093E\
\u0930\u093F\u0924 \u0915\u0930\u0924\u093E \u0939\u0948\u0964"
C: "\u0915\u094D\u092F\u094B\u0902\u0915\u093F \u092E\u0902\u0917\u0932 \u0917\
\u094D\u0930\u0939 \u092A\u094D\u0930\u093E\u091A\u0940\u0928 \u0932\u093E\
\u0935\u093E \u092A\u094D\u0930\u0935\u093E\u0939 \u0938\u0947 \u0922\u0915\
\u093E \u0939\u0941\u0906 \u0939\u0948 \u091C\u093F\u0938\u0915\u093E \u0930\
\u0902\u0917 \u0932\u093E\u0932 \u0939\u0948\u0964"
D: "\u0915\u094D\u092F\u094B\u0902\u0915\u093F \u092E\u0902\u0917\u0932 \u0915\
\u0940 \u0938\u0924\u0939 \u092A\u0930 \u092C\u0939\u0924\u0947 \u092A\u093E\
\u0928\u0940 \u0928\u0947 \u0915\u0908 \u0905\u0930\u092C \u0938\u093E\u0932\
\ \u092A\u0939\u0932\u0947 \u0938\u0924\u0939 \u0915\u0947 \u0916\u0928\u093F\
\u091C\u094B\u0902 \u0915\u094B \u092C\u0926\u0932 \u0926\u093F\u092F\u093E\
\ \u0925\u093E\u0964"
input_correct_responses:
- A
input_question: "\u092E\u0902\u0917\u0932 \u0917\u094D\u0930\u0939 \u0932\u093E\
\u0932 \u0915\u094D\u092F\u094B\u0902 \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_astronomy
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_astronomy
task_alias: astronomy
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_business_ethics.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u092C\u093E\u0939\u094D\u092F\u0924\u093E\u090F\u0901, \u0936\u0915\u094D\
\u0924\u093F, \u0938\u094D\u0935\u0924\u0902\u0924\u094D\u0930\u0924\u093E"
B: "\u092A\u094D\u0930\u091A\u093E\u0930, \u0905\u092A\u0930\u094D\u092F\u093E\
\u092A\u094D\u0924 \u0938\u0902\u0938\u093E\u0927\u0928, \u092A\u093E\u0930\
\u0938\u094D\u092A\u0930\u093F\u0915 \u0928\u093F\u0930\u094D\u092D\u0930\u0924\
\u093E"
C: "\u092A\u094D\u0930\u091A\u093E\u0930, \u0936\u0915\u094D\u0924\u093F, \u0938\
\u094D\u0935\u0924\u0902\u0924\u094D\u0930\u0924\u093E"
D: "\u092C\u093E\u0939\u094D\u092F\u0924\u093E\u090F\u0901, \u0936\u0915\u094D\
\u0924\u093F, \u092A\u093E\u0930\u0938\u094D\u092A\u0930\u093F\u0915 \u0928\
\u093F\u0930\u094D\u092D\u0930\u0924\u093E"
input_correct_responses:
- D
input_question: "\u0938\u0940\u090F\u0938\u0906\u0930 \u092E\u0947\u0902 \u0938\
\u0902\u0932\u0917\u094D\u0928 \u0939\u094B\u0928\u0947 \u0915\u0947 \u0935\u094D\
\u092F\u093E\u0935\u0938\u093E\u092F\u093F\u0915 \u092E\u093E\u092E\u0932\u0947\
\ \u0938\u0947 \u092A\u0930\u0947 \u0915\u0908 \u0928\u0948\u0924\u093F\u0915\
\ \u0924\u0930\u094D\u0915 \u0939\u0948\u0902: \u0928\u0915\u093E\u0930\u093E\
\u0924\u094D\u092E\u0915 _______, \u0928\u093F\u0917\u092E\u094B\u0902 \u0915\
\u0947 \u092A\u093E\u0938 \u091C\u094B _______ \u0939\u0948 \u0914\u0930 \u0935\
\u094D\u092F\u0935\u0938\u093E\u092F \u0914\u0930 \u0938\u092E\u093E\u091C \u0915\
\u093E ________\u0964"
- input_choice_list:
A: "\u0915\u0949\u0930\u094D\u092A\u094B\u0930\u0947\u091F \u0915\u0940 \u0938\
\u093E\u092E\u093E\u091C\u093F\u0915 \u091C\u093F\u092E\u094D\u092E\u0947\u0926\
\u093E\u0930\u0940"
B: "\u0935\u094D\u092F\u093E\u0935\u0938\u093E\u092F\u093F\u0915 \u0928\u0948\
\u0924\u093F\u0915\u0924\u093E \u092A\u094D\u0930\u092C\u0902\u0927\u0928"
C: "\u0935\u0939\u0928\u0940\u092F\u0924\u093E"
D: "\u092A\u0930\u094D\u092F\u093E\u0935\u0930\u0923 \u092A\u094D\u0930\u092C\
\u0902\u0927\u0928"
input_correct_responses:
- B
input_question: "_______ \u0935\u093F\u0936\u093F\u0937\u094D\u091F \u0928\u0940\
\u0924\u093F\u092F\u094B\u0902, \u092A\u094D\u0930\u0925\u093E\u0913\u0902 \u0914\
\u0930 \u0915\u093E\u0930\u094D\u092F\u0915\u094D\u0930\u092E\u094B\u0902 \u0915\
\u0947 \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947 \u0928\u0948\u0924\u093F\
\u0915 \u092E\u0941\u0926\u094D\u0926\u094B\u0902 \u092F\u093E \u0938\u092E\u0938\
\u094D\u092F\u093E\u0913\u0902 \u0915\u094B \u0914\u092A\u091A\u093E\u0930\u093F\
\u0915 \u092F\u093E \u0905\u0928\u094C\u092A\u091A\u093E\u0930\u093F\u0915 \u0930\
\u0942\u092A \u0938\u0947 \u092A\u094D\u0930\u092C\u0902\u0927\u093F\u0924 \u0915\
\u0930\u0928\u0947 \u0915\u093E \u092A\u094D\u0930\u0924\u094D\u092F\u0915\u094D\
\u0937 \u092A\u094D\u0930\u092F\u093E\u0938 \u0939\u0948\u0964"
- input_choice_list:
A: "\u092C\u093E\u0939\u0930, \u0938\u0940\u092E\u093F\u0924, \u0938\u094D\u0935\
\u0924\u0902\u0924\u094D\u0930 \u0930\u0942\u092A \u0938\u0947"
B: "\u0905\u0902\u0926\u0930, \u0938\u0940\u092E\u093F\u0924, \u0930\u0941\u0915\
-\u0930\u0941\u0915 \u0915\u0930"
C: "\u092C\u093E\u0939\u0930, \u0905\u0938\u0940\u092E\u093F\u0924, \u0930\u0941\
\u0915-\u0930\u0941\u0915 \u0915\u0930"
D: "\u0905\u0902\u0926\u0930, \u0905\u0938\u0940\u092E\u093F\u0924, \u0938\u094D\
\u0935\u0924\u0902\u0924\u094D\u0930 \u0930\u0942\u092A \u0938\u0947"
input_correct_responses:
- A
input_question: "\u0917\u0948\u0930-\u0915\u093E\u0930\u094D\u092F\u0915\u093E\
\u0930\u0940 \u092C\u094B\u0930\u094D\u0921 \u0915\u0947 \u0938\u0926\u0938\u094D\
\u092F\u094B\u0902 \u0915\u0940 \u0938\u094D\u0935\u0924\u0902\u0924\u094D\u0930\
\u0924\u093E \u0938\u0941\u0928\u093F\u0936\u094D\u091A\u093F\u0924 \u0915\u0930\
\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F, \u0915\u0908 \u0915\u0926\u092E\
\ \u0909\u0920\u093E\u090F \u091C\u093E \u0938\u0915\u0924\u0947 \u0939\u0948\
\u0902, \u091C\u093F\u0938\u092E\u0947\u0902 \u0917\u0948\u0930-\u0915\u093E\
\u0930\u094D\u092F\u0915\u093E\u0930\u0940 \u0915\u094B \u0915\u0902\u092A\u0928\
\u0940 \u0938\u0947 _________ \u0938\u0947 \u0932\u093F\u092F\u093E \u091C\u093E\
\u0928\u093E, _________ \u0938\u092E\u092F \u0905\u0935\u0927\u093F \u0915\u0947\
\ \u0932\u093F\u090F \u0928\u093F\u092F\u0941\u0915\u094D\u0924 \u0915\u093F\
\u092F\u093E \u091C\u093E\u0928\u093E \u0914\u0930 \u0938\u093E\u0925 \u0939\
\u0940 _________ \u0928\u093F\u092F\u0941\u0915\u094D\u0924 \u0915\u093F\u092F\
\u093E \u091C\u093E\u0928\u093E \u0936\u093E\u092E\u093F\u0932 \u0939\u0948\u0964"
- input_choice_list:
A: "\u0905\u0939\u093F\u0902\u0938\u0915 \u092A\u094D\u0930\u0924\u094D\u092F\
\u0915\u094D\u0937 \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908, \u0939\
\u093F\u0902\u0938\u0915 \u092A\u094D\u0930\u0924\u094D\u092F\u0915\u094D\u0937\
\ \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908, \u0905\u092A\u094D\u0930\
\u0924\u094D\u092F\u0915\u094D\u0937 \u0915\u093E\u0930\u094D\u0930\u0935\u093E\
\u0908, \u092C\u0939\u093F\u0937\u094D\u0915\u093E\u0930"
B: "\u0905\u092A\u094D\u0930\u0924\u094D\u092F\u0915\u094D\u0937 \u0915\u093E\
\u0930\u094D\u0930\u0935\u093E\u0908, \u0935\u093E\u0926\u094D\u092F \u0915\
\u093E\u0930\u094D\u0930\u0935\u093E\u0908, \u0905\u0939\u093F\u0902\u0938\
\u0915 \u092A\u094D\u0930\u0924\u094D\u092F\u0915\u094D\u0937 \u0915\u093E\
\u0930\u094D\u0930\u0935\u093E\u0908, \u0938\u0942\u091A\u0928\u093E \u0905\
\u092D\u093F\u092F\u093E\u0928"
C: "\u0905\u092A\u094D\u0930\u0924\u094D\u092F\u0915\u094D\u0937 \u0915\u093E\
\u0930\u094D\u0930\u0935\u093E\u0908, \u0939\u093F\u0902\u0938\u0915 \u092A\
\u094D\u0930\u0924\u094D\u092F\u0915\u094D\u0937 \u0915\u093E\u0930\u094D\u0930\
\u0935\u093E\u0908, \u0905\u0939\u093F\u0902\u0938\u0915 \u092A\u094D\u0930\
\u0924\u094D\u092F\u0915\u094D\u0937 \u0915\u093E\u0930\u094D\u0930\u0935\u093E\
\u0908 \u092C\u0939\u093F\u0937\u094D\u0915\u093E\u0930"
D: "\u0905\u0939\u093F\u0902\u0938\u0915 \u092A\u094D\u0930\u0924\u094D\u092F\
\u0915\u094D\u0937 \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908, \u0935\
\u093E\u0926\u094D\u092F \u0915\u093E\u0930\u094D\u0930\u0935\u093E\u0908\
, \u0905\u092A\u094D\u0930\u0924\u094D\u092F\u0915\u094D\u0937 \u0915\u093E\
\u0930\u094D\u0930\u0935\u093E\u0908, \u0938\u0942\u091A\u0928\u093E \u0905\
\u092D\u093F\u092F\u093E\u0928"
input_correct_responses:
- C
input_question: "\u0938\u0940\u090F\u0938\u0913 \u0905\u092A\u0928\u0947 \u0932\
\u0915\u094D\u0937\u094D\u092F\u094B\u0902 \u0915\u094B \u092A\u0942\u0930\u093E\
\ \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u091C\u093F\u0928\
\ \u0924\u0940\u0928 \u0935\u093F\u092A\u0930\u0940\u0924 \u092F\u0941\u0915\
\u094D\u0924\u093F\u092F\u094B\u0902 \u092E\u0947\u0902 \u0938\u0902\u0932\u0917\
\u094D\u0928 \u0939\u094B \u0938\u0915\u0924\u0947 \u0939\u0948\u0902 \u0935\
\u0947 \u0939\u0948\u0902 ________ \u091C\u093F\u0938\u092E\u0947\u0902 \u0906\
\u092E \u0924\u094C\u0930 \u092A\u0930 \u0905\u0928\u0941\u0938\u0902\u0927\u093E\
\u0928 \u0914\u0930 \u0938\u0902\u091A\u093E\u0930 \u0936\u093E\u092E\u093F\u0932\
\ \u0939\u094B\u0924\u093E \u0939\u0948, ________, \u091C\u093F\u0938\u092E\u0947\
\u0902 \u0915\u093F\u0938\u0940 \u0915\u0902\u092A\u0928\u0940 \u0915\u0947\
\ \u0938\u0902\u091A\u093E\u0932\u0928 \u092A\u0930 \u0936\u093E\u0930\u0940\
\u0930\u093F\u0915 \u0930\u0942\u092A \u0938\u0947 \u0939\u092E\u0932\u093E\
\ \u0915\u0930\u0928\u093E \u092F\u093E ________ \u0936\u093E\u092E\u093F\u0932\
\ \u0939\u094B \u0938\u0915\u0924\u093E \u0939\u0948, \u091C\u093F\u0938\u092E\
\u0947\u0902 \u0905\u0915\u094D\u0938\u0930 _______ \u0915\u093E \u0915\u0941\
\u091B \u0930\u0942\u092A \u0936\u093E\u092E\u093F\u0932 \u0939\u094B\u0924\u093E\
\ \u0939\u0948\u0964"
- input_choice_list:
A: "\u092C\u093E\u092F\u0915\u0949\u091F, \u092C\u0949\u092F\u0915\u0949\u091F\
, \u092C\u094D\u0932\u0949\u0915\u091A\u0947\u0928 \u092A\u094D\u0930\u094C\
\u0926\u094D\u092F\u094B\u0917\u093F\u0915\u0940, \u0927\u0930\u094D\u092E\
\u093E\u0930\u094D\u0925 \u0926\u093E\u0928"
B: "\u092C\u093E\u092F\u0915\u0949\u091F, \u092C\u0949\u092F\u0915\u0949\u091F\
, \u0921\u093F\u091C\u093F\u091F\u0932 \u0924\u0915\u0928\u0940\u0915, \u092C\
\u0922\u093C\u0940 \u0939\u0941\u0908 \u092C\u093F\u0915\u094D\u0930\u0940"
C: "\u092C\u0939\u093F\u0937\u094D\u0915\u093E\u0930, \u0916\u0930\u0940\u0926\
\u093E\u0930\u0940, \u092C\u094D\u0932\u0949\u0915\u091A\u0947\u0928 \u092A\
\u094D\u0930\u094C\u0926\u094D\u092F\u094B\u0917\u093F\u0915\u0940, \u0927\
\u0930\u094D\u092E\u093E\u0930\u094D\u0925 \u0926\u093E\u0928"
D: "\u092C\u0939\u093F\u0937\u094D\u0915\u093E\u0930, \u092C\u093E\u092F\u0915\
\u0949\u091F, \u0921\u093F\u091C\u093F\u091F\u0932 \u092A\u094D\u0930\u094C\
\u0926\u094D\u092F\u094B\u0917\u093F\u0915\u0940, \u092C\u0922\u093C\u0940\
\ \u0939\u0941\u0908 \u092C\u093F\u0915\u094D\u0930\u0940"
input_correct_responses:
- D
input_question: "_______ \u0915\u0947 \u0935\u093F\u092A\u0930\u0940\u0924, _______\
\ \u0915\u093E \u0909\u0926\u094D\u0926\u0947\u0936\u094D\u092F \u0915\u0902\
\u092A\u0928\u093F\u092F\u094B\u0902 \u0926\u094D\u0935\u093E\u0930\u093E \u0905\
\u0928\u0941\u0915\u0942\u0932 \u0935\u094D\u092F\u0935\u0939\u093E\u0930 \u0915\
\u094B \u092A\u0941\u0930\u0938\u094D\u0915\u0943\u0924 \u0915\u0930\u0928\u093E\
\ \u0939\u0948\u0964 \u0910\u0938\u0947 \u0905\u092D\u093F\u092F\u093E\u0928\
\u094B\u0902 \u0915\u0940 \u0938\u092B\u0932\u0924\u093E ___________ \u0915\u0947\
\ \u0909\u092A\u092F\u094B\u0917 \u0915\u0947 \u092E\u093E\u0927\u094D\u092F\
\u092E \u0938\u0947 \u092C\u0922\u093C\u0940 \u0939\u0948, \u091C\u094B \u0905\
\u092D\u093F\u092F\u093E\u0928\u094B\u0902 \u0915\u094B \u0915\u0902\u092A\u0928\
\u0940 \u0915\u094B _________ \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0915\
\u0930\u0928\u0947 \u092E\u0947\u0902 \u0938\u0941\u0935\u093F\u0927\u093E \u092A\
\u094D\u0930\u0926\u093E\u0928 \u0915\u0930\u0924\u0940 \u0939\u0948\u0964"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_business_ethics
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_business_ethics
task_alias: business_ethics
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_clinical_knowledge.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u090F\u091F\u0940\u092A\u0940."
B: "\u090F.\u0921\u0940.\u092A\u0940."
C: "\u092B\u093C\u0949\u0938\u094D\u092B\u093C\u094B\u0915\u094D\u0930\u093F\
\u090F\u091F\u093F\u0928\u0964"
D: "\u0911\u0915\u094D\u0938\u0940\u0921\u0947\u091F\u093F\u0935 \u092B\u093E\
\u0943\u0949\u0938\u094D\u092B\u0949\u0930\u093F\u0932\u0947\u0936\u0928\u0964"
input_correct_responses:
- A
input_question: "\u0938\u092D\u0940 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\
\u0940 \u092E\u093E\u0902\u0938\u092A\u0947\u0936\u093F\u092F\u094B\u0902 \u0915\
\u0947 \u0938\u0902\u0915\u0941\u091A\u0928 \u0915\u0947 \u0932\u093F\u090F\
\ \u090A\u0930\u094D\u091C\u093E \u092A\u094D\u0930\u0926\u093E\u0928 \u0915\
\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948:"
- input_choice_list:
A: "\u0928\u0930 \u0914\u0930 \u092E\u093E\u0926\u093E \u0915\u0948\u0925\u0947\
\u091F\u0930 \u0905\u0932\u0917-\u0905\u0932\u0917 \u0930\u0902\u0917 \u0915\
\u0947 \u0939\u094B\u0924\u0947 \u0939\u0948\u0902\u0964"
B: "\u092A\u0941\u0930\u0941\u0937 \u0915\u0948\u0925\u0947\u091F\u0930 \u092E\
\u0939\u093F\u0932\u093E \u0915\u0948\u0925\u0947\u091F\u0930 \u0915\u0940\
\ \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0932\u0902\u092C\u0947\
\ \u0939\u094B\u0924\u0947 \u0939\u0948\u0902\u0964"
C: "\u092A\u0941\u0930\u0941\u0937 \u0915\u0948\u0925\u0947\u091F\u0930 \u092E\
\u0939\u093F\u0932\u093E \u0915\u0948\u0925\u0947\u091F\u0930 \u0938\u0947\
\ \u092C\u0921\u093C\u0947 \u0939\u094B\u0924\u0947 \u0939\u0948\u0902\u0964"
D: "\u092E\u0939\u093F\u0932\u093E \u0915\u0948\u0925\u0947\u091F\u0930 \u092A\
\u0941\u0930\u0941\u0937 \u0915\u0948\u0925\u0947\u091F\u0930 \u0915\u0940\
\ \u0924\u0941\u0932\u0928\u093E \u092E\u0947\u0902 \u0905\u0927\u093F\u0915\
\ \u0932\u0902\u092C\u0947 \u0939\u094B\u0924\u0947 \u0939\u0948\u0902\u0964"
input_correct_responses:
- B
input_question: "\u092A\u0941\u0930\u0941\u0937 \u0914\u0930 \u092E\u0939\u093F\
\u0932\u093E \u0915\u0948\u0925\u0947\u091F\u0930 \u0915\u0947 \u092C\u0940\u091A\
\ \u0915\u094D\u092F\u093E \u0905\u0902\u0924\u0930 \u0939\u0948?"
- input_choice_list:
A: "\u0905\u0902\u0917\u0942\u0920\u0947 \u0915\u0947 \u0905\u092A\u0939\u0930\
\u0923 \u0915\u0940 \u0906\u092A\u0942\u0930\u094D\u0924\u093F \u0930\u0940\
\u0922\u093C \u0915\u0940 \u0939\u0921\u094D\u0921\u0940 \u0915\u0940 \u091C\
\u0921\u093C T2 \u0926\u094D\u0935\u093E\u0930\u093E \u0915\u0940 \u091C\u093E\
\u0924\u0940 \u0939\u0948"
B: "\u0935\u093F\u0930\u094B\u0927\u093F\u092F\u094B\u0902 \u092A\u094B\u0932\
\u093F\u0938\u093F\u0938 \u0926\u094D\u0935\u093E\u0930\u093E \u0905\u0902\
\u0917\u0942\u0920\u0947 \u0915\u093E \u0935\u093F\u0930\u094B\u0927 \u0930\
\u0940\u0922\u093C \u0915\u0940 \u0939\u0921\u094D\u0921\u0940 \u0915\u0940\
\ \u091C\u0921\u093C T1 \u0926\u094D\u0935\u093E\u0930\u093E \u0906\u092A\u0942\
\u0930\u094D\u0924\u093F \u0915\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948"
C: "\u0909\u0902\u0917\u0932\u0940 \u0938\u092E\u094D\u092E\u093F\u0932\u0928\
\ \u0915\u0940 \u0906\u092A\u0942\u0930\u094D\u0924\u093F \u092E\u093E\u0927\
\u094D\u092F\u093F\u0915\u093E \u0924\u0902\u0924\u094D\u0930\u093F\u0915\u093E\
\ \u0926\u094D\u0935\u093E\u0930\u093E \u0915\u0940 \u091C\u093E\u0924\u0940\
\ \u0939\u0948"
D: "\u0909\u0902\u0917\u0932\u0940 \u0915\u0947 \u0905\u092A\u0939\u0930\u0923\
\ \u0915\u0940 \u092E\u0927\u094D\u092F\u0938\u094D\u0925\u0924\u093E \u092A\
\u093E\u092E\u0930 \u0907\u0902\u091F\u0930\u094B\u0938\u0947\u0908 \u0926\
\u094D\u0935\u093E\u0930\u093E \u0915\u0940 \u091C\u093E\u0924\u0940 \u0939\
\u0948"
input_correct_responses:
- B
input_question: "\u0939\u093E\u0925 \u0915\u0940 \u0915\u093E\u0930\u094D\u092F\
\u092A\u094D\u0930\u0923\u093E\u0932\u0940 \u0915\u0947 \u092E\u0942\u0932\u094D\
\u092F\u093E\u0902\u0915\u0928 \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\
\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928\
\ \u0938\u093E \u0938\u0924\u094D\u092F \u0939\u0948?"
- input_choice_list:
A: '4'
B: '3'
C: '2'
D: '1'
input_correct_responses:
- C
input_question: "2020 \u0915\u0947 \u091A\u093F\u0915\u093F\u0924\u094D\u0938\u093E\
\ \u091C\u094D\u091E\u093E\u0928 \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\
\u0930, \u0915\u093F\u0938\u0940 \u0935\u0930\u093F\u0937\u094D\u0920 \u0938\
\u0939\u0915\u0930\u094D\u092E\u0940 \u0915\u094B \u0915\u093E\u092E \u0938\u094C\
\u0902\u092A\u0928\u0947 \u0938\u0947 \u092A\u0939\u0932\u0947 \u0906\u092A\u0915\
\u094B \u090F\u0915 \u092E\u0930\u0940\u091C \u0915\u094B \u0915\u0948\u0928\
\u0941\u0932\u0947\u091F \u0915\u0930\u0928\u0947 \u0915\u0947 \u0915\u093F\u0924\
\u0928\u0947 \u092A\u094D\u0930\u092F\u093E\u0938 \u0915\u0930\u0928\u0947 \u091A\
\u093E\u0939\u093F\u090F?"
- input_choice_list:
A: "\u0917\u094D\u0932\u093E\u0907\u0915\u094B\u091C\u0928 \u0938\u0947 \u0917\
\u094D\u0932\u0942\u0915\u094B\u091C-1-\u092B\u0949\u0938\u094D\u092B\u0947\
\u091F\u0964"
B: "\u0917\u094D\u0932\u093E\u0907\u0915\u094B\u091C\u0928 \u092F\u093E \u0917\
\u094D\u0932\u0942\u0915\u094B\u091C \u0938\u0947 \u092B\u094D\u0930\u0941\
\u0915\u094D\u091F\u094B\u091C\u0964"
C: "\u0917\u094D\u0932\u093E\u0907\u0915\u094B\u091C\u0928 \u092F\u093E \u0917\
\u094D\u0932\u0942\u0915\u094B\u091C \u0915\u094B \u092A\u093E\u0907\u0930\
\u0942\u0935\u0947\u091F \u092F\u093E \u0932\u0948\u0915\u094D\u091F\u0947\
\u091F \u092E\u0947\u0902\u0964"
D: "\u0917\u094D\u0932\u093E\u0907\u0915\u094B\u091C\u0928 \u092F\u093E \u0917\
\u094D\u0932\u0942\u0915\u094B\u091C \u0938\u0947 \u092A\u093E\u0907\u0930\
\u0942\u0935\u0947\u091F \u092F\u093E \u090F\u0938\u093F\u091F\u093E\u0907\
\u0932 \u0938\u0940\u0913\u090F\u0964"
input_correct_responses:
- C
input_question: "\u0917\u094D\u0932\u093E\u0907\u0915\u094B\u0932\u093E\u0907\u0938\
\u093F\u0938 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u0915\
\u0947 \u0930\u0942\u092A\u093E\u0902\u0924\u0930\u0923 \u0938\u0947 \u091C\u0941\
\u0921\u093C\u0947 \u092E\u093E\u0930\u094D\u0917 \u0915\u094B \u0926\u093F\u092F\
\u093E \u0917\u092F\u093E \u0928\u093E\u092E \u0939\u0948:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_clinical_knowledge
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_clinical_knowledge
task_alias: clinical_knowledge
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_college_biology.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0909\u0928\u0915\u0947 \u092A\u093E\u0938 \u092E\u0941\u0916\u094D\u092F\
\ \u0930\u0942\u092A \u0938\u0947 \u092A\u0947\u092A\u094D\u091F\u093F\u0921\
\u094B\u0917\u094D\u0932\u093E\u0907\u0915\u0928 \u0938\u0947 \u092C\u0928\
\u093E \u090F\u0915 \u090F\u0915\u094D\u0938\u094B\u0938\u094D\u0915\u0947\
\u0932\u0947\u091F\u0928 \u0939\u094B\u0924\u093E \u0939\u0948\u0964"
B: "\u0909\u0928\u0915\u0947 \u092A\u093E\u0938 \u092A\u0943\u0937\u094D\u0920\
\u0940\u092F \u0939\u0943\u0926\u092F \u0915\u0947 \u0938\u093E\u0925 \u090F\
\u0915 \u0916\u0941\u0932\u093E \u092A\u0930\u093F\u0938\u0902\u091A\u0930\
\u0923 \u0924\u0902\u0924\u094D\u0930 \u0939\u094B\u0924\u093E \u0939\u0948\
\u0964"
C: "\u0935\u0947 \u091C\u0948\u0935\u093F\u0915 \u0930\u0942\u092A \u0938\u0947\
\ \u0905\u0938\u092B\u0932 \u0938\u0902\u0918 \u0915\u0947 \u0938\u0926\u0938\
\u094D\u092F \u0939\u0948\u0902 \u091C\u094B \u0935\u093F\u0935\u093F\u0927\
\ \u0906\u0935\u093E\u0938\u094B\u0902 \u0914\u0930 \u092A\u094B\u0937\u0923\
\ \u0938\u094D\u0930\u094B\u0924\u094B\u0902 \u0915\u093E \u0926\u094B\u0939\
\u0928 \u0915\u0930\u0928\u0947 \u092E\u0947\u0902 \u0905\u0938\u092E\u0930\
\u094D\u0925 \u0939\u0948\u0902\u0964"
D: "\u0909\u0928\u092E\u0947\u0902 \u092F\u0941\u0917\u094D\u092E\u093F\u0924\
, \u0938\u0902\u092F\u0941\u0915\u094D\u0924 \u0909\u092A\u093E\u0902\u0917\
\u094B\u0902 \u0915\u093E \u0905\u092D\u093E\u0935 \u0939\u094B\u0924\u093E\
\ \u0939\u0948\u0964"
input_correct_responses:
- B
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0906\u0930\
\u094D\u0925\u094D\u0930\u094B\u092A\u094B\u0921\u094D\u0938 \u0915\u0947 \u0938\
\u0902\u092C\u0902\u0927 \u092E\u0947\u0902 \u090F\u0915 \u0938\u091F\u0940\u0915\
\ \u0915\u0925\u0928 \u0915\u093E \u092A\u094D\u0930\u0924\u093F\u0928\u093F\
\u0927\u093F\u0924\u094D\u0935 \u0915\u0930\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: 1/400
B: 19/400
C: 20/400
D: 38/400
input_correct_responses:
- D
input_question: "\u0915\u093F\u0938\u0940 \u0926\u0940 \u0917\u0908 \u0906\u092C\
\u093E\u0926\u0940 \u092E\u0947\u0902, \u092A\u094D\u0930\u0924\u094D\u092F\u0947\
\u0915 400 \u0932\u094B\u0917\u094B\u0902 \u092E\u0947\u0902 \u0938\u0947 1\
\ \u0915\u094B \u092A\u0942\u0930\u0940 \u0924\u0930\u0939 \u0938\u0947 \u0905\
\u092A\u094D\u0930\u092D\u093E\u0935\u0940 \u090F\u0932\u0940\u0932, \u092C\u0940\
\ \u0915\u0947 \u0915\u093E\u0930\u0923 \u0939\u094B\u0928\u0947 \u0935\u093E\
\u0932\u093E \u0915\u0948\u0902\u0938\u0930 \u0939\u0948\u0964 \u092F\u0939\
\ \u092E\u093E\u0928\u0924\u0947 \u0939\u0941\u090F \u0915\u093F \u091C\u0928\
\u0938\u0902\u0916\u094D\u092F\u093E \u0939\u093E\u0930\u094D\u0921\u0940-\u0935\
\u0947\u0928\u092C\u0930\u094D\u0917 \u0938\u0902\u0924\u0941\u0932\u0928 \u092E\
\u0947\u0902 \u0939\u0948, \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0909\
\u0928 \u0935\u094D\u092F\u0915\u094D\u0924\u093F\u092F\u094B\u0902 \u0915\u093E\
\ \u0905\u092A\u0947\u0915\u094D\u0937\u093F\u0924 \u0905\u0928\u0941\u092A\u093E\
\u0924 \u0939\u0948 \u091C\u094B \u092C\u0940 \u090F\u0932\u0940\u0932 \u0930\
\u0916\u0924\u0947 \u0939\u0948\u0902 \u0932\u0947\u0915\u093F\u0928 \u0915\u0948\
\u0902\u0938\u0930 \u0935\u093F\u0915\u0938\u093F\u0924 \u0939\u094B\u0928\u0947\
\ \u0915\u0940 \u0909\u092E\u094D\u092E\u0940\u0926 \u0928\u0939\u0940\u0902\
\ \u0939\u0948?"
- input_choice_list:
A: "\u092E\u0928\u0941\u0937\u094D\u092F \u0914\u0930 \u092A\u0915\u094D\u0937\
\u0940 \u092A\u0949\u0932\u0940\u092B\u093C\u093E\u0907\u0932\u0947\u091F\u093F\
\u0915 \u092A\u094D\u0930\u091C\u093E\u0924\u093F\u092F\u093E\u0901 \u0939\
\u0948\u0902"
B: "\u092E\u0928\u0941\u0937\u094D\u092F \u0914\u0930 \u092A\u0915\u094D\u0937\
\u0940 \u0915\u093E \u0935\u093F\u0915\u093E\u0938 \u0905\u092D\u093F\u0938\
\u0930\u0923 \u0939\u0948"
C: "\u092E\u0928\u0941\u0937\u094D\u092F \u0914\u0930 \u092A\u0915\u094D\u0937\
\u0940 \u090F\u0915 \u0938\u092E\u0942\u0939 \u0915\u0947 \u0939\u0948\u0902"
D: "\u092E\u093E\u0928\u0935 \u0914\u0930 \u092A\u0915\u094D\u0937\u0940 \u0938\
\u093E\u0926\u0943\u0936\u094D\u092F \u0926\u094D\u0935\u093E\u0930\u093E\
\ \u0935\u093F\u0915\u0938\u093F\u0924 \u0939\u0941\u090F"
input_correct_responses:
- C
input_question: "\u0926\u094B \u0905\u0932\u0917-\u0905\u0932\u0917 \u091C\u0940\
\u0935\u094B\u0902 \u092E\u0947\u0902 \u0938\u092E\u091C\u093E\u0924 \u0938\u0902\
\u0930\u091A\u0928\u093E\u0913\u0902 \u0915\u0940 \u0909\u092A\u0938\u094D\u0925\
\u093F\u0924\u093F, \u091C\u0948\u0938\u0947 \u092E\u093E\u0928\u0935 \u0914\
\u0930 \u092A\u0915\u094D\u0937\u0940 \u0915\u0947 \u0905\u0917\u0932\u0947\
\ \u0905\u0902\u0917 \u092E\u0947\u0902 \u0939\u094D\u092F\u0942\u092E\u0930\
\u0938, \u092F\u0939 \u0907\u0902\u0917\u093F\u0924 \u0915\u0930\u0924\u0940\
\ \u0939\u0948"
- input_choice_list:
A: "\u090F\u0915 \u090F\u091F\u0940\u092A\u0940-\u0928\u093F\u0930\u094D\u092D\
\u0930 \u0926\u092C\u093E\u0935-\u092A\u094D\u0930\u0935\u093E\u0939 \u092A\
\u0902\u092A"
B: "\u090F\u0915 \u091C\u0932-\u0926\u092C\u093E\u0935 \u0938\u0902\u092D\u093E\
\u0935\u093F\u0924 \u0922\u093E\u0932"
C: "\u0938\u094D\u0935\u0947\u0926"
D: "\u090F\u092A\u094B\u092A\u094D\u0932\u093E\u0938\u094D\u091F\u093F\u0915\
\ \u092A\u094D\u0930\u0938\u093E\u0930"
input_correct_responses:
- B
input_question: "\u092B\u094D\u0932\u094B\u090F\u092E \u0938\u093E\u092E\u0917\
\u094D\u0930\u0940 \u0915\u0940 \u0917\u0924\u093F \u0915\u0947 \u0926\u092C\
\u093E\u0935-\u092A\u094D\u0930\u0935\u093E\u0939 \u092E\u0949\u0921\u0932 \u0915\
\u0947 \u0905\u0928\u0941\u0938\u093E\u0930, \u0938\u094D\u0930\u094B\u0924\
\ \u0938\u0947 \u0938\u093F\u0902\u0915 \u0924\u0915 \u092A\u094D\u0930\u0915\
\u093E\u0936 \u0938\u0902\u0936\u094D\u0932\u0947\u0937\u0923 \u0915\u0940 \u0917\
\u0924\u093F \u0915\u093F\u0938\u0915\u0947 \u0926\u094D\u0935\u093E\u0930\u093E\
\ \u0938\u0902\u091A\u093E\u0932\u093F\u0924 \u0939\u094B\u0924\u0940 \u0939\
\u0948"
- input_choice_list:
A: "\u091F\u0947\u0932\u094B\u092E\u0947\u092F\u0930"
B: "\u0938\u0947\u0902\u091F\u094D\u0930\u094B\u092E\u0940\u092F\u0930\u094B\
\u0902"
C: nucleosomes
D: "\u0938\u094D\u092A\u094D\u0932\u093F\u0938\u094B\u0938\u094B\u092E\u094D\
\u0938"
input_correct_responses:
- B
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u092E\u0947\u0902 \u092E\
\u093E\u0907\u091F\u094B\u0938\u093F\u0938 \u0914\u0930 \u0905\u0930\u094D\u0927\
\u0938\u0942\u0924\u094D\u0930\u0940\u0935\u093F\u092D\u093E\u091C\u0928 \u092E\
\u0947\u0902 \u0917\u0941\u0923\u0938\u0942\u0924\u094D\u0930\u094B\u0902 \u0915\
\u0947 \u092A\u0943\u0925\u0915\u094D\u0915\u0930\u0923 \u0915\u0947 \u0932\u093F\
\u090F \u0906\u0935\u0936\u094D\u092F\u0915 \u0921\u0940\u090F\u0928\u090F \u0905\
\u0928\u0941\u0915\u094D\u0930\u092E \u0939\u094B\u0924\u0947 \u0939\u0948\u0902\
?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_biology
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_college_biology
task_alias: college_biology
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_college_chemistry.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0932\u0948\u0902\u0925\u0947\u0928\u093E\u0907\u0921 \u0924\u0924\u094D\
\u0935\u094B\u0902 \u0915\u0947 \u0932\u093F\u090F \u0938\u092C\u0938\u0947\
\ \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0911\u0915\u094D\u0938\u0940\
\u0915\u0930\u0923 \u0905\u0935\u0938\u094D\u0925\u093E +3 \u0939\u0948\u0964"
B: "\u0932\u0948\u0902\u0925\u0947\u0928\u093E\u0907\u0921 \u0915\u0949\u092E\
\u094D\u092A\u094D\u0932\u0947\u0915\u094D\u0938 \u092E\u0947\u0902 \u0905\
\u0915\u094D\u0938\u0930 \u0909\u091A\u094D\u091A \u0938\u092E\u0928\u094D\
\u0935\u092F \u0938\u0902\u0916\u094D\u092F\u093E (> 6) \u0939\u094B\u0924\
\u0940 \u0939\u0948\u0964"
C: "\u0938\u092D\u0940 \u0932\u0948\u0902\u0925\u0947\u0928\u093E\u0907\u0921\
\ \u0924\u0924\u094D\u0935 \u091C\u0932\u0940\u092F \u0905\u092E\u094D\u0932\
\ \u0915\u0947 \u0938\u093E\u0925 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\
\u0930\u093F\u092F\u093E \u0915\u0930\u0915\u0947 \u0939\u093E\u0907\u0921\
\u094D\u0930\u094B\u091C\u0928 \u092E\u0941\u0915\u094D\u0924 \u0915\u0930\
\u0924\u0947 \u0939\u0948\u0902\u0964"
D: "\u0932\u0948\u0902\u0925\u0947\u0928\u093E\u0907\u0921 \u0924\u0924\u094D\
\u0935\u094B\u0902 \u0915\u0940 \u092A\u0930\u092E\u093E\u0923\u0941 \u0924\
\u094D\u0930\u093F\u091C\u094D\u092F\u093E \u0932\u093E \u0938\u0947 \u0932\
\u0942 \u0924\u0915 \u0915\u0940 \u0905\u0935\u0927\u093F \u092E\u0947\u0902\
\ \u092C\u0922\u093C\u0924\u0940 \u0939\u0948\u0964"
input_correct_responses:
- D
input_question: "\u0932\u0948\u0902\u0925\u0947\u0928\u093E\u0907\u0921 \u0924\
\u0924\u094D\u0935\u094B\u0902 \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\
\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\
\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\u0928 \u0938\
\u0924\u094D\u092F \u0928\u0939\u0940\u0902 \u0939\u0948?"
- input_choice_list:
A: "1.0 \u090F\u092E\u090F\u0932"
B: "10 \u090F\u092E\u090F\u0932"
C: "20 \u090F\u092E\u090F\u0932"
D: "50 \u090F\u092E\u090F\u0932"
input_correct_responses:
- C
input_question: "\u090A\u092A\u0930 \u0926\u093F\u0916\u093E\u0908 \u0917\u0908\
\ \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E \u0915\u0947\
\ \u0905\u0928\u0941\u0938\u093E\u0930 HgO (\u092E\u094B\u0932\u0930 \u0926\u094D\
\u0930\u0935\u094D\u092F\u092E\u093E\u0928 = 217 \u0917\u094D\u0930\u093E\u092E\
) \u0915\u093E 0.217 \u0917\u094D\u0930\u093E\u092E \u0928\u092E\u0942\u0928\
\u093E \u0905\u0924\u093F\u0930\u093F\u0915\u094D\u0924 \u0906\u092F\u094B\u0921\
\u093E\u0907\u0921 \u0906\u092F\u0928\u094B\u0902 \u0915\u0947 \u0938\u093E\u0925\
\ \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\u093E \u0915\u0930\
\u0924\u093E \u0939\u0948\u0964 \u092A\u0930\u093F\u0923\u093E\u092E\u0940 \u0938\
\u092E\u093E\u0927\u093E\u0928 \u0915\u0947 \u0905\u0928\u0941\u092E\u093E\u092A\
\u0928 \u0915\u0947 \u0932\u093F\u090F \u0938\u092E\u0924\u0941\u0932\u094D\u092F\
\ \u092C\u093F\u0902\u0926\u0941 \u0924\u0915 \u092A\u0939\u0941\u0902\u091A\
\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F 0.10 \u090F\u092E \u090F\u091A\u0938\
\u0940\u090F\u0932 \u0915\u0947 \u0915\u093F\u0924\u0928\u0947 \u090F\u092E\u090F\
\u0932 \u0915\u0940 \u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E \u0939\u094B\
\u0924\u0940 \u0939\u0948?"
- input_choice_list:
A: '4'
B: '3'
C: '6'
D: '24'
input_correct_responses:
- A
input_question: "13C-\u0932\u0947\u092C\u0932 \u092E\u093F\u0925\u093E\u0907\u0932\
\ \u0930\u0947\u0921\u093F\u0915\u0932 (13CH3\u2022) \u0915\u0947 \u0938\u092E\
\u093E\u0927\u093E\u0928 \u0915\u0947 \u0908\u092A\u0940\u0906\u0930 \u0938\u094D\
\u092A\u0947\u0915\u094D\u091F\u094D\u0930\u092E \u092E\u0947\u0902 \u0932\u093E\
\u0907\u0928\u094B\u0902 \u0915\u0940 \u0938\u0902\u0916\u094D\u092F\u093E \u0915\
\u0940 \u092D\u0935\u093F\u0937\u094D\u092F\u0935\u093E\u0923\u0940 \u0915\u0930\
\u0947\u0902, \u092F\u0939 \u092E\u093E\u0928\u0924\u0947 \u0939\u0941\u090F\
\ \u0915\u093F \u0932\u093E\u0907\u0928\u0947\u0902 \u0913\u0935\u0930\u0932\
\u0948\u092A \u0928\u0939\u0940\u0902 \u0939\u094B\u0924\u0940 \u0939\u0948\u0902\
\u0964"
- input_choice_list:
A: "\u090F\u0915 \u0905\u092E\u094D\u0932"
B: "\u090F\u0915 \u0906\u0927\u093E\u0930"
C: "\u090F\u0915 \u0909\u0924\u094D\u092A\u094D\u0930\u0947\u0930\u0915"
D: "\u090F\u0915 \u0915\u092E \u0915\u0930\u0928\u0947 \u0935\u093E\u0932\u093E\
\ \u090F\u091C\u0947\u0902\u091F"
input_correct_responses:
- D
input_question: "3 Cl\u2212(aq) + 4 CrO_4^2\u2212(aq) + 23 H+(aq) \u2192 3 HClO2(aq)\
\ + 4 Cr3+(aq) + 10 H2O(l)\u0964 \u090A\u092A\u0930 \u0926\u093F\u0916\u093E\
\u0908 \u0917\u0908 \u092A\u094D\u0930\u0924\u093F\u0915\u094D\u0930\u093F\u092F\
\u093E \u092E\u0947\u0902, Cl\u2212(aq) \u0907\u0938 \u092A\u094D\u0930\u0915\
\u093E\u0930 \u0935\u094D\u092F\u0935\u0939\u093E\u0930 \u0915\u0930\u0924\u093E\
\ \u0939\u0948"
- input_choice_list:
A: PbH4 < SnH4 < GeH4 < SiH4 < CH4
B: PbH4 < SnH4 < CH4 < GeH4 < SiH4
C: CH4 <SiH4 < GeH4 < SnH4 < PbH4
D: CH4 < PbH4 < GeH4 < SnH4 < SiH4
input_correct_responses:
- A
input_question: "\u0928\u093F\u092E\u094D\u0928 \u092E\u0947\u0902 \u0938\u0947\
\ \u0915\u094C\u0928 \u0938\u092E\u0942\u0939-14 \u0924\u0924\u094D\u0935\u094B\
\u0902 \u0915\u0947 \u0939\u093E\u0907\u0921\u094D\u0930\u093E\u0907\u0921\u094B\
\u0902 \u0915\u094B \u0924\u093E\u092A\u0940\u092F \u0938\u094D\u0925\u093F\u0930\
\u0924\u093E \u0915\u0947 \u0915\u094D\u0930\u092E \u092E\u0947\u0902 \u0928\
\u093F\u092E\u094D\u0928\u0924\u092E \u0938\u0947 \u0909\u091A\u094D\u091A\u0924\
\u092E \u0924\u0915 \u0938\u0942\u091A\u0940\u092C\u0926\u094D\u0927 \u0915\u0930\
\u0924\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_chemistry
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_college_chemistry
task_alias: college_chemistry
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_college_computer_science.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u090F*(\u0938\u0940 + \u0921\u0940)+ \u092C\u0940(\u0938\u0940 + \u0921\
\u0940)"
B: "\u090F*(\u0938\u0940 + \u0921\u0940)* + \u092C\u0940(\u0938\u0940 + \u0921\
\u0940)*"
C: "\u090F*(\u0938\u0940 + \u0921\u0940)+ \u092C\u0940*(\u0938\u0940 + \u0921\
\u0940)"
D: "(\u090F + \u092C\u0940)*\u0938\u0940 +(\u090F + \u092C\u0940)*\u0921\u0940"
input_correct_responses:
- D
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0930\u0947\
\u0917\u0941\u0932\u0930 \u090F\u0915\u094D\u0938\u092A\u094D\u0930\u0947\u0936\
\u0928 (\u0938\u094D\u091F\u094D\u0930\u093F\u0902\u0917 \u0915\u0947 \u0938\
\u092E\u093E\u0928 \u0938\u0947\u091F \u0915\u093E \u0935\u0930\u094D\u0923\u0928\
\ \u0915\u0930\u0924\u093E \u0939\u0948) (a* + b)*(c + d) \u0915\u0947 \u092C\
\u0930\u093E\u092C\u0930 \u0939\u0948?"
- input_choice_list:
A: '5'
B: '6'
C: '7'
D: '8'
input_correct_responses:
- B
input_question: "\u090F\u0915 \u0928\u093F\u0936\u094D\u091A\u093F\u0924 \u092A\
\u093E\u0907\u092A\u0932\u093E\u0907\u0928\u092F\u0941\u0915\u094D\u0924 \u0906\
\u0930\u0906\u0908\u090F\u0938\u0938\u0940 \u092E\u0936\u0940\u0928 \u092E\u0947\
\u0902 8 \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u092A\u094D\u0930\u092F\
\u094B\u091C\u0928 \u0930\u091C\u093F\u0938\u094D\u091F\u0930 R0, R1, \u0939\
\u0948\u0902\u0964 . . , R7 \u0914\u0930 \u0928\u093F\u092E\u094D\u0928\u0932\
\u093F\u0916\u093F\u0924 \u092A\u0930\u093F\u091A\u093E\u0932\u0928\u094B\u0902\
\ \u0915\u093E \u0938\u092E\u0930\u094D\u0925\u0928 \u0915\u0930\u0924\u093E\
\ \u0939\u0948\u0964 1, 2, \u0906\u0930\u0921\u0940 \u091C\u094B\u0921\u093C\
\u0947\u0902 1 \u0915\u094B 2 \u092E\u0947\u0902 \u091C\u094B\u0921\u093C\u0947\
\u0902 \u0914\u0930 \u092F\u094B\u0917 \u0915\u094B \u0906\u0930\u0921\u0940\
\ \u092E\u0947\u0902 \u0921\u093E\u0932\u0947\u0902 \u090F\u092E\u092F\u0942\
\u090F\u0932 1, 2, \u0906\u0930\u0921\u0940 1 \u0915\u094B 2 \u0938\u0947 \u0917\
\u0941\u0923\u093E \u0915\u0930\u0947\u0902 \u0914\u0930 \u0909\u0924\u094D\u092A\
\u093E\u0926 \u0915\u094B \u0906\u0930\u0921\u0940 \u092E\u0947\u0902 \u0921\
\u093E\u0932\u0947\u0902 \u090F\u0915 \u0911\u092A\u0930\u0947\u0936\u0928 \u092E\
\u0947\u0902 \u0906\u092E \u0924\u094C\u0930 \u092A\u0930 \u090F\u0915 \u091A\
\u0915\u094D\u0930 \u0932\u0917\u0924\u093E \u0939\u0948; \u0939\u093E\u0932\
\u093E\u0901\u0915\u093F, \u090F\u0915 \u0911\u092A\u0930\u0947\u0936\u0928\
\ \u092E\u0947\u0902 \u0926\u094B \u091A\u0915\u094D\u0930 \u0932\u0917\u0924\
\u0947 \u0939\u0948\u0902 \u092F\u0926\u093F \u092F\u0939 \u0911\u092A\u0930\
\u0947\u0936\u0928 \u0905\u0928\u0941\u0915\u094D\u0930\u092E \u092E\u0947\u0902\
\ \u0924\u0941\u0930\u0902\u0924 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\
\u093F\u0924 \u0911\u092A\u0930\u0947\u0936\u0928 \u0915\u0947 \u0932\u093F\u090F\
\ \u0906\u0935\u0936\u094D\u092F\u0915 \u092A\u0930\u093F\u0923\u093E\u092E\
\ \u0909\u0924\u094D\u092A\u0928\u094D\u0928 \u0915\u0930\u0924\u093E \u0939\
\u0948\u0964 \u0905\u092D\u093F\u0935\u094D\u092F\u0915\u094D\u0924\u093F AB\
\ + ABC + BC \u092A\u0930 \u0935\u093F\u091A\u093E\u0930 \u0915\u0930\u0947\u0902\
, \u091C\u0939\u093E\u0902 \u091A\u0930 A, B, C \u0930\u091C\u093F\u0938\u094D\
\u091F\u0930 R0, R1, R2 \u092E\u0947\u0902 \u0938\u094D\u0925\u093F\u0924 \u0939\
\u0948\u0902\u0964 \u092F\u0926\u093F \u0907\u0928 \u0924\u0940\u0928 \u0930\
\u091C\u093F\u0938\u094D\u091F\u0930\u094B\u0902 \u0915\u0940 \u0938\u093E\u092E\
\u0917\u094D\u0930\u0940 \u0915\u094B \u0938\u0902\u0936\u094B\u0927\u093F\u0924\
\ \u0928\u0939\u0940\u0902 \u0915\u093F\u092F\u093E \u091C\u093E\u0928\u093E\
\ \u091A\u093E\u0939\u093F\u090F, \u0924\u094B \u090F\u092C\u0940 + \u090F\u092C\
\u0940\u0938\u0940 + \u092C\u0940\u0938\u0940 \u0915\u0947 \u092E\u0942\u0932\
\u094D\u092F \u0915\u0940 \u0917\u0923\u0928\u093E \u0915\u0930\u0928\u0947\
\ \u0935\u093E\u0932\u0947 \u0911\u092A\u0930\u0947\u0936\u0928 \u0905\u0928\
\u0941\u0915\u094D\u0930\u092E \u0915\u0947 \u0932\u093F\u090F \u0906\u0935\u0936\
\u094D\u092F\u0915 \u0918\u0921\u093C\u0940 \u091A\u0915\u094D\u0930\u094B\u0902\
\ \u0915\u0940 \u0928\u094D\u092F\u0942\u0928\u0924\u092E \u0938\u0902\u0916\
\u094D\u092F\u093E \u0915\u094D\u092F\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092E\u0948\u0902 \u0915\u0947\u0935\u0932"
B: "\u0915\u0947\u0935\u0932 \u0926\u094D\u0935\u093F\u0924\u0940\u092F"
C: "\u0924\u0943\u0924\u0940\u092F \u0915\u0947\u0935\u0932"
D: "I, II, \u0914\u0930 III"
input_correct_responses:
- D
input_question: "\u0938\u093F\u0902\u0917\u0932\u091F\u0928 \u0921\u093F\u091C\
\u093C\u093E\u0907\u0928 \u092A\u0948\u091F\u0930\u094D\u0928 \u0915\u093E \u0909\
\u092A\u092F\u094B\u0917 \u092F\u0939 \u0917\u093E\u0930\u0902\u091F\u0940 \u0926\
\u0947\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0915\u093F\u092F\u093E\
\ \u091C\u093E\u0924\u093E \u0939\u0948 \u0915\u093F \u0915\u093F\u0938\u0940\
\ \u0935\u0930\u094D\u0917 \u0915\u093E \u0915\u0947\u0935\u0932 \u090F\u0915\
\ \u0939\u0940 \u0909\u0926\u093E\u0939\u0930\u0923 \u0924\u094D\u0935\u0930\
\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E\
\ \u0939\u0948\u0964 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0907\u0938\
\ \u0921\u093F\u091C\u093C\u093E\u0907\u0928 \u092A\u0948\u091F\u0930\u094D\u0928\
\ \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0938\u0924\u094D\
\u092F \u0939\u0948 (\u0939\u0948\u0902)? I. \u0938\u093F\u0902\u0917\u0932\u091F\
\u0928 \u0935\u0930\u094D\u0917 \u0915\u0947 \u092A\u093E\u0938 \u0907\u0938\
\u0915\u093E \u0909\u0926\u093E\u0939\u0930\u0923 \u092A\u094D\u0930\u0926\u093E\
\u0928 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u090F\u0915\
\ \u0938\u094D\u0925\u093F\u0930 \u092B\u093C\u0948\u0915\u094D\u091F\u0930\u0940\
\ \u0935\u093F\u0927\u093F \u0939\u0948\u0964 \u0926\u094D\u0935\u093F\u0924\
\u0940\u092F. \u0938\u093F\u0902\u0917\u0932\u091F\u0928 \u0935\u0930\u094D\u0917\
\ \u0915\u093F\u0938\u0940 \u0905\u0928\u094D\u092F \u0935\u0930\u094D\u0917\
\ \u0915\u093E \u0909\u092A\u0935\u0930\u094D\u0917 \u0939\u094B \u0938\u0915\
\u0924\u093E \u0939\u0948\u0964 \u0924\u0943\u0924\u0940\u092F. \u0938\u093F\
\u0902\u0917\u0932\u091F\u0928 \u0915\u094D\u0932\u093E\u0938 \u092E\u0947\u0902\
\ \u090F\u0915 \u0928\u093F\u091C\u0940 \u0915\u0902\u0938\u094D\u091F\u094D\
\u0930\u0915\u094D\u091F\u0930 \u0939\u0948\u0964"
- input_choice_list:
A: '5'
B: '6'
C: '7'
D: '9'
input_correct_responses:
- D
input_question: "\u090F\u0915 \u0915\u0902\u092A\u093E\u0907\u0932\u0930 \u0928\
\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u0905\u0938\u093E\u0907\
\u0928\u092E\u0947\u0902\u091F \u0938\u094D\u091F\u0947\u091F\u092E\u0947\u0902\
\u091F \u0915\u0947 \u0932\u093F\u090F \u0915\u094B\u0921 \u0909\u0924\u094D\
\u092A\u0928\u094D\u0928 \u0915\u0930\u0924\u093E \u0939\u0948\u0964 \u091C\u0940\
: = (\u090F + \u092C\u0940) * \u0938\u0940 - (\u0921\u0940 + \u0908) * \u090F\
\u092B \u0932\u0915\u094D\u0937\u094D\u092F \u092E\u0936\u0940\u0928 \u092E\u0947\
\u0902 \u090F\u0915 \u090F\u0915\u0932 \u0938\u0902\u091A\u093E\u092F\u0915\
\ \u0914\u0930 \u090F\u0915 \u090F\u0915\u0932-\u092A\u0924\u093E \u0928\u093F\
\u0930\u094D\u0926\u0947\u0936 \u0938\u0947\u091F \u0939\u094B\u0924\u093E \u0939\
\u0948 \u091C\u093F\u0938\u092E\u0947\u0902 \u0928\u093F\u0930\u094D\u0926\u0947\
\u0936 \u0932\u094B\u0921, \u0938\u094D\u091F\u094B\u0930, \u091C\u094B\u0921\
\u093C\u0928\u093E, \u0918\u091F\u093E\u0928\u093E \u0914\u0930 \u0917\u0941\
\u0923\u093E \u0915\u0930\u0928\u093E \u0936\u093E\u092E\u093F\u0932 \u0939\u094B\
\u0924\u093E \u0939\u0948\u0964 \u0905\u0902\u0915\u0917\u0923\u093F\u0924\u0940\
\u092F \u092A\u0930\u093F\u091A\u093E\u0932\u0928\u094B\u0902 \u0915\u0947 \u0932\
\u093F\u090F, \u092C\u093E\u090F\u0902 \u0911\u092A\u0930\u0947\u0902\u0921\
\ \u0915\u094B \u0938\u0902\u091A\u093E\u092F\u0915 \u0938\u0947 \u0932\u093F\
\u092F\u093E \u091C\u093E\u0924\u093E \u0939\u0948 \u0914\u0930 \u092A\u0930\
\u093F\u0923\u093E\u092E \u0938\u0902\u091A\u093E\u092F\u0915 \u092E\u0947\u0902\
\ \u0926\u093F\u0916\u093E\u0908 \u0926\u0947\u0924\u093E \u0939\u0948\u0964\
\ \u092A\u0930\u093F\u0923\u093E\u092E\u0940 \u0915\u094B\u0921 \u092E\u0947\
\u0902 \u0928\u093F\u0930\u094D\u0926\u0947\u0936\u094B\u0902 \u0915\u0940 \u0928\
\u094D\u092F\u0942\u0928\u0924\u092E \u0938\u0902\u092D\u0935 \u0938\u0902\u0916\
\u094D\u092F\u093E \u0939\u0948"
- input_choice_list:
A: 1/50
B: 1/27
C: 1/25
D: 2/27
input_correct_responses:
- B
input_question: "\u090F\u0915 \u0915\u0902\u092A\u094D\u092F\u0942\u091F\u0930\
\ \u0921\u093F\u091C\u093C\u093E\u0907\u0928 \u092A\u0930 \u0935\u093F\u091A\
\u093E\u0930 \u0915\u0930\u0947\u0902 \u091C\u093F\u0938\u092E\u0947\u0902 \u0915\
\u0908 \u092A\u094D\u0930\u094B\u0938\u0947\u0938\u0930, \u092A\u094D\u0930\u0924\
\u094D\u092F\u0947\u0915 \u090F\u0915 \u0928\u093F\u091C\u0940 \u0915\u0948\u0936\
\ \u092E\u0947\u092E\u094B\u0930\u0940 \u0915\u0947 \u0938\u093E\u0925, \u090F\
\u0915 \u0939\u0940 \u092C\u0938 \u0915\u093E \u0909\u092A\u092F\u094B\u0917\
\ \u0915\u0930\u0915\u0947 \u0935\u0948\u0936\u094D\u0935\u093F\u0915 \u092E\
\u0947\u092E\u094B\u0930\u0940 \u0938\u093E\u091D\u093E \u0915\u0930\u0924\u0947\
\ \u0939\u0948\u0902\u0964 \u092F\u0939 \u092C\u0938 \u092E\u0939\u0924\u094D\
\u0935\u092A\u0942\u0930\u094D\u0923 \u0938\u093F\u0938\u094D\u091F\u092E \u0938\
\u0902\u0938\u093E\u0927\u0928 \u0939\u0948. \u092A\u094D\u0930\u0924\u094D\u092F\
\u0947\u0915 \u092A\u094D\u0930\u094B\u0938\u0947\u0938\u0930 \u092A\u094D\u0930\
\u0924\u094D\u092F\u0947\u0915 500 \u0928\u0948\u0928\u094B\u0938\u0947\u0915\
\u0902\u0921 \u092E\u0947\u0902 \u090F\u0915 \u0928\u093F\u0930\u094D\u0926\u0947\
\u0936 \u0928\u093F\u0937\u094D\u092A\u093E\u0926\u093F\u0924 \u0915\u0930 \u0938\
\u0915\u0924\u093E \u0939\u0948, \u091C\u092C \u0924\u0915 \u0915\u093F \u092E\
\u0947\u092E\u094B\u0930\u0940 \u0938\u0902\u0926\u0930\u094D\u092D \u0909\u0938\
\u0915\u0947 \u0938\u094D\u0925\u093E\u0928\u0940\u092F \u0915\u0948\u0936 \u0938\
\u0947 \u0938\u0902\u0924\u0941\u0937\u094D\u091F \u0939\u0948\u0902\u0964 \u091C\
\u092C \u0915\u0948\u0936 \u092E\u093F\u0938 \u0939\u094B\u0924\u093E \u0939\
\u0948, \u0924\u094B \u092A\u094D\u0930\u094B\u0938\u0947\u0938\u0930 \u0905\
\u0924\u093F\u0930\u093F\u0915\u094D\u0924 2,000 \u0928\u0948\u0928\u094B\u0938\
\u0947\u0915\u0902\u0921 \u0915\u0947 \u0932\u093F\u090F \u0935\u093F\u0932\u0902\
\u092C\u093F\u0924 \u0939\u094B \u091C\u093E\u0924\u093E \u0939\u0948\u0964\
\ \u0907\u0938 \u0905\u0924\u093F\u0930\u093F\u0915\u094D\u0924 \u0926\u0947\
\u0930\u0940 \u0915\u0947 \u0906\u0927\u0947 \u0938\u092E\u092F \u0915\u0947\
\ \u0926\u094C\u0930\u093E\u0928, \u092C\u0938 \u0915\u0948\u0936 \u092E\u093F\
\u0938 \u0915\u0940 \u0938\u0947\u0935\u093E \u0915\u0947 \u0932\u093F\u090F\
\ \u0938\u092E\u0930\u094D\u092A\u093F\u0924 \u0939\u0948\u0964 \u0905\u0928\
\u094D\u092F \u0906\u0927\u0947 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928\
, \u092A\u094D\u0930\u094B\u0938\u0947\u0938\u0930 \u091C\u093E\u0930\u0940\
\ \u0928\u0939\u0940\u0902 \u0930\u0939 \u0938\u0915\u0924\u093E \u0939\u0948\
, \u0932\u0947\u0915\u093F\u0928 \u092C\u0938 \u0905\u0928\u094D\u092F \u092A\
\u094D\u0930\u094B\u0938\u0947\u0938\u0930 \u0938\u0947 \u0938\u0947\u0935\u093E\
\ \u0905\u0928\u0941\u0930\u094B\u0927\u094B\u0902 \u0915\u0947 \u0932\u093F\
\u090F \u0928\u093F\u0903\u0936\u0941\u0932\u094D\u0915 \u0939\u0948\u0964 \u0914\
\u0938\u0924\u0928, \u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0928\u093F\
\u0930\u094D\u0926\u0947\u0936 \u0915\u0947 \u0932\u093F\u090F 2 \u092E\u0947\
\u092E\u094B\u0930\u0940 \u0938\u0902\u0926\u0930\u094D\u092D\u094B\u0902 \u0915\
\u0940 \u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E \u0939\u094B\u0924\u0940\
\ \u0939\u0948\u0964 \u0914\u0938\u0924\u0928, 1 \u092A\u094D\u0930\u0924\u093F\
\u0936\u0924 \u0938\u0902\u0926\u0930\u094D\u092D\u094B\u0902 \u092E\u0947\u0902\
\ \u0915\u0948\u0936 \u092E\u093F\u0938 \u0939\u094B \u091C\u093E\u0924\u093E\
\ \u0939\u0948\u0964 \u0905\u0928\u094D\u092F \u092A\u094D\u0930\u094B\u0938\
\u0947\u0938\u0930\u094B\u0902 \u0938\u0947 \u092A\u094D\u0930\u0924\u093F\u0938\
\u094D\u092A\u0930\u094D\u0927\u093E \u0915\u0947 \u0915\u093E\u0930\u0923 \u0939\
\u094B\u0928\u0947 \u0935\u093E\u0932\u0940 \u0926\u0947\u0930\u0940 \u0915\u094B\
\ \u0928\u091C\u093C\u0930\u0905\u0902\u0926\u093E\u091C\u093C \u0915\u0930\u0924\
\u0947 \u0939\u0941\u090F, \u090F\u0915 \u090F\u0915\u0932 \u092A\u094D\u0930\
\u094B\u0938\u0947\u0938\u0930 \u092C\u0938 \u0915\u0940 \u0915\u094D\u0937\u092E\
\u0924\u093E \u0915\u0947 \u0915\u093F\u0924\u0928\u0947 \u0905\u0928\u0941\u092A\
\u093E\u0924 \u0915\u0940 \u0916\u092A\u0924 \u0915\u0930\u0947\u0917\u093E?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_computer_science
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_college_computer_science
task_alias: college_computer_science
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_college_mathematics.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u090F\u0938\u091F\u0940 = 0"
B: "\u090F\u0938\u091F\u0940 = \u091F\u0940"
C: "\u090F\u0938\u091F\u0940 = \u091F\u0940\u090F\u0938"
D: "ST - TS \u0938\u094D\u0935\u092F\u0902 V \u0915\u093E \u092A\u0939\u091A\
\u093E\u0928 \u092E\u093E\u0928\u091A\u093F\u0924\u094D\u0930 \u0939\u0948\
\u0964"
input_correct_responses:
- D
input_question: "\u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F V \u0938\u092D\
\u0940 \u0935\u093E\u0938\u094D\u0924\u0935\u093F\u0915 \u092C\u0939\u0941\u092A\
\u0926\u094B\u0902 p(x) \u0915\u093E \u0938\u092E\u0941\u091A\u094D\u091A\u092F\
\ \u0939\u0948\u0964 \u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F \u0915\
\u093F \u092A\u0930\u093F\u0935\u0930\u094D\u0924\u0928 T, S \u0915\u094B V\
\ \u092A\u0930 T:p(x) -> xp(x) \u0914\u0930 S:p(x) -> p'(x) = d/dx\
\ p(x) \u0926\u094D\u0935\u093E\u0930\u093E \u092A\u0930\u093F\u092D\u093E\u0937\
\u093F\u0924 \u0915\u093F\u092F\u093E \u0917\u092F\u093E \u0939\u0948, \u0914\
\u0930 (ST) \u0915\u0940 \u0935\u094D\u092F\u093E\u0916\u094D\u092F\u093E \u0915\
\u0940 \u0917\u0908 \u0939\u0948\u0964 (p(x)) as S(T(p(x))). \u0928\u093F\u092E\
\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\
\u094C\u0928 \u0938\u093E \u0938\u0939\u0940 \u0939\u0948?"
- input_choice_list:
A: '2'
B: "2 - \u0908^-2"
C: "2 + \u0908^-2"
D: "2 + \u0908^-4"
input_correct_responses:
- D
input_question: "\u090F\u0915 \u091F\u0948\u0902\u0915 \u092E\u0947\u0902 \u0936\
\u0941\u0930\u0942 \u092E\u0947\u0902 100 \u0932\u0940\u091F\u0930 \u092A\u093E\
\u0928\u0940 \u092E\u0947\u0902 3 \u0917\u094D\u0930\u093E\u092E \u0928\u092E\
\u0915 \u0915\u093E \u0918\u094B\u0932 \u092E\u093F\u0932\u093E\u092F\u093E\
\ \u091C\u093E\u0924\u093E \u0939\u0948\u0964 \u092A\u094D\u0930\u0924\u093F\
\ \u0932\u0940\u091F\u0930 \u092A\u093E\u0928\u0940 \u092E\u0947\u0902 0.02\
\ \u0917\u094D\u0930\u093E\u092E \u0928\u092E\u0915 \u092F\u0941\u0915\u094D\
\u0924 \u0928\u092E\u0915 \u0915\u0947 \u0918\u094B\u0932 \u0915\u094B 4 \u0932\
\u0940\u091F\u0930 \u092A\u094D\u0930\u0924\u093F \u092E\u093F\u0928\u091F \u0915\
\u0940 \u0926\u0930 \u0938\u0947 \u091F\u0948\u0902\u0915 \u092E\u0947\u0902\
\ \u091B\u093F\u0921\u093C\u0915\u093E \u091C\u093E\u0924\u093E \u0939\u0948\
\u0964 \u091B\u093F\u0921\u093C\u0915\u093E\u0935 \u0915\u093F\u092F\u093E \u0917\
\u092F\u093E \u0918\u094B\u0932 \u0932\u0917\u093E\u0924\u093E\u0930 \u091F\u0948\
\u0902\u0915 \u092E\u0947\u0902 \u0928\u092E\u0915 \u0915\u0947 \u0918\u094B\
\u0932 \u0915\u0947 \u0938\u093E\u0925 \u092E\u093F\u0932\u093E\u092F\u093E\
\ \u091C\u093E\u0924\u093E \u0939\u0948, \u0914\u0930 \u092E\u093F\u0936\u094D\
\u0930\u0923 4 \u0932\u0940\u091F\u0930 \u092A\u094D\u0930\u0924\u093F \u092E\
\u093F\u0928\u091F \u0915\u0940 \u0926\u0930 \u0938\u0947 \u091F\u0948\u0902\
\u0915 \u0938\u0947 \u092C\u093E\u0939\u0930 \u092C\u0939\u0924\u093E \u0939\
\u0948\u0964 \u092F\u0926\u093F \u092E\u093F\u0936\u094D\u0930\u0923 \u0924\u093E\
\u0924\u094D\u0915\u093E\u0932\u093F\u0915 \u0939\u0948, \u0924\u094B 100 \u092E\
\u093F\u0928\u091F \u092C\u0940\u0924 \u091C\u093E\u0928\u0947 \u0915\u0947\
\ \u092C\u093E\u0926 \u091F\u0948\u0902\u0915 \u092E\u0947\u0902 \u0915\u093F\
\u0924\u0928\u0947 \u0917\u094D\u0930\u093E\u092E \u0928\u092E\u0915 \u0939\u0948\
?"
- input_choice_list:
A: "\u092E\u0948\u0902 \u0915\u0947\u0935\u0932"
B: "\u0915\u0947\u0935\u0932 \u0926\u094D\u0935\u093F\u0924\u0940\u092F"
C: "\u0924\u0943\u0924\u0940\u092F \u0915\u0947\u0935\u0932"
D: "\u0915\u0947\u0935\u0932 II \u0914\u0930 III"
input_correct_responses:
- B
input_question: "\u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F A \u090F\u0915\
\ \u0935\u093E\u0938\u094D\u0924\u0935\u093F\u0915 2x2 \u092E\u0948\u091F\u094D\
\u0930\u093F\u0915\u094D\u0938 \u0939\u0948\u0964 \u0928\u093F\u092E\u094D\u0928\
\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928\
\ \u0938\u093E \u0915\u0925\u0928 \u0938\u0924\u094D\u092F \u0939\u094B\u0928\
\u093E \u091A\u093E\u0939\u093F\u090F? I. A^2 \u0915\u0940 \u0938\u092D\u0940\
\ \u092A\u094D\u0930\u0935\u093F\u0937\u094D\u091F\u093F\u092F\u093E\u0901 \u0905\
\u090B\u0923\u093E\u0924\u094D\u092E\u0915 \u0939\u0948\u0902\u0964 \u0926\u094D\
\u0935\u093F\u0924\u0940\u092F. A^2 \u0915\u093E \u0928\u093F\u0930\u094D\u0927\
\u093E\u0930\u0915 \u0905\u090B\u0923\u093E\u0924\u094D\u092E\u0915 \u0939\u0948\
\u0964 \u0924\u0943\u0924\u0940\u092F. \u092F\u0926\u093F A \u0915\u0947 \u0926\
\u094B \u0905\u0932\u0917-\u0905\u0932\u0917 eigenvalues \u0939\u0948\u0902\
, \u0924\u094B A^2 \u0915\u0947 \u092D\u0940 \u0926\u094B \u0905\u0932\u0917\
-\u0905\u0932\u0917 eigenvalues \u0939\u0948\u0902\u0964"
- input_choice_list:
A: '-11'
B: '0'
C: '11'
D: 33/2
input_correct_responses:
- C
input_question: "\u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F \u0915\u093F\
\ \u0938\u092D\u0940 \u0935\u093E\u0938\u094D\u0924\u0935\u093F\u0915 x \u0915\
\u0947 \u0932\u093F\u090F f(1 + x) = f(x) \u0939\u0948\u0964 \u092F\u0926\u093F\
\ f \u090F\u0915 \u092C\u0939\u0941\u092A\u0926 \u0939\u0948 \u0914\u0930 f(5)\
\ = 11 \u0939\u0948, \u0924\u094B f(15/2)"
- input_choice_list:
A: '-5'
B: '-4'
C: '-3'
D: '-2'
input_correct_responses:
- B
input_question: "\u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F \u0915\u093F\
\ \u092A\u0942\u0930\u094D\u0923\u093E\u0902\u0915\u094B\u0902 (m, n) \u0915\
\u0947 \u0938\u092D\u0940 \u0915\u094D\u0930\u092E\u093F\u0924 \u092F\u0941\u0917\
\u094D\u092E\u094B\u0902 \u0915\u093E \u0938\u092E\u0941\u091A\u094D\u091A\u092F\
\ A \u0907\u0938 \u092A\u094D\u0930\u0915\u093E\u0930 \u0939\u0948 \u0915\u093F\
\ 7m + 12n = 22 \u0939\u0948\u0964 \u0938\u092E\u0941\u091A\u094D\u091A\u092F\
\ B = {m + n : (m, n) \\in A} \u092E\u0947\u0902 \u0938\u092C\u0938\u0947 \u092C\
\u0921\u093C\u0940 \u090B\u0923\u093E\u0924\u094D\u092E\u0915 \u0938\u0902\u0916\
\u094D\u092F\u093E \u0915\u094D\u092F\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_mathematics
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_college_mathematics
task_alias: college_mathematics
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_college_medicine.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "GLUT4 \u0928\u093E\u092E\u0915 \u092A\u094D\u0930\u094B\u091F\u0940\u0928\
\ \u091F\u094D\u0930\u093E\u0902\u0938\u092A\u094B\u0930\u094D\u091F\u0930\
\u094B\u0902 \u0915\u0947 \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947\
\u0964"
B: "\u0915\u0947\u0935\u0932 \u0907\u0902\u0938\u0941\u0932\u093F\u0928 \u0915\
\u0940 \u0909\u092A\u0938\u094D\u0925\u093F\u0924\u093F \u092E\u0947\u0902\
."
C: "\u0939\u0947\u0915\u094D\u0938\u094B\u0915\u093E\u0907\u0928\u0947\u091C\
\ \u0915\u0947 \u092E\u093E\u0927\u094D\u092F\u092E \u0938\u0947\u0964"
D: "\u092E\u094B\u0928\u094B\u0915\u093E\u0930\u094D\u092C\u093F\u0932\u093F\
\u0915 \u090F\u0938\u093F\u0921 \u091F\u094D\u0930\u093E\u0902\u0938\u092A\
\u094B\u0930\u094D\u091F\u0930\u094B\u0902 \u0915\u0947 \u092E\u093E\u0927\
\u094D\u092F\u092E \u0938\u0947\u0964"
input_correct_responses:
- A
input_question: "\u0917\u094D\u0932\u0942\u0915\u094B\u091C \u0915\u094B \u092E\
\u093E\u0902\u0938\u092A\u0947\u0936\u0940 \u0915\u094B\u0936\u093F\u0915\u093E\
\ \u092E\u0947\u0902 \u0932\u0947 \u091C\u093E\u092F\u093E \u091C\u093E\u0924\
\u093E \u0939\u0948:"
- input_choice_list:
A: "\u092E\u093E\u0902\u0938\u092A\u0947\u0936\u0940 \u0917\u094D\u0932\u093E\
\u0907\u0915\u094B\u091C\u0928 \u090F\u0902\u091C\u093E\u0907\u092E\u0947\u091F\
\u093F\u0915 \u0930\u0942\u092A \u0938\u0947 \u0917\u094D\u0932\u0942\u0915\
\u094B\u091C-1-\u092B\u0949\u0938\u094D\u092B\u0947\u091F \u092E\u0947\u0902\
\ \u091F\u0942\u091F \u091C\u093E\u0924\u093E \u0939\u0948"
B: "\u0938\u0902\u092D\u094D\u0930\u093E\u0902\u0924 \u0927\u0940\u0930\u091C\
\ \u0927\u093E\u0935\u0915\u094B\u0902 \u0915\u0947 \u092A\u0948\u0930 \u0915\
\u0940 \u092E\u093E\u0902\u0938\u092A\u0947\u0936\u093F\u092F\u094B\u0902\
\ \u092E\u0947\u0902 \u091F\u093E\u0907\u092A I \u092B\u093E\u0907\u092C\u0930\
\ \u0915\u093E \u0909\u091A\u094D\u091A \u0905\u0928\u0941\u092A\u093E\u0924\
\ \u0939\u094B\u0924\u093E \u0939\u0948"
C: "\u0932\u093F\u0935\u0930 \u0917\u094D\u0932\u093E\u0907\u0915\u094B\u091C\
\u0928 \u0930\u0915\u094D\u0924 \u0917\u094D\u0932\u0942\u0915\u094B\u091C\
\ \u090F\u0915\u093E\u0917\u094D\u0930\u0924\u093E \u0915\u0947 \u0930\u0916\
\u0930\u0916\u093E\u0935 \u092E\u0947\u0902 \u092E\u0939\u0924\u094D\u0935\
\u092A\u0942\u0930\u094D\u0923 \u0939\u0948"
D: "\u0907\u0902\u0938\u0941\u0932\u093F\u0928 \u0936\u0930\u0940\u0930 \u0915\
\u0947 \u0938\u092D\u0940 \u090A\u0924\u0915\u094B\u0902 \u0926\u094D\u0935\
\u093E\u0930\u093E \u0917\u094D\u0932\u0942\u0915\u094B\u091C \u0917\u094D\
\u0930\u0939\u0923 \u0915\u094B \u092C\u0922\u093C\u093E\u0935\u093E \u0926\
\u0947\u0924\u093E \u0939\u0948"
input_correct_responses:
- D
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\
\u0928 \u0938\u0924\u094D\u092F \u0928\u0939\u0940\u0902 \u0939\u0948?"
- input_choice_list:
A: "\u092E\u093E\u0924\u0943 \u092A\u0915\u094D\u0937 \u0915\u0947 \u0938\u092D\
\u0940 \u0935\u0902\u0936\u091C\u094B\u0902 \u0915\u094B \u0935\u093F\u0915\
\u093E\u0930 \u0939\u094B\u0917\u093E\u0964"
B: "\u0907\u0938 \u092A\u0930\u093F\u0935\u093E\u0930 \u092E\u0947\u0902 \u092A\
\u0941\u0930\u0941\u0937\u094B\u0902 \u0915\u0940 \u0924\u0941\u0932\u0928\
\u093E \u092E\u0947\u0902 \u092E\u0939\u093F\u0932\u093E\u090F\u0902 \u0932\
\u0917\u092D\u0917 \u0926\u094B\u0917\u0941\u0928\u0940 \u092A\u094D\u0930\
\u092D\u093E\u0935\u093F\u0924 \u0939\u094B\u0902\u0917\u0940\u0964"
C: "\u092A\u094D\u0930\u092D\u093E\u0935\u093F\u0924 \u092A\u0941\u0930\u0941\
\u0937 \u0915\u0940 \u0938\u092D\u0940 \u092C\u0947\u091F\u093F\u092F\u093E\
\u0902 \u092A\u094D\u0930\u092D\u093E\u0935\u093F\u0924 \u0939\u094B\u0902\
\u0917\u0940\u0964"
D: "\u092A\u094D\u0930\u092D\u093E\u0935\u093F\u0924 \u092A\u0941\u0930\u0941\
\u0937\u094B\u0902 \u0914\u0930 \u092E\u0939\u093F\u0932\u093E\u0913\u0902\
\ \u0915\u093E \u0938\u092E\u093E\u0928 \u0935\u093F\u0924\u0930\u0923 \u0939\
\u094B\u0917\u093E\u0964"
input_correct_responses:
- C
input_question: "\u0928\u0935\u091C\u093E\u0924 \u0936\u093F\u0936\u0941 \u0915\
\u0947 \u0906\u0928\u0941\u0935\u0902\u0936\u093F\u0915 \u092A\u0930\u0940\u0915\
\u094D\u0937\u0923 \u092E\u0947\u0902, \u090F\u0915 \u0926\u0941\u0930\u094D\
\u0932\u092D \u0906\u0928\u0941\u0935\u0902\u0936\u093F\u0915 \u0935\u093F\u0915\
\u093E\u0930 \u092A\u093E\u092F\u093E \u091C\u093E\u0924\u093E \u0939\u0948\
\ \u091C\u093F\u0938\u092E\u0947\u0902 \u090F\u0915\u094D\u0938-\u0932\u093F\
\u0902\u0915\u094D\u0921 \u0930\u093F\u0938\u0947\u0938\u093F\u0935 \u091F\u094D\
\u0930\u093E\u0902\u0938\u092E\u093F\u0936\u0928 \u0939\u094B\u0924\u093E \u0939\
\u0948\u0964 \u0907\u0938 \u0935\u093F\u0915\u093E\u0930 \u0915\u0940 \u0935\
\u0902\u0936\u093E\u0935\u0932\u0940 \u0915\u0947 \u0938\u0902\u092C\u0902\u0927\
\ \u092E\u0947\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\
\u0928 \u0938\u0902\u092D\u0935\u0924\u0903 \u0938\u0924\u094D\u092F \u0939\u0948\
?"
- input_choice_list:
A: "\u0924\u093E\u092A\u092E\u093E\u0928 \u092C\u0922\u093C \u0930\u0939\u093E\
\ \u0939\u0948, \u0917\u0948\u0938 \u0915\u0947 \u092E\u094B\u0932 \u092C\u0922\
\u093C \u0930\u0939\u0947 \u0939\u0948\u0902"
B: "\u0924\u093E\u092A\u092E\u093E\u0928 \u092C\u0922\u093C \u0930\u0939\u093E\
\ \u0939\u0948, \u0906\u092F\u0924\u0928 \u092C\u0922\u093C \u0930\u0939\u093E\
\ \u0939\u0948"
C: "\u0918\u091F\u0924\u093E \u0906\u092F\u0924\u0928, \u0918\u091F\u0924\u093E\
\ \u0924\u093E\u092A\u092E\u093E\u0928"
D: "\u0917\u0948\u0938 \u0915\u0947 \u0918\u091F\u0924\u0947 \u092E\u094B\u0932\
, \u092C\u0922\u093C\u0924\u0940 \u092E\u093E\u0924\u094D\u0930\u093E"
input_correct_responses:
- A
input_question: "\u090F\u0915 \u0939\u093E\u0908 \u0938\u094D\u0915\u0942\u0932\
\ \u0935\u093F\u091C\u094D\u091E\u093E\u0928 \u0936\u093F\u0915\u094D\u0937\u0915\
\ 1 \u0932\u0940\u091F\u0930 \u0915\u0940 \u092C\u094B\u0924\u0932 \u092E\u0947\
\u0902 \u0936\u0941\u0926\u094D\u0927 \u0928\u093E\u0907\u091F\u094D\u0930\u094B\
\u091C\u0928 \u092D\u0930\u0924\u093E \u0939\u0948 \u0914\u0930 \u0922\u0915\
\u094D\u0915\u0928 \u092C\u0902\u0926 \u0915\u0930 \u0926\u0947\u0924\u093E\
\ \u0939\u0948\u0964 \u0926\u092C\u093E\u0935 1.70 \u090F\u091F\u0940\u090F\u092E\
\ \u0939\u0948, \u0914\u0930 \u0915\u092E\u0930\u0947 \u0915\u093E \u0924\u093E\
\u092A\u092E\u093E\u0928 25 \u0921\u093F\u0917\u094D\u0930\u0940 \u0938\u0947\
\u0932\u094D\u0938\u093F\u092F\u0938 \u0939\u0948\u0964 \u092F\u0926\u093F \u0905\
\u0928\u094D\u092F \u0938\u092D\u0940 \u091A\u0930 \u0938\u094D\u0925\u093F\u0930\
\ \u0930\u0916\u0947 \u091C\u093E\u090F\u0902 \u0924\u094B \u0915\u094C\u0928\
\ \u0938\u0947 \u0926\u094B \u091A\u0930 \u0938\u093F\u0938\u094D\u091F\u092E\
\ \u0915\u0947 \u0926\u092C\u093E\u0935 \u0915\u094B \u092C\u0922\u093C\u093E\
\u090F\u0902\u0917\u0947?"
- input_choice_list:
A: "\u092E\u093E\u0902\u0938\u092A\u0947\u0936\u093F\u092F\u094B\u0902 \u092E\
\u0947\u0902 \u0915\u092E\u091C\u094B\u0930\u0940\u0964"
B: "\u0936\u0930\u0940\u0930 \u0915\u0947 \u0926\u094D\u0930\u0935\u094D\u092F\
\u092E\u093E\u0928 \u092E\u0947\u0902 \u0935\u0943\u0926\u094D\u0927\u093F\
."
C: "\u092E\u093E\u0902\u0938\u092A\u0947\u0936\u093F\u092F\u094B\u0902 \u092E\
\u0947\u0902 \u0910\u0902\u0920\u0928\u0964"
D: "\u0907\u0932\u0947\u0915\u094D\u091F\u094D\u0930\u094B\u0932\u093E\u0907\
\u091F\u094D\u0938 \u0915\u093E \u0928\u0941\u0915\u0938\u093E\u0928."
input_correct_responses:
- B
input_question: "\u0915\u094D\u0930\u093F\u090F\u091F\u093F\u0928 \u0905\u0928\
\u0941\u092A\u0942\u0930\u0923 \u0915\u093E \u0905\u092A\u0947\u0915\u094D\u0937\
\u093F\u0924 \u0926\u0941\u0937\u094D\u092A\u094D\u0930\u092D\u093E\u0935 \u0939\
\u0948:"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_medicine
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_college_medicine
task_alias: college_medicine
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_college_physics.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: '4'
B: '5'
C: '6'
D: '20'
input_correct_responses:
- A
input_question: "\u090F\u0915 \u0905\u092A\u0935\u0930\u094D\u0924\u0915 \u0926\
\u0942\u0930\u092C\u0940\u0928 \u092E\u0947\u0902 \u0926\u094B \u0905\u092D\u093F\
\u0938\u093E\u0930\u0940 \u0932\u0947\u0902\u0938 \u0939\u094B\u0924\u0947 \u0939\
\u0948\u0902 \u091C\u094B 100 \u0938\u0947\u092E\u0940 \u0915\u0940 \u0926\u0942\
\u0930\u0940 \u092A\u0930 \u0905\u0932\u0917 \u0939\u094B\u0924\u0947 \u0939\
\u0948\u0902\u0964 \u0906\u0908-\u092A\u0940\u0938 \u0932\u0947\u0902\u0938\
\ \u0915\u0940 \u092B\u094B\u0915\u0932 \u0932\u0902\u092C\u093E\u0908 20 \u0938\
\u0947\u092E\u0940 \u0939\u0948\u0964 \u0926\u0942\u0930\u092C\u0940\u0928 \u0915\
\u093E \u0915\u094B\u0923\u0940\u092F \u0906\u0935\u0930\u094D\u0927\u0928 \u0939\
\u0948"
- input_choice_list:
A: "\u0938\u094D\u0925\u093F\u0930 \u0924\u093E\u092A\u092E\u093E\u0928"
B: "\u0932\u0917\u093E\u0924\u093E\u0930 \u092E\u093E\u0924\u094D\u0930\u093E"
C: "\u0938\u094D\u0925\u093F\u0930 \u0924\u093E\u092A\u092E\u093E\u0928"
D: "\u0938\u094D\u0925\u093F\u0930\u094B\u0937\u094D\u092E"
input_correct_responses:
- B
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938 \u0925\u0930\u094D\u092E\
\u094B\u0921\u093E\u092F\u0928\u093E\u092E\u093F\u0915 \u092A\u094D\u0930\u0915\
\u094D\u0930\u093F\u092F\u093E \u0915\u0947 \u0932\u093F\u090F \u090F\u0915\
\ \u0906\u0926\u0930\u094D\u0936 \u0917\u0948\u0938 \u0915\u0940 \u0906\u0902\
\u0924\u0930\u093F\u0915 \u090A\u0930\u094D\u091C\u093E \u092E\u0947\u0902 \u0935\
\u0943\u0926\u094D\u0927\u093F \u0917\u0948\u0938 \u092E\u0947\u0902 \u091C\u094B\
\u0921\u093C\u0940 \u0917\u0908 \u090A\u0937\u094D\u092E\u093E \u0915\u0947\
\ \u092C\u0930\u093E\u092C\u0930 \u0939\u094B\u0924\u0940 \u0939\u0948?"
- input_choice_list:
A: "2.4 \u0935\u0940"
B: "3.3 \u0935\u0940"
C: "4.5 \u0935\u0940"
D: "5.7 \u0935\u0940"
input_correct_responses:
- A
input_question: "\u0932\u0902\u092C\u093E\u0908 2L \u0914\u0930 \u0915\u094D\u0930\
\u0949\u0938-\u0938\u0947\u0915\u094D\u0936\u0928\u0932 \u0915\u094D\u0937\u0947\
\u0924\u094D\u0930 A \u0915\u0947 \u090F\u0915 \u0928\u093E\u0907\u0915\u094D\
\u0930\u094B\u092E \u0924\u093E\u0930 \u0915\u093E \u090F\u0915 \u0938\u093F\
\u0930\u093E \u0932\u0902\u092C\u093E\u0908 L \u0914\u0930 \u0915\u094D\u0930\
\u0949\u0938-\u0905\u0928\u0941\u092D\u093E\u0917\u0940\u092F \u0915\u094D\u0937\
\u0947\u0924\u094D\u0930 2A \u0915\u0947 \u0926\u0942\u0938\u0930\u0947 \u0928\
\u093E\u0907\u0915\u094D\u0930\u094B\u092E \u0924\u093E\u0930 \u0915\u0947 \u0938\
\u093F\u0930\u0947 \u0938\u0947 \u091C\u0941\u0921\u093C\u093E \u0939\u0941\u0906\
\ \u0939\u0948\u0964 \u092F\u0926\u093F \u0932\u0902\u092C\u0947 \u0924\u093E\
\u0930 \u0915\u093E \u092E\u0941\u0915\u094D\u0924 \u0938\u093F\u0930\u093E\
\ 8.0 \u0935\u094B\u0932\u094D\u091F \u0915\u0940 \u0935\u093F\u0926\u094D\u092F\
\u0941\u0924 \u0915\u094D\u0937\u092E\u0924\u093E \u092A\u0930 \u0939\u0948\
, \u0914\u0930 \u091B\u094B\u091F\u0947 \u0924\u093E\u0930 \u0915\u093E \u092E\
\u0941\u0915\u094D\u0924 \u0938\u093F\u0930\u093E 1.0 \u0935\u094B\u0932\u094D\
\u091F \u0915\u0940 \u0935\u093F\u0926\u094D\u092F\u0941\u0924 \u0915\u094D\u0937\
\u092E\u0924\u093E \u092A\u0930 \u0939\u0948, \u0924\u094B \u0926\u094B\u0928\
\u094B\u0902 \u0924\u093E\u0930\u094B\u0902 \u0915\u0947 \u091C\u0902\u0915\u094D\
\u0936\u0928 \u092A\u0930 \u0915\u094D\u0937\u092E\u0924\u093E \u0932\u0917\u092D\
\u0917 \u092C\u0930\u093E\u092C\u0930 \u0939\u0948"
- input_choice_list:
A: '4'
B: '5'
C: '6'
D: '20'
input_correct_responses:
- A
input_question: "\u090F\u0915 \u0905\u092A\u0935\u0930\u094D\u0924\u0915 \u0926\
\u0942\u0930\u092C\u0940\u0928 \u092E\u0947\u0902 \u0926\u094B \u0905\u092D\u093F\
\u0938\u093E\u0930\u0940 \u0932\u0947\u0902\u0938 \u0939\u094B\u0924\u0947 \u0939\
\u0948\u0902 \u091C\u094B 100 \u0938\u0947\u092E\u0940 \u0915\u0940 \u0926\u0942\
\u0930\u0940 \u092A\u0930 \u0905\u0932\u0917 \u0939\u094B\u0924\u0947 \u0939\
\u0948\u0902\u0964 \u0906\u0908-\u092A\u0940\u0938 \u0932\u0947\u0902\u0938\
\ \u0915\u0940 \u092B\u094B\u0915\u0932 \u0932\u0902\u092C\u093E\u0908 20 \u0938\
\u0947\u092E\u0940 \u0939\u0948\u0964 \u0926\u0942\u0930\u092C\u0940\u0928 \u0915\
\u093E \u0915\u094B\u0923\u0940\u092F \u0906\u0935\u0930\u094D\u0927\u0928 \u0939\
\u0948"
- input_choice_list:
A: "\u0936\u0941\u0932\u094D\u0915"
B: "\u0926\u094D\u0930\u0935\u094D\u092F\u092E\u093E\u0928"
C: "\u090A\u0930\u094D\u091C\u093E \u0914\u0930 \u0917\u0924\u093F"
D: "\u0932\u0947\u092A\u094D\u091F\u093E\u0928 \u0938\u0902\u0916\u094D\u092F\
\u093E"
input_correct_responses:
- D
input_question: "\u092E\u094D\u092F\u0942\u0911\u0928 \u0932\u0917\u092D\u0917\
\ 10^-6 \u0938\u0947\u0915\u0902\u0921 \u0915\u0947 \u0935\u093F\u0936\u093F\
\u0937\u094D\u091F \u091C\u0940\u0935\u0928\u0915\u093E\u0932 \u092E\u0947\u0902\
\ \u090F\u0915 \u0907\u0932\u0947\u0915\u094D\u091F\u094D\u0930\u0949\u0928\
, \u090F\u0915 \u092E\u094D\u092F\u0942\u0911\u0928 \u0928\u094D\u092F\u0942\
\u091F\u094D\u0930\u093F\u0928\u094B \u0914\u0930 \u090F\u0915 \u0907\u0932\u0947\
\u0915\u094D\u091F\u094D\u0930\u0949\u0928 \u090F\u0902\u091F\u0940\u0928\u094D\
\u092F\u0942\u091F\u094D\u0930\u093F\u0928\u094B \u092E\u0947\u0902 \u0935\u093F\
\u0918\u091F\u093F\u0924 \u0939\u094B \u091C\u093E\u0924\u093E \u0939\u0948\u0964\
\ \u0938\u0902\u0930\u0915\u094D\u0937\u0923 \u0915\u0947 \u0928\u093F\u092F\
\u092E \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930 \u092E\u094D\u092F\u0942\
\u0911\u0928 \u0915\u094B \u090F\u0915 \u0907\u0932\u0947\u0915\u094D\u091F\u094D\
\u0930\u0949\u0928 \u0914\u0930 \u0915\u0947\u0935\u0932 \u090F\u0915 \u0928\
\u094D\u092F\u0942\u091F\u094D\u0930\u093F\u0928\u094B \u092E\u0947\u0902 \u0915\
\u094D\u0937\u092F \u0939\u094B\u0928\u0947 \u0938\u0947 \u0930\u094B\u0915\u093E\
\ \u0917\u092F\u093E \u0939\u0948"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_college_physics
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_college_physics
task_alias: college_physics
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_computer_security.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "160 \u092C\u093F\u091F\u094D\u0938"
B: "512 \u092C\u093F\u091F\u094D\u0938"
C: "628 \u092C\u093F\u091F\u094D\u0938"
D: "820 \u092C\u093F\u091F\u094D\u0938"
input_correct_responses:
- A
input_question: "SHA-1 \u0915\u093E \u090F\u0915 \u0938\u0902\u0926\u0947\u0936\
\ \u0921\u093E\u0907\u091C\u0947\u0938\u094D\u091F \u0939\u0948"
- input_choice_list:
A: "\u0906\u0908\u090F\u092E - \u091F\u094D\u0930\u094B\u091C\u0928"
B: "\u092A\u093F\u091B\u0932\u0947 \u0926\u0930\u0935\u093E\u091C\u0947 \u091F\
\u094D\u0930\u094B\u091C\u0928"
C: "\u091F\u094D\u0930\u094B\u091C\u0928-\u0921\u093E\u0909\u0928\u0932\u094B\
\u0921\u0930"
D: "\u092B\u093F\u0930\u094C\u0924\u0940 \u091F\u094D\u0930\u094B\u091C\u0928"
input_correct_responses:
- D
input_question: "_____________ \u0906\u092A\u0915\u0947 \u0938\u093F\u0938\u094D\
\u091F\u092E \u092A\u0930 \u0921\u0947\u091F\u093E \u0915\u094B \u0938\u0902\
\u0936\u094B\u0927\u093F\u0924 \u0915\u0930 \u0938\u0915\u0924\u093E \u0939\u0948\
\ - \u0924\u093E\u0915\u093F \u0906\u092A\u0915\u093E \u0938\u093F\u0938\u094D\
\u091F\u092E \u0938\u0939\u0940 \u0922\u0902\u0917 \u0938\u0947 \u0928 \u091A\
\u0932\u0947 \u092F\u093E \u0906\u092A \u0935\u093F\u0936\u093F\u0937\u094D\u091F\
\ \u0921\u0947\u091F\u093E \u0924\u0915 \u0928\u0939\u0940\u0902 \u092A\u0939\
\u0941\u0902\u091A \u0938\u0915\u0947\u0902, \u092F\u093E \u092F\u0939 \u0906\
\u092A\u0915\u094B \u090F\u0915\u094D\u0938\u0947\u0938 \u0926\u0947\u0928\u0947\
\ \u0915\u0947 \u0932\u093F\u090F \u092B\u093F\u0930\u094C\u0924\u0940 \u092D\
\u0940 \u092E\u093E\u0902\u0917 \u0938\u0915\u0924\u093E \u0939\u0948\u0964"
- input_choice_list:
A: "\u0928\u0948\u0924\u093F\u0915\u0924\u093E \u0915\u094B "\u0939\u0948\
\u0915\u093F\u0902\u0917" \u0915\u0930\u0928\u093E \u0924\u093E\u0915\
\u093F \u0935\u0947 \u0905\u0928\u092A\u0947\u0915\u094D\u0937\u093F\u0924\
\ \u0938\u094D\u0935\u093E\u0930\u094D\u0925\u0940 \u0935\u094D\u092F\u0935\
\u0939\u093E\u0930 \u0915\u094B \u0909\u091A\u093F\u0924 \u0920\u0939\u0930\
\u093E \u0938\u0915\u0947\u0902"
B: "\u0939\u0948\u0915\u093F\u0902\u0917 \u0938\u093F\u0938\u094D\u091F\u092E\
\ (\u0909\u0926\u093E\u0939\u0930\u0923 \u0915\u0947 \u0932\u093F\u090F, \u092A\
\u094D\u0930\u0935\u0947\u0936 \u092A\u0930\u0940\u0915\u094D\u0937\u0923\
\ \u0915\u0947 \u0926\u094C\u0930\u093E\u0928) \u0915\u092E\u091C\u094B\u0930\
\u093F\u092F\u094B\u0902 \u0915\u094B \u0909\u091C\u093E\u0917\u0930 \u0915\
\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0924\u093E\u0915\u093F\
\ \u0909\u0928\u0915\u093E \u0936\u094B\u0937\u0923 \u0915\u0930\u0928\u0947\
\ \u0915\u0947 \u092C\u091C\u093E\u092F \u0909\u0928\u094D\u0939\u0947\u0902\
\ \u0920\u0940\u0915 \u0915\u093F\u092F\u093E \u091C\u093E \u0938\u0915\u0947"
C: "\u0909\u0928 \u0932\u094B\u0917\u094B\u0902 \u0926\u094D\u0935\u093E\u0930\
\u093E \u091A\u0932\u093E\u090F \u091C\u093E \u0930\u0939\u0947 \u0938\u093F\
\u0938\u094D\u091F\u092E \u0915\u094B \u0939\u0948\u0915 \u0915\u0930\u0928\
\u093E \u091C\u093F\u0928\u0915\u0940 \u0928\u0948\u0924\u093F\u0915\u0924\
\u093E \u0938\u0947 \u0906\u092A \u0905\u0938\u0939\u092E\u0924 \u0939\u0948\
\u0902"
D: "\u0924\u0940\u0935\u094D\u0930 \u0938\u0949\u092B\u093C\u094D\u091F\u0935\
\u0947\u092F\u0930 \u0935\u093F\u0915\u093E\u0938 \u0915\u0947 \u0932\u093F\
\u090F \u090F\u0915 \u0915\u0920\u092C\u094B\u0932\u0940 \u0936\u092C\u094D\
\u0926, \u0909\u0926\u093E\u0939\u0930\u0923 \u0915\u0947 \u0932\u093F\u090F\
, \u0939\u0948\u0915\u0925\u0949\u0928 \u0915\u0947 \u092D\u093E\u0917 \u0915\
\u0947 \u0930\u0942\u092A \u092E\u0947\u0902"
input_correct_responses:
- B
input_question: "\u090F\u0925\u093F\u0915\u0932 \u0939\u0948\u0915\u093F\u0902\
\u0917 \u0915\u094D\u092F\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092E\u0947\u092E\u094B\u0930\u0940 \u092E\u0947\u0902 \u0915\u094D\u0930\
\u093F\u092A\u094D\u091F\u094B\u0917\u094D\u0930\u093E\u092B\u093C\u093F\u0915\
\ \u0915\u0941\u0902\u091C\u093F\u092F\u093E\u0901 \u0905\u0927\u093F\u0932\
\u0947\u0916\u093F\u0924 \u0915\u0930\u0928\u093E"
B: "\u090F\u0915 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\u093E \u0915\u094B\
\u0921 \u0907\u0902\u091C\u0947\u0915\u094D\u0936\u0928"
C: "\u090F\u0915 \u092C\u092B\u093C\u0930 \u0915\u0940 \u092C\u093E\u0939\u0930\
\u0940 \u0938\u0940\u092E\u093E\u090F\u0901 \u092A\u0922\u093C\u0947\u0902"
D: "\u090F\u0915 \u092A\u094D\u0930\u093E\u0930\u0942\u092A \u0938\u094D\u091F\
\u094D\u0930\u093F\u0902\u0917 \u0939\u092E\u0932\u093E"
input_correct_responses:
- C
input_question: "\u0939\u093E\u0930\u094D\u091F\u092C\u094D\u0932\u0940\u0921\
\ \u092C\u0917 \u092A\u0930\u092E\u093F\u091F \u0915\u093E \u0936\u094B\u0937\
\u0923"
- input_choice_list:
A: "\u092A\u094D\u0930\u0947\u0924\u0935\u093E\u0927\u093F\u0924 \u0935\u0947\
\u092C"
B: "\u0935\u0930\u094D\u0932\u094D\u0921 \u0935\u093E\u0907\u0921 \u0935\u0947\
\u092C"
C: "\u0938\u0924\u0939\u0940 \u091C\u093E\u0932"
D: "\u0917\u0939\u0930\u093E \u091C\u093E\u0932"
input_correct_responses:
- D
input_question: "____________ \u0935\u0939 \u0915\u0941\u091B \u092D\u0940 \u0939\
\u0948 \u091C\u093F\u0938\u0947 \u0906\u092A\u0915\u093E \u0916\u094B\u091C\
\ \u0907\u0902\u091C\u0928 \u0916\u094B\u091C \u0928\u0939\u0940\u0902 \u0938\
\u0915\u0924\u093E \u0939\u0948\u0964"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_computer_security
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_computer_security
task_alias: computer_security
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_conceptual_physics.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0915\u092E"
B: "\u0905\u0927\u093F\u0915"
C: "\u091C\u094B \u0909\u0938\u0940"
D: "\u0936\u0942\u0928\u094D\u092F"
input_correct_responses:
- A
input_question: "\u0935\u093F\u0916\u0902\u0921\u0928 \u0938\u0947 \u0917\u0941\
\u091C\u0930 \u0930\u0939\u0947 \u092F\u0942\u0930\u0947\u0928\u093F\u092F\u092E\
\ \u092A\u0930\u092E\u093E\u0923\u0941 \u0915\u0947 \u0926\u094D\u0930\u0935\
\u094D\u092F\u092E\u093E\u0928 \u0915\u0940 \u0924\u0941\u0932\u0928\u093E \u092E\
\u0947\u0902, \u0935\u093F\u0916\u0902\u0921\u0928 \u0915\u0947 \u092C\u093E\
\u0926 \u0909\u0924\u094D\u092A\u093E\u0926\u094B\u0902 \u0915\u093E \u0938\u0902\
\u092F\u0941\u0915\u094D\u0924 \u0926\u094D\u0930\u0935\u094D\u092F\u092E\u093E\
\u0928 \u0939\u0948"
- input_choice_list:
A: "\u0938\u094D\u0925\u093E\u0928 \u0914\u0930 \u0938\u092E\u092F\u0964"
B: "\u090F\u0915 \u092F\u093E\u0924\u094D\u0930\u093E \u0915\u0930\u0928\u0947\
\ \u0935\u093E\u0932\u093E \u091C\u0941\u0921\u093C\u0935\u093E\u0902 \u0914\
\u0930 \u090F\u0915 \u0918\u0930 \u092A\u0930 \u0930\u0939\u0928\u0947 \u0935\
\u093E\u0932\u093E \u091C\u0941\u0921\u093C\u0935\u093E\u0902\u0964"
C: "\u0917\u0941\u0930\u0941\u0924\u094D\u0935\u093E\u0915\u0930\u094D\u0937\
\u0923 \u0914\u0930 \u0924\u094D\u0935\u0930\u0923."
D: "\u0926\u094D\u0930\u0935\u094D\u092F\u092E\u093E\u0928 \u0914\u0930 \u090A\
\u0930\u094D\u091C\u093E."
input_correct_responses:
- C
input_question: "\u0938\u092E\u0924\u0941\u0932\u094D\u092F\u0924\u093E \u0938\
\u093F\u0926\u094D\u0927\u093E\u0902\u0924 \u0915\u0947 \u0905\u0928\u0941\u0938\
\u093E\u0930 \u091C\u094B \u091A\u0940\u091C\u0947\u0902 \u0938\u092E\u0924\u0941\
\u0932\u094D\u092F \u0939\u0948\u0902"
- input_choice_list:
A: "\u090F\u0915 \u0905\u0932\u0917 \u0906\u0935\u0943\u0924\u094D\u0924\u093F\
\ \u092E\u0947\u0902 \u092A\u0930\u093F\u0935\u0930\u094D\u0924\u093F\u0924\
\ \u0915\u093F\u092F\u093E \u0917\u092F\u093E"
B: "\u0928\u0940\u091A\u0947 \u0915\u094B \u091D\u0941\u0915\u093E\u0935"
C: "\u0926\u0916\u0932 \u0905\u0902\u0926\u093E\u091C\u0940"
D: "\u0927\u094D\u0930\u0941\u0935\u0940\u0915\u0930\u0923"
input_correct_responses:
- C
input_question: "\u0938\u093E\u092C\u0941\u0928 \u0915\u0947 \u092C\u0941\u0932\
\u092C\u0941\u0932\u0947 \u092E\u0947\u0902 \u0930\u0902\u0917 \u092A\u094D\u0930\
\u0915\u093E\u0936 \u0938\u0947 \u0909\u0924\u094D\u092A\u0928\u094D\u0928 \u0939\
\u094B\u0924\u0947 \u0939\u0948\u0902"
- input_choice_list:
A: "\u091C\u094B \u0909\u0938\u0940"
B: "\u0917\u094D\u0930\u0947\u091F\u0930"
C: "\u0915\u092E"
D: "\u0939\u0935\u093E \u0915\u0940 \u0917\u0924\u093F \u0915\u0947 \u0906\u0927\
\u093E\u0930 \u092A\u0930 \u092F\u093E \u0924\u094B \u0905\u0927\u093F\u0915\
\ \u092F\u093E \u0915\u092E"
input_correct_responses:
- B
input_question: "\u090F\u0915 \u092E\u0949\u0921\u0932 \u0939\u0935\u093E\u0908\
\ \u091C\u0939\u093E\u091C\u093C \u0939\u0935\u093E \u092E\u0947\u0902 \u0909\
\u0921\u093C\u0924\u0947 \u0938\u092E\u092F \u0927\u0940\u092E\u0940 \u0917\u0924\
\u093F \u0938\u0947 \u0909\u0921\u093C\u0924\u093E \u0939\u0948 \u0914\u0930\
\ \u092A\u0940\u091B\u0947 \u0939\u0935\u093E \u0939\u094B\u0928\u0947 \u092A\
\u0930 \u0924\u0947\u091C\u093C \u0917\u0924\u093F \u0938\u0947 \u0909\u0921\
\u093C\u0924\u093E \u0939\u0948\u0964 \u091C\u092C \u0939\u0935\u093E \u0915\
\u0947 \u0938\u092E\u0915\u094B\u0923 \u092A\u0930 \u092A\u094D\u0930\u0915\u094D\
\u0937\u0947\u092A\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\u0924\u093E\
\ \u0939\u0948 \u0924\u094B \u0907\u0938\u0915\u0940 \u091C\u092E\u0940\u0928\
\u0940 \u0917\u0924\u093F \u0936\u093E\u0902\u0924 \u0939\u0935\u093E \u092E\
\u0947\u0902 \u0909\u0921\u093C\u0928\u0947 \u0915\u0940 \u0924\u0941\u0932\u0928\
\u093E \u092E\u0947\u0902 \u0939\u094B\u0924\u0940 \u0939\u0948"
- input_choice_list:
A: "\u0939\u093E\u0907\u0921\u094D\u0930\u094B\u091C\u0928"
B: "\u0932\u094B\u0939\u093E"
C: "\u092F\u0942\u0930\u0947\u0928\u093F\u092F\u092E"
D: "\u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u092E\u0947\u0902 \u0938\
\u092E\u093E\u0928"
input_correct_responses:
- A
input_question: "\u0907\u0928 \u0924\u0940\u0928 \u0924\u0924\u094D\u0935\u094B\
\u0902 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0915\u093E \u0926\
\u094D\u0930\u0935\u094D\u092F\u092E\u093E\u0928 \u092A\u094D\u0930\u0924\u093F\
\ \u0928\u094D\u092F\u0942\u0915\u094D\u0932\u093F\u092F\u0949\u0928 \u0938\u092C\
\u0938\u0947 \u0905\u0927\u093F\u0915 \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_conceptual_physics
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_conceptual_physics
task_alias: conceptual_physics
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_econometrics.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0905\u0902\u0924\u0924\u0903 \u092E\u0930 \u091C\u093E\u0913"
B: "\u0905\u0928\u093F\u0936\u094D\u091A\u093F\u0924 \u0915\u093E\u0932 \u0924\
\u0915 \u092C\u0928\u0947 \u0930\u0939\u0947\u0902"
C: "\u0924\u0947\u091C\u0940 \u0938\u0947 \u092C\u0922\u093C\u0947\u0902"
D: "\u0915\u092D\u0940 \u0918\u091F\u093F\u0924 \u0928\u0939\u0940\u0902 \u0939\
\u094B\u0924\u093E"
input_correct_responses:
- A
input_question: "\u090F\u0915 \u0938\u094D\u0925\u093F\u0930 \u0938\u094D\u0935\
\u092A\u094D\u0930\u0924\u093F\u0917\u093E\u092E\u0940 \u092A\u094D\u0930\u0915\
\u094D\u0930\u093F\u092F\u093E \u0915\u0947 \u0932\u093F\u090F, \u091D\u091F\
\u0915\u0947 \u0932\u0917\u0947\u0902\u0917\u0947"
- input_choice_list:
A: '0.2'
B: '0.4'
C: '0.5'
D: '0.33'
input_correct_responses:
- D
input_question: "\u0936\u0942\u0928\u094D\u092F \u092E\u093E\u0927\u094D\u092F\
\ \u0914\u0930 \u0907\u0915\u093E\u0908 \u0935\u093F\u091A\u0930\u0923 \u0935\
\u093E\u0932\u0947 \u0935\u093F\u0915\u094D\u0937\u094B\u092D \u0935\u093E\u0932\
\u0947 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 AR(1) \u092E\
\u0949\u0921\u0932 \u092A\u0930 \u0935\u093F\u091A\u093E\u0930 \u0915\u0930\u0947\
\u0902 yt = 0.2 + 0.4 yt-1 + ut y \u0915\u093E (\u092C\u093F\u0928\u093E \u0936\
\u0930\u094D\u0924) \u092E\u093E\u0927\u094D\u092F \u0907\u0938 \u092A\u094D\
\u0930\u0915\u093E\u0930 \u0926\u093F\u092F\u093E \u091C\u093E\u090F\u0917\u093E"
- input_choice_list:
A: "\u0915\u0947\u0935\u0932 (ii) \u0914\u0930 (iv)"
B: "\u0915\u0947\u0935\u0932 (i) \u0914\u0930 (iii)"
C: "\u0915\u0947\u0935\u0932 (i), (ii), \u0914\u0930 (iii)\u0964"
D: "(i), (ii), (iii), \u0914\u0930 (iv)"
input_correct_responses:
- C
input_question: "\u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F \u0915\u093F\
\ \u090F\u0915 \u092A\u0930\u0940\u0915\u094D\u0937\u0923 \u0906\u0901\u0915\
\u0921\u093C\u093E \u0907\u0938\u0915\u0947 \u0938\u093E\u0925 0.08 \u0915\u093E\
\ \u092A\u0940-\u092E\u093E\u0928 \u091C\u0941\u0921\u093C\u093E \u0939\u0948\
\u0964 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\
\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\u0928 \u0938\
\u0924\u094D\u092F \u0939\u0948? (i) \u092F\u0926\u093F \u092A\u0930\u0940\u0915\
\u094D\u0937\u0923 \u0915\u093E \u0906\u0915\u093E\u0930 \u092C\u093F\u0932\u094D\
\u0915\u0941\u0932 8% \u0925\u093E, \u0924\u094B \u0939\u092E \u0936\u0942\u0928\
\u094D\u092F \u092A\u0930\u093F\u0915\u0932\u094D\u092A\u0928\u093E \u0915\u094B\
\ \u0905\u0938\u094D\u0935\u0940\u0915\u093E\u0930 \u0915\u0930\u0928\u0947\
\ \u0914\u0930 \u0905\u0938\u094D\u0935\u0940\u0915\u093E\u0930 \u0928 \u0915\
\u0930\u0928\u0947 \u0915\u0947 \u092C\u0940\u091A \u0909\u0926\u093E\u0938\u0940\
\u0928 \u0939\u094B\u0902\u0917\u0947 (ii) \u092F\u0926\u093F 10% \u0906\u0915\
\u093E\u0930 \u0915\u0947 \u092A\u0930\u0940\u0915\u094D\u0937\u0923 \u0915\u093E\
\ \u0909\u092A\u092F\u094B\u0917 \u0915\u093F\u092F\u093E \u0917\u092F\u093E\
\ \u0925\u093E \u0924\u094B \u0936\u0942\u0928\u094D\u092F \u0915\u094B \u0905\
\u0938\u094D\u0935\u0940\u0915\u093E\u0930 \u0915\u0930 \u0926\u093F\u092F\u093E\
\ \u091C\u093E\u090F\u0917\u093E (iii) \u0936\u0942\u0928\u094D\u092F \u0928\
\u0939\u0940\u0902 \u0939\u094B\u0917\u093E \u092F\u0926\u093F 1% \u0906\u0915\
\u093E\u0930 \u0915\u0947 \u092A\u0930\u0940\u0915\u094D\u0937\u0923 \u0915\u093E\
\ \u0909\u092A\u092F\u094B\u0917 \u0915\u093F\u092F\u093E \u0917\u092F\u093E\
\ \u0924\u094B \u0905\u0936\u0915\u094D\u0924 \u0915\u0930 \u0926\u093F\u092F\
\u093E \u091C\u093E\u090F\u0917\u093E (iv) \u092F\u0926\u093F 5% \u0906\u0915\
\u093E\u0930 \u0915\u0947 \u092A\u0930\u0940\u0915\u094D\u0937\u0923 \u0915\u093E\
\ \u0909\u092A\u092F\u094B\u0917 \u0915\u093F\u092F\u093E \u0917\u092F\u093E\
\ \u0924\u094B \u0936\u0942\u0928\u094D\u092F \u0915\u094B \u0905\u0938\u094D\
\u0935\u0940\u0915\u093E\u0930 \u0915\u0930 \u0926\u093F\u092F\u093E \u091C\u093E\
\u090F\u0917\u093E\u0964"
- input_choice_list:
A: "\u092F\u0939 \u092A\u0915\u094D\u0937\u092A\u093E\u0924\u092A\u0942\u0930\
\u094D\u0923 \u0939\u094B\u0917\u093E"
B: "\u092F\u0939 \u0905\u0938\u0902\u0917\u0924 \u0939\u094B\u0917\u093E"
C: "\u092F\u0939 \u0905\u092A\u094D\u0930\u092D\u093E\u0935\u0940 \u0939\u094B\
\u0917\u093E"
D: "\u0938\u092D\u0940 (\u090F), (\u092C\u0940) \u0914\u0930 (\u0938\u0940)\
\ \u0938\u0924\u094D\u092F \u0939\u094B\u0902\u0917\u0947\u0964"
input_correct_responses:
- C
input_question: "\u092F\u0926\u093F \u092A\u094D\u0930\u0924\u093F\u0917\u092E\
\u0928 \u092E\u0949\u0921\u0932 \u092E\u0947\u0902 \u0935\u093F\u0937\u092E\u0932\
\u0948\u0902\u0917\u093F\u0915\u0924\u093E \u092E\u094C\u091C\u0942\u0926 \u0939\
\u0948 \u0932\u0947\u0915\u093F\u0928 \u0909\u0938\u0947 \u0928\u091C\u0930\u0905\
\u0902\u0926\u093E\u091C \u0915\u0930 \u0926\u093F\u092F\u093E \u091C\u093E\u0924\
\u093E \u0939\u0948 \u0924\u094B \u0913\u090F\u0932\u090F\u0938 \u0905\u0928\
\u0941\u092E\u093E\u0928\u0915 \u0915\u0947 \u0932\u093F\u090F \u0915\u094D\u092F\
\u093E \u092A\u0930\u093F\u0923\u093E\u092E \u0939\u094B\u0902\u0917\u0947?"
- input_choice_list:
A: "1 \u0932\u0948\u0917"
B: "2 \u0932\u0948\u0917\u094D\u0938"
C: "3 \u0932\u0948\u0917\u094D\u0938"
D: "4 \u0932\u0948\u0917\u094D\u0938"
input_correct_responses:
- C
input_question: "\u0905\u092C \u092E\u093E\u0928 \u0932\u0940\u091C\u093F\u090F\
\ \u0915\u093F \u090F\u0915 \u0936\u094B\u0927\u0915\u0930\u094D\u0924\u093E\
\ VAR \u0915\u0947 \u0932\u093F\u090F \u0907\u0937\u094D\u091F\u0924\u092E \u0905\
\u0902\u0924\u0930\u093E\u0932 \u0932\u0902\u092C\u093E\u0908 \u0928\u093F\u0930\
\u094D\u0927\u093E\u0930\u093F\u0924 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\
\u093F\u090F \u0938\u0942\u091A\u0928\u093E \u092E\u093E\u0928\u0926\u0902\u0921\
\ \u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\u0930\u0928\u093E \u091A\
\u093E\u0939\u0924\u093E \u0939\u0948\u0964 \u0926\u094D\u0935\u093F-\u091A\u0930\
\ VAR \u0915\u0947 \u0932\u093F\u090F 500 \u0905\u0935\u0932\u094B\u0915\u0928\
\ \u0909\u092A\u0932\u092C\u094D\u0927 \u0939\u0948\u0902, \u0914\u0930 \u0905\
\u0935\u0936\u0947\u0937\u094B\u0902 \u0915\u0947 \u0935\u093F\u091A\u0930\u0923\
-\u0938\u0939\u092A\u094D\u0930\u0938\u0930\u0923 \u092E\u0948\u091F\u094D\u0930\
\u093F\u0915\u094D\u0938 \u0915\u0947 \u0928\u093F\u0930\u094D\u0927\u093E\u0930\
\u0915 \u0915\u0947 \u092E\u093E\u0928 \u0915\u094D\u0930\u092E\u0936\u0903\
\ 1, 2, 3 \u0914\u0930 4 \u0932\u0948\u0917 \u0915\u0947 \u0932\u093F\u090F\
\ 0.0336, 0.0169, 0.0084 \u0914\u0930 0.0062 \u0939\u0948\u0902\u0964 \u0905\
\u0915\u093E\u0907\u0915 \u0915\u0947 \u0938\u0942\u091A\u0928\u093E \u092E\u093E\
\u0928\u0926\u0902\u0921 \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930 \u0907\
\u0937\u094D\u091F\u0924\u092E \u092E\u0949\u0921\u0932 \u0915\u094D\u0930\u092E\
\ \u0915\u094D\u092F\u093E \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_econometrics
tag: mmlu_hi_llama_social_sciences_tasks
task: mmlu_hi_llama_econometrics
task_alias: econometrics
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_electrical_engineering.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u090F\u0938=0, \u0906\u0930=0"
B: "\u090F\u0938=0, \u0906\u0930=1"
C: "\u090F\u0938=1, \u0906\u0930=0"
D: "\u090F\u0938=1, \u0906\u0930=1"
input_correct_responses:
- D
input_question: "NOR \u0917\u0947\u091F\u094B\u0902 \u0938\u0947 \u0928\u093F\u0930\
\u094D\u092E\u093F\u0924 SR \u0932\u0948\u091A \u092E\u0947\u0902, \u0915\u093F\
\u0938 \u0936\u0930\u094D\u0924 \u0915\u0940 \u0905\u0928\u0941\u092E\u0924\u093F\
\ \u0928\u0939\u0940\u0902 \u0939\u0948"
- input_choice_list:
A: "200\u03A9"
B: "100\u03A9"
C: "50\u03A9"
D: "10\u03A9"
input_correct_responses:
- C
input_question: "2 \u092A\u094B\u0932 \u0932\u0948\u092A \u0935\u093E\u0907\u0902\
\u0921\u093F\u0902\u0917 \u0921\u0940\u0938\u0940 \u092E\u0936\u0940\u0928 \u092E\
\u0947\u0902, \u090F\u0915 \u0915\u0902\u0921\u0915\u094D\u091F\u0930 \u0915\
\u093E \u092A\u094D\u0930\u0924\u093F\u0930\u094B\u0927 2\u03A9 \u0939\u0948\
\ \u0914\u0930 \u0915\u0902\u0921\u0915\u094D\u091F\u0930\u094B\u0902 \u0915\
\u0940 \u0915\u0941\u0932 \u0938\u0902\u0916\u094D\u092F\u093E 100 \u0939\u0948\
\u0964 \u0915\u0941\u0932 \u092A\u094D\u0930\u0924\u093F\u0930\u094B\u0927 \u091C\
\u094D\u091E\u093E\u0924 \u0915\u0930\u0947\u0902"
- input_choice_list:
A: "1 \u090F\u092E\u090F."
B: "2 \u090F\u092E\u090F."
C: "3 \u090F\u092E\u090F."
D: "4 \u090F\u092E\u090F."
input_correct_responses:
- B
input_question: "\u090F\u0915 \u0917\u0924\u093F\u0936\u0940\u0932 \u0915\u0941\
\u0902\u0921\u0932 \u092E\u0940\u091F\u0930 \u0915\u0940 \u0915\u0941\u0902\u0921\
\u0932\u0940 \u092E\u0947\u0902 100 \u092B\u0947\u0930\u0947 \u0939\u0948\u0902\
, \u092F\u0939 40 \u092E\u093F\u092E\u0940 \u0932\u0902\u092C\u0940 \u0914\u0930\
\ 30 \u092E\u093F\u092E\u0940 \u091A\u094C\u0921\u093C\u0940 \u0939\u0948\u0964\
\ \u092A\u0942\u0930\u094D\u0923 \u092A\u0948\u092E\u093E\u0928\u0947 \u092A\
\u0930 \u0928\u093F\u092F\u0902\u0924\u094D\u0930\u0923 \u091F\u0949\u0930\u094D\
\u0915 240*10-6 \u090F\u0928\u090F\u092E \u0939\u0948\u0964 \u092F\u0926\u093F\
\ \u091A\u0941\u0902\u092C\u0915\u0940\u092F \u092A\u094D\u0930\u0935\u093E\u0939\
\ \u0918\u0928\u0924\u094D\u0935 1Wb/m2 \u0939\u0948 \u0924\u094B \u092E\u0940\
\u091F\u0930 \u0915\u0940 \u0938\u0940\u092E\u093E \u0939\u0948"
- input_choice_list:
A: "100 \u090F\u0928."
B: "0.1 \u090F\u0928."
C: "1 \u090F\u0928."
D: "0.01 \u090F\u0928."
input_correct_responses:
- B
input_question: "\u0926\u094B \u0932\u0902\u092C\u0947 \u0938\u092E\u093E\u0928\
\u093E\u0902\u0924\u0930 \u0915\u0902\u0921\u0915\u094D\u091F\u0930 100 \u090F\
\ \u0915\u093E \u0935\u0939\u0928 \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\
\u0964 \u092F\u0926\u093F \u0915\u0902\u0921\u0915\u094D\u091F\u0930\u094B\u0902\
\ \u0915\u094B 20 \u092E\u093F\u092E\u0940 \u0938\u0947 \u0905\u0932\u0917 \u0915\
\u093F\u092F\u093E \u091C\u093E\u0924\u093E \u0939\u0948, \u0924\u094B \u092A\
\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0915\u0902\u0921\u0915\u094D\u091F\
\u0930 \u0915\u0940 \u092A\u094D\u0930\u0924\u093F \u092E\u0940\u091F\u0930\
\ \u0932\u0902\u092C\u093E\u0908 \u092A\u0930 \u092C\u0932 \u0939\u094B\u0917\
\u093E"
- input_choice_list:
A: "15 \u090F\u0928."
B: "20 \u090F\u0928."
C: "7.5 \u090F\u0928."
D: "3.75 \u090F\u0928."
input_correct_responses:
- A
input_question: "\u090F\u0915 \u092C\u093F\u0902\u0926\u0941 \u0927\u094D\u0930\
\u0941\u0935 \u0915\u0940 \u0924\u093E\u0915\u0924 4\u03C0 * 10^-4 \u0935\u0947\
\u092C\u0930 \u0939\u0948\u0964 \u0907\u0938\u0938\u0947 10 \u0938\u0947\u092E\
\u0940 \u0915\u0940 \u0926\u0942\u0930\u0940 \u092A\u0930 \u0930\u0916\u0947\
\ \u0917\u090F 4\u03C0 * 1.5 * 10^-4 \u0935\u0947\u092C\u0930 \u0915\u0947 \u090F\
\u0915 \u092C\u093F\u0902\u0926\u0941 \u0927\u094D\u0930\u0941\u0935 \u092A\u0930\
\ \u0928\u094D\u092F\u0942\u091F\u0928 \u092E\u0947\u0902 \u092C\u0932 \u0939\
\u094B\u0917\u093E"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_electrical_engineering
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_electrical_engineering
task_alias: electrical_engineering
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_elementary_mathematics.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "5 \u0939\u091C\u093E\u0930"
B: "5 \u0936\u0924\u0915"
C: "5 \u0926\u0939\u093E\u0908"
D: "5 \u0935\u093E\u0932\u0947"
input_correct_responses:
- A
input_question: "\u091C\u093F\u0938 \u0936\u0939\u0930 \u092E\u0947\u0902 \u092E\
\u093F\u0936\u0947\u0932 \u0915\u093E \u091C\u0928\u094D\u092E \u0939\u0941\u0906\
\ \u0909\u0938\u0915\u0940 \u091C\u0928\u0938\u0902\u0916\u094D\u092F\u093E\
\ 145,826 \u0939\u0948\u0964 \u0938\u0902\u0916\u094D\u092F\u093E 145,826 \u092E\
\u0947\u0902 5 \u0915\u093E \u092E\u093E\u0928 \u0915\u094D\u092F\u093E \u0939\
\u0948?"
- input_choice_list:
A: "\u092A\u0948\u091F\u0930\u094D\u0928 \u092E\u0947\u0902 10\u0935\u093E\u0902\
\ \u0928\u0902\u092C\u0930 \u090F\u0915 \u0938\u092E \u0928\u0902\u092C\u0930\
\ \u0939\u094B\u0917\u093E\u0964"
B: "\u0938\u0902\u0916\u094D\u092F\u093E \u092A\u0948\u091F\u0930\u094D\u0928\
\ \u092E\u0947\u0902 \u0915\u092D\u0940 \u092D\u0940 \u0926\u094B \u0938\u092E\
\ \u0938\u0902\u0916\u094D\u092F\u093E\u090F\u0901 \u090F\u0915 \u0926\u0942\
\u0938\u0930\u0947 \u0915\u0947 \u092C\u0917\u0932 \u092E\u0947\u0902 \u0928\
\u0939\u0940\u0902 \u0939\u094B\u0902\u0917\u0940\u0964"
C: "\u092A\u0948\u091F\u0930\u094D\u0928 \u092E\u0947\u0902 \u0905\u0917\u0932\
\u0940 \u0926\u094B \u0938\u0902\u0916\u094D\u092F\u093E\u090F\u0901 \u090F\
\u0915 \u0938\u092E \u0938\u0902\u0916\u094D\u092F\u093E \u0939\u094B\u0902\
\u0917\u0940 \u092B\u093F\u0930 \u090F\u0915 \u0935\u093F\u0937\u092E \u0938\
\u0902\u0916\u094D\u092F\u093E\u0964"
D: "\u092F\u0926\u093F \u0938\u0902\u0916\u094D\u092F\u093E \u092A\u0948\u091F\
\u0930\u094D\u0928 \u0935\u093F\u0937\u092E \u0938\u0902\u0916\u094D\u092F\
\u093E \u0938\u0947 \u0936\u0941\u0930\u0942 \u0939\u094B\u0924\u093E \u0939\
\u0948 \u0924\u094B \u092A\u0948\u091F\u0930\u094D\u0928 \u092E\u0947\u0902\
\ \u0915\u0947\u0935\u0932 \u0935\u093F\u0937\u092E \u0938\u0902\u0916\u094D\
\u092F\u093E\u090F\u0901 \u0939\u094B\u0902\u0917\u0940\u0964"
input_correct_responses:
- B
input_question: "\u0913\u0932\u093F\u0935\u093F\u092F\u093E \u0928\u0947 \u0928\
\u0940\u091A\u0947 \u0926\u093F\u0916\u093E\u090F \u0917\u090F \u0938\u0902\u0916\
\u094D\u092F\u093E \u092A\u0948\u091F\u0930\u094D\u0928 \u0915\u094B \u092C\u0928\
\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F "11 \u091C\u094B\u0921\
\u093C\u0947\u0902" \u0928\u093F\u092F\u092E \u0915\u093E \u0909\u092A\u092F\
\u094B\u0917 \u0915\u093F\u092F\u093E\u0964 10, 21, 32, 43, 54 \u0938\u0902\u0916\
\u094D\u092F\u093E \u092A\u0948\u091F\u0930\u094D\u0928 \u0915\u0947 \u092C\u093E\
\u0930\u0947 \u092E\u0947\u0902 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\
\u0928 \u0938\u0924\u094D\u092F \u0939\u0948?"
- input_choice_list:
A: "35 \u091F\u0940\u092E\u0947\u0902 \u0916\u094B\u091C\u0928\u0947 \u0915\u0947\
\ \u0932\u093F\u090F 5 \u0915\u094B 30 \u092E\u0947\u0902 \u091C\u094B\u0921\
\u093C\u0947\u0902\u0964"
B: "6 \u091F\u0940\u092E\u0947\u0902 \u0916\u094B\u091C\u0928\u0947 \u0915\u0947\
\ \u0932\u093F\u090F 30 \u0915\u094B 5 \u0938\u0947 \u0935\u093F\u092D\u093E\
\u091C\u093F\u0924 \u0915\u0930\u0947\u0902\u0964"
C: "150 \u091F\u0940\u092E\u0947\u0902 \u0916\u094B\u091C\u0928\u0947 \u0915\
\u0947 \u0932\u093F\u090F 30 \u0914\u0930 5 \u0915\u094B \u0917\u0941\u0923\
\u093E \u0915\u0930\u0947\u0902\u0964"
D: "25 \u091F\u0940\u092E\u0947\u0902 \u0916\u094B\u091C\u0928\u0947 \u0915\u0947\
\ \u0932\u093F\u090F 30 \u092E\u0947\u0902 \u0938\u0947 5 \u0918\u091F\u093E\
\u090F\u0901\u0964"
input_correct_responses:
- B
input_question: "\u090F\u0915 \u092A\u093E\u0930\u094D\u0915 \u092E\u0947\u0902\
\ \u0915\u0941\u0932 30 \u0916\u093F\u0932\u093E\u0921\u093C\u0940 \u092C\u093E\
\u0938\u094D\u0915\u0947\u091F\u092C\u0949\u0932 \u0916\u0947\u0932\u0947\u0902\
\u0917\u0947\u0964 \u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u091F\u0940\
\u092E \u092E\u0947\u0902 \u0920\u0940\u0915 5 \u0916\u093F\u0932\u093E\u0921\
\u093C\u0940 \u0939\u094B\u0902\u0917\u0947\u0964 \u0915\u094C\u0928 \u0938\u093E\
\ \u0915\u0925\u0928 \u0938\u0939\u0940 \u0922\u0902\u0917 \u0938\u0947 \u092C\
\u0924\u093E\u0924\u093E \u0939\u0948 \u0915\u093F \u0906\u0935\u0936\u094D\u092F\
\u0915 \u091F\u0940\u092E\u094B\u0902 \u0915\u0940 \u0938\u0902\u0916\u094D\u092F\
\u093E \u0915\u0948\u0938\u0947 \u091C\u094D\u091E\u093E\u0924 \u0915\u0930\u0947\
\u0902?"
- input_choice_list:
A: '749'
B: 2,675
C: 2,945
D: 4,250
input_correct_responses:
- B
input_question: "\u090F\u0915 \u0926\u0941\u0915\u093E\u0928 107 \u0935\u093F\u092D\
\u093F\u0928\u094D\u0928 \u0930\u0902\u0917\u094B\u0902 \u0915\u0947 \u092A\u0947\
\u0902\u091F \u092C\u0947\u091A\u0924\u0940 \u0939\u0948\u0964 \u0909\u0928\u0915\
\u0947 \u092D\u0902\u0921\u093E\u0930\u0923 \u092E\u0947\u0902 \u092A\u094D\u0930\
\u0924\u094D\u092F\u0947\u0915 \u0930\u0902\u0917 \u0915\u0947 25 \u0921\u093F\
\u092C\u094D\u092C\u0947 \u0939\u0948\u0902\u0964 \u0938\u094D\u091F\u094B\u0930\
\ \u092E\u0947\u0902 \u092D\u0902\u0921\u093E\u0930\u0923 \u092E\u0947\u0902\
\ \u092A\u0947\u0902\u091F \u0915\u0947 \u0921\u093F\u092C\u094D\u092C\u094B\
\u0902 \u0915\u0940 \u0938\u0902\u0916\u094D\u092F\u093E \u0928\u0940\u091A\u0947\
\ \u0926\u093F\u090F \u0917\u090F \u0905\u092D\u093F\u0935\u094D\u092F\u0915\
\u094D\u0924\u093F \u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\u0930\u0915\
\u0947 \u092A\u093E\u0908 \u091C\u093E \u0938\u0915\u0924\u0940 \u0939\u0948\
\u0964 107 \xD7 25. \u0938\u094D\u091F\u094B\u0930 \u092E\u0947\u0902 \u092A\
\u0947\u0902\u091F \u0915\u0947 \u0915\u093F\u0924\u0928\u0947 \u0921\u093F\u092C\
\u094D\u092C\u0947 \u0939\u0948\u0902?"
- input_choice_list:
A: (5 x 4) x (6 x 5)
B: (5 x 5) + (5 x 4)
C: (5 x 5) + (5 x 9)
D: (5 x 9) x (6 x 9)
input_correct_responses:
- B
input_question: "\u0915\u094C\u0928 \u0938\u093E \u0905\u092D\u093F\u0935\u094D\
\u092F\u0915\u094D\u0924\u093F 5 x 9 \u0915\u0947 \u092C\u0930\u093E\u092C\u0930\
\ \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_elementary_mathematics
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_elementary_mathematics
task_alias: elementary_mathematics
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_formal_logic.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "~\u092A\u0940.\u0921\u0940"
B: "(\u2200x)(Px \u2228 ~Dx)"
C: "(\u2200x)(Px \u2283 ~Dx)"
D: "~\u0921\u0940.\u092A\u0940"
input_correct_responses:
- C
input_question: "\u0935\u093F\u0927\u0947\u092F \u0924\u0930\u094D\u0915 \u092E\
\u0947\u0902 \u0938\u0930\u094D\u0935\u0936\u094D\u0930\u0947\u0937\u094D\u0920\
\ \u0905\u0928\u0941\u0935\u093E\u0926 \u0915\u093E \u091A\u092F\u0928 \u0915\
\u0930\u0947\u0902: \u092E\u0902\u0917\u0932 \u0917\u094D\u0930\u0939 \u092A\
\u0930 \u0915\u094B\u0908 \u092D\u0940 \u0935\u094D\u092F\u0915\u094D\u0924\u093F\
\ \u0917\u093E\u0921\u093C\u0940 \u0928\u0939\u0940\u0902 \u091A\u0932\u093E\
\u0924\u093E\u0964"
- input_choice_list:
A: "\u092C\u094D\u0932\u0918"
B: "\u092D\u0932\u0917"
C: Bglh
D: "\u092C\u0940\u091C\u0940\u090F\u091A\u090F\u0932"
input_correct_responses:
- C
input_question: "\u0935\u093F\u0927\u0947\u092F \u0924\u0930\u094D\u0915 \u092E\
\u0947\u0902 \u0938\u0930\u094D\u0935\u0936\u094D\u0930\u0947\u0937\u094D\u0920\
\ \u0905\u0928\u0941\u0935\u093E\u0926 \u0915\u093E \u091A\u092F\u0928 \u0915\
\u0930\u0947\u0902\u0964 \u091C\u0949\u0930\u094D\u091C \u0928\u0947 \u0939\u0947\
\u0915\u094D\u091F\u0930 \u0915\u0940 \u0932\u0949\u0928 \u0918\u093E\u0938\
\ \u0915\u093E\u091F\u0928\u0947 \u0915\u0940 \u092E\u0936\u0940\u0928 \u0909\
\u0927\u093E\u0930 \u0932\u0940\u0964 (\u091C\u0940: \u091C\u0949\u0930\u094D\
\u091C; \u090F\u091A: \u0939\u0947\u0915\u094D\u091F\u0930; \u090F\u0932: \u0939\
\u0947\u0915\u094D\u091F\u0930 \u0915\u093E \u0932\u0949\u0928\u092E\u0942\u0935\
\u0930; \u092C\u0940\u090F\u0915\u094D\u0938\u090F\u0915\u094D\u0938: \u090F\
\u0915\u094D\u0938, \u091C\u0947\u0921 \u0938\u0947 \u0935\u093E\u0908 \u0909\
\u0927\u093E\u0930 \u0932\u0947\u0924\u093E \u0939\u0948)"
- input_choice_list:
A: "\u092E\u0930\u0940\u0928\u093E \u090F\u0915 \u0921\u093E\u0902\u0938\u0930\
\ \u0939\u0948\u0902. \u0915\u0941\u091B \u0915\u092E\u091C\u093C\u094B\u0930\
\ \u0932\u094B\u0917 \u0928\u0930\u094D\u0924\u0915 \u0928\u0939\u0940\u0902\
\ \u0939\u0948\u0902\u0964 \u092F\u093E \u0924\u094B \u0938\u092C \u0915\u0941\
\u091B \u0915\u092E\u091C\u093C\u094B\u0930 \u0939\u0948 \u092F\u093E \u091C\
\u0949\u0930\u094D\u091C\u093F\u092F\u093E \u0935\u0949\u0932\u0940\u092C\u0949\
\u0932 \u0916\u0947\u0932\u0924\u0940 \u0939\u0948\u0964 \u0924\u094B \u0915\
\u0941\u091B \u0935\u0949\u0932\u0940\u092C\u0949\u0932 \u0916\u0947\u0932\
\u0924\u093E \u0939\u0948."
B: "\u092E\u0930\u0940\u0928\u093E \u090F\u0915 \u0921\u093E\u0902\u0938\u0930\
\ \u0939\u0948\u0902. \u0915\u094B\u0908 \u0915\u092E\u091C\u094B\u0930 \u0928\
\u0930\u094D\u0924\u0915 \u0928\u0939\u0940\u0902 \u0939\u0948. \u0939\u0930\
\ \u0915\u094B\u0908 \u092F\u093E \u0924\u094B \u0915\u092E\u091C\u093C\u094B\
\u0930 \u0939\u0948 \u092F\u093E \u0935\u0949\u0932\u0940\u092C\u0949\u0932\
\ \u0916\u0947\u0932\u0924\u093E \u0939\u0948\u0964 \u0924\u094B \u0915\u0941\
\u091B \u0935\u0949\u0932\u0940\u092C\u0949\u0932 \u0916\u0947\u0932\u0924\
\u093E \u0939\u0948."
C: "\u092E\u0930\u0940\u0928\u093E \u090F\u0915 \u0921\u093E\u0902\u0938\u0930\
\ \u0939\u0948\u0902. \u0915\u0941\u091B \u0915\u092E\u091C\u093C\u094B\u0930\
\ \u0932\u094B\u0917 \u0928\u0930\u094D\u0924\u0915 \u0928\u0939\u0940\u0902\
\ \u0939\u0948\u0902\u0964 \u0939\u0930 \u0915\u094B\u0908 \u092F\u093E \u0924\
\u094B \u0915\u092E\u091C\u093C\u094B\u0930 \u0939\u0948 \u092F\u093E \u0935\
\u0949\u0932\u0940\u092C\u0949\u0932 \u0916\u0947\u0932\u0924\u093E \u0939\
\u0948\u0964 \u0924\u094B \u0915\u0941\u091B \u0935\u0949\u0932\u0940\u092C\
\u0949\u0932 \u0916\u0947\u0932\u0924\u093E \u0939\u0948."
D: "\u092E\u0930\u0940\u0928\u093E \u090F\u0915 \u0921\u093E\u0902\u0938\u0930\
\ \u0939\u0948\u0902. \u0915\u094B\u0908 \u0915\u092E\u091C\u094B\u0930 \u0928\
\u0930\u094D\u0924\u0915 \u0928\u0939\u0940\u0902 \u0939\u0948. \u092F\u093E\
\ \u0924\u094B \u0938\u092C \u0915\u0941\u091B \u0915\u092E\u091C\u093C\u094B\
\u0930 \u0939\u0948 \u092F\u093E \u091C\u0949\u0930\u094D\u091C\u093F\u092F\
\u093E \u0935\u0949\u0932\u0940\u092C\u0949\u0932 \u0916\u0947\u0932\u0924\
\u0940 \u0939\u0948\u0964 \u0924\u094B \u0915\u0941\u091B \u0935\u0949\u0932\
\u0940\u092C\u0949\u0932 \u0916\u0947\u0932\u0924\u093E \u0939\u0948."
input_correct_responses:
- D
input_question: "\u0935\u093F\u0927\u0947\u092F \u0924\u0930\u094D\u0915 \u092E\
\u0947\u0902 \u0926\u093F\u090F \u0917\u090F \u0924\u0930\u094D\u0915\u094B\u0902\
\ \u0915\u0940 \u0938\u0930\u094D\u0935\u094B\u0924\u094D\u0924\u092E \u0905\
\u0902\u0917\u094D\u0930\u0947\u091C\u0940 \u0935\u094D\u092F\u093E\u0916\u094D\
\u092F\u093E \u0915\u093E \u091A\u092F\u0928 \u0915\u0930\u0947\u0902\u0964\
\ \u0921\u0940\u090F\u092E (\u2200x)(Wx \u2283 ~Dx) (\u2200x)Wx \u2228 Ag /\
\ (\u2203x)Ax"
- input_choice_list:
A: "\u0924\u093E\u0930\u094D\u0915\u093F\u0915 \u0930\u0942\u092A \u0938\u0947\
\ \u0938\u092E\u0924\u0941\u0932\u094D\u092F"
B: "\u0905\u0938\u0902\u0917\u0924"
C: "\u0928 \u0924\u094B \u0924\u093E\u0930\u094D\u0915\u093F\u0915 \u0930\u0942\
\u092A \u0938\u0947 \u0938\u092E\u0915\u0915\u094D\u0937 \u0914\u0930 \u0928\
\ \u0939\u0940 \u0935\u093F\u0930\u094B\u0927\u093E\u092D\u093E\u0938\u0940\
, \u092C\u0932\u094D\u0915\u093F \u0938\u0941\u0938\u0902\u0917\u0924"
D: "\u0905\u0938\u0902\u0917\u0924"
input_correct_responses:
- C
input_question: "\u092A\u094D\u0930\u0938\u094D\u0924\u093E\u0935\u094B\u0902\
\ \u0915\u0947 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092F\u0941\u0917\u094D\u092E\u094B\u0902 \u0915\u0947 \u0932\u093F\u090F\
\ \u090F\u0915 \u092A\u0942\u0930\u094D\u0923 \u0938\u0924\u094D\u092F \u0924\
\u093E\u0932\u093F\u0915\u093E \u0915\u093E \u0928\u093F\u0930\u094D\u092E\u093E\
\u0923 \u0915\u0930\u0947\u0902\u0964 \u092B\u093F\u0930, \u0938\u0924\u094D\
\u092F \u0924\u093E\u0932\u093F\u0915\u093E\u0913\u0902 \u0915\u093E \u0909\u092A\
\u092F\u094B\u0917 \u0915\u0930\u0915\u0947 \u0928\u093F\u0930\u094D\u0927\u093E\
\u0930\u093F\u0924 \u0915\u0930\u0947\u0902 \u0915\u093F \u0915\u094D\u092F\u093E\
\ \u0915\u0925\u0928 \u0924\u093E\u0930\u094D\u0915\u093F\u0915 \u0930\u0942\
\u092A \u0938\u0947 \u0938\u092E\u0915\u0915\u094D\u0937 \u092F\u093E \u0935\
\u093F\u0930\u094B\u0927\u093E\u092D\u093E\u0938\u0940 \u0939\u0948\u0902\u0964\
\ \u092F\u0926\u093F \u0928\u0939\u0940\u0902, \u0924\u094B \u0928\u093F\u0930\
\u094D\u0927\u093E\u0930\u093F\u0924 \u0915\u0930\u0947\u0902 \u0915\u093F \u0935\
\u0947 \u0938\u0941\u0938\u0902\u0917\u0924 \u0939\u0948\u0902 \u092F\u093E\
\ \u0905\u0938\u0902\u0917\u0924\u0964 \u0905\u092A\u0928\u0947 \u0909\u0924\
\u094D\u0924\u0930\u094B\u0902 \u0915\u093E \u0914\u091A\u093F\u0924\u094D\u092F\
\ \u0938\u093F\u0926\u094D\u0927 \u0915\u0930\u0947\u0902. \u0908 \u2283 (\u090F\
\u092B \xB7 \u0908) \u0914\u0930 ~\u0908 \xB7 \u090F\u092B"
- input_choice_list:
A: "(\u090F\u0932 \u2022 \u090F\u091A) \u2261 \u0906\u0908"
B: "(\u090F\u0932 \u2022 \u090F\u091A) \u2228 \u0906\u0908"
C: "\u090F\u0932 \u2022 (\u090F\u091A \u2228 \u0906\u0908)"
D: "\u090F\u0932 \u2022 (\u090F\u091A \u2283 \u0906\u0930)"
input_correct_responses:
- B
input_question: "\u092A\u0940\u090F\u0932 \u0915\u093E \u0926\u093F\u092F\u093E\
\ \u0917\u092F\u093E \u0915\u094C\u0928 \u0938\u093E \u0938\u0942\u0924\u094D\
\u0930 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u0935\u093E\
\u0915\u094D\u092F \u0915\u093E \u0938\u092C\u0938\u0947 \u0905\u091A\u094D\u091B\
\u093E \u092A\u094D\u0930\u0924\u0940\u0915 \u0939\u0948? \u0915\u091B\u0941\
\u090F \u0932\u0902\u092C\u0947 \u0938\u092E\u092F \u0924\u0915 \u091C\u0940\
\u0935\u093F\u0924 \u0930\u0939\u0924\u0947 \u0939\u0948\u0902 \u0914\u0930\
\ \u0916\u0941\u0936 \u092A\u094D\u0930\u093E\u0923\u0940 \u0939\u0948\u0902\
, \u091C\u092C \u0924\u0915 \u0915\u093F \u0935\u0947 \u0918\u093E\u092F\u0932\
\ \u0928 \u0939\u094B\u0902\u0964"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_formal_logic
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_formal_logic
task_alias: formal_logic
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_global_facts.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0932\u094B\u0917 \u0905\u092A\u0928\u0947 \u092D\u0935\u093F\u0937\u094D\
\u092F \u0914\u0930 \u0905\u092A\u0928\u0947 \u0926\u0947\u0936 \u092F\u093E\
\ \u0926\u0941\u0928\u093F\u092F\u093E \u0915\u0947 \u092D\u0935\u093F\u0937\
\u094D\u092F \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0906\
\u0936\u093E\u0935\u093E\u0926\u0940 \u0939\u094B\u0924\u0947 \u0939\u0948\
\u0902\u0964"
B: "\u0932\u094B\u0917 \u0905\u092A\u0928\u0947 \u092D\u0935\u093F\u0937\u094D\
\u092F \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0906\u0936\
\u093E\u0935\u093E\u0926\u0940 \u0939\u094B\u0924\u0947 \u0939\u0948\u0902\
\ \u0932\u0947\u0915\u093F\u0928 \u0905\u092A\u0928\u0947 \u0926\u0947\u0936\
\ \u092F\u093E \u0926\u0941\u0928\u093F\u092F\u093E \u0915\u0947 \u092D\u0935\
\u093F\u0937\u094D\u092F \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\
\u0902 \u0928\u093F\u0930\u093E\u0936\u093E\u0935\u093E\u0926\u0940 \u0939\
\u094B\u0924\u0947 \u0939\u0948\u0902\u0964"
C: "\u0932\u094B\u0917 \u0905\u092A\u0928\u0947 \u092D\u0935\u093F\u0937\u094D\
\u092F \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0928\u093F\
\u0930\u093E\u0936\u093E\u0935\u093E\u0926\u0940 \u0939\u094B\u0924\u0947\
\ \u0939\u0948\u0902 \u0932\u0947\u0915\u093F\u0928 \u0905\u092A\u0928\u0947\
\ \u0926\u0947\u0936 \u092F\u093E \u0926\u0941\u0928\u093F\u092F\u093E \u0915\
\u0947 \u092D\u0935\u093F\u0937\u094D\u092F \u0915\u0947 \u092C\u093E\u0930\
\u0947 \u092E\u0947\u0902 \u0906\u0936\u093E\u0935\u093E\u0926\u0940 \u0939\
\u094B\u0924\u0947 \u0939\u0948\u0902\u0964"
D: "\u0932\u094B\u0917 \u0905\u092A\u0928\u0947 \u092D\u0935\u093F\u0937\u094D\
\u092F \u0914\u0930 \u0905\u092A\u0928\u0947 \u0926\u0947\u0936 \u092F\u093E\
\ \u0926\u0941\u0928\u093F\u092F\u093E \u0915\u0947 \u092D\u0935\u093F\u0937\
\u094D\u092F \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0928\
\u093F\u0930\u093E\u0936\u093E\u0935\u093E\u0926\u0940 \u0939\u094B\u0924\u0947\
\ \u0939\u0948\u0902\u0964"
input_correct_responses:
- B
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u0915\u0925\u0928\u094B\u0902 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\
\u0928 \u0938\u093E \u092F\u0941\u0917\u094D\u092E \u0938\u0924\u094D\u092F\
\ \u0939\u0948 (2019 \u0924\u0915)?"
- input_choice_list:
A: 31%
B: 46%
C: 61%
D: 76%
input_correct_responses:
- B
input_question: "2019 \u0924\u0915, \u0932\u0917\u092D\u0917 \u0915\u093F\u0924\
\u0928\u0947 \u092A\u094D\u0930\u0924\u093F\u0936\u0924 \u0905\u092E\u0947\u0930\
\u093F\u0915\u0940 \u0907\u0938 \u092C\u093E\u0924 \u0938\u0947 \u0938\u0939\
\u092E\u0924 \u0939\u0948\u0902 \u0915\u093F \u0930\u093E\u091C\u094D\u092F\
\ \u0938\u092D\u0940 \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0932\u093E\
\u092D \u0915\u0947 \u0932\u093F\u090F \u091A\u0932\u093E\u092F\u093E \u091C\
\u093E\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092C\u0922\u093C \u0917\u092F\u093E, \u092C\u0922\u093C \u0917\u092F\u093E"
B: "\u092C\u0922\u093C\u093E \u0918\u091F\u093E"
C: "\u0918\u091F\u093E, \u092C\u0922\u093C\u093E"
D: "\u0918\u091F \u0917\u092F\u093E, \u0918\u091F \u0917\u092F\u093E"
input_correct_responses:
- B
input_question: "2015 \u0924\u0915, 1990 \u0915\u0947 \u092C\u093E\u0926 \u0938\
\u0947 \u092F\u0942\u0930\u094B\u092A \u092E\u0947\u0902 \u0935\u0928\u094B\u0902\
\ \u0915\u0940 \u0938\u0902\u0916\u094D\u092F\u093E ____ \u0939\u0948 \u0914\
\u0930 \u0905\u092B\u094D\u0930\u0940\u0915\u093E \u0914\u0930 \u0905\u092E\u0947\
\u0930\u093F\u0915\u093E \u092E\u0947\u0902 \u091C\u0902\u0917\u0932\u094B\u0902\
\ \u0915\u0940 \u0938\u0902\u0916\u094D\u092F\u093E ____ \u0939\u0948\u0964"
- input_choice_list:
A: 38%
B: 53%
C: 68%
D: 83%
input_correct_responses:
- A
input_question: "2019 \u0924\u0915, \u0932\u0917\u092D\u0917 \u0915\u093F\u0924\
\u0928\u0947 \u092A\u094D\u0930\u0924\u093F\u0936\u0924 \u0930\u0942\u0938\u093F\
\u092F\u094B\u0902 \u0915\u093E \u0915\u0939\u0928\u093E \u0939\u0948 \u0915\
\u093F \u0939\u092E\u093E\u0930\u0947 \u0926\u0947\u0936 \u092E\u0947\u0902\
\ \u0938\u0930\u0915\u093E\u0930/\u0930\u093E\u091C\u094D\u092F \u0938\u0947\
\u0902\u0938\u0930\u0936\u093F\u092A \u0915\u0947 \u092C\u093F\u0928\u093E \u0938\
\u094D\u0935\u0924\u0902\u0924\u094D\u0930 \u092E\u0940\u0921\u093F\u092F\u093E\
\ \u0915\u093E \u0939\u094B\u0928\u093E \u092C\u0939\u0941\u0924 \u092E\u0939\
\u0924\u094D\u0935\u092A\u0942\u0930\u094D\u0923 \u0939\u0948?"
- input_choice_list:
A: 80%
B: 60%
C: 40%
D: 20%
input_correct_responses:
- A
input_question: "2017 \u0924\u0915, \u0906\u091C \u0926\u0941\u0928\u093F\u092F\
\u093E \u0915\u0947 1-\u0935\u0930\u094D\u0937\u0940\u092F \u092C\u091A\u094D\
\u091A\u094B\u0902 \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0924\u0928\u0947\
\ \u092C\u091A\u094D\u091A\u094B\u0902 \u0915\u094B \u0915\u093F\u0938\u0940\
\ \u092C\u0940\u092E\u093E\u0930\u0940 \u0915\u0947 \u0916\u093F\u0932\u093E\
\u092B \u091F\u0940\u0915\u093E \u0932\u0917\u093E\u092F\u093E \u0917\u092F\u093E\
\ \u0939\u0948? *"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_global_facts
tag: mmlu_hi_llama_other_tasks
task: mmlu_hi_llama_global_facts
task_alias: global_facts
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_biology.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u0905\u0928\u0941\u0935\u093E\u0926"
B: "\u0935\u093F\u0915\u093E\u0930"
C: "\u0935\u093F\u0936\u093F\u0937\u094D\u091F \u092A\u093E\u0930\u0917\u092E\
\u0928"
D: "\u092A\u0930\u093F\u0935\u0930\u094D\u0924\u0928"
input_correct_responses:
- A
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u092A\u0941\
\u0928\u0903 \u0938\u0902\u092F\u094B\u091C\u0915 \u0921\u0940\u090F\u0928\u090F\
\ \u092C\u0928\u093E\u0928\u0947 \u0915\u093E \u0924\u0930\u0940\u0915\u093E\
\ \u0928\u0939\u0940\u0902 \u0939\u0948?"
- input_choice_list:
A: "\u090F\u0902\u091C\u093E\u0907\u092E \u0915\u0947 \u092A\u0940\u090F\u091A\
\ \u0907\u0937\u094D\u091F\u0924\u092E \u0915\u094B \u092C\u0926\u0932\u0915\
\u0930"
B: "\u0915\u094B\u0936\u093F\u0915\u093E \u092E\u0947\u0902 \u090F\u0902\u091C\
\u093E\u0907\u092E \u0915\u093E \u0938\u094D\u0925\u093E\u0928 \u092C\u0926\
\u0932\u0915\u0930"
C: "\u092A\u094D\u0930\u094B\u091F\u0940\u0928 \u0915\u093E \u0906\u0915\u093E\
\u0930 \u092C\u0926\u0932\u0915\u0930"
D: "\u0938\u0915\u094D\u0930\u093F\u092F \u0938\u094D\u0925\u0932 \u0938\u0947\
\ \u0926\u0942\u0930 \u0905\u092E\u0940\u0928\u094B \u090F\u0938\u093F\u0921\
\ \u092A\u0930\u093F\u0935\u0930\u094D\u0924\u0928 \u090F\u0902\u091C\u093E\
\u0907\u092E \u0915\u0940 \u0938\u092C\u094D\u0938\u091F\u094D\u0930\u0947\
\u091F \u0935\u093F\u0936\u093F\u0937\u094D\u091F\u0924\u093E \u0915\u094B\
\ \u0928\u0939\u0940\u0902 \u092C\u0926\u0932 \u0938\u0915\u0924\u093E \u0939\
\u0948\u0964"
input_correct_responses:
- C
input_question: "\u090F\u0915 \u091C\u0940\u0935\u093E\u0923\u0941 \u090F\u0902\
\u091C\u093E\u0907\u092E \u092E\u0947\u0902 \u0909\u0924\u094D\u092A\u0930\u093F\
\u0935\u0930\u094D\u0924\u0928 \u0928\u0947 \u092A\u0939\u0932\u0947 \u0915\u0947\
\ \u0927\u094D\u0930\u0941\u0935\u0940\u092F \u0905\u092E\u0940\u0928\u094B\
\ \u090F\u0938\u093F\u0921 \u0915\u094B \u090F\u0915 \u0917\u0948\u0930-\u0927\
\u094D\u0930\u0941\u0935\u0940\u092F \u0905\u092E\u0940\u0928\u094B \u090F\u0938\
\u093F\u0921 \u092E\u0947\u0902 \u092C\u0926\u0932 \u0926\u093F\u092F\u093E\u0964\
\ \u092F\u0939 \u0905\u092E\u0940\u0928\u094B \u090F\u0938\u093F\u0921 \u090F\
\u0902\u091C\u093E\u0907\u092E \u0915\u0940 \u0938\u0915\u094D\u0930\u093F\u092F\
\ \u0938\u093E\u0907\u091F \u0938\u0947 \u0926\u0942\u0930 \u090F\u0915 \u0938\
\u093E\u0907\u091F \u092A\u0930 \u0938\u094D\u0925\u093F\u0924 \u0925\u093E\u0964\
\ \u092F\u0939 \u0909\u0924\u094D\u092A\u0930\u093F\u0935\u0930\u094D\u0924\u0928\
\ \u090F\u0902\u091C\u093E\u0907\u092E \u0915\u0940 \u0938\u092C\u094D\u0938\
\u091F\u094D\u0930\u0947\u091F \u0935\u093F\u0936\u093F\u0937\u094D\u091F\u0924\
\u093E \u0915\u094B \u0915\u0948\u0938\u0947 \u092C\u0926\u0932 \u0938\u0915\
\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092A\u094D\u0932\u093E\u091C\u094D\u092E\u093E \u091D\u093F\u0932\u094D\
\u0932\u0940-\u0917\u094B\u0932\u094D\u091C\u0940 \u0909\u092A\u0915\u0930\
\u0923-\u0930\u093E\u0907\u092C\u094B\u0938\u094B\u092E-\u0938\u094D\u0930\
\u093E\u0935\u0940 \u092A\u0941\u091F\u093F\u0915\u093E-\u0930\u092B \u0908\
\u0906\u0930"
B: "\u0930\u093E\u0907\u092C\u094B\u0938\u094B\u092E-\u0917\u0949\u0932\u094D\
\u0917\u0940 \u0909\u092A\u0915\u0930\u0923-\u0916\u0941\u0930\u0926\u0930\
\u093E \u0908\u0906\u0930-\u0938\u094D\u0930\u093E\u0935\u0940 \u092A\u0941\
\u091F\u093F\u0915\u093E-\u092A\u094D\u0932\u093E\u091C\u094D\u092E\u093E\
\ \u091D\u093F\u0932\u094D\u0932\u0940"
C: "\u092A\u094D\u0932\u093E\u091C\u094D\u092E\u093E \u091D\u093F\u0932\u094D\
\u0932\u0940-\u0917\u094B\u0932\u094D\u091C\u0940 \u0909\u092A\u0915\u0930\
\u0923-\u0930\u093E\u0907\u092C\u094B\u0938\u094B\u092E-\u0938\u094D\u0930\
\u093E\u0935\u0940 \u092A\u0941\u091F\u093F\u0915\u093E-\u0930\u092B \u0908\
\u0906\u0930"
D: "\u0930\u093E\u0907\u092C\u094B\u0938\u094B\u092E-\u0916\u0941\u0930\u0926\
\u0930\u093E \u0908\u0906\u0930-\u0917\u0949\u0932\u094D\u0917\u0940 \u0924\
\u0902\u0924\u094D\u0930-\u0938\u094D\u0930\u093E\u0935\u0940 \u092A\u0941\
\u091F\u093F\u0915\u093E-\u092A\u094D\u0932\u093E\u091C\u094D\u092E\u093E\
\ \u091D\u093F\u0932\u094D\u0932\u0940"
input_correct_responses:
- D
input_question: "\u092A\u0936\u0941 \u0915\u094B\u0936\u093F\u0915\u093E\u0913\
\u0902 \u092E\u0947\u0902, \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0938\
\u092C\u0938\u0947 \u0938\u0902\u092D\u093E\u0935\u093F\u0924 \u092E\u093E\u0930\
\u094D\u0917 \u0915\u093E \u092A\u094D\u0930\u0924\u093F\u0928\u093F\u0927\u093F\
\u0924\u094D\u0935 \u0915\u0930\u0924\u093E \u0939\u0948 \u091C\u094B \u090F\
\u0915 \u0938\u094D\u0930\u093E\u0935\u0940 \u092A\u094D\u0930\u094B\u091F\u0940\
\u0928 \u090F\u0915 \u0915\u094B\u0936\u093F\u0915\u093E \u092E\u0947\u0902\
\ \u0938\u0902\u0936\u094D\u0932\u0947\u0937\u093F\u0924 \u0939\u094B\u0928\u0947\
\ \u092A\u0930 \u0932\u0947\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u091A\u0915\u094D\u0930\u0935\u093E\u0924"
B: "\u092A\u094D\u0930\u094B\u091F\u0940\u0928 \u0915\u093F\u0928\u0947\u0938\
\u0947\u0938"
C: "\u091A\u094C\u0915\u093F\u092F\u094B\u0902"
D: "\u092B\u093C\u093E\u0907\u092C\u094D\u0930\u094B\u092C\u094D\u0932\u093E\
\u0938\u094D\u091F \u0915\u094B\u0936\u093F\u0915\u093E\u090F\u0902"
input_correct_responses:
- D
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0915\u094B\u0936\u093F\
\u0915\u093E \u0935\u093F\u092D\u093E\u091C\u0928 \u0915\u0947 \u0928\u093F\u092F\
\u0902\u0924\u094D\u0930\u0923 \u092E\u0947\u0902 \u0936\u093E\u092E\u093F\u0932\
\ \u0928\u0939\u0940\u0902 \u092E\u093E\u0928\u093E \u091C\u093E\u0924\u093E\
\ \u0939\u0948?"
- input_choice_list:
A: "\u092A\u0915\u094D\u0937\u0940 \u0915\u0947 \u092A\u0902\u0916 \u0914\u0930\
\ \u091A\u092E\u0917\u093E\u0926\u0921\u093C \u0915\u0947 \u092A\u0902\u0916"
B: "\u0935\u094D\u0939\u0947\u0932 \u0915\u0940 \u092B\u093C\u094D\u0932\u093F\
\u092A\u0930\u094D\u0938 \u0914\u0930 \u0906\u0926\u092E\u0940 \u0915\u0940\
\ \u092D\u0941\u091C\u093E\u090F\u0901"
C: "\u090F\u0915 \u092A\u094B\u0930\u092A\u094B\u0907\u091C\u093C \u0915\u0947\
\ \u092A\u0947\u0915\u094D\u091F\u094B\u0930\u0932 \u092A\u0902\u0916 \u0914\
\u0930 \u090F\u0915 \u0938\u0940\u0932 \u0915\u0947 \u092B\u093C\u094D\u0932\
\u093F\u092A\u0930\u094D\u0938"
D: "\u090F\u0915 \u0915\u0940\u091F \u0915\u0947 \u0905\u0917\u0932\u0947 \u092A\
\u0948\u0930 \u0914\u0930 \u090F\u0915 \u0915\u0941\u0924\u094D\u0924\u0947\
\ \u0915\u0947 \u0905\u0917\u0932\u0947 \u092A\u0948\u0930"
input_correct_responses:
- D
input_question: "\u092A\u094D\u0930\u093E\u0915\u0943\u0924\u093F\u0915 \u091A\
\u092F\u0928 \u0915\u0940 \u092A\u094D\u0930\u0915\u094D\u0930\u093F\u092F\u093E\
\ \u0915\u0947 \u0938\u093E\u0915\u094D\u0937\u094D\u092F \u0915\u0947 \u0930\
\u0942\u092A \u092E\u0947\u0902 \u0905\u0915\u094D\u0938\u0930 \u0938\u091C\u093E\
\u0924\u0940\u092F \u0938\u0902\u0930\u091A\u0928\u093E\u0913\u0902 \u0915\u093E\
\ \u0939\u0935\u093E\u0932\u093E \u0926\u093F\u092F\u093E \u091C\u093E\u0924\
\u093E \u0939\u0948\u0964 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
\u0924 \u0915\u094B \u091B\u094B\u0921\u093C\u0915\u0930 \u0938\u092D\u0940\
\ \u0938\u092E\u091C\u093E\u0924 \u0938\u0902\u0930\u091A\u0928\u093E\u0913\u0902\
\ \u0915\u0947 \u0909\u0926\u093E\u0939\u0930\u0923 \u0939\u0948\u0902"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_biology
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_high_school_biology
task_alias: high_school_biology
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_chemistry.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u090F\u091A\u0938\u0940\u090F\u0932"
B: H2SO3
C: SO2
D: "\u0905\u0932(NO3)3"
input_correct_responses:
- C
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0947 \u0905\u092E\u094D\
\u0932 \u090F\u0928\u0939\u093E\u0907\u0921\u094D\u0930\u093E\u0907\u0921 \u092E\
\u093E\u0928\u093E \u091C\u093E\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092A\u0940\u0938\u0940\u090F\u09324\u090F\u092B"
B: BF3
C: "\u0938\u0940\u0913 2"
D: Si(CH3)4
input_correct_responses:
- A
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u093F\u0938\u0938\u0947 \u0927\u094D\
\u0930\u0941\u0935\u0940\u092F \u0905\u0923\u0941 \u0939\u094B\u0928\u0947 \u0915\
\u0940 \u0909\u092E\u094D\u092E\u0940\u0926 \u0939\u0948?"
- input_choice_list:
A: "\u0938\u092D\u0940 \u0915\u094D\u0932\u094B\u0930\u093E\u0907\u0921, \u092C\
\u094D\u0930\u094B\u092E\u093E\u0907\u0921 \u0914\u0930 \u0906\u092F\u094B\
\u0921\u093E\u0907\u0921 \u0918\u0941\u0932\u0928\u0936\u0940\u0932 \u0939\
\u0948\u0902"
B: "\u0938\u092D\u0940 \u0938\u0932\u094D\u092B\u0947\u091F \u0918\u0941\u0932\
\u0928\u0936\u0940\u0932 \u0939\u0948\u0902"
C: "\u0938\u092D\u0940 \u0939\u093E\u0907\u0921\u094D\u0930\u0949\u0915\u094D\
\u0938\u093E\u0907\u0921 \u0918\u0941\u0932\u0928\u0936\u0940\u0932 \u0939\
\u0948\u0902"
D: "\u0938\u092D\u0940 \u0905\u092E\u094B\u0928\u093F\u092F\u092E \u092F\u0941\
\u0915\u094D\u0924 \u092F\u094C\u0917\u093F\u0915 \u0918\u0941\u0932\u0928\
\u0936\u0940\u0932 \u0939\u0948\u0902"
input_correct_responses:
- D
input_question: "\u0918\u0941\u0932\u0928\u0936\u0940\u0932\u0924\u093E \u0928\
\u093F\u092F\u092E\u094B\u0902 \u0938\u0947, \u0928\u093F\u092E\u094D\u0928\u0932\
\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928\
\ \u0938\u093E \u0938\u0924\u094D\u092F \u0939\u0948?"
- input_choice_list:
A: '3.89'
B: '7.78'
C: '5.78'
D: '2.33'
input_correct_responses:
- C
input_question: "\u090F\u0915 \u0928\u090F \u092F\u094C\u0917\u093F\u0915 \u0915\
\u094B \u0938\u0902\u0936\u094D\u0932\u0947\u0937\u093F\u0924 \u0915\u093F\u092F\
\u093E \u0917\u092F\u093E \u0939\u0948 \u0914\u0930 248 \u0917\u094D\u0930\u093E\
\u092E/\u092E\u094B\u0932 \u0915\u0947 \u0926\u093E\u0922\u093C \u0926\u094D\
\u0930\u0935\u094D\u092F\u092E\u093E\u0928 \u0915\u0947 \u0938\u093E\u0925 \u090F\
\u0915 \u092E\u094B\u0928\u094B\u092A\u094D\u0930\u094B\u091F\u093F\u0915 \u090F\
\u0938\u093F\u0921 \u092A\u093E\u092F\u093E \u0917\u092F\u093E \u0939\u0948\u0964\
\ \u091C\u092C \u0907\u0938 \u0905\u092E\u094D\u0932 \u0915\u0947 0.0050 mol\
\ \u0915\u094B 0.500 L \u092A\u093E\u0928\u0940 \u092E\u0947\u0902 \u0918\u094B\
\u0932\u093E \u091C\u093E\u0924\u093E \u0939\u0948, \u0924\u094B pH 3.89 \u092E\
\u093E\u092A\u093E \u091C\u093E\u0924\u093E \u0939\u0948\u0964 \u0907\u0938\
\ \u0905\u092E\u094D\u0932 \u0915\u093E pKa \u0915\u094D\u092F\u093E \u0939\u0948\
?"
- input_choice_list:
A: "0.500 \u092E\u094B\u0932"
B: "1.00 \u092E\u094B\u0932"
C: "2.00 \u092E\u094B\u0932"
D: "3.00 \u092E\u094B\u0932"
input_correct_responses:
- C
input_question: "\u090F\u0915 \u0918\u094B\u0932 \u092E\u0947\u0902 2.00 \u092E\
\u094B\u0932 \u090F\u0938\u093F\u091F\u093F\u0915 \u090F\u0938\u093F\u0921,\
\ CH3COOH, \u0914\u0930 1.00 \u092E\u094B\u0932 \u0915\u0948\u0932\u094D\u0936\
\u093F\u092F\u092E \u090F\u0938\u0940\u091F\u0947\u091F, Ca(CH3COO)2 \u0939\u094B\
\u0924\u093E \u0939\u0948\u0964 \u0918\u094B\u0932 \u0915\u0947 \u092A\u0940\
\u090F\u091A \u092E\u0947\u0902 \u0915\u0947\u0935\u0932 \u092E\u093E\u092E\u0942\
\u0932\u0940 \u092C\u0926\u0932\u093E\u0935 \u0915\u0947 \u0938\u093E\u0925\
\ \u0918\u094B\u0932 \u0925\u094B\u0921\u093C\u0940 \u092E\u093E\u0924\u094D\
\u0930\u093E \u092E\u0947\u0902 \u092E\u091C\u092C\u0942\u0924 \u090F\u0938\u093F\
\u0921 \u092F\u093E \u092E\u091C\u092C\u0942\u0924 \u0915\u094D\u0937\u093E\u0930\
\ \u0915\u094B \u091C\u094B\u0921\u093C\u0928\u0947 \u0915\u093E \u0935\u093F\
\u0930\u094B\u0927 \u0915\u0930\u0928\u0947 \u092E\u0947\u0902 \u0938\u0915\u094D\
\u0937\u092E \u0939\u0948\u0964 \u092E\u091C\u092C\u0942\u0924 \u090F\u0938\u093F\
\u0921 \u092F\u093E \u092E\u091C\u092C\u0942\u0924 \u0915\u094D\u0937\u093E\u0930\
\ \u0915\u0940 \u092C\u0921\u093C\u0940 \u092E\u093E\u0924\u094D\u0930\u093E\
\ \u092A\u0940\u090F\u091A \u092E\u0947\u0902 \u092E\u0939\u0924\u094D\u0935\
\u092A\u0942\u0930\u094D\u0923 \u092A\u0930\u093F\u0935\u0930\u094D\u0924\u0928\
\ \u0915\u093E \u0915\u093E\u0930\u0923 \u092C\u0928 \u0938\u0915\u0924\u0940\
\ \u0939\u0948\u0964 \u092A\u0940\u090F\u091A \u092E\u0947\u0902 \u0909\u0932\
\u094D\u0932\u0947\u0916\u0928\u0940\u092F \u092A\u0930\u093F\u0935\u0930\u094D\
\u0924\u0928 \u0936\u0941\u0930\u0942 \u0939\u094B\u0928\u0947 \u0938\u0947\
\ \u092A\u0939\u0932\u0947 \u0915\u093F\u0924\u0928\u0947 \u092E\u094B\u0932\
\ \u0928\u093E\u0907\u091F\u094D\u0930\u093F\u0915 \u090F\u0938\u093F\u0921\
, HNO3 \u092E\u093F\u0932\u093E\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E\
\ \u0939\u0948?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_chemistry
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_high_school_chemistry
task_alias: high_school_chemistry
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_computer_science.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u090F\u0915 \u0915\u093E\u0930 \u0921\u094D\u0930\u093E\u0907\u0935\u0930\
\ \u0915\u094B \u0938\u091A\u0947\u0924 \u0915\u0930\u0924\u0940 \u0939\u0948\
\ \u0915\u093F \u0935\u0939 \u0915\u093F\u0938\u0940 \u0935\u0938\u094D\u0924\
\u0941 \u0938\u0947 \u091F\u0915\u0930\u093E\u0928\u0947 \u0935\u093E\u0932\
\u0940 \u0939\u0948\u0964"
B: "\u090F\u0915 \u092F\u093E\u0924\u094D\u0930\u0940 \u0905\u092A\u0928\u0940\
\ \u0938\u094D\u0925\u093F\u0924\u093F \u092A\u0930 \u0928\u091C\u093C\u0930\
\ \u0930\u0916\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u091C\u0940\u092A\
\u0940\u090F\u0938 \u0918\u0921\u093C\u0940 \u0915\u093E \u0909\u092A\u092F\
\u094B\u0917 \u0915\u0930\u0924\u093E \u0939\u0948\u0964"
C: "\u090F\u0915 \u0930\u0947\u092B\u094D\u0930\u093F\u091C\u0930\u0947\u091F\
\u0930 \u090F\u0915 \u0911\u0928\u0932\u093E\u0907\u0928 \u0921\u093F\u0932\
\u0940\u0935\u0930\u0940 \u0938\u0947\u0935\u093E \u0938\u0947 \u0926\u0942\
\u0927 \u0915\u093E \u0911\u0930\u094D\u0921\u0930 \u0926\u0947\u0924\u093E\
\ \u0939\u0948 \u091C\u092C \u0930\u0947\u092B\u094D\u0930\u093F\u091C\u0930\
\u0947\u091F\u0930 \u092E\u0947\u0902 \u0926\u0942\u0927 \u0932\u0917\u092D\
\u0917 \u0916\u0924\u094D\u092E \u0939\u094B \u091C\u093E\u0924\u093E \u0939\
\u0948\u0964"
D: "\u090F\u0915 \u0927\u093E\u0935\u0915 \u0905\u092A\u0928\u0940 \u0939\u0943\
\u0926\u092F \u0917\u0924\u093F \u092A\u0930 \u0928\u091C\u093C\u0930 \u0930\
\u0916\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0911\u092A\u094D\u091F\
\u093F\u0915\u0932 \u0938\u0947\u0902\u0938\u0930 \u0935\u093E\u0932\u0940\
\ \u0918\u0921\u093C\u0940 \u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964"
input_correct_responses:
- C
input_question: "\u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924\
\ \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0907\u0902\
\u091F\u0930\u0928\u0947\u091F \u0911\u092B \u0925\u093F\u0902\u0917\u094D\u0938\
\ (IoT) \u092A\u0930 \u090F\u0915 \u0921\u093F\u0935\u093E\u0907\u0938 \u0915\
\u0947 \u0909\u092A\u092F\u094B\u0917 \u0915\u093E \u0909\u0926\u093E\u0939\u0930\
\u0923 \u0939\u0948?"
- input_choice_list:
A: "\u0905\u0928\u093E\u092E \u0935\u093F\u0902\u0921\u094B \u092E\u0947\u0902\
\ \u092C\u094D\u0930\u093E\u0909\u091C\u093C \u0915\u0930\u0928\u0947 \u0935\
\u093E\u0932\u0947 \u0909\u092A\u092F\u094B\u0917\u0915\u0930\u094D\u0924\u093E\
\ \u0915\u0940 \u0917\u0924\u093F\u0935\u093F\u0927\u093F\u092F\u093E\u0901\
\ \u0909\u0928 \u0932\u094B\u0917\u094B\u0902 \u0915\u094B \u0926\u093F\u0916\
\u093E\u0908 \u0928\u0939\u0940\u0902 \u0926\u0947\u0902\u0917\u0940 \u091C\
\u094B \u0909\u092A\u092F\u094B\u0917\u0915\u0930\u094D\u0924\u093E \u0915\
\u0947 \u0928\u0947\u091F\u0935\u0930\u094D\u0915 \u0915\u0940 \u0928\u093F\
\u0917\u0930\u093E\u0928\u0940 \u0915\u0930\u0924\u0947 \u0939\u0948\u0902\
, \u091C\u0948\u0938\u0947 \u0915\u093F \u0938\u093F\u0938\u094D\u091F\u092E\
\ \u092A\u094D\u0930\u0936\u093E\u0938\u0915\u0964"
B: "\u0905\u0928\u093E\u092E \u092C\u094D\u0930\u093E\u0909\u091C\u093C\u093F\
\u0902\u0917 \u0938\u0924\u094D\u0930 \u0915\u0947 \u0926\u094C\u0930\u093E\
\u0928 \u092D\u0935\u093F\u0937\u094D\u092F \u0915\u0940 \u0916\u0930\u0940\
\u0926\u093E\u0930\u0940 \u0915\u0947 \u0932\u093F\u090F \u0935\u0947\u092C\
\ \u0938\u094D\u091F\u094B\u0930 \u0915\u0947 \u0936\u0949\u092A\u093F\u0902\
\u0917 \u0915\u093E\u0930\u094D\u091F \u092E\u0947\u0902 \u0930\u0916\u0947\
\ \u0917\u090F \u0906\u0907\u091F\u092E \u0909\u092A\u092F\u094B\u0917\u0915\
\u0930\u094D\u0924\u093E \u0915\u0947 \u0915\u0902\u092A\u094D\u092F\u0942\
\u091F\u0930 \u092A\u0930 \u0938\u0939\u0947\u091C\u0947 \u0928\u0939\u0940\
\u0902 \u091C\u093E\u090F\u0902\u0917\u0947\u0964"
C: "\u0905\u0928\u093E\u092E \u092C\u094D\u0930\u093E\u0909\u091C\u093C\u093F\
\u0902\u0917 \u0938\u0924\u094D\u0930 \u0915\u0947 \u0926\u094C\u0930\u093E\
\u0928 \u0915\u094B\u0908 \u0909\u092A\u092F\u094B\u0917\u0915\u0930\u094D\
\u0924\u093E \u0908-\u092E\u0947\u0932 \u092F\u093E \u0938\u094B\u0936\u0932\
\ \u092E\u0940\u0921\u093F\u092F\u093E \u0916\u093E\u0924\u094B\u0902 \u092E\
\u0947\u0902 \u0932\u0949\u0917 \u0907\u0928 \u0928\u0939\u0940\u0902 \u0915\
\u0930 \u092A\u093E\u090F\u0917\u093E\u0964"
D: "\u0905\u0928\u093E\u092E \u0935\u093F\u0902\u0921\u094B \u092E\u0947\u0902\
\ \u092C\u094D\u0930\u093E\u0909\u091C\u093C \u0915\u0930\u0928\u0947 \u0935\
\u093E\u0932\u093E \u0909\u092A\u092F\u094B\u0917\u0915\u0930\u094D\u0924\u093E\
\ \u0935\u093F\u091C\u093C\u093F\u091F \u0915\u0940 \u0917\u0908 \u0915\u093F\
\u0938\u0940 \u092D\u0940 \u0935\u0947\u092C \u0938\u093E\u0907\u091F \u092F\
\u093E \u0921\u093E\u0909\u0928\u0932\u094B\u0921 \u0915\u0940 \u0917\u0908\
\ \u092B\u093C\u093E\u0907\u0932\u094B\u0902 \u0938\u0947 \u0932\u0949\u0928\
\u094D\u091A \u0939\u094B\u0928\u0947 \u0935\u093E\u0932\u0947 \u0935\u093E\
\u092F\u0930\u0938 \u0938\u0947 \u0938\u0941\u0930\u0915\u094D\u0937\u093F\
\u0924 \u0930\u0939\u0947\u0917\u093E\u0964"
input_correct_responses:
- B
input_question: "\u0915\u0908 \u0935\u0947\u092C \u092C\u094D\u0930\u093E\u0909\
\u091C\u093C\u0930 \u0909\u092A\u092F\u094B\u0917\u0915\u0930\u094D\u0924\u093E\
\u0913\u0902 \u0915\u094B \u0905\u0928\u093E\u092E \u0935\u093F\u0902\u0921\u094B\
\ \u0916\u094B\u0932\u0928\u0947 \u0915\u0940 \u0905\u0928\u0941\u092E\u0924\
\u093F \u0926\u0947\u0924\u0947 \u0939\u0948\u0902\u0964 \u0915\u093F\u0938\u0940\
\ \u0905\u0928\u093E\u092E \u0935\u093F\u0902\u0921\u094B \u092E\u0947\u0902\
\ \u092C\u094D\u0930\u093E\u0909\u091C\u093C\u093F\u0902\u0917 \u0938\u0924\u094D\
\u0930 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928, \u092C\u094D\u0930\u093E\
\u0909\u091C\u093C\u0930 \u092C\u094D\u0930\u093E\u0909\u091C\u093C\u093F\u0902\
\u0917 \u0907\u0924\u093F\u0939\u093E\u0938 \u092F\u093E \u0921\u093E\u0909\u0928\
\u0932\u094B\u0921 \u0915\u0940 \u0917\u0908 \u092B\u093C\u093E\u0907\u0932\u094B\
\u0902 \u0915\u0940 \u0938\u0942\u091A\u0940 \u0930\u093F\u0915\u0949\u0930\u094D\
\u0921 \u0928\u0939\u0940\u0902 \u0915\u0930\u0924\u093E \u0939\u0948\u0964\
\ \u091C\u092C \u0905\u0928\u093E\u092E \u0935\u093F\u0902\u0921\u094B \u092C\
\u093E\u0939\u0930 \u0928\u093F\u0915\u0932\u0924\u0940 \u0939\u0948, \u0924\
\u094B \u0938\u0924\u094D\u0930 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928\
\ \u092C\u0928\u093E\u0908 \u0917\u0908 \u0915\u0941\u0915\u0940\u091C\u093C\
\ \u0939\u091F\u093E \u0926\u0940 \u091C\u093E\u0924\u0940 \u0939\u0948\u0902\
\u0964 \u0905\u091C\u094D\u091E\u093E\u0924 \u0935\u093F\u0902\u0921\u094B \u092E\
\u0947\u0902 \u0938\u0924\u094D\u0930 \u092C\u094D\u0930\u093E\u0909\u091C\u093C\
\ \u0915\u0930\u0928\u0947 \u0915\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\
\u0902 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\
\u0902 \u0938\u0947 \u0915\u094C\u0928 \u0938\u093E \u0915\u0925\u0928 \u0938\
\u0924\u094D\u092F \u0939\u0948?"
- input_choice_list:
A: "\u0917\u0932\u0924\u0940"
B: "\u090F\u092C\u0940\u0938\u0940"
C: "\u0938\u0940\u092C\u0940\u090F"
D: "\u0938\u0940"
input_correct_responses:
- C
input_question: "\u092A\u093E\u092F\u0925\u0928 3 \u092E\u0947\u0902 "\u090F\
\u092C\u0940\u0938\u0940"[::-1] \u0915\u093E \u0906\u0909\u091F\u092A\u0941\
\u091F \u0915\u094D\u092F\u093E \u0939\u0948?"
- input_choice_list:
A: "\u092B\u093C\u093E\u0915\u094D\u0938\u0924\u094D\u0930\u094B\u091F"
B: "\u0939\u094B\u091F\u0932"
C: "\u0928\u0935\u0902\u092C\u0930"
D: "\u092F\u093E\u0902\u0915\u0940"
input_correct_responses:
- C
input_question: "\u0928\u0940\u091A\u0947 \u0926\u093F\u090F \u0917\u090F \u092A\
\u094D\u0930\u094B\u0917\u094D\u0930\u093E\u092E \u092E\u0947\u0902, x \u0915\
\u093E \u092A\u094D\u0930\u093E\u0930\u0902\u092D\u093F\u0915 \u092E\u093E\u0928\
\ 5 \u0939\u0948 \u0914\u0930 y \u0915\u093E \u092A\u094D\u0930\u093E\u0930\u0902\
\u092D\u093F\u0915 \u092E\u093E\u0928 10 \u0939\u0948\u0964 IF (X < O) {\
\ \u0921\u093F\u0938\u094D\u092A\u094D\u0932\u0947 ("\u092B\u0949\u0915\
\u094D\u0938\u091F\u094D\u0930\u0949\u091F") } ELSE { IF (X > y) { \u0921\
\u093F\u0938\u094D\u092A\u094D\u0932\u0947 ("\u0939\u094B\u091F\u0932")\
\ } ELSE { IF (y > O) { DISPLAY ("\u0928\u0935\u0902\u092C\u0930")\
\ } ELSE { DISPLAY ("\u092F\u093E\u0902\u0915\u0940") } } } \u092A\
\u094D\u0930\u094B\u0917\u094D\u0930\u093E\u092E \u091A\u0932\u093E\u0928\u0947\
\ \u0915\u0947 \u092A\u0930\u093F\u0923\u093E\u092E\u0938\u094D\u0935\u0930\u0942\
\u092A \u0915\u094D\u092F\u093E \u092A\u094D\u0930\u0926\u0930\u094D\u0936\u093F\
\u0924 \u0939\u094B\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u091A\u0930\u0923 3: \u0938\u094D\u0925\u093F\u0924\u093F \u0915\u093E\
\ \u092E\u093E\u0928 1 \u092C\u0922\u093C\u093E\u090F\u0901\u0964 \u091A\u0930\
\u0923 4: \u091A\u0930\u0923 2 \u0914\u0930 3 \u0915\u094B \u0924\u092C \u0924\
\u0915 \u0926\u094B\u0939\u0930\u093E\u090F\u0901 \u091C\u092C \u0924\u0915\
\ \u0915\u093F \u0917\u093F\u0928\u0924\u0940 \u0915\u093E \u092E\u093E\u0928\
\ 100 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0928 \u0939\u094B \u091C\u093E\
\u090F\u0964"
B: "\u091A\u0930\u0923 3: \u0938\u094D\u0925\u093F\u0924\u093F \u0915\u093E\
\ \u092E\u093E\u0928 1 \u092C\u0922\u093C\u093E\u090F\u0901\u0964 \u091A\u0930\
\u0923 4: \u091A\u0930\u0923 2 \u0914\u0930 3 \u0915\u094B \u0924\u092C \u0924\
\u0915 \u0926\u094B\u0939\u0930\u093E\u090F\u0901 \u091C\u092C \u0924\u0915\
\ \u0915\u093F \u0938\u094D\u0925\u093F\u0924\u093F \u0915\u093E \u092E\u093E\
\u0928 n \u0938\u0947 \u0905\u0927\u093F\u0915 \u0928 \u0939\u094B \u091C\u093E\
\u090F\u0964"
C: "\u091A\u0930\u0923 3: \u091A\u0930\u0923 2 \u0915\u094B \u0924\u092C \u0924\
\u0915 \u0926\u094B\u0939\u0930\u093E\u090F\u0901 \u091C\u092C \u0924\u0915\
\ \u0917\u093F\u0928\u0924\u0940 \u0915\u093E \u092E\u093E\u0928 100 \u0938\
\u0947 \u0905\u0927\u093F\u0915 \u0928 \u0939\u094B \u091C\u093E\u090F\u0964\
\ \u091A\u0930\u0923 4: \u0938\u094D\u0925\u093F\u0924\u093F \u0915\u093E\
\ \u092E\u093E\u0928 1 \u0938\u0947 \u092C\u0922\u093C\u093E\u090F\u0901\u0964"
D: "\u091A\u0930\u0923 3: \u091A\u0930\u0923 2 \u0915\u094B \u0924\u092C \u0924\
\u0915 \u0926\u094B\u0939\u0930\u093E\u090F\u0901 \u091C\u092C \u0924\u0915\
\ \u0938\u094D\u0925\u093F\u0924\u093F \u0915\u093E \u092E\u093E\u0928 n \u0938\
\u0947 \u0905\u0927\u093F\u0915 \u0928 \u0939\u094B \u091C\u093E\u090F\u0964\
\ \u091A\u0930\u0923 4: \u0917\u093F\u0928\u0924\u0940 \u0915\u093E \u092E\
\u093E\u0928 1 \u092C\u0922\u093C\u093E\u090F\u0901\u0964"
input_correct_responses:
- D
input_question: "\u0938\u0902\u0916\u094D\u092F\u093E\u0913\u0902 \u0915\u0940\
\ \u0938\u0942\u091A\u0940 \u092E\u0947\u0902 n \u0924\u0924\u094D\u0935 \u0939\
\u094B\u0924\u0947 \u0939\u0948\u0902, \u091C\u094B 1 \u0938\u0947 n \u0924\u0915\
\ \u0905\u0928\u0941\u0915\u094D\u0930\u092E\u093F\u0924 \u0939\u094B\u0924\u0947\
\ \u0939\u0948\u0902\u0964 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\
\u0924 \u090F\u0932\u094D\u0917\u094B\u0930\u093F\u0926\u092E \u0915\u093E \u0909\
\u0926\u094D\u0926\u0947\u0936\u094D\u092F \u0938\u0942\u091A\u0940 \u092E\u0947\
\u0902 \u0909\u0928 \u0924\u0924\u094D\u0935\u094B\u0902 \u0915\u0940 \u0938\
\u0902\u0916\u094D\u092F\u093E \u092A\u094D\u0930\u0926\u0930\u094D\u0936\u093F\
\u0924 \u0915\u0930\u0928\u093E \u0939\u0948 \u091C\u093F\u0928\u0915\u093E\
\ \u092E\u093E\u0928 100 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0939\u0948\u0964\
\ \u090F\u0932\u094D\u0917\u094B\u0930\u093F\u0926\u092E \u091A\u0930 \u0917\
\u093F\u0928\u0924\u0940 \u0914\u0930 \u0938\u094D\u0925\u093F\u0924\u093F \u0915\
\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\u0930\u0924\u093E \u0939\u0948\u0964\
\ \u091A\u0930\u0923 3 \u0914\u0930 4 \u0917\u093E\u092F\u092C \u0939\u0948\u0902\
\u0964 \u091A\u0930\u0923 1: \u0917\u093F\u0928\u0924\u0940 \u0915\u094B 0 \u0914\
\u0930 \u0938\u094D\u0925\u093F\u0924\u093F \u0915\u094B 1 \u092A\u0930 \u0938\
\u0947\u091F \u0915\u0930\u0947\u0902\u0964 \u091A\u0930\u0923 2: \u092F\u0926\
\u093F \u0938\u0942\u091A\u0915\u093E\u0902\u0915 \u0938\u094D\u0925\u093F\u0924\
\u093F \u092A\u0930 \u0924\u0924\u094D\u0935 \u0915\u093E \u092E\u093E\u0928\
\ 100 \u0938\u0947 \u0905\u0927\u093F\u0915 \u0939\u0948, \u0924\u094B \u0917\
\u093F\u0928\u0924\u0940 \u0915\u093E \u092E\u093E\u0928 1 \u0938\u0947 \u092C\
\u0922\u093C\u093E\u090F\u0901\u0964 \u091A\u0930\u0923 3: (\u0917\u093E\u092F\
\u092C \u091A\u0930\u0923) \u091A\u0930\u0923 4: (\u0932\u093E\u092A\u0924\u093E\
\ \u091A\u0930\u0923) ) \u091A\u0930\u0923 5: \u0917\u093F\u0928\u0924\u0940\
\ \u0915\u093E \u092E\u093E\u0928 \u092A\u094D\u0930\u0926\u0930\u094D\u0936\
\u093F\u0924 \u0915\u0930\u0947\u0902\u0964 \u091A\u0930\u0923 3 \u0914\u0930\
\ 4 \u0915\u094B \u092A\u094D\u0930\u0924\u093F\u0938\u094D\u0925\u093E\u092A\
\u093F\u0924 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0928\
\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\
\u0947 \u0915\u093F\u0938\u0915\u093E \u0909\u092A\u092F\u094B\u0917 \u0915\u093F\
\u092F\u093E \u091C\u093E \u0938\u0915\u0924\u093E \u0939\u0948 \u0924\u093E\
\u0915\u093F \u090F\u0932\u094D\u0917\u094B\u0930\u093F\u0925\u094D\u092E \u0907\
\u091A\u094D\u091B\u093F\u0924 \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930\
\ \u0915\u093E\u092E \u0915\u0930\u0947?"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_computer_science
tag: mmlu_hi_llama_stem_tasks
task: mmlu_hi_llama_high_school_computer_science
task_alias: high_school_computer_science
lm_eval/tasks/llama3/instruct/mmlu_hi/mmlu_hi_high_school_european_history.yaml 0 → 100644
View file @ 1b357a68
fewshot_config:
sampler: first_n
samples:
- input_choice_list:
A: "\u091C\u094C\u0902 - \u091C\u093E\u0915 \u0930\u0942\u0938\u094B"
B: "\u092C\u0948\u0930\u0928 \u092E\u094B\u0902\u091F\u0947\u0938\u094D\u0915\
\u094D\u092F\u0942"
C: "\u092E\u0948\u0930\u0940 \u0935\u094B\u0932\u0938\u094D\u091F\u094B\u0928\
\u0915\u094D\u0930\u093E\u092B\u093C\u094D\u091F"
D: "\u090F\u0921\u092E \u0938\u094D\u092E\u093F\u0925"
input_correct_responses:
- B
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\
\u0916\u093F\u0924 \u0905\u0902\u0936 \u090F\u0915 \u092A\u0941\u0938\u094D\u0924\
\u093F\u0915\u093E \u0938\u0947 \u0939\u0948\u0964 \u0906\u092A \u092E\u0947\
\u0930\u0947 \u0932\u093F\u090F \u092F\u0939 \u092F\u093E\u0926 \u0930\u0916\
\u0928\u0947 \u0915\u093E \u0928\u094D\u092F\u093E\u092F \u0915\u0930\u0947\u0902\
\u0917\u0947 \u0915\u093F \u092E\u0948\u0902\u0928\u0947 \u0939\u092E\u0947\u0936\
\u093E \u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0935\u094D\u092F\u0915\
\u094D\u0924\u093F \u0915\u0940 \u0905\u092A\u0928\u0940 \u0930\u093E\u092F\
\ \u0915\u0947 \u0905\u0927\u093F\u0915\u093E\u0930 \u0915\u093E \u092A\u0941\
\u0930\u091C\u094B\u0930 \u0938\u092E\u0930\u094D\u0925\u0928 \u0915\u093F\u092F\
\u093E \u0939\u0948, \u092D\u0932\u0947 \u0939\u0940 \u0935\u0939 \u0930\u093E\
\u092F \u092E\u0947\u0930\u0940 \u0930\u093E\u092F \u0938\u0947 \u0915\u093F\
\u0924\u0928\u0940 \u0939\u0940 \u092D\u093F\u0928\u094D\u0928 \u0915\u094D\u092F\
\u094B\u0902 \u0928 \u0939\u094B\u0964 \u0935\u0939 \u091C\u094B \u0926\u0942\
\u0938\u0930\u0947 \u0915\u094B \u0907\u0938 \u0905\u0927\u093F\u0915\u093E\u0930\
\ \u0938\u0947 \u0935\u0902\u091A\u093F\u0924 \u0915\u0930\u0924\u093E \u0939\
\u0948, \u0935\u0939 \u0938\u094D\u0935\u092F\u0902 \u0915\u094B \u0905\u092A\
\u0928\u0940 \u0935\u0930\u094D\u0924\u092E\u093E\u0928 \u0930\u093E\u092F \u0915\
\u093E \u0917\u0941\u0932\u093E\u092E \u092C\u0928\u093E \u0932\u0947\u0924\u093E\
\ \u0939\u0948, \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u0935\u0939 \u0938\
\u094D\u0935\u092F\u0902 \u0915\u094B \u0907\u0938\u0947 \u092C\u0926\u0932\u0928\
\u0947 \u0915\u093E \u0905\u0927\u093F\u0915\u093E\u0930 \u0928\u0939\u0940\u0902\
\ \u0926\u0947\u0924\u093E \u0939\u0948\u0964 \u0939\u0930 \u092A\u094D\u0930\
\u0915\u093E\u0930 \u0915\u0940 \u0924\u094D\u0930\u0941\u091F\u093F\u092F\u094B\
\u0902 \u0915\u0947 \u0935\u093F\u0930\u0941\u0926\u094D\u0927 \u0938\u092C\u0938\
\u0947 \u092A\u094D\u0930\u092C\u0932 \u0939\u0925\u093F\u092F\u093E\u0930 \u0924\
\u0930\u094D\u0915 \u0939\u0948\u0964 \u092E\u0948\u0902\u0928\u0947 \u0915\u092D\
\u0940 \u092D\u0940 \u0915\u093F\u0938\u0940 \u0905\u0928\u094D\u092F \u0915\
\u093E \u0909\u092A\u092F\u094B\u0917 \u0928\u0939\u0940\u0902 \u0915\u093F\u092F\
\u093E \u0939\u0948, \u0914\u0930 \u092E\u0941\u091D\u0947 \u0935\u093F\u0936\
\u094D\u0935\u093E\u0938 \u0939\u0948 \u0915\u093F \u092E\u0948\u0902 \u0915\
\u092D\u0940 \u092D\u0940 \u0907\u0938\u0915\u093E \u0909\u092A\u092F\u094B\u0917\
\ \u0928\u0939\u0940\u0902 \u0915\u0930\u0942\u0902\u0917\u093E\u0964 \u0905\
\u092C \u091C\u094B \u092A\u0930\u093F\u0938\u094D\u0925\u093F\u0924\u093F \u092B\
\u094D\u0930\u093E\u0902\u0938 \u092E\u0947\u0902 \u0918\u091F\u093F\u0924 \u0939\
\u0941\u0908 \u0939\u0948, \u0909\u0938\u092E\u0947\u0902 \u092A\u094C\u0930\
\u094B\u0939\u093F\u0924\u094D\u092F \u0915\u0940 \u0938\u0902\u092A\u0942\u0930\
\u094D\u0923 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u0935\u094D\
\u092F\u0935\u0938\u094D\u0925\u093E \u0914\u0930 \u0927\u0930\u094D\u092E \u0915\
\u0940 \u092C\u093E\u0927\u094D\u092F\u0915\u093E\u0930\u0940 \u092A\u094D\u0930\
\u0923\u093E\u0932\u093F\u092F\u094B\u0902 \u0924\u0925\u093E \u0906\u0938\u094D\
\u0925\u093E \u0915\u0947 \u092C\u093E\u0927\u094D\u092F\u0915\u093E\u0930\u0940\
\ \u0905\u0928\u0941\u091A\u094D\u091B\u0947\u0926\u094B\u0902 \u0938\u0947\
\ \u091C\u0941\u0921\u093C\u0940 \u0939\u0930 \u091A\u0940\u091C \u0915\u094B\
\ \u092A\u0942\u0930\u0940 \u0924\u0930\u0939 \u0938\u0947 \u0916\u0924\u094D\
\u092E \u0915\u0930 \u0926\u093F\u092F\u093E \u0917\u092F\u093E \u0939\u0948\
, \u0909\u0938\u0928\u0947 \u0928 \u0915\u0947\u0935\u0932 \u092E\u0947\u0930\
\u0947 \u0907\u0930\u093E\u0926\u0947 \u0915\u094B \u0915\u092E\u091C\u094B\u0930\
\ \u0915\u0930 \u0926\u093F\u092F\u093E \u0939\u0948, \u092C\u0932\u094D\u0915\
\u093F \u0907\u0938 \u0915\u093E\u092E \u0915\u094B \u0905\u0902\u091C\u093E\
\u092E \u0926\u093F\u092F\u093E \u0939\u0948\u0964 \u092F\u0939 \u0905\u0924\
\u094D\u092F\u0927\u093F\u0915 \u0906\u0935\u0936\u094D\u092F\u0915 \u0939\u0948\
, \u0910\u0938\u093E \u0928 \u0939\u094B \u0915\u093F \u0905\u0902\u0927\u0935\
\u093F\u0936\u094D\u0935\u093E\u0938, \u0938\u0930\u0915\u093E\u0930 \u0915\u0940\
\ \u091D\u0942\u0920\u0940 \u092A\u094D\u0930\u0923\u093E\u0932\u093F\u092F\u094B\
\u0902 \u0914\u0930 \u091D\u0942\u0920\u0947 \u0927\u0930\u094D\u092E\u0936\u093E\
\u0938\u094D\u0924\u094D\u0930 \u0915\u0947 \u0938\u093E\u092E\u093E\u0928\u094D\
\u092F \u0935\u093F\u0928\u093E\u0936 \u092E\u0947\u0902, \u0939\u092E \u0928\
\u0948\u0924\u093F\u0915\u0924\u093E, \u092E\u093E\u0928\u0935\u0924\u093E \u0914\
\u0930 \u0938\u0924\u094D\u092F \u0927\u0930\u094D\u092E\u0936\u093E\u0938\u094D\
\u0924\u094D\u0930 \u0915\u0940 \u0926\u0943\u0937\u094D\u091F\u093F \u0916\u094B\
\ \u0926\u0947\u0902\u0964 \u092E\u0948\u0902 \u090F\u0915 \u0908\u0936\u094D\
\u0935\u0930 \u092E\u0947\u0902 \u0935\u093F\u0936\u094D\u0935\u093E\u0938 \u0915\
\u0930\u0924\u093E \u0939\u0942\u0902, \u0914\u0930 \u0928\u0939\u0940\u0902\
; \u0914\u0930 \u092E\u0948\u0902 \u0907\u0938 \u091C\u0940\u0935\u0928 \u0938\
\u0947 \u092A\u0930\u0947 \u0916\u0941\u0936\u0940 \u0915\u0940 \u0906\u0936\
\u093E \u0915\u0930\u0924\u093E \u0939\u0942\u0902\u0964 \u092E\u0948\u0902\
\ \u092E\u0928\u0941\u0937\u094D\u092F \u0915\u0940 \u0938\u092E\u093E\u0928\
\u0924\u093E \u092E\u0947\u0902 \u0935\u093F\u0936\u094D\u0935\u093E\u0938 \u0915\
\u0930\u0924\u093E \u0939\u0942\u0901; \u0914\u0930 \u092E\u0947\u0930\u093E\
\ \u092E\u093E\u0928\u0928\u093E \u0939\u0948 \u0915\u093F \u0927\u093E\u0930\
\u094D\u092E\u093F\u0915 \u0915\u0930\u094D\u0924\u0935\u094D\u092F\u094B\u0902\
\ \u092E\u0947\u0902 \u0928\u094D\u092F\u093E\u092F \u0915\u0930\u0928\u093E\
, \u0926\u092F\u093E \u0938\u0947 \u092A\u094D\u0930\u0947\u092E \u0915\u0930\
\u0928\u093E \u0914\u0930 \u0905\u092A\u0928\u0947 \u0938\u093E\u0925\u0940\
\ \u092A\u094D\u0930\u093E\u0923\u093F\u092F\u094B\u0902 \u0915\u094B \u0916\
\u0941\u0936 \u0915\u0930\u0928\u0947 \u0915\u093E \u092A\u094D\u0930\u092F\u093E\
\u0938 \u0915\u0930\u0928\u093E \u0936\u093E\u092E\u093F\u0932 \u0939\u0948\u0964\
\ \u092E\u0948\u0902 \u092F\u0939\u0942\u0926\u0940 \u091A\u0930\u094D\u091A\
, \u0930\u094B\u092E\u0928 \u091A\u0930\u094D\u091A, \u0917\u094D\u0930\u0940\
\u0915 \u091A\u0930\u094D\u091A, \u0924\u0941\u0930\u094D\u0915\u0940 \u091A\
\u0930\u094D\u091A, \u092A\u094D\u0930\u094B\u091F\u0947\u0938\u094D\u091F\u0947\
\u0902\u091F \u091A\u0930\u094D\u091A \u092F\u093E \u0915\u093F\u0938\u0940\
\ \u092D\u0940 \u091A\u0930\u094D\u091A \u0926\u094D\u0935\u093E\u0930\u093E\
\ \u092A\u094D\u0930\u0924\u093F\u092A\u093E\u0926\u093F\u0924 \u092A\u0902\u0925\
\ \u092E\u0947\u0902 \u0935\u093F\u0936\u094D\u0935\u093E\u0938 \u0928\u0939\
\u0940\u0902 \u0915\u0930\u0924\u093E, \u091C\u093F\u0938\u0947 \u092E\u0948\
\u0902 \u091C\u093E\u0928\u0924\u093E \u0939\u0942\u0902\u0964 \u092E\u0947\u0930\
\u093E \u0905\u092A\u0928\u093E \u092E\u0928 \u0939\u0940 \u092E\u0947\u0930\
\u093E \u0905\u092A\u0928\u093E \u091A\u0930\u094D\u091A \u0939\u0948\u0964\
\ \u091A\u0930\u094D\u091A\u094B\u0902 \u0915\u0940 \u0938\u092D\u0940 \u0930\
\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F \u0938\u0902\u0938\u094D\u0925\
\u093E\u090F\u0901, \u091A\u093E\u0939\u0947 \u092F\u0939\u0942\u0926\u0940\
\ \u0939\u094B\u0902, \u0908\u0938\u093E\u0908 \u0939\u094B\u0902 \u092F\u093E\
\ \u0924\u0941\u0930\u094D\u0915\u0940 \u0939\u094B\u0902, \u092E\u0941\u091D\
\u0947 \u092E\u093E\u0928\u0935\u0940\u092F \u0906\u0935\u093F\u0937\u094D\u0915\
\u093E\u0930\u094B\u0902 \u0915\u0947 \u0905\u0932\u093E\u0935\u093E \u0914\u0930\
\ \u0915\u0941\u091B \u0928\u0939\u0940\u0902 \u0932\u0917\u0924\u0940\u0902\
, \u091C\u094B \u092E\u093E\u0928\u0935 \u091C\u093E\u0924\u093F \u0915\u094B\
\ \u092D\u092F\u092D\u0940\u0924 \u0915\u0930\u0928\u0947 \u0914\u0930 \u0917\
\u0941\u0932\u093E\u092E \u092C\u0928\u093E\u0928\u0947 \u0924\u0925\u093E \u0938\
\u0924\u094D\u0924\u093E \u0914\u0930 \u0932\u093E\u092D \u092A\u0930 \u090F\
\u0915\u093E\u0927\u093F\u0915\u093E\u0930 \u0938\u094D\u0925\u093E\u092A\u093F\
\u0924 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092C\u0928\
\u093E\u0908 \u0917\u0908 \u0939\u0948\u0902\u0964 \u0907\u0938 \u0918\u094B\
\u0937\u0923\u093E \u0938\u0947 \u092E\u0947\u0930\u093E \u0924\u093E\u0924\u094D\
\u092A\u0930\u094D\u092F \u0909\u0928 \u0932\u094B\u0917\u094B\u0902 \u0915\u0940\
\ \u0928\u093F\u0902\u0926\u093E \u0915\u0930\u0928\u093E \u0928\u0939\u0940\
\u0902 \u0939\u0948 \u091C\u094B \u0905\u0928\u094D\u092F\u0925\u093E \u092E\
\u093E\u0928\u0924\u0947 \u0939\u0948\u0902; \u0909\u0928\u094D\u0939\u0947\u0902\
\ \u0905\u092A\u0928\u0947 \u0935\u093F\u0936\u094D\u0935\u093E\u0938 \u092A\
\u0930 \u0909\u0924\u0928\u093E \u0939\u0940 \u0905\u0927\u093F\u0915\u093E\u0930\
\ \u0939\u0948 \u091C\u093F\u0924\u0928\u093E \u092E\u0941\u091D\u0947 \u0939\
\u0948\u0964 \u2014\u0925\u0949\u092E\u0938 \u092A\u0947\u0928, \u0926 \u090F\
\u091C \u0911\u092B \u0930\u0940\u091C\u093C\u0928, 1794-1795 \u0928\u093F\u092E\
\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\
\u093F\u0938 \u092A\u094D\u0930\u092C\u0941\u0926\u094D\u0927 \u0926\u093E\u0930\
\u094D\u0936\u0928\u093F\u0915 \u0928\u0947 \u0938\u0924\u094D\u0924\u093E \u0915\
\u0947 \u0926\u0941\u0930\u0941\u092A\u092F\u094B\u0917 \u0938\u0947 \u092C\u091A\
\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0938\u0930\u0915\u093E\u0930\
\ \u0915\u0947 \u0932\u093F\u090F \u0928\u093F\u092F\u0902\u0924\u094D\u0930\
\u0923 \u0914\u0930 \u0938\u0902\u0924\u0941\u0932\u0928 \u0915\u0940 \u090F\
\u0915 \u092A\u094D\u0930\u0923\u093E\u0932\u0940 \u0924\u0948\u092F\u093E\u0930\
\ \u0915\u0940?"
- input_choice_list:
A: "\u092A\u094D\u0930\u092C\u0941\u0926\u094D\u0927\u0924\u093E \u0915\u0947\
\ \u0926\u094C\u0930\u093E\u0928 \u0915\u0932\u094D\u092A\u0928\u093E \u0915\
\u0940 \u0917\u0908 \u0935\u094D\u092F\u0915\u094D\u0924\u093F\u0917\u0924\
\ \u0938\u094D\u0935\u0924\u0902\u0924\u094D\u0930\u0924\u093E \u0914\u0930\
\ \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0935\u093E\u0926 \u0915\u0947\
\ \u0935\u093F\u091A\u093E\u0930\u094B\u0902 \u0915\u0947 \u092A\u0930\u093F\
\u0923\u093E\u092E\u0938\u094D\u0935\u0930\u0942\u092A \u0915\u094D\u0930\u093E\
\u0902\u0924\u093F\u0915\u093E\u0930\u0940 \u0915\u094D\u0930\u093E\u0902\u0924\
\u093F\u092F\u093E\u0901 \u0939\u0941\u0908\u0902 \u091C\u094B \u092A\u0942\
\u0930\u0947 \u092F\u0942\u0930\u094B\u092A \u092E\u0947\u0902 \u092B\u0948\
\u0932 \u0938\u0915\u0924\u0940 \u0925\u0940\u0902\u0964"
B: "\u0928\u0947\u092A\u094B\u0932\u093F\u092F\u0928 \u0926\u094D\u0935\u093E\
\u0930\u093E \u092F\u0942\u0930\u094B\u092A \u092A\u0930 \u0935\u093F\u091C\
\u092F \u0915\u0947 \u0915\u093E\u0930\u0923 \u0928\u090F \u0917\u0941\u091F\
\u094B\u0902 \u0915\u093E \u0928\u093F\u0930\u094D\u092E\u093E\u0923 \u0939\
\u0941\u0906 \u0914\u0930 \u092F\u0942\u0930\u094B\u092A\u0940\u092F \u0936\
\u0915\u094D\u0924\u093F \u0938\u0902\u0924\u0941\u0932\u0928 \u092E\u0947\
\u0902 \u092C\u0926\u0932\u093E\u0935 \u0906\u092F\u093E\u0964"
C: "\u0930\u093E\u091C\u093E\u0913\u0902 \u0915\u0940 \u0936\u0915\u094D\u0924\
\u093F \u0909\u0938 \u092C\u093F\u0902\u0926\u0941 \u0924\u0915 \u092C\u0922\
\u093C \u0917\u0908 \u0925\u0940 \u091C\u0939\u093E\u0902 \u0907\u0938\u0947\
\ \u092A\u094D\u0930\u0924\u094D\u092F\u0947\u0915 \u0930\u093E\u0937\u094D\
\u091F\u094D\u0930 \u0915\u0947 \u092D\u0940\u0924\u0930 \u0905\u0928\u094D\
\u092F \u0936\u0915\u094D\u0924\u093F\u092F\u094B\u0902 \u0926\u094D\u0935\
\u093E\u0930\u093E \u091C\u093E\u0902\u091A\u0928\u093E \u0906\u0935\u0936\
\u094D\u092F\u0915 \u0925\u093E \u092F\u093E \u0928\u093E\u0917\u0930\u093F\
\u0915\u094B\u0902 \u0915\u093E \u0935\u0930\u094D\u091A\u0938\u094D\u0935\
\ \u0939\u094B\u0924\u093E\u0964"
D: "\u0928\u0908 \u0909\u092D\u0930\u0924\u0940 \u092A\u0942\u0902\u091C\u0940\
\u0935\u093E\u0926\u0940 \u0905\u0930\u094D\u0925\u0935\u094D\u092F\u0935\u0938\
\u094D\u0925\u093E \u0915\u093E \u092C\u0922\u093C\u0924\u093E \u0914\u0930\
\ \u0917\u093F\u0930\u0924\u093E \u0906\u0930\u094D\u0925\u093F\u0915 \u091A\
\u0915\u094D\u0930 \u0928\u093E\u0917\u0930\u093F\u0915 \u0905\u0936\u093E\
\u0902\u0924\u093F \u0915\u094B \u091C\u0928\u094D\u092E \u0926\u0947 \u0938\
\u0915\u0924\u093E \u0939\u0948 \u091C\u093F\u0938\u0947 \u0926\u092C\u093E\
\u092F\u093E \u091C\u093E\u0928\u093E \u091A\u093E\u0939\u093F\u090F\u0964"
input_correct_responses:
- A
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\
\u0916\u093F\u0924 \u0905\u0902\u0936 \u092A\u0922\u093C\u0947\u0902. \u0915\
\u094D\u0930\u093E\u0902\u0924\u093F\u0915\u093E\u0930\u0940 \u092C\u0940\u091C\
\ \u0939\u0930 \u0926\u0947\u0936 \u092E\u0947\u0902 \u092A\u094D\u0930\u0935\
\u0947\u0936 \u0915\u0930 \u091A\u0941\u0915\u093E \u0925\u093E \u0914\u0930\
\ \u0915\u092E\u094B\u092C\u0947\u0936 \u092B\u0948\u0932 \u0917\u092F\u093E\
\ \u0925\u093E\u0964 \u092C\u094B\u0928\u093E\u092A\u093E\u0930\u094D\u091F\
\ \u0915\u0940 \u0938\u0948\u0928\u094D\u092F \u0928\u093F\u0930\u0902\u0915\
\u0941\u0936\u0924\u093E \u0915\u0947 \u0936\u093E\u0938\u0928 \u0915\u0947\
\ \u0924\u0939\u0924 \u0907\u0938\u0915\u093E \u092C\u0939\u0941\u0924 \u0935\
\u093F\u0915\u093E\u0938 \u0939\u0941\u0906\u0964 \u0909\u0928\u0915\u0940 \u0935\
\u093F\u091C\u092F\u094B\u0902 \u0928\u0947 \u0915\u0908 \u0915\u093E\u0928\u0942\
\u0928\u094B\u0902, \u0938\u0902\u0938\u094D\u0925\u093E\u0913\u0902 \u0914\u0930\
\ \u0930\u0940\u0924\u093F-\u0930\u093F\u0935\u093E\u091C\u094B\u0902 \u0915\
\u094B \u0935\u093F\u0938\u094D\u0925\u093E\u092A\u093F\u0924 \u0915\u0930 \u0926\
\u093F\u092F\u093E; \u0938\u092D\u0940 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\
\u094B\u0902 \u0915\u0947 \u092C\u0940\u091A \u092A\u0935\u093F\u0924\u094D\u0930\
\ \u092C\u0902\u0927\u0928\u094B\u0902 \u0915\u094B \u0924\u094B\u0921\u093C\
\ \u0926\u093F\u092F\u093E, \u0938\u092E\u092F \u0915\u093E \u0935\u093F\u0930\
\u094B\u0927 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u092A\
\u0930\u094D\u092F\u093E\u092A\u094D\u0924 \u092E\u091C\u092C\u0942\u0924; \u091C\
\u094B \u0915\u093F \u0907\u0928 \u0928\u0935\u092A\u094D\u0930\u0935\u0930\u094D\
\u0924\u0915\u094B\u0902 \u0926\u094D\u0935\u093E\u0930\u093E \u092A\u094D\u0930\
\u0926\u0924\u094D\u0924 \u0915\u0941\u091B \u0932\u093E\u092D\u094B\u0902 \u0915\
\u0947 \u092C\u093E\u0930\u0947 \u092E\u0947\u0902 \u0915\u0939\u093E \u091C\
\u093E \u0938\u0915\u0924\u093E \u0939\u0948, \u0909\u0938\u0938\u0947 \u0915\
\u0939\u0940\u0902 \u0905\u0927\u093F\u0915 \u0939\u0948\u0964 \u0930\u093E\u091C\
\u093E \u0909\u0938\u0915\u0947 \u0926\u094D\u0935\u093E\u0930\u093E \u0909\u0928\
\ \u092A\u0930 \u0932\u0917\u093E\u090F \u0917\u090F \u0915\u0930\u094D\u0924\
\u0935\u094D\u092F\u094B\u0902 \u0915\u094B \u092A\u0942\u0930\u093E \u0915\u0930\
\u0947\u0902\u0917\u0947, \u091C\u093F\u0938\u0928\u0947 \u0909\u0928\u094D\u0939\
\u0947\u0902 \u0936\u0915\u094D\u0924\u093F \u0938\u094C\u0902\u092A\u0915\u0930\
, \u0909\u0928\u094D\u0939\u0947\u0902 \u0928\u094D\u092F\u093E\u092F \u0915\
\u0947 \u0930\u0916\u0930\u0916\u093E\u0935 \u0914\u0930 \u0938\u092D\u0940\
\ \u0915\u0947 \u0905\u0927\u093F\u0915\u093E\u0930\u094B\u0902 \u0915\u0940\
\ \u0926\u0947\u0916\u092D\u093E\u0932 \u0915\u0930\u0928\u0947, \u0924\u094D\
\u0930\u0941\u091F\u093F \u0915\u0947 \u0930\u093E\u0938\u094D\u0924\u0947 \u0938\
\u0947 \u092C\u091A\u0928\u0947 \u0914\u0930 \u0926\u0943\u0922\u093C\u0924\u093E\
\ \u0938\u0947 \u091A\u0932\u0928\u0947 \u0915\u093E \u0928\u093F\u0930\u094D\
\u0926\u0947\u0936 \u0926\u093F\u092F\u093E \u0939\u0948\u0964 \u0938\u091A\u0964\
\ \u0938\u092E\u093E\u091C \u0915\u094B \u0906\u0902\u0926\u094B\u0932\u093F\
\u0924 \u0915\u0930\u0928\u0947 \u0935\u093E\u0932\u0947 \u091C\u0941\u0928\u0942\
\u0928 \u0938\u0947 \u092A\u0930\u0947, \u092F\u0939 \u092E\u0941\u0916\u094D\
\u092F \u0930\u0942\u092A \u0938\u0947 \u092A\u0930\u0940\u0915\u094D\u0937\u0923\
\ \u0915\u0947 \u0926\u093F\u0928\u094B\u0902 \u092E\u0947\u0902 \u0939\u0948\
\ \u0915\u093F \u0909\u0928\u094D\u0939\u0947\u0902 \u0905\u092A\u0928\u0947\
\ \u091D\u0942\u0920\u0947 \u0926\u093F\u0916\u093E\u0935\u0947 \u0915\u0940\
\ \u0935\u093E\u0938\u094D\u0924\u0935\u093F\u0915\u0924\u093E\u0913\u0902 \u0915\
\u094B \u0928\u0937\u094D\u091F \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\
\u093F\u090F \u0915\u0939\u093E \u091C\u093E\u0924\u093E \u0939\u0948, \u0914\
\u0930 \u0916\u0941\u0926 \u0915\u094B \u0935\u0948\u0938\u093E \u0939\u0940\
\ \u0926\u093F\u0916\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0915\
\u0939\u093E \u091C\u093E\u0924\u093E \u0939\u0948, \u091C\u0948\u0938\u093E\
\ \u0915\u093F \u0935\u0947 \u0939\u0948\u0902, \u092A\u093F\u0924\u093E \u0928\
\u0947 \u092A\u0930\u093F\u0935\u093E\u0930\u094B\u0902 \u0915\u0947 \u092E\u0941\
\u0916\u093F\u092F\u093E\u0913\u0902 \u0915\u0947 \u0905\u0927\u093F\u0915\u093E\
\u0930 \u0938\u0947 \u0938\u0902\u092C\u0902\u0927\u093F\u0924 \u0905\u0927\u093F\
\u0915\u093E\u0930 \u0915\u0947 \u0938\u093E\u0925 \u0928\u093F\u0935\u0947\u0936\
\ \u0915\u093F\u092F\u093E \u0939\u0948, \u092F\u0939 \u0938\u093E\u092C\u093F\
\u0924 \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0915\u093F\
, \u0936\u094B\u0915 \u0915\u0947 \u0926\u093F\u0928\u094B\u0902 \u092E\u0947\
\u0902, \u0935\u0947 \u0928\u094D\u092F\u093E\u092F\u092A\u0942\u0930\u094D\u0923\
, \u092C\u0941\u0926\u094D\u0927\u093F\u092E\u093E\u0928 \u0914\u0930 \u0907\
\u0938\u0932\u093F\u090F \u092E\u091C\u092C\u0942\u0924 \u0939\u094B\u0928\u093E\
\ \u091C\u093E\u0928\u0924\u0947 \u0939\u0948\u0902, \u0914\u0930 \u0935\u0947\
\ \u0909\u0928 \u0932\u094B\u0917\u094B\u0902 \u0915\u094B \u0928\u0939\u0940\
\u0902 \u091B\u094B\u0921\u093C\u0947\u0902\u0917\u0947 \u091C\u093F\u0928 \u092A\
\u0930 \u0909\u0928\u094D\u0939\u0947\u0902 \u0936\u093E\u0938\u0928 \u0915\u0930\
\u0928\u093E \u091A\u093E\u0939\u093F\u090F \u0924\u093E\u0915\u093F \u0935\u0947\
\ \u0917\u0941\u091F\u094B\u0902 \u0915\u093E \u0916\u0947\u0932 \u092C\u0928\
\ \u0938\u0915\u0947\u0902, \u0924\u094D\u0930\u0941\u091F\u093F \u0914\u0930\
\ \u0909\u0938\u0915\u0947 \u092A\u0930\u093F\u0923\u093E\u092E \u092D\u0941\
\u0917\u0924 \u0938\u0915\u0947\u0902, \u091C\u094B \u0905\u0935\u0936\u094D\
\u092F \u0939\u0940 \u0939\u094B\u0902\u0917\u0947 \u0907\u0938\u092E\u0947\u0902\
\ \u0938\u092E\u093E\u091C \u0915\u093E \u0928\u0941\u0915\u0938\u093E\u0928\
\ \u0936\u093E\u092E\u093F\u0932 \u0939\u0948\u0964 \u0930\u093E\u091C\u093E\
\u0913\u0902 \u0915\u0947 \u092C\u0940\u091A \u090F\u0915\u0924\u093E \u0909\
\u0938 \u0928\u0940\u0924\u093F \u0915\u093E \u0906\u0927\u093E\u0930 \u0939\
\u0948 \u091C\u093F\u0938\u0915\u093E \u0905\u092C \u0938\u092E\u093E\u091C\
\ \u0915\u094B \u092A\u0942\u0930\u094D\u0923 \u0935\u093F\u0928\u093E\u0936\
\ \u0938\u0947 \u092C\u091A\u093E\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F\
\ \u092A\u093E\u0932\u0928 \u0915\u093F\u092F\u093E \u091C\u093E\u0928\u093E\
\ \u091A\u093E\u0939\u093F\u090F\u0964 . . . \u0909\u0928\u094D\u0939\u0947\u0902\
\ \u092A\u093E\u0930\u094D\u091F\u093F\u092F\u094B\u0902 \u0915\u094B \u0926\
\u0940 \u0917\u0908 \u0930\u093F\u092F\u093E\u092F\u0924\u094B\u0902 \u0915\u094B\
\ \u0905\u092A\u0928\u0947 \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0932\
\u093F\u090F \u0915\u0940 \u091C\u093E\u0928\u0947 \u0935\u093E\u0932\u0940\
\ \u092D\u0932\u093E\u0908 \u0915\u0947 \u0938\u093E\u0925 \u092D\u094D\u0930\
\u092E\u093F\u0924 \u0928\u0939\u0940\u0902 \u0915\u0930\u0928\u093E \u091A\u093E\
\u0939\u093F\u090F, \u091C\u093F\u0938\u092E\u0947\u0902 \u092A\u094D\u0930\u0936\
\u093E\u0938\u0928 \u0915\u0940 \u0910\u0938\u0940 \u0936\u093E\u0916\u093E\u0913\
\u0902 \u0915\u094B \u0909\u0928\u0915\u0940 \u092E\u093E\u0928\u094D\u092F\u0924\
\u093E \u092A\u094D\u0930\u093E\u092A\u094D\u0924 \u0906\u0935\u0936\u094D\u092F\
\u0915\u0924\u093E\u0913\u0902 \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930\
\ \u0938\u0902\u0936\u094B\u0927\u093F\u0924 \u0915\u0930\u0928\u093E \u091A\
\u093E\u0939\u093F\u090F, \u091C\u093F\u0928\u0915\u0940 \u0909\u0928\u094D\u0939\
\u0947\u0902 \u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E \u0939\u0948\u0964\
\ \u0909\u0928\u094D\u0939\u0947\u0902 \u0928\u094D\u092F\u093E\u092F\u0938\u0902\
\u0917\u0924, \u0932\u0947\u0915\u093F\u0928 \u092E\u091C\u092C\u0942\u0924\
\ \u0939\u094B\u0928\u0947 \u0926\u094B; \u0932\u093E\u092D\u0915\u093E\u0930\
\u0940, \u0932\u0947\u0915\u093F\u0928 \u0938\u0916\u094D\u0924. \u0909\u0928\
\u094D\u0939\u0947\u0902 \u0927\u093E\u0930\u094D\u092E\u093F\u0915 \u0938\u093F\
\u0926\u094D\u0927\u093E\u0902\u0924\u094B\u0902 \u0915\u094B \u0909\u0928\u0915\
\u0940 \u0938\u0902\u092A\u0942\u0930\u094D\u0923 \u0936\u0941\u0926\u094D\u0927\
\u0924\u093E \u092E\u0947\u0902 \u092C\u0928\u093E\u090F \u0930\u0916\u0928\u0947\
\ \u0926\u0947\u0902, \u0914\u0930 \u0938\u093E\u092E\u093E\u091C\u093F\u0915\
\ \u0905\u0928\u0941\u092C\u0902\u0927 \u092F\u093E \u092E\u0942\u0930\u094D\
\u0916 \u0938\u0902\u092A\u094D\u0930\u0926\u093E\u092F\u0935\u093E\u0926\u093F\
\u092F\u094B\u0902 \u0915\u0947 \u0926\u0943\u0937\u094D\u091F\u093F\u0915\u094B\
\u0923 \u0915\u0947 \u0905\u0928\u0941\u0938\u093E\u0930 \u0935\u093F\u0936\u094D\
\u0935\u093E\u0938 \u092A\u0930 \u0939\u092E\u0932\u093E \u0915\u0930\u0928\u0947\
\ \u0914\u0930 \u0928\u0948\u0924\u093F\u0915\u0924\u093E \u0915\u0940 \u0935\
\u094D\u092F\u093E\u0916\u094D\u092F\u093E \u0915\u0930\u0928\u0947 \u0915\u0940\
\ \u0905\u0928\u0941\u092E\u0924\u093F \u0928 \u0926\u0947\u0902\u0964 \u0909\
\u0928\u094D\u0939\u0947\u0902 \u0917\u0941\u092A\u094D\u0924 \u0938\u092E\u093E\
\u091C\u094B\u0902 \u0915\u093E \u0926\u092E\u0928 \u0915\u0930\u0928\u0947\
\ \u0926\u094B; \u0938\u092E\u093E\u091C \u0915\u093E \u0935\u0939 \u0917\u0948\
\u0902\u0917\u094D\u0930\u0940\u0928. \u2014\u0915\u094D\u0932\u0947\u092E\u0947\
\u0902\u0938 \u0935\u0949\u0928 \u092E\u0947\u091F\u094D\u091F\u0930\u094D\u0928\
\u093F\u091A, \u092A\u0949\u0932\u093F\u091F\u093F\u0915\u0932 \u0915\u0928\u094D\
\u092B\u0947\u0936\u0928 \u0911\u092B \u092B\u0947\u0925, 1820 \u0909\u092A\u0930\
\u094B\u0915\u094D\u0924 \u0926\u0938\u094D\u0924\u093E\u0935\u0947\u091C\u093C\
\ \u092E\u0947\u0902 \u092E\u0947\u091F\u094D\u091F\u0930\u094D\u0928\u093F\u091A\
\ \u0926\u094D\u0935\u093E\u0930\u093E \u0935\u094D\u092F\u0915\u094D\u0924\
\ \u0915\u093F\u090F \u0917\u090F \u0921\u0930 \u0915\u093E \u0938\u092C\u0938\
\u0947 \u092C\u0921\u093C\u093E \u0915\u093E\u0930\u0923 \u0928\u093F\u092E\u094D\
\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\u0947\u0902 \u0938\u0947 \u0915\u094C\
\u0928 \u0938\u093E \u0925\u093E?"
- input_choice_list:
A: "\u092A\u0942\u0902\u091C\u0940\u0935\u093E\u0926\u0940"
B: "\u0935\u0948\u091C\u094D\u091E\u093E\u0928\u093F\u0915"
C: "\u0915\u092E\u094D\u092F\u0941\u0928\u093F\u0938\u094D\u091F"
D: "\u0905\u0938\u094D\u0924\u093F\u0924\u094D\u0935\u0935\u093E\u0926\u0940"
input_correct_responses:
- C
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 \u0930\u0942\u0938 \u092E\u0947\u0902\
\ \u0915\u0941\u091B \u092D\u0940 \u0920\u0940\u0915 \u0928\u0939\u0940\u0902\
\ \u091A\u0932 \u0930\u0939\u093E \u0925\u093E, \u0914\u0930 [\u0938\u0949\u0935\
\u0930\u093F\u0928] \u091C\u094B \u0938\u092E\u093E\u091A\u093E\u0930 \u092E\
\u093F\u0932\u093E \u0925\u093E, \u0909\u0938\u0938\u0947 \u0928\u093F\u0930\
\u093E\u0936\u093E \u092E\u0947\u0902 \u0925\u093E\u0964 \u0909\u0928\u0915\u0947\
\ \u0938\u092D\u0940 \u092A\u0941\u0930\u093E\u0928\u0947 \u0938\u093E\u0925\
\u0940 \u0930\u093E\u091C\u0928\u0947\u0924\u093E\u0913\u0902 \u0915\u0940 \u0913\
\u0930 \u0930\u0941\u0916 \u0915\u0930 \u0930\u0939\u0947 \u0925\u0947; \u092A\
\u094D\u0930\u0938\u093F\u0926\u094D\u0927 \u0928\u093F\u0939\u093F\u0932\u093F\
\u0938\u094D\u091F \u091C\u093F\u0928\u094D\u0939\u094B\u0902\u0928\u0947 \u092F\
\u0942\u0930\u094B\u092A \u0915\u094B \u0915\u093E\u0902\u092A \u0926\u093F\u092F\
\u093E - \u0917\u094D\u0930\u093E\u092E\u0940\u0923 \u092A\u0941\u091C\u093E\
\u0930\u093F\u092F\u094B\u0902 \u0915\u0947 \u092C\u0947\u091F\u0947, \u0928\
\u093F\u092E\u094D\u0928 \u092E\u0927\u094D\u092F\u092E \u0935\u0930\u094D\u0917\
\ \u0915\u0947, \u0935\u094D\u092F\u093E\u092A\u093E\u0930\u093F\u092F\u094B\
\u0902 \u0915\u0947 - \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u0940\u092F\
\ \u092E\u0941\u0915\u094D\u0924\u093F \u0915\u0947 \u0935\u093F\u091A\u093E\
\u0930 \u0938\u0947 \u090A\u092A\u0930 \u0928\u0939\u0940\u0902 \u0909\u0920\
\ \u0938\u0915\u0947, \u0914\u0930 \u0910\u0938\u093E \u0932\u0917\u0924\u093E\
\ \u0925\u093E \u0915\u093F \u0926\u0941\u0928\u093F\u092F\u093E \u0915\u093E\
\ \u0909\u0926\u094D\u0927\u093E\u0930 \u0939\u094B \u091C\u093E\u090F\u0917\
\u093E - \u091C\u092C \u0909\u0928\u094D\u0939\u094B\u0902\u0928\u0947 \u0905\
\u092A\u0928\u0947 \u0928\u093F\u0930\u0902\u0915\u0941\u0936 \u0915\u094B \u092E\
\u093E\u0930 \u0921\u093E\u0932\u093E \u0925\u093E \u0914\u0930 ... "\u092E\
\u0942\u0930\u094D\u0916\u0924\u093E! \u0935\u0947 \u0905\u092A\u0928\u0940\
\ \u092E\u0942\u0930\u094D\u0916\u0924\u093E \u0938\u0947 \u0915\u092D\u0940\
\ \u092C\u093E\u0939\u0930 \u0928\u0939\u0940\u0902 \u0928\u093F\u0915\u0932\
\u0947\u0902\u0917\u0947\u0964" \u092B\u093F\u0930 \u0909\u0938\u0928\u0947\
\ \u0905\u092A\u0928\u0940 \u0906\u0935\u093E\u091C\u093C \u0914\u0930 \u0927\
\u0940\u092E\u0940 \u0915\u0930\u0924\u0947 \u0939\u0941\u090F \u0915\u0941\u091B\
\ \u0915\u0921\u093C\u0935\u0947 \u0936\u092C\u094D\u0926\u094B\u0902 \u092E\
\u0947\u0902 \u092D\u093E\u0908\u091A\u093E\u0930\u0947 \u0915\u0947 \u0905\u092A\
\u0928\u0947 \u092A\u0941\u0930\u093E\u0928\u0947 \u0938\u092A\u0928\u0947 \u0915\
\u093E \u0935\u0930\u094D\u0923\u0928 \u0915\u093F\u092F\u093E\u0964 \u0909\u0938\
\u0928\u0947 \u0905\u092A\u0928\u093E \u092A\u0926 \u0914\u0930 \u0905\u092A\
\u0928\u093E \u092D\u093E\u0917\u094D\u092F \u0924\u094D\u092F\u093E\u0917 \u0926\
\u093F\u092F\u093E \u0925\u093E; \u0935\u0939 \u0936\u094D\u0930\u092E\u093F\
\u0915\u094B\u0902 \u0915\u0947 \u092C\u0940\u091A \u0917\u092F\u0947 \u0925\
\u0947, \u0915\u0947\u0935\u0932 \u0907\u0938 \u0906\u0936\u093E \u0938\u0947\
\ \u0915\u093F \u0906\u0916\u093C\u093F\u0930\u0915\u093E\u0930 \u0906\u092E\
\ \u0924\u094C\u0930 \u092A\u0930 \u0936\u094D\u0930\u092E\u093F\u0915\u094B\
\u0902 \u0915\u0947 \u090F\u0915 \u0928\u092F\u0947 \u0938\u092E\u093E\u091C\
\ \u0915\u0940 \u0928\u0940\u0902\u0935 \u092A\u0921\u093C\u0947\u0964 \u0909\
\u0938\u0915\u0940 \u091C\u0947\u092C\u094B\u0902 \u0915\u093E \u0938\u093E\u0930\
\u093E \u092A\u0948\u0938\u093E \u092C\u0939\u0941\u0924 \u092A\u0939\u0932\u0947\
\ \u0939\u0940 \u092C\u0938\u094D\u0924\u0940 \u0915\u0947 \u0932\u094B\u0917\
\u094B\u0902 \u0915\u0947 \u092A\u093E\u0938 \u091A\u0932\u093E \u0917\u092F\
\u093E \u0925\u093E; \u0935\u0939 \u0915\u094B\u0932\u093F\u092F\u0930\u094D\
\u0938 \u0915\u0947 \u0938\u093E\u0925 \u090F\u0915 \u092D\u093E\u0908 \u0915\
\u0940 \u0924\u0930\u0939 \u0915\u094B\u092E\u0932 \u0925\u093E, \u0909\u0928\
\u0915\u0947 \u0938\u0902\u0926\u0947\u0939 \u092A\u0930 \u092E\u0941\u0938\u094D\
\u0915\u0941\u0930\u093E\u0924\u093E \u0925\u093E, \u0905\u092A\u0928\u0947\
\ \u0936\u093E\u0902\u0924 \u0915\u093E\u092E\u0915\u093E\u091C\u0940 \u0924\
\u0930\u0940\u0915\u094B\u0902 \u0914\u0930 \u092C\u093E\u0924\u091A\u0940\u0924\
\ \u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u0905\u092A\u0928\u0940 \u0928\
\u093E\u092A\u0938\u0902\u0926\u0917\u0940 \u0938\u0947 \u0909\u0928\u094D\u0939\
\u0947\u0902 \u091C\u0940\u0924 \u0932\u0947\u0924\u093E \u0925\u093E\u0964\
\ \u0932\u0947\u0915\u093F\u0928 \u0928\u093F\u0936\u094D\u091A\u092F \u0939\
\u0940 \u0938\u0902\u0932\u092F\u0928 \u0928\u0939\u0940\u0902 \u0939\u0941\u0906\
\ \u0925\u093E\u0964 \u0909\u0938\u0915\u0940 \u0906\u0935\u093E\u091C\u093C\
\ \u092C\u0926\u0932 \u0917\u0908, \u0909\u0938\u0915\u0940 \u0906\u0901\u0916\
\u0947\u0902 \u091A\u092E\u0915 \u0909\u0920\u0940\u0902, \u0909\u0938\u0928\
\u0947 \u0909\u0928\u094D\u0939\u0947\u0902 \u090F\u091F\u093F\u092F\u0947\u0928\
\ \u092A\u0930 \u0915\u0947\u0902\u0926\u094D\u0930\u093F\u0924 \u0915\u093F\
\u092F\u093E, \u0938\u0940\u0927\u0947 \u0909\u0938\u0947 \u0938\u0902\u092C\
\u094B\u0927\u093F\u0924 \u0915\u093F\u092F\u093E: "\u0905\u092C, \u0915\
\u094D\u092F\u093E \u0906\u092A \u0907\u0938\u0947 \u0938\u092E\u091D\u0924\u0947\
\ \u0939\u0948\u0902? \u092E\u093E\u0930\u094D\u0938\u093F\u0932\u0947 \u0915\
\u0947 \u092F\u0947 \u0939\u0948\u091F\u0935\u0930\u094D\u0915\u0930\u094D\u0938\
\ \u091C\u093F\u0928\u094D\u0939\u094B\u0902\u0928\u0947 \u090F\u0915 \u0932\
\u093E\u0916 \u092B\u093C\u094D\u0930\u0948\u0902\u0915 \u0915\u093E \u092E\u0939\
\u093E\u0928 \u0932\u0949\u091F\u0930\u0940 \u092A\u0941\u0930\u0938\u094D\u0915\
\u093E\u0930 \u091C\u0940\u0924\u093E \u0939\u0948, \u0924\u0941\u0930\u0902\
\u0924 \u091A\u0932\u0947 \u0917\u090F \u0914\u0930 \u0928\u093F\u0935\u0947\
\u0936 \u0915\u093F\u092F\u093E \u092F\u0939, \u092F\u0939 \u0918\u094B\u0937\
\u0923\u093E \u0915\u0930\u0924\u0947 \u0939\u0941\u090F \u0915\u093F \u0935\
\u0947 \u092C\u093F\u0928\u093E \u0915\u0941\u091B \u0915\u093F\u090F \u091C\
\u0940\u0935\u093F\u0924 \u0930\u0939\u0928\u0947 \u0935\u093E\u0932\u0947 \u0939\
\u0948\u0902! \u0939\u093E\u0902, \u092F\u0939 \u0906\u092A\u0915\u093E \u0935\
\u093F\u091A\u093E\u0930 \u0939\u0948, \u0906\u092A \u0938\u092D\u0940 \u092B\
\u094D\u0930\u093E\u0902\u0938\u0940\u0938\u0940 \u0915\u093E\u092E\u0917\u093E\
\u0930; \u0906\u092A \u0915\u093F\u0938\u0940 \u0916\u091C\u093E\u0928\u0947\
\ \u0915\u093E \u092A\u0924\u093E \u0932\u0917\u093E\u0928\u093E \u091A\u093E\
\u0939\u0924\u0947 \u0939\u0948\u0902 \u0924\u093E\u0915\u093F \u092C\u093E\u0926\
\ \u092E\u0947\u0902 \u0907\u0938\u0947 \u0915\u093F\u0938\u0940 \u0906\u0932\
\u0938\u0940, \u0938\u094D\u0935\u093E\u0930\u094D\u0925\u0940 \u0915\u094B\u0928\
\u0947 \u092E\u0947\u0902 \u0905\u0915\u0947\u0932\u0947 \u0916\u093E \u0938\
\u0915\u0947\u0902\u0964 \u0906\u092A \u091A\u093F\u0932\u094D\u0932\u093E \u0938\
\u0915\u0924\u0947 \u0939\u0948\u0902 \u0906\u092A \u0905\u092E\u0940\u0930\u094B\
\u0902 \u0915\u0947 \u0916\u093F\u0932\u093E\u092B \u091A\u093E\u0939\u0947\
\ \u091C\u093F\u0924\u0928\u093E \u091A\u093E\u0939\u0947\u0902, \u0932\u0947\
\u0915\u093F\u0928 \u0906\u092A\u092E\u0947\u0902 \u0907\u0924\u0928\u0940 \u0939\
\u093F\u092E\u094D\u092E\u0924 \u0928\u0939\u0940\u0902 \u0939\u0948 \u0915\u093F\
\ \u0906\u092A \u0917\u0930\u0940\u092C\u094B\u0902 \u0915\u094B \u0935\u0939\
\ \u092A\u0948\u0938\u093E \u0932\u094C\u091F\u093E \u0938\u0915\u0947\u0902\
\ \u091C\u094B \u0915\u093F\u0938\u094D\u092E\u0924 \u0906\u092A\u0915\u094B\
\ \u0926\u0947\u0924\u0940 \u0939\u0948\u0964 \u091C\u092C \u0924\u0915 \u0906\
\u092A\u0915\u0947 \u092A\u093E\u0938 \u0915\u0941\u091B \u092D\u0940 \u0939\
\u0948, \u0906\u092A \u0915\u092D\u0940 \u092D\u0940 \u0916\u0941\u0936\u0940\
\ \u0915\u0947 \u0932\u093E\u092F\u0915 \u0928\u0939\u0940\u0902 \u0939\u094B\
\u0902\u0917\u0947, \u0914\u0930 \u092C\u0941\u0930\u094D\u091C\u0941\u0906\
\ \u0935\u0930\u094D\u0917 \u0915\u0947 \u092A\u094D\u0930\u0924\u093F \u0906\
\u092A\u0915\u0940 \u0928\u092B\u0930\u0924 \u092C\u0922\u093C\u0924\u0940 \u0930\
\u0939\u0947\u0917\u0940 \u0915\u0947\u0935\u0932 \u0909\u0928\u0915\u0947 \u0938\
\u094D\u0925\u093E\u0928 \u092A\u0930 \u0938\u094D\u0935\u092F\u0902 \u092C\u0941\
\u0930\u094D\u091C\u0941\u0906 \u092C\u0928\u0928\u0947 \u0915\u0940 \u0915\u094D\
\u0930\u094B\u0927\u092A\u0942\u0930\u094D\u0923 \u0907\u091A\u094D\u091B\u093E\
\ \u0938\u0947\u0964" \u090F\u092E\u093F\u0932 \u091C\u093C\u094B\u0932\
\u093E, \u092B\u094D\u0930\u093E\u0902\u0938\u0940\u0938\u0940 \u0932\u0947\u0916\
\u0915, \u091C\u0930\u094D\u092E\u093F\u0928\u0932, 1885 \u092F\u0939 \u092A\
\u0930\u093F\u091A\u094D\u091B\u0947\u0926 \u0936\u094D\u0930\u092E\u093F\u0915\
\ \u0935\u0930\u094D\u0917\u094B\u0902 \u0915\u0947 \u0915\u0932\u094D\u092F\
\u093E\u0923 \u0915\u0947 \u0932\u093F\u090F \u092A\u094D\u0930\u0924\u094D\u092F\
\u0915\u094D\u0937 \u091A\u093F\u0902\u0924\u093E \u0915\u094B \u092A\u094D\u0930\
\u0926\u0930\u094D\u0936\u093F\u0924 \u0915\u0930\u0924\u093E \u0939\u0948 \u091C\
\u094B \u0906\u092E \u0924\u094C\u0930 \u092A\u0930 \u0915\u093F\u0938 \u0906\
\u0902\u0926\u094B\u0932\u0928 \u0915\u093E \u0939\u093F\u0938\u094D\u0938\u093E\
\ \u0925\u093E?"
- input_choice_list:
A: "\u0909\u0928\u094D\u0939\u094B\u0902\u0928\u0947 \u0905\u0902\u0917\u094D\
\u0930\u0947\u091C\u0940 \u091C\u0939\u093E\u091C\u0930\u093E\u0928\u0940\
\ \u0914\u0930 \u0935\u093F\u0926\u0947\u0936\u0940 \u0935\u094D\u092F\u093E\
\u092A\u093E\u0930 \u0915\u0947 \u0935\u093F\u0915\u093E\u0938 \u0915\u0947\
\ \u0932\u093F\u090F \u0909\u0924\u094D\u092A\u094D\u0930\u0947\u0930\u0915\
\ \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902 \u0915\u093E\u092E \u0915\
\u093F\u092F\u093E, \u0932\u0947\u0915\u093F\u0928 \u0938\u0924\u094D\u0930\
\u0939\u0935\u0940\u0902 \u0936\u0924\u093E\u092C\u094D\u0926\u0940 \u092E\
\u0947\u0902 \u0921\u091A\u094B\u0902 \u0915\u0940 \u0938\u0902\u092D\u093E\
\u0935\u0928\u093E\u0913\u0902 \u0915\u094B \u0938\u0940\u092E\u093F\u0924\
\ \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F \u0915\u0941\u091B\
\ \u0928\u0939\u0940\u0902 \u0915\u093F\u092F\u093E\u0964"
B: "\u0935\u0947 \u0921\u091A \u0905\u0930\u094D\u0925\u0935\u094D\u092F\u0935\
\u0938\u094D\u0925\u093E \u0915\u0947 \u0932\u093F\u090F \u0932\u0917\u092D\
\u0917 \u0924\u093E\u0924\u094D\u0915\u093E\u0932\u093F\u0915 \u0915\u0920\
\u093F\u0928\u093E\u0907\u092F\u093E\u0901 \u0932\u0947\u0915\u0930 \u0906\
\u090F \u0915\u094D\u092F\u094B\u0902\u0915\u093F \u0935\u093F\u0926\u0947\
\u0936\u0940 \u0935\u094D\u092F\u093E\u092A\u093E\u0930 \u092A\u0930 \u0909\
\u0928\u0915\u093E \u092A\u094D\u0930\u092D\u0941\u0924\u094D\u0935 \u0936\
\u0940\u0918\u094D\u0930 \u0939\u0940 \u0938\u092E\u093E\u092A\u094D\u0924\
\ \u0939\u094B \u0917\u092F\u093E\u0964"
C: "\u0938\u094D\u091F\u0941\u0905\u0930\u094D\u091F\u094D\u0938 \u0915\u0940\
\ \u092C\u0939\u093E\u0932\u0940 \u0915\u0947 \u0926\u094C\u0930\u093E\u0928\
\ \u0909\u0928\u094D\u0939\u0947\u0902 \u0930\u0926\u094D\u0926 \u0915\u0930\
\ \u0926\u093F\u092F\u093E \u0917\u092F\u093E \u0925\u093E \u0915\u094D\u092F\
\u094B\u0902\u0915\u093F \u0935\u0947 \u0921\u091A\u094B\u0902 \u0915\u0947\
\ \u0938\u093E\u0925 \u0938\u093E\u092E\u093E\u0928\u094D\u092F \u0930\u093E\
\u091C\u0928\u092F\u093F\u0915 \u0938\u0902\u092C\u0902\u0927 \u091A\u093E\
\u0939\u0924\u0947 \u0925\u0947 \u0924\u093E\u0915\u093F \u092F\u0941\u0926\
\u094D\u0927 \u0915\u0947 \u0932\u093F\u090F \u0938\u0902\u0938\u0926 \u0915\
\u0940 \u0935\u093F\u0924\u094D\u0924\u0940\u092F \u0938\u0939\u093E\u092F\
\u0924\u093E \u0915\u0940 \u0906\u0935\u0936\u094D\u092F\u0915\u0924\u093E\
\ \u0928 \u092A\u0921\u093C\u0947\u0964"
D: "\u0909\u0928\u0915\u0947 \u0915\u093E\u0930\u0923 \u0907\u0902\u0917\u094D\
\u0932\u0948\u0902\u0921 \u0914\u0930 \u0928\u0940\u0926\u0930\u0932\u0948\
\u0902\u0921 \u0915\u0947 \u092C\u0940\u091A \u0932\u0917\u092D\u0917 \u090F\
\u0915 \u0936\u0924\u093E\u092C\u094D\u0926\u0940 \u0924\u0915 \u092C\u093E\
\u0930-\u092C\u093E\u0930 \u092F\u0941\u0926\u094D\u0927 \u0939\u094B\u0924\
\u093E \u0930\u0939\u093E, \u091C\u094B \u0905\u092E\u0947\u0930\u093F\u0915\
\u0940 \u0938\u094D\u0935\u0924\u0902\u0924\u094D\u0930\u0924\u093E \u0915\
\u0947 \u092C\u093E\u0926 \u0924\u0915 \u0938\u092E\u093E\u092A\u094D\u0924\
\ \u0928\u0939\u0940\u0902 \u0939\u094B\u0917\u093E\u0964"
input_correct_responses:
- A
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 \u0928\u0940\u091A\u0947 \u0926\u093F\u090F\
\ \u0917\u090F \u0905\u0902\u0936 1651 \u0915\u0947 \u0928\u0947\u0935\u093F\
\u0917\u0947\u0936\u0928 \u0905\u0927\u093F\u0928\u093F\u092F\u092E\u094B\u0902\
\ \u0938\u0947 \u0939\u0948\u0902\u0964 [\u090F] \u0926\u093F\u0938\u0902\u092C\
\u0930 \u0915\u0947 \u092A\u0939\u0932\u0947 \u0926\u093F\u0928 \u0915\u0947\
\ \u092C\u093E\u0926, \u090F\u0915 \u0939\u091C\u093E\u0930 \u091B\u0939 \u0938\
\u094C \u0907\u0915\u094D\u092F\u093E\u0935\u0928, \u0914\u0930 \u0909\u0938\
\u0915\u0947 \u092C\u093E\u0926 \u0938\u0947, \u090F\u0936\u093F\u092F\u093E\
, \u0905\u092B\u094D\u0930\u0940\u0915\u093E \u0915\u0947 \u0935\u093F\u0915\
\u093E\u0938, \u0909\u0924\u094D\u092A\u093E\u0926\u0928 \u092F\u093E \u0928\
\u093F\u0930\u094D\u092E\u093E\u0923 \u0915\u093E \u0915\u094B\u0908 \u092D\u0940\
\ \u0938\u093E\u092E\u093E\u0928 \u092F\u093E \u0935\u0938\u094D\u0924\u0941\
\ \u0928\u0939\u0940\u0902 \u092F\u093E \u0905\u092E\u0947\u0930\u093F\u0915\
\u093E, \u092F\u093E \u0909\u0938\u0915\u0947 \u0915\u093F\u0938\u0940 \u092D\
\u093E\u0917 \u0915\u093E; \u092F\u093E \u0909\u0928\u0938\u0947 \u0938\u0902\
\u092C\u0902\u0927\u093F\u0924 \u0915\u093F\u0938\u0940 \u092D\u0940 \u0926\u094D\
\u0935\u0940\u092A, \u092F\u093E \u091C\u094B \u0909\u0928 \u0938\u094D\u0925\
\u093E\u0928\u094B\u0902 \u0915\u0947 \u0938\u093E\u092E\u093E\u0928\u094D\u092F\
\ \u092E\u093E\u0928\u091A\u093F\u0924\u094D\u0930\u094B\u0902 \u092F\u093E\
\ \u0915\u093E\u0930\u094D\u0921\u094B\u0902 \u092E\u0947\u0902 \u0935\u0930\
\u094D\u0923\u093F\u0924 \u092F\u093E \u0928\u093F\u0930\u094D\u0927\u093E\u0930\
\u093F\u0924 \u0939\u0948\u0902, \u0938\u093E\u0925 \u0939\u0940 \u0905\u0928\
\u094D\u092F \u0905\u0902\u0917\u094D\u0930\u0947\u091C\u0940 \u092C\u093E\u0917\
\u093E\u0928\u094B\u0902 \u0915\u094B \u0907\u0902\u0917\u094D\u0932\u0948\u0902\
\u0921 \u0915\u0947 \u0907\u0938 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092E\
\u0902\u0921\u0932 \u092E\u0947\u0902 \u092F\u093E \u0906\u092F\u0930\u0932\u0948\
\u0902\u0921 \u092E\u0947\u0902 \u0906\u092F\u093E\u0924 \u092F\u093E \u0932\
\u093E\u092F\u093E \u091C\u093E\u090F\u0917\u093E, \u092F\u093E \u0907\u0938\
\ \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092E\u0902\u0921\u0932 \u0938\u0947\
\ \u0938\u0902\u092C\u0902\u0927\u093F\u0924 \u0915\u094B\u0908 \u092D\u0940\
\ \u0905\u0928\u094D\u092F \u092D\u0942\u092E\u093F, \u0926\u094D\u0935\u0940\
\u092A, \u092C\u093E\u0917\u093E\u0928 \u092F\u093E \u0915\u094D\u0937\u0947\
\u0924\u094D\u0930, \u092F\u093E \u0909\u0928\u0915\u0947 \u0915\u092C\u094D\
\u091C\u0947 \u092E\u0947\u0902, \u0915\u093F\u0938\u0940 \u092D\u0940 \u0905\
\u0928\u094D\u092F \u091C\u0939\u093E\u091C \u092F\u093E \u091C\u0939\u093E\u091C\
\u094B\u0902, \u091C\u0939\u093E\u091C \u092F\u093E \u091C\u0939\u093E\u091C\
\u094B\u0902 \u092E\u0947\u0902, \u0932\u0947\u0915\u093F\u0928 \u0915\u0947\
\u0935\u0932 \u0910\u0938\u0947 \u092E\u0947\u0902 \u091C\u094B \u0935\u093E\
\u0938\u094D\u0924\u0935 \u092E\u0947\u0902 \u0914\u0930 \u0927\u094B\u0916\u093E\
\u0927\u0921\u093C\u0940 \u0915\u0947 \u092C\u093F\u0928\u093E \u0915\u0947\u0935\
\u0932 \u0907\u0938 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092E\u0902\u0921\
\u0932 \u0915\u0947 \u0932\u094B\u0917\u094B\u0902 \u0915\u0947 \u0939\u0948\
\u0902 , \u092F\u093E \u0909\u0938\u0915\u0947 \u092C\u093E\u0917\u093E\u0928\
, \u0909\u0938\u0915\u0947 \u092E\u093E\u0932\u093F\u0915 \u092F\u093E \u0938\
\u0939\u0940 \u092E\u093E\u0932\u093F\u0915 \u0915\u0947 \u0930\u0942\u092A\
\ \u092E\u0947\u0902; \u0914\u0930 \u091C\u093F\u0938\u0915\u0947 \u0938\u094D\
\u0935\u093E\u092E\u0940 \u0914\u0930 \u0928\u093E\u0935\u093F\u0915 \u092D\u0940\
\ \u0907\u0938 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092E\u0902\u0921\u0932\
\ \u0915\u0947 \u0932\u094B\u0917\u094B\u0902 \u092E\u0947\u0902 \u0938\u0947\
\ \u0939\u0948\u0902, \u0907\u0938 \u0905\u0927\u093F\u0928\u093F\u092F\u092E\
\ \u0915\u0947 \u0935\u093F\u092A\u0930\u0940\u0924 \u0906\u092F\u093E\u0924\
\ \u0915\u093F\u090F \u091C\u093E\u0928\u0947 \u0935\u093E\u0932\u0947 \u0938\
\u092D\u0940 \u0938\u093E\u092E\u093E\u0928\u094B\u0902 \u0915\u0940 \u091C\u092C\
\u094D\u0924\u0940 \u0914\u0930 \u0939\u093E\u0928\u093F \u0915\u0947 \u0926\
\u0902\u0921 \u0915\u0947 \u0924\u0939\u0924, , , , , [\u090F\u0928] \u0913\
\ \u092E\u093E\u0932 \u092F\u093E \u0935\u093F\u0915\u093E\u0938 \u0915\u0940\
\ \u0935\u0938\u094D\u0924\u0941\u090F\u0902, \u0909\u0924\u094D\u092A\u093E\
\u0926\u0928, \u092F\u093E \u092F\u0942\u0930\u094B\u092A \u0915\u093E \u0928\
\u093F\u0930\u094D\u092E\u093E\u0923, \u092F\u093E \u0909\u0938\u0915\u0947\
\ \u0915\u093F\u0938\u0940 \u092D\u0940 \u0939\u093F\u0938\u094D\u0938\u0947\
\ \u0915\u093E, \u0926\u093F\u0938\u0902\u092C\u0930 \u0915\u0947 \u092A\u0939\
\u0932\u0947 \u0926\u093F\u0928, \u090F\u0915 \u0939\u091C\u093E\u0930 \u091B\
\u0939 \u0938\u094C \u092A\u091A\u093E\u0938 \u0914\u0930 \u090F\u0915 \u0915\
\u0947 \u092C\u093E\u0926, \u0907\u0902\u0917\u094D\u0932\u0948\u0902\u0921\
\ \u0915\u0947 \u0907\u0938 \u0930\u093E\u0937\u094D\u091F\u094D\u0930\u092E\
\u0902\u0921\u0932, \u092F\u093E \u0907\u0938 \u0930\u093E\u0937\u094D\u091F\
\u094D\u0930\u092E\u0902\u0921\u0932 \u0938\u0947 \u0938\u0902\u092C\u0902\u0927\
\u093F\u0924 \u0915\u093F\u0938\u0940 \u092D\u0940 \u0905\u0928\u094D\u092F\
\ \u092D\u0942\u092E\u093F \u092F\u093E \u0915\u094D\u0937\u0947\u0924\u094D\
\u0930 \u092E\u0947\u0902 \u0906\u092F\u093E\u0924 \u092F\u093E \u0932\u093E\
\u092F\u093E \u091C\u093E\u090F\u0917\u093E, \u092F\u093E \u0909\u0928\u0915\
\u0947 \u0915\u092C\u094D\u091C\u0947 \u092E\u0947\u0902, \u0915\u093F\u0938\
\u0940 \u092D\u0940 \u091C\u0939\u093E\u091C \u092F\u093E \u091C\u0939\u093E\
\u091C\u094B\u0902, \u091C\u0939\u093E\u091C \u092F\u093E \u091C\u0939\u093E\
\u091C\u094B\u0902 \u092E\u0947\u0902 \u091C\u094B \u092D\u0940 \u0939\u094B\
, \u0932\u0947\u0915\u093F\u0928 \u0910\u0938\u0947 \u092E\u0947\u0902 \u091C\
\u094B \u0935\u093E\u0938\u094D\u0924\u0935 \u092E\u0947\u0902 \u0914\u0930\
\ \u0927\u094B\u0916\u093E\u0927\u0921\u093C\u0940 \u0915\u0947 \u092C\u093F\
\u0928\u093E \u0915\u0947\u0935\u0932 \u0907\u0938 \u0930\u093E\u0937\u094D\u091F\
\u094D\u0930\u092E\u0902\u0921\u0932 \u0915\u0947 \u0932\u094B\u0917\u094B\u0902\
\ \u0915\u0947 \u0939\u0948\u0902, \u0914\u0930 \u0915\u093F\u0938\u0940 \u0905\
\u0928\u094D\u092F \u092E\u0947\u0902 \u0928\u0939\u0940\u0902, \u0915\u0947\
\u0935\u0932 \u0910\u0938\u0947 \u0935\u093F\u0926\u0947\u0936\u0940 \u091C\u0939\
\u093E\u091C\u094B\u0902 \u0914\u0930 \u091C\u0939\u093E\u091C\u094B\u0902 \u0915\
\u094B \u091B\u094B\u0921\u093C\u0915\u0930 \u091C\u094B \u0935\u093E\u0938\u094D\
\u0924\u0935 \u092E\u0947\u0902 \u0939\u0948\u0902 \u0914\u0930 \u0909\u091A\
\u093F\u0924 \u0930\u0942\u092A \u0938\u0947 \u0909\u0938 \u0926\u0947\u0936\
\ \u092F\u093E \u0938\u094D\u0925\u093E\u0928 \u0915\u0947 \u0932\u094B\u0917\
\u094B\u0902 \u0915\u093E \u0939\u0948, \u091C\u0939\u093E\u0902 \u0938\u0947\
\ \u0909\u0915\u094D\u0924 \u0938\u093E\u092E\u093E\u0928 \u0915\u093E \u0935\
\u093F\u0915\u093E\u0938, \u0909\u0924\u094D\u092A\u093E\u0926\u0928 \u092F\u093E\
\ \u0928\u093F\u0930\u094D\u092E\u093E\u0923 \u0939\u094B\u0924\u093E \u0939\
\u0948\u0964 \u0928\u093F\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u092E\
\u0947\u0902 \u0938\u0947 \u0915\u094C\u0928 1651 \u0915\u0947 \u0928\u0947\u0935\
\u093F\u0917\u0947\u0936\u0928 \u0905\u0927\u093F\u0928\u093F\u092F\u092E\u094B\
\u0902 \u0915\u0947 \u092A\u0930\u093F\u0923\u093E\u092E \u0915\u093E \u0938\
\u092C\u0938\u0947 \u0905\u091A\u094D\u091B\u093E \u0935\u0930\u094D\u0923\u0928\
\ \u0915\u0930\u0924\u093E \u0939\u0948?"
- input_choice_list:
A: "\u0905\u0902\u0917\u094D\u0930\u0947\u091C\u0940 \u0930\u093E\u091C\u093E\
\ \u0915\u094B \u0905\u0927\u093F\u0915\u093E\u0930 \u0915\u093E \u090F\u0915\
\ \u0928\u092F\u093E \u092A\u0926 \u0926\u0947\u0902"
B: "\u0907\u0902\u0917\u094D\u0932\u0948\u0902\u0921 \u0915\u0947 \u091A\u0930\
\u094D\u091A \u0915\u0947 \u092A\u094D\u0930\u092E\u0941\u0916 \u0915\u093E\
\ \u092A\u0926 \u0905\u0915\u0947\u0932\u0947 \u0939\u0947\u0928\u0930\u0940\
\ \u0905\u0937\u094D\u091F\u092E \u0915\u094B \u0926\u0947\u0902 \u0914\u0930\
\ \u0909\u0938\u0915\u0947 \u0909\u0924\u094D\u0924\u0930\u093E\u0927\u093F\
\u0915\u093E\u0930\u093F\u092F\u094B\u0902 \u0915\u094B \u092C\u093E\u0939\
\u0930 \u0915\u0930 \u0926\u0947\u0902"
C: "\u0915\u0947\u0932\u094D\u0935\u093F\u0928\u0935\u093E\u0926 \u0915\u094B\
\ \u0907\u0902\u0917\u094D\u0932\u0948\u0902\u0921 \u092E\u0947\u0902 \u090F\
\u0915\u092E\u093E\u0924\u094D\u0930 \u0938\u091A\u094D\u091A\u0947 \u0927\
\u0930\u094D\u092E\u0936\u093E\u0938\u094D\u0924\u094D\u0930 \u0915\u0947\
\ \u0930\u0942\u092A \u092E\u0947\u0902 \u0938\u094D\u0925\u093E\u092A\u093F\
\u0924 \u0915\u0930\u0947\u0902"
D: "\u0907\u0902\u0917\u094D\u0932\u0948\u0902\u0921 \u092E\u0947\u0902 \u091A\
\u0930\u094D\u091A \u0915\u094B \u092A\u0930\u0947\u0936\u093E\u0928 \u0915\
\u0930\u0928\u0947 \u0935\u093E\u0932\u0947 \u0935\u093F\u092D\u093F\u0928\
\u094D\u0928 \u092A\u094D\u0930\u0915\u093E\u0930 \u0915\u0947 \u092D\u094D\
\u0930\u0937\u094D\u091F\u093E\u091A\u093E\u0930 \u0915\u094B \u0938\u092E\
\u093E\u092A\u094D\u0924 \u0915\u0930\u0947\u0902"
input_correct_responses:
- D
input_question: "\u092F\u0939 \u092A\u094D\u0930\u0936\u094D\u0928 \u0928\u093F\
\u092E\u094D\u0928\u0932\u093F\u0916\u093F\u0924 \u091C\u093E\u0928\u0915\u093E\
\u0930\u0940 \u0915\u094B \u0938\u0902\u0926\u0930\u094D\u092D\u093F\u0924 \u0915\
\u0930\u0924\u093E \u0939\u0948\u0964 \u092F\u0926\u094D\u092F\u092A\u093F \u0930\
\u093E\u091C\u093E \u0915\u093E \u092E\u0939\u093E\u092E\u0939\u093F\u092E \u0909\
\u091A\u093F\u0924 \u0914\u0930 \u0938\u0939\u0940 \u0924\u0930\u0940\u0915\u0947\
\ \u0938\u0947 \u0907\u0902\u0917\u094D\u0932\u0948\u0902\u0921 \u0915\u0947\
\ \u091A\u0930\u094D\u091A \u0915\u093E \u0938\u0930\u094D\u0935\u094B\u091A\
\u094D\u091A \u092A\u094D\u0930\u092E\u0941\u0916 \u0939\u0948 \u0914\u0930\
\ \u0939\u094B\u0928\u093E \u092D\u0940 \u091A\u093E\u0939\u093F\u090F, \u0914\
\u0930 \u0907\u0938 \u0915\u094D\u0937\u0947\u0924\u094D\u0930 \u0915\u0947\
\ \u092A\u093E\u0926\u0930\u0940 \u0905\u092A\u0928\u0947 \u0926\u0940\u0915\
\u094D\u0937\u093E\u0902\u0924 \u0938\u092E\u093E\u0930\u094B\u0939\u094B\u0902\
\ \u092E\u0947\u0902 \u0907\u0938\u0947 \u092E\u093E\u0928\u094D\u092F\u0924\
\u093E \u0926\u0947\u0924\u0947 \u0939\u0948\u0902, \u092B\u093F\u0930 \u092D\
\u0940, \u0907\u0938\u0915\u0940 \u092A\u0941\u0937\u094D\u091F\u093F \u0914\
\u0930 \u092A\u0941\u0937\u094D\u091F\u093F \u0915\u0947 \u0932\u093F\u090F\
, \u0914\u0930 \u0938\u0926\u094D\u0917\u0941\u0923\u094B\u0902 \u0915\u0940\
\ \u0935\u0943\u0926\u094D\u0927\u093F \u0915\u0947 \u0932\u093F\u090F \u0907\
\u0902\u0917\u094D\u0932\u0948\u0902\u0921 \u0915\u0947 \u0907\u0938 \u0915\u094D\
\u0937\u0947\u0924\u094D\u0930 \u0915\u0947 \u092D\u0940\u0924\u0930 \u092E\u0938\
\u0940\u0939 \u0915\u093E \u0927\u0930\u094D\u092E, \u0914\u0930 \u0938\u092D\
\u0940 \u0924\u094D\u0930\u0941\u091F\u093F\u092F\u094B\u0902, \u0935\u093F\u0927\
\u0930\u094D\u092E\u093F\u092F\u094B\u0902, \u0914\u0930 \u0905\u0928\u094D\u092F\
\ \u0935\u093F\u0936\u093E\u0932\u0924\u093E\u0913\u0902 \u0914\u0930 \u0926\
\u0941\u0930\u094D\u0935\u094D\u092F\u0935\u0939\u093E\u0930\u094B\u0902 \u0915\
\u094B \u0926\u092C\u093E\u0928\u0947 \u0914\u0930 \u0916\u0924\u094D\u092E\
\ \u0915\u0930\u0928\u0947 \u0915\u0947 \u0932\u093F\u090F, \u0907\u0938 \u0935\
\u0930\u094D\u0924\u092E\u093E\u0928 \u0938\u0902\u0938\u0926 \u0915\u0947 \u0905\
\u0927\u093F\u0915\u093E\u0930 \u0938\u0947, \u0907\u0938\u0947 \u0905\u0927\
\u093F\u0928\u093F\u092F\u092E\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\
\u090F, \u0915\u093F \u0930\u093E\u091C\u093E, \u0939\u092E\u093E\u0930\u0947\
\ \u0938\u0902\u092A\u094D\u0930\u092D\u0941 \u0938\u094D\u0935\u093E\u092E\u0940\
, \u0909\u0928\u0915\u0947 \u0909\u0924\u094D\u0924\u0930\u093E\u0927\u093F\u0915\
\u093E\u0930\u0940 \u0914\u0930 \u0909\u0924\u094D\u0924\u0930\u093E\u0927\u093F\
\u0915\u093E\u0930\u0940, \u0907\u0938 \u0915\u094D\u0937\u0947\u0924\u094D\u0930\
\ \u0915\u0947 \u0930\u093E\u091C\u093E, \u0915\u094B \u0907\u0902\u0917\u094D\
\u0932\u0948\u0902\u0921 \u0915\u0947 \u091A\u0930\u094D\u091A \u0915\u0947\
\ \u092A\u0943\u0925\u094D\u0935\u0940 \u092A\u0930 \u090F\u0915\u092E\u093E\
\u0924\u094D\u0930 \u0938\u0930\u094D\u0935\u094B\u091A\u094D\u091A \u092A\u094D\
\u0930\u092E\u0941\u0916 \u0915\u0947 \u0930\u0942\u092A \u092E\u0947\u0902\
\ \u0932\u093F\u092F\u093E \u091C\u093E\u090F\u0917\u093E, \u0938\u094D\u0935\
\u0940\u0915\u093E\u0930 \u0915\u093F\u092F\u093E \u091C\u093E\u090F\u0917\u093E\
\ \u0914\u0930 \u092A\u094D\u0930\u0924\u093F\u0937\u094D\u0920\u093F\u0924\
\ \u0915\u093F\u092F\u093E \u091C\u093E\u090F\u0917\u093E, \u091C\u093F\u0938\
\u0947 \u090F\u0902\u0917\u094D\u0932\u093F\u0915\u0928 \u090F\u0915\u094D\u0932\
\u0947\u0938\u093F\u092F\u093E \u0915\u0939\u093E \u091C\u093E\u090F\u0917\u093E\
; \u0914\u0930 \u0907\u0938 \u0915\u094D\u0937\u0947\u0924\u094D\u0930 \u0915\
\u0947 \u0936\u093E\u0939\u0940 \u092E\u0941\u0915\u0941\u091F \u0915\u0947\
\ \u0938\u093E\u0925-\u0938\u093E\u0925 \u0907\u0938\u0915\u0947 \u0936\u0940\
\u0930\u094D\u0937\u0915 \u0914\u0930 \u0936\u0948\u0932\u0940 \u0915\u0947\
\ \u0938\u093E\u0925-\u0938\u093E\u0925 \u0938\u092D\u0940 \u0938\u092E\u094D\
\u092E\u093E\u0928, \u0917\u0930\u093F\u092E\u093E, \u0936\u094D\u0930\u0947\
\u0937\u094D\u0920\u0924\u093E\u090F\u0902, \u0905\u0927\u093F\u0915\u093E\u0930\
\ \u0915\u094D\u0937\u0947\u0924\u094D\u0930, \u0935\u093F\u0936\u0947\u0937\
\u093E\u0927\u093F\u0915\u093E\u0930, \u0905\u0927\u093F\u0915\u093E\u0930,\
\ \u092A\u094D\u0930\u0924\u093F\u0930\u0915\u094D\u0937\u093E, \u0932\u093E\
\u092D \u0914\u0930 \u0935\u0938\u094D\u0924\u0941\u0913\u0902 \u0915\u094B\
\ \u0909\u0915\u094D\u0924 \u0917\u0930\u093F\u092E\u093E \u0915\u0947 \u0905\
\u0928\u0941\u0930\u0942\u092A \u092A\u094D\u0930\u093E\u092A\u094D\u0924, \u0938\
\u0902\u0932\u0917\u094D\u0928 \u0914\u0930 \u090F\u0915\u091C\u0941\u091F \u0915\
\u093F\u092F\u093E \u091C\u093E\u090F\u0917\u093E\u0964 \u090F\u0915 \u0939\u0940\
\ \u091A\u0930\u094D\u091A \u0938\u0947 \u0938\u0902\u092C\u0902\u0927\u093F\
\u0924 \u0914\u0930 \u0938\u0902\u092C\u0902\u0927\u093F\u0924 \u0938\u0930\u094D\
\u0935\u094B\u091A\u094D\u091A \u092A\u094D\u0930\u092E\u0941\u0916; \u0914\u0930\
\ \u092F\u0939 \u0915\u093F \u0939\u092E\u093E\u0930\u0947 \u0909\u0915\u094D\
\u0924 \u0938\u0902\u092A\u094D\u0930\u092D\u0941 \u0938\u094D\u0935\u093E\u092E\
\u0940, \u0909\u0928\u0915\u0947 \u0909\u0924\u094D\u0924\u0930\u093E\u0927\u093F\
\u0915\u093E\u0930\u093F\u092F\u094B\u0902 \u0914\u0930 \u0909\u0924\u094D\u0924\
\u0930\u093E\u0927\u093F\u0915\u093E\u0930\u093F\u092F\u094B\u0902, \u0907\u0938\
\ \u0915\u094D\u0937\u0947\u0924\u094D\u0930 \u0915\u0947 \u0930\u093E\u091C\
\u093E\u0913\u0902 \u0915\u0947 \u092A\u093E\u0938 \u0938\u092E\u092F-\u0938\
\u092E\u092F \u092A\u0930 \u0910\u0938\u0940 \u0938\u092D\u0940 \u0924\u094D\
\u0930\u0941\u091F\u093F\u092F\u094B\u0902, \u0935\u093F\u0927\u0930\u094D\u092E\
\u093F\u092F\u094B\u0902 \u0915\u093E \u0926\u094C\u0930\u093E \u0915\u0930\u0928\
\u0947, \u0926\u092E\u0928 \u0915\u0930\u0928\u0947, \u0928\u093F\u0935\u093E\
\u0930\u0923 \u0915\u0930\u0928\u0947, \u0930\u093F\u0915\u0949\u0930\u094D\u0921\
\ \u0915\u0930\u0928\u0947, \u0906\u0926\u0947\u0936 \u0926\u0947\u0928\u0947\
, \u0938\u0939\u0940 \u0915\u0930\u0928\u0947, \u0930\u094B\u0915\u0928\u0947\
\ \u0914\u0930 \u0938\u0902\u0936\u094B\u0927\u0928 \u0915\u0930\u0928\u0947\
\ \u0915\u0940 \u092A\u0942\u0930\u0940 \u0936\u0915\u094D\u0924\u093F \u0914\
\u0930 \u0905\u0927\u093F\u0915\u093E\u0930 \u0939\u094B\u0902\u0917\u0947\u0964\
\ \u0926\u0941\u0930\u094D\u0935\u094D\u092F\u0935\u0939\u093E\u0930, \u0905\
\u092A\u0930\u093E\u0927, \u0905\u0935\u092E\u093E\u0928\u0928\u093E, \u0914\
\u0930 \u0935\u093F\u0936\u093E\u0932\u0924\u093E\u090F\u0902, \u091A\u093E\u0939\
\u0947 \u0935\u0947 \u0915\u0941\u091B \u092D\u0940 \u0939\u094B\u0902, \u091C\
\u093F\u0928\u094D\u0939\u0947\u0902 \u0906\u0927\u094D\u092F\u093E\u0924\u094D\
\u092E\u093F\u0915 \u0905\u0927\u093F\u0915\u093E\u0930 \u092F\u093E \u0905\u0927\
\u093F\u0915\u093E\u0930 \u0915\u094D\u0937\u0947\u0924\u094D\u0930 \u0915\u0947\
\ \u0915\u093F\u0938\u0940 \u092D\u0940 \u0924\u0930\u0940\u0915\u0947 \u0938\
\u0947 \u0938\u0930\u094D\u0935\u0936\u0915\u094D\u0924\u093F\u092E\u093E\u0928\
\ \u0908\u0936\u094D\u0935\u0930 \u0915\u0940 \u0916\u0941\u0936\u0940 \u0915\
\u0947 \u0932\u093F\u090F \u0915\u093E\u0928\u0942\u0928\u0940 \u0924\u094C\u0930\
\ \u092A\u0930 \u0938\u0941\u0927\u093E\u0930, \u0926\u092E\u0928, \u0906\u0926\
\u0947\u0936, \u0928\u093F\u0935\u093E\u0930\u0923, \u0938\u0941\u0927\u093E\
\u0930, \u0938\u0902\u092F\u092E\u093F\u0924 \u092F\u093E \u0938\u0902\u0936\
\u094B\u0927\u093F\u0924 \u0915\u093F\u092F\u093E \u091C\u093E\u0928\u093E \u091A\
\u093E\u0939\u093F\u090F \u092F\u093E \u0915\u093F\u092F\u093E \u091C\u093E\
\ \u0938\u0915\u0924\u093E \u0939\u0948\u0964 \u092E\u0938\u0940\u0939 \u0915\
\u0947 \u0927\u0930\u094D\u092E \u092E\u0947\u0902 \u0938\u0926\u094D\u0917\u0941\
\u0923\u094B\u0902 \u0915\u0940 \u0935\u0943\u0926\u094D\u0927\u093F, \u0914\
\u0930 \u0907\u0938 \u0915\u094D\u0937\u0947\u0924\u094D\u0930 \u0915\u0940\
\ \u0936\u093E\u0902\u0924\u093F, \u090F\u0915\u0924\u093E \u0914\u0930 \u0936\
\u093E\u0902\u0924\u093F \u0915\u0947 \u0938\u0902\u0930\u0915\u094D\u0937\u0923\
\ \u0915\u0947 \u0932\u093F\u090F; \u0915\u093F\u0938\u0940 \u092D\u0940 \u0909\
\u092A\u092F\u094B\u0917, \u0935\u093F\u0926\u0947\u0936\u0940 \u092D\u0942\u092E\
\u093F, \u0935\u093F\u0926\u0947\u0936\u0940 \u092A\u094D\u0930\u093E\u0927\u093F\
\u0915\u0930\u0923, \u0928\u0941\u0938\u094D\u0916\u0947, \u092F\u093E \u0915\
\u093F\u0938\u0940 \u0905\u0928\u094D\u092F \u091A\u0940\u091C \u092F\u093E\
\ \u091A\u0940\u091C\u094B\u0902 \u0915\u0947 \u092C\u093E\u0935\u091C\u0942\
\u0926 \u0907\u0938\u0915\u0947 \u0935\u093F\u092A\u0930\u0940\u0924\u0964 \u0905\
\u0902\u0917\u094D\u0930\u0947\u091C\u0940 \u0938\u0902\u0938\u0926, \u0938\u0930\
\u094D\u0935\u094B\u091A\u094D\u091A\u0924\u093E \u0915\u093E \u0905\u0927\u093F\
\u0928\u093F\u092F\u092E, 1534 \u092A\u0930\u093F\u091A\u094D\u091B\u0947\u0926\
\ \u0938\u0947, \u0915\u094B\u0908 \u092F\u0939 \u0905\u0928\u0941\u092E\u093E\
\u0928 \u0932\u0917\u093E \u0938\u0915\u0924\u093E \u0939\u0948 \u0915\u093F\
\ \u0905\u0902\u0917\u094D\u0930\u0947\u091C\u0940 \u0938\u0902\u0938\u0926\
\ \u092F\u0939 \u0924\u0930\u094D\u0915 \u0926\u0947\u0928\u093E \u091A\u093E\
\u0939\u0924\u0940 \u0925\u0940 \u0915\u093F \u0938\u0930\u094D\u0935\u094B\u091A\
\u094D\u091A\u0924\u093E \u0915\u093E \u0905\u0927\u093F\u0928\u093F\u092F\u092E"
include: _continuation_template_yaml
process_docs: !function utils.process_docs_high_school_european_history
tag: mmlu_hi_llama_humanities_tasks
task: mmlu_hi_llama_high_school_european_history
task_alias: high_school_european_history
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment