Added TurkishMMLU to LM Evaluation Harness (#2283)

* Added TurkishMMLU to LM Evaluation Harness

* Fixed COT name

* Fixed COT name

* Updated Readme

* Fixed Test issues

* Completed  Scan for changed tasks

* Updated Readme

* Update README.md

* fixup task naming casing + ensure yaml template stubs aren't registered

---------
Co-authored-by: Hailey Schoelkopf <65563625+haileyschoelkopf@users.noreply.github.com>
Co-authored-by: haileyschoelkopf <hailey@eleuther.ai>

lm_eval/tasks/README.md

@@ -107,6 +107,7 @@
 | [translation](translation/README.md) | Tasks focused on evaluating the language translation capabilities of models. | Arabic, English, Spanish, Basque, Hindi, Indonesian, Burmese, Russian, Swahili, Telugu, Chinese |
 | [triviaqa](triviaqa/README.md) | A large-scale dataset for trivia question answering to test general knowledge. | English |
 | [truthfulqa](truthfulqa/README.md) | A QA task aimed at evaluating the truthfulness and factual accuracy of model responses. | English |
+| [turkishmmlu](turkishmmlu/README.md) | A multiple-choice QA test modeled after MMLU, written in Turkish based on Turkish high-school level exams. | Turkish |
 | [unitxt](unitxt/README.md) | A number of tasks implemented using the unitxt library for flexible, shareable, and reusable data preparation and evaluation for generative AI. | English |
 | [unscramble](unscramble/README.md) | Tasks involving the rearrangement of scrambled sentences to test syntactic understanding. | English |
 | [webqs](webqs/README.md) | Web-based question answering tasks designed to evaluate internet search and retrieval. | English |

lm_eval/tasks/turkishmmlu/README.md

+# TurkishMMLU
+
+This repository contains configuration files for LM Evaluation Harness for Few-Shot and Chain-of-Thought experiments for TurkishMMLU. Using these configurations with LM Evaluation Harness, the results of this study are obtained.
+
+TurkishMMLU is a multiple-choice Question-Answering dataset created for the Turkish Natural Language Processing (NLP) community based on Turkish Highschool Curricula across nine subjects. This comprehensive study is conducted to provide Question-Answering benchmark for Turkish language. The questions of the dataset are written by curriculum experts, suitable for the high-school curricula in Turkey, covering subjects ranging from natural sciences and math questions to more culturally representative topics such as Turkish Literature and the history of the Turkish Republic.
+
+To access this dataset please send an email to:
+arda.yueksel@tum.de or akoksal@cis.lmu.de.
+
+## Abstract
+
+Multiple choice question answering tasks evaluate the reasoning, comprehension, and mathematical abilities of Large Language Models (LLMs). While existing benchmarks employ automatic translation for multilingual evaluation, this approach is error-prone and potentially introduces culturally biased questions, especially in social sciences. We introduce the first multitask, multiple-choice Turkish QA benchmark, TurkishMMLU, to evaluate LLMs' understanding of the Turkish language. TurkishMMLU includes over 10,000 questions, covering 9 different subjects from Turkish high-school education curricula. These questions are written by curriculum experts, suitable for the high-school curricula in Turkey, covering subjects ranging from natural sciences and math questions to more culturally representative topics such as Turkish Literature and the history of the Turkish Republic. We evaluate over 20 LLMs, including multilingual open-source (e.g., Gemma, Llama, MT5), closed-source (GPT 4o, Claude, Gemini), and Turkish-adapted (e.g., Trendyol) models. We provide an extensive evaluation, including zero-shot and few-shot evaluation of LLMs, chain-of-thought reasoning, and question difficulty analysis along with model performance. We provide an in-depth analysis of the Turkish capabilities and limitations of current LLMs to provide insights for future LLMs for the Turkish language. We publicly release our code for the dataset and evaluation.
+
+## Dataset
+
+Dataset is divided into four categories Natural Sciences, Mathematics, Language, and Social Sciences and Humanities with a total of nine subjects in Turkish highschool education. It is available in multiple choice for LLM evaluation. The questions also contain difficulty indicator referred as Correctness ratio.
+
+## Evaluation
+
+5-Shot evaluation results from the paper includes open and closed source SOTA LLM with different architectures. For this study, multilingual and Turkish adapted models are tested.
+
+The evaluation results of this study are obtained using the provided configurations with LM Evaluation Harness.
+
+| Model               | Source | Average | Natural Sciences | Math | Turkish L & L | Social Sciences and Humanities |
+| ------------------- | ------ | ------- | ---------------- | ---- | ------------- | ------------------------------ |
+| GPT 4o              | Closed | 83.1    | 75.3             | 59.0 | 82.0          | 95.3                           |
+| Claude-3 Opus       | Closed | 79.1    | 71.7             | 59.0 | 77.0          | 90.3                           |
+| GPT 4-turbo         | Closed | 75.7    | 70.3             | 57.0 | 67.0          | 86.5                           |
+| Llama-3 70B-IT      | Closed | 67.3    | 56.7             | 42.0 | 57.0          | 84.3                           |
+| Claude-3 Sonnet     | Closed | 67.3    | 67.3             | 44.0 | 58.0          | 75.5                           |
+| Llama-3 70B         | Open   | 66.1    | 56.0             | 37.0 | 57.0          | 83.3                           |
+| Claude-3 Haiku      | Closed | 65.4    | 57.0             | 40.0 | 61.0          | 79.3                           |
+| Gemini 1.0-pro      | Closed | 63.2    | 52.7             | 29.0 | 63.0          | 79.8                           |
+| C4AI Command-r+     | Open   | 60.6    | 50.0             | 26.0 | 57.0          | 78.0                           |
+| Aya-23 35B          | Open   | 55.6    | 43.3             | 31.0 | 49.0          | 72.5                           |
+| C4AI Command-r      | Open   | 54.9    | 44.7             | 29.0 | 49.0          | 70.5                           |
+| Mixtral 8x22B       | Open   | 54.8    | 45.3             | 27.0 | 49.0          | 70.3                           |
+| GPT 3.5-turbo       | Closed | 51.0    | 42.7             | 39.0 | 35.0          | 61.8                           |
+| Llama-3 8B-IT       | Open   | 46.4    | 36.7             | 29.0 | 39.0          | 60.0                           |
+| Llama-3 8B          | Open   | 46.2    | 37.3             | 30.0 | 33.0          | 60.3                           |
+| Mixtral 8x7B-IT     | Open   | 45.2    | 41.3             | 28.0 | 39.0          | 54.0                           |
+| Aya-23 8B           | Open   | 45.0    | 39.0             | 23.0 | 31.0          | 58.5                           |
+| Gemma 7B            | Open   | 43.6    | 34.3             | 22.0 | 47.0          | 55.0                           |
+| Aya-101             | Open   | 40.7    | 31.3             | 24.0 | 38.0          | 55.0                           |
+| Trendyol-LLM 7B-C-D | Open   | 34.1    | 30.3             | 22.0 | 28.0          | 41.5                           |
+| mT0-xxl             | Open   | 33.9    | 29.3             | 28.0 | 21.0          | 42.0                           |
+| Mistral 7B-IT       | Open   | 32.0    | 34.3             | 26.0 | 38.0          | 30.3                           |
+| Llama-2 7B          | Open   | 22.3    | 25.3             | 20.0 | 20.0          | 19.8                           |
+| mT5-xxl             | Open   | 18.1    | 19.3             | 24.0 | 14.0          | 16.8                           |
+
+## Citation
+
+```
+@misc{yüksel2024turkishmmlumeasuringmassivemultitask,
+title={TurkishMMLU: Measuring Massive Multitask Language Understanding in Turkish},
+author={Arda Yüksel and Abdullatif Köksal and Lütfi Kerem Şenel and Anna Korhonen and Hinrich Schütze},
+year={2024},
+eprint={2407.12402},
+archivePrefix={arXiv},
+primaryClass={cs.CL},
+url={https://arxiv.org/abs/2407.12402},
+}
+```
+
+### Groups and Tasks
+
+#### Groups
+
+- `turkishmmlu`: 'All 9 Subjects of Turkish MMLU namely:
+  Biology, Chemistry, Physics, Geography, Philosophy, History, Religion and Ethics, Turkish Language and Literature, and Mathematics
+
+#### Tasks
+
+The following tasks evaluate subjects in the TurkishMMLU dataset
+
+- `turkishmmlu_{subject}`
+
+The following task evaluate subjects in the TurkishMMLU dataset in Chain-of-Thought (COT)
+
+- `turkishmmlu_cot_{subject}`
+
+### Checklist
+
+For adding novel benchmarks/datasets to the library:
+
+- [x] Is the task an existing benchmark in the literature?
+  - [x] Have you referenced the original paper that introduced the task?
+  - [x] If yes, does the original paper provide a reference implementation? If so, have you checked against the reference implementation and documented how to run such a test?
+
+If other tasks on this dataset are already supported:
+
+- [ ] Is the "Main" variant of this task clearly denoted?
+- [ ] Have you provided a short sentence in a README on what each new variant adds / evaluates?
+- [ ] Have you noted which, if any, published evaluation setups are matched by this variant?

lm_eval/tasks/turkishmmlu/config/Biology.yaml

+include: _turkishmmlu_default_yaml
+task: turkishmmlu_biology
+dataset_name: Biology

lm_eval/tasks/turkishmmlu/config/Chemistry.yaml

+include: _turkishmmlu_default_yaml
+task: turkishmmlu_chemistry
+dataset_name: Chemistry

lm_eval/tasks/turkishmmlu/config/Geography.yaml

+include: _turkishmmlu_default_yaml
+task: turkishmmlu_geography
+dataset_name: Geography

lm_eval/tasks/turkishmmlu/config/History.yaml

+include: _turkishmmlu_default_yaml
+task: turkishmmlu_history
+dataset_name: History

lm_eval/tasks/turkishmmlu/config/Mathematics.yaml

+include: _turkishmmlu_default_yaml
+task: turkishmmlu_mathematics
+dataset_name: Mathematics

lm_eval/tasks/turkishmmlu/config/Philosophy.yaml

+include: _turkishmmlu_default_yaml
+task: turkishmmlu_philosophy
+dataset_name: Philosophy

lm_eval/tasks/turkishmmlu/config/Physics.yaml

+include: _turkishmmlu_default_yaml
+task: turkishmmlu_physics
+dataset_name: Physics

lm_eval/tasks/turkishmmlu/config/Religion_and_Ethics.yaml

+include: _turkishmmlu_default_yaml
+task: turkishmmlu_religion_and_ethics
+dataset_name: Religion_and_Ethics

lm_eval/tasks/turkishmmlu/config/Turkish_Language_and_Literature.yaml

+include: _turkishmmlu_default_yaml
+task: turkishmmlu_turkish_language_and_literature
+dataset_name: Turkish_Language_and_Literature

lm_eval/tasks/turkishmmlu/config/_turkishmmlu_default_yaml

+tag: turkishmmlu
+task: null
+dataset_path: AYueksel/TurkishMMLU
+dataset_name: TurkishMMLU
+test_split: test
+fewshot_split: dev
+fewshot_config:
+  sampler: first_n
+output_type: multiple_choice
+doc_to_text: "Soru: {{ question.strip() }}\nA. {{ choices[0] }}\nB. {{ choices[1] }}\nC. {{ choices[2] }}\nD. {{ choices[3] }}\nE. {{ choices[4] }}\nCevap:"
+doc_to_choice: ["A", "B", "C", "D", "E"]
+doc_to_target: "{{['A', 'B', 'C', 'D', 'E'].index(answer)}}"
+metric_list:
+  - metric: acc
+    aggregation: mean
+    higher_is_better: true
+  - metric: acc_norm
+    aggregation: mean
+    higher_is_better: true
+metadata:
+  version: 0.0

lm_eval/tasks/turkishmmlu/config_cot/Biology.yaml

+include: _turkishmmlu_cot_default_yaml
+task: turkishmmlu_cot_biology
+description:
+  "Soru: AaKkDdEeX$^{R}$X$^{r}$ genotipli bireyde AKD alelleri bağlı olup diğerleri bağımsızdır.\
+  \ Bu birey bu karakterler açısından kaç çeşit gamet oluşturabilir? (Krossing over gerçekleşmemiştir.)\nA) 2 \nB)\
+  \ 4 \nC) 8 \nD) 16 \nE) 32 \nÇözüm: Adım adım düşünelim.\
+  \ Bir bireyde A, K ve D genleri bağımlı olduğunda, bu üç gen birlikte hareket eder ve aynı gamet içinde bulunurlar.\
+  \ Diğer lokuslardaki alleller bağımsızdır.\
+  \ AKD lokusundaki allel kombinasyonları: AKD veya akd (2 seçenek)\
+  \ Diğer lokuslardaki allel kombinasyonları: Ee (2 seçenek), X$^{R}$X$^{r}$ (2 seçenek).\
+  \ Şimdi, bağımlı olan AKD lokusundaki kombinasyonu diğer bağımsız lokuslardaki kombinasyonlarla çarpacağız:\
+  \ 2 x 2 x 2 = 8\
+  \ Bu birey 8 farklı gamet oluşturabilir.\
+  \ Doğru cevap C şıkkıdır.\n\nSoru: Aşağıda verilen hormon çiftlerinden hangisi antagonist (zıt) çalışır?\nA) Oksitosin\
+  \ - Prolaktin\nB) Kalsitonin - Parathormon\nC) Adrenalin\
+  \ - Noradrenalin\nD) Östrojen - Progesteron\nE) FSH - LH\nÇözüm: Adım adım düşünelim.\
+  \ Bu soruyu cevaplayabilmek için hormonların görevlerini ve birbirleri ile olan ilişkilerini bilmek gerekir.\
+  \ A) Oksitosin ve Prolaktin: Oksitosin doğum sırasında uterus kasılmalarını uyarır ve süt salgılanmasını sağlar. Prolaktin ise süt üretimini uyarır. Bu iki hormon birbirini destekleyici görev yapar, zıt değildir.\
+  \ B) Kalsitonin ve Parathormon: Kalsitonin kanda kalsiyum seviyesini düşürür, parathormon ise kalsiyum seviyesini yükseltir. Bu iki hormon birbirine zıt etki gösterir, antagonisttir.\
+  \ C) Adrenalin ve Noradrenalin: Her ikisi de stres hormonudur ve benzer görevleri vardır. Zıt etki göstermezler.\
+  \ D) Östrojen ve Progesteron: Östrojen kadınlık hormonudur, progesteron ise gebelik sırasında üretilir. Birlikte çalışırlar, zıt etki göstermezler.\
+  \ E) FSH ve LH: FSH folikül gelişimini, LH ovulasyonu uyarır. Birlikte çalışırlar, zıt etki göstermezler.\
+  \ Dolayısıyla verilen seçenekler arasında antagonist (zıt) çalışan hormon çifti Kalsitonin ve Parathormon'dur.\
+  \ Doğru cevap B şıkkıdır.\n\nSoru: I. Besin azalması II. Avcıların artması III. Zehirli madde birikimin artması\
+  \ Yukarıdaki faktörlerden hangileri çevre direncini artırır?\nA) Yalnız I\nB) Yalnız II\nC)\
+  \ Yalnız III\nD) II ve III\nE) I, II ve III\nÇözüm: Adım adım düşünelim.\
+  \ Çevre direnci, bir ekosistemin dışarıdan gelen olumsuz etkilere karşı direncini ifade eder. Yüksek çevre direnci, ekosistemin bu olumsuz etkilere daha iyi direnebileceği anlamına gelir.\
+  \ I. Besin azalması, popülasyonların büyümesini ve sağlığını olumsuz etkiler, dolayısıyla çevre direncini artırır.\
+  \ II. Avcıların artması, popülasyonların dengesini bozar ve türlerin sayısını azaltır, bu da çevre direncini artırır.\
+  \ III. Zehirli madde birikiminin artması, canlıların sağlığını ve üremesini olumsuz etkiler, ekosistemin dengesini bozar, bu şekilde çevre direncini artırır.\
+  \ Sorudaki faktörlerin hepsi olumsuz faktörlerdir ve ekosistemin direncini zorlar. Doğru cevap E şıkkıdır.\n\nSoru:\
+  \ Gen klonlama çalışmaları sırasında; a. Vektör DNA ve istenen geni taşıyan DNA'nın kesilmesi, b. İstenen geni taşıyan DNA'nın,\
+  \ vektör DNA ile birleştirilmesi, c. Bakterinin çoğalmasıyla birlikte istenen genin kopyalanması, uygulamaları yapılmaktadır.\
+  \ Bu uygulamalarda; I. DNA polimeraz II. DNA ligaz III. Restriksiyon enzimi yapılarının kullanıldığı çalışma basamakları\
+  \ hangi seçenekte doğru olarak verilmiştir?\
+  \                 I                           II                                  III \nA) a, b                     b\
+  \                               a, c\nB) b                         a, b                           c\nC)\
+  \ a                         c                               a, c\nD) c                         b, c                          a\nE)\
+  \ b, c                     a                               a, b\nÇözüm: Adım Adım düşünelim.\
+  \ I. DNA polimeraz: c (Bakterinin çoğalması ile birlikte istenen genin kopyalanması)\
+  \ II. DNA ligaz: b, c (İstenen geni taşıyan DNA'nın, vektör DNA ile birleştirilmesi ve sonrasında bakterinin çoğalması ile birlikte kopyalanması)\
+  \ III. Restriksiyon enzimi: a (Vektör DNA ve istenen geni taşıyan DNA'nın kesilmesi)\
+  \ Doğru cevap D şıkkıdır.\n\nSoru: İnsanlardaki lizozomlar, fagositoz yapmayan hücrelerde de aktif olabilir. Hücreler metabolik faaliyetlerinin sorunsuz geçebilmesi için bazı hücresel yapılarını yıkıp yeniden yapar.\
+  \ Hücresel yapıların kontrollü ve programlı şekilde yıkılması lizozomlar tarafından yapılır ve otofaji olarak bilinir.\
+  \ Otofaji ile ilgili ifadelerden;  I. Otofaji sonucu hücresel yapılar yıkılamadığında lizozomal depolama hastalıkları ortaya çıkar\
+  \ II. Otofaji sırasında hidrolitik enzimler hücre dışında etkinlik gösterir\
+  \ III. Otofaji olayında hidrolitik enzimler lizozomlarda üretilip sitoplazmaya gönderilir hangileri doğrudur?\nA) Yalnız\
+  \ I\nB) I ve II\nC) I ve III\nD) II ve III\nE) I, II ve III\nÇözüm: Adım adım düşünelim.\
+  \ I. Otofaji sonucu hücresel yapılar yıkılamadığında lizozomal depolama hastalıkları ortaya çıkar: Doğru\
+  \ II. Otofaji sırasında hidrolitik enzimler hücre dışında etkinlik gösterir: Yanlış, hidrolitik enzimler lizozomlarda etkinlik gösterir.\
+  \ III. Otofaji olayında hidrolitik enzimler lizozomlarda üretilip sitoplazmaya gönderilir: Yanlış, hidrolitik enzimler lizozomlarda üretilir ve lizozom içinde etkinlik gösterir.\
+  \ Doğru cevap A şıkkıdır."
+num_fewshot: 0
+dataset_name: Biology

lm_eval/tasks/turkishmmlu/config_cot/Chemistry.yaml

+include: _turkishmmlu_cot_default_yaml
+task: turkishmmlu_cot_chemistry
+description:
+  "Soru: 16 litre CO ve CO $_{2}$  gaz karışımını yakmak için aynı koşullarda 30 litre hava kullanılmaktadır.\
+  \ Buna göre başlangıç karışımındaki VCO\/VCO$_{2}$ oranı aşağıdakilerden hangisidir?(Havanın 1\/5’i oksijen gazıdır.)\nA)\
+  \ 3\nB) 3\/8\nC) 2\/3\nD) 1\/5\nE) 1\/3\nÇözüm: Adım adım düşünelim.\
+  \ Yakma için kullanılan hava miktarının 1\/5'i oksijen olduğuna göre; 30 litre hava içinde 30*(1\/5) = 6 litre oksijen mevcuttur.\
+  \ CO ve CO$_2$ yakmak için gerekli oksijen miktarlarını inceleyelim:CO + 1\/2 O$_2$ → CO$_2$ (Her 1 mol CO için 1\/2 mol O$_2$ gerekir.)\
+  \ CO$_2$ yanmaz. Bu durumda, CO'nun yandığını ve tüm 6 litre oksijeni kullandığını varsayalım. 2 mol CO (her biri 22.4 litre/mol standart koşullarda)\
+  \ için 1 mol O$_2$ (22.4 litre/mol) gerekiyor. Bu nedenle, 6 litre O$_2$ ile 12 litre CO yakılabilir.\
+  \ Bu bilgiyle, başlangıçtaki CO miktarını hesaplayabiliriz. Ancak burada bir yanlış anlama var; zira yakma işlemi\
+  \ sonunda sadece CO kullanıldığını farzetmek, CO$_2$'nin başlangıçta orada olmadığını varsayar ki bu doğru değil.\
+  \ Soruda CO ve CO$_2$ karışımından bahsedilmektedir, bu nedenle direkt CO kullanımı üzerinden gitmemiz gerek.\
+  \ Yakma işlemi CO için geçerli olduğundan ve tüm oksijen CO'nun yanması için kullanıldığından, CO miktarı ve oranı\
+  \ direkt olarak hesaplanmalıdır. 6 litre O$_2$, 12 litre CO yakabilir düşüncesi yanlış olmuştur, çünkü her 1 litre CO için 1\/2 litre O$_2$ gerekmektedir.\
+  \ Doğru açıklamayla, \\(V_{CO}\\) miktarını \\(x\\) litre ve \\(V_{CO_2}\\) miktarını \\(16 - x\\) litre olarak alalım.\
+  \ CO yanmak için 1\/2 oranında O2 kullanır:\
+  \ $\\[x \\text{ litre CO} \\times \\frac{1}{2} = \\frac{x}{2} \\text{ litre O}_2\\]$\
+  \ Tüm işlemde 6 litre O$_2$ kullanıldığından ve bu O$_2$ yalnızca CO'nun yanması için kullanıldığından,\
+  \ $\\(\\frac{x}{2} = 6 \\rightarrow x = 12\\)$. Yani 12 litre CO ve dolayısıyla $\\(16 - 12 = 4\\)$ litre CO$_2$ vardır.\
+  \ Bu durumda VCO\/VCO$_2$ oranı $\\(12 / 4 = 3\\)$'tür. Doğru cevap A şıkkıdır.\n\nSoru:\
+  \ Aşağıda verilen çözeltilerden hangisinin bileşenlerinin fiziksel halleri doğru verilmiştir?\nÖrnek                                  Çözünen\
+  \           Çözücü\nA) Alkollü su                           Katı               Sıvı\nB)\
+  \ Tuzlu su                             Sıvı             Katı\nC)\
+  \ Gazoz                                 Gaz               Sıvı\nD)\
+  \ Lehim                                 Gaz               Katı\nE)\
+  \ Palladyumda hidrojen                Katı              Gaz\nÇözüm: Adım adım düşünelim.\
+  \ Doğru seçenek C şıkkıdır: Gazoz. Gazoz, çözüneni bir gaz (genellikle karbondioksit) ve çözücüsü bir sıvı (su) olan bir çözeltidir. Diğer seçeneklerde çözünen ve çözücü arasındaki fiziksel haller doğru verilmemiştir.\
+  \ A şıkkı: Alkollü su; çözünen etanol (alkol) katı değil, sıvı halde ve çözücü su, sıvı halde olmalıdır.\
+  \ B şıkkı: Tuzlu su; çözünen tuz (genellikle sodyum klorür) katı, çözücü su ise sıvı halde olmalıdır.\
+  \ D şıkkı: Lehim; çözünen katı bir madde (genellikle kalay ve kurşun alaşımı) ve çözücü katı halde olduğunda lehim olarak adlandırılmaz; ısındığında sıvı hale geçer.\
+  \ E şıkkı: Palladyumda hidrojen; çözünen hidrojen gazı ve çözücüsü katı bir metal olan palladyum doğru bir açıklamadır fakat soruda istenilen \"çözücü ve çözünenin fiziksel halleri\" açısından en uygun seçenek\
+  \ Gazozdur. Doğru cevap C şıkkıdır.\n\nSoru: $_{29}$X$^{2+}$ iyonu ve $_{27}$Y atomu ile ilgili,\
+  \ l.    s orbitallerindeki elektron sayısı farklıdır. ll.   İzoelektronik taneciklerdir. lll.  Yarı dolu orbital sayıları eşittir.\
+  \ yargılarından hangileri yanlıştır?\nA) l, ll ve lll\nB) ll ve lll\nC) l ve ll\nD) l ve lll\nE) Yalnız lll\nÇözüm: Adım adım düşünelim.\
+  \ Bu soruyu çözmek için her iki tanecik $(_{29} \\text{X}^{2+} \\text{ ve } _{27}\\text{Y})$ hakkında bazı bilgileri bilmek gerekmektedir.\
+  \ İlk olarak, periyodik cetveldeki yerlerine ve elektron konfigürasyonlarına bakalım.\
+  \ - $_{29}$X sembolü ile temsil edilen element Bakır (Cu)’dır ve onun +2 yüklü iyonu $_{29}\\text{Cu}^{2+}$, 29 protona\\
+  \ ve 27 elektrona sahip olacaktır. Bakır'ın temel hâli için elektron konfigürasyonu $[Ar] 3d^10 4s^1$ dir,\
+  \ ancak 2 elektron kaybettiğinde, 4s orbitalinden ve bir sonraki 3d orbitalinden elektronlar kaybolur ve son konfigürasyon $[Ar] 3d^9$ olur.\
+  \ - $_{27}$Y sembolü ile temsil edilen element Kobalt (Co)’dır ve Kobalt'ın nötr atomu, 27 elektrona sahiptir.\
+  \ Kobalt'ın elektron konfigürasyonu $[Ar] 3d^7 4s^2$ dir. Şimdi yargılara bakalım:\
+  \ l. s orbitallerindeki elektron sayısı farklıdır. Bu doğru, çünkü Cu^{2+} iyonunda 4s orbitali tamamen boşken,\
+  \ Co atomunda 4s orbitali 2 elektron içerir.\
+  \ ll. İzoelektronik taneciklerdir. Bu yanlış, çünkü izoelektronik tanecikler aynı sayıda elektrona ve\
+  \ elektron dizilimine sahiptir. Bu durumda, Cu^{2+} iyonu ve Co atomu izoelektronik değildir.\
+  \ lll. Yarı dolu orbital sayıları eşittir. Bu yanlış, çünkü Cu^{2+} yalnızca bir yarı dolu 3d orbitaline (3d^9) sahipken,\
+  \ Co atomunda birden fazla yarı dolu 3d orbitali bulunabilir.\
+  \ Dolayısıyla, ll ve lll yargıları yanlıştır. Doğru cevap B şıkkıdır.\n\nSoru:\
+  \ Elektrolitik metal kaplama, elektrokimyasal metotlar kullanılarak yüzeyde metalik film oluşturulmasıdır.\
+  \ Bu işlem malzemenin korozyondan korunması, güzel görünmesi ve yüksek sertlik kazanması gibi amaçlarla uygulanır.\
+  \ Aşağıda verilenlerden hangisinde bu yöntem kullanılmamıştır?\nA) Bakır kapların\
+  \ kalaylanması.\nB) Araba jantlarının nikel ile kaplanması.\nC) Çeliğin ısıya ve korozyona karşı dayanıklılığını artırmak\
+  \ için alüminyum ile kaplanması.\nD) Demir tavanın yüzeyinin teflon ile kaplanması.\nE) Kol saatinin altın\
+  \ ile kaplanması.Çözüm: Adım adım düşünelim. Elektrolitik metal kaplama yöntemi, bir metalin başka bir metal ile kaplanmasını içerir.\
+  \ Bu yöntem, genellikle elektrokimyasal süreçler kullanılarak yapılır ve metal yüzeyinin korunmasını,\
+  \ estetik görünüm kazanmasını veya belirli özellikler elde etmesini amaçlar. Seçenekler arasında bahsedilen\
+  \ uygulamalardan Teflon ile kaplama işlemi, elektrolitik bir süreç değildir. Teflon (PTFE),\
+  \ metal bir malzeme değil, sıcaklığa ve kimyasallara karşı dirençli bir polimer türüdür. Demir tavanın\
+  \ yüzeyinin Teflon ile kaplanması, elektrokimyasal bir yöntem değil, daha ziyade fiziksel veya kimyasal\
+  \ buhar biriktirme gibi farklı bir süreç gerektirir.\
+  \ Doğru cevap D şıkkıdır.\n\nSoru: Laboratuvarda deney yapan beş arkadaş ile ilgili aşağıdaki bilgiler veriliyor.\
+  \ Hasan: Asitler ile çalışılan bir deneyde asitin üzerine su ekliyor.\
+  \ İnci: Deney sonrası malzemeleri tezgâhın üzerinde bırakıp deney raporunu yazmaya koyuluyor.\
+  \ Nihal: Çözeltinin çökelmesini beklemek için yan masadaki arkadaşlarıyla sohbet ediyor.\
+  \ Gülsüm: Kimyasal malzemeler ile çalışırken eldiven giymiyor ve aynı bagetle iki farklı çözeltiyi karıştırıyor.\
+  \ Cenk: Sodyum metalinin su ile tepkimesini yaparken gözlerine koruyucu gözlük takıyor.\
+  \ Yukarıda verilen bilgilere göre hangi öğrencilerin laboratuvardaki davranışları doğrudur?\nA) Hasan ve Gülsüm\nB) Nihal,\
+  \ Gülsüm ve İnci\nC) Hasan ve İnci\nD) Nihal\nE) Cenk\nÇözüm: Adım adım düşünelim.\
+  \ Laboratuvarda güvenli çalışmanın bazı kuralları vardır, bu kurallar tehlikeleri azaltmak\
+  \ ve güvenli bir çalışma ortamı sağlamak için önemlidir. Öğrencilerin davranışlarını bu kurallar ışığında değerlendirelim:\
+  \ - Hasan, asitlerle çalışırken asidin üzerine su ekliyor. Bu işlem çok tehlikelidir çünkü asidin üzerine su eklemek\
+  \ yanma ya da patlamaya sebep olabilir. Doğru yöntem, suyun üzerine yavaşça asit eklemektir.\
+  \ - İnci, deney sonrası malzemeleri tezgâhın üzerinde bırakıyor ve deney raporuna geçiyor. Laboratuvar güvenliği\
+  \ açısından malzemelerin doğru şekilde temizlenmesi ve düzenlenmesi gerekmektedir. Bu yüzden İnci'nin davranışı yanlıştır.\
+  \ - Nihal, çözeltinin çökelmesini beklerken yan masadaki arkadaşlarıyla sohbet ediyor. Deney süresince dikkatin\
+  \ dağılmaması ve her zaman deney üzerinde kontrolün sağlanması önemli olduğundan, bu davranış doğru olmasa da,\
+  \ direkt olarak güvenlikle ilişkili bir hata içermiyor.\
+  \ - Gülsüm, kimyasal malzemeler ile çalışırken eldiven giymiyor ve aynı bağetle iki farklı çözeltiyi karıştırıyor.\
+  \ Kimyasallarla çalışırken kişisel koruyucu ekipman kullanmak çok önemlidir, bu nedenle eldiven giymemek ve çapraz\
+  \ kontaminasyona yol açacak şekilde aynı aracı kullanmak yanlıştır.\
+  \ - Cenk, sodyum metalinin su ile tepkimesini yaparken gözlerine koruyucu gözlük takıyor. Bu, doğru bir davranıştır\
+  \ çünkü bu tür bir deney sırasında gözleri korumak son derece önemlidir.\
+  \ Buna göre, laboratuvardaki doğru davranışları sergileyen öğrenci Cenk'tir. Doğru cevap E şıkkıdır."
+num_fewshot: 0
+dataset_name: Chemistry

lm_eval/tasks/turkishmmlu/config_cot/Geography.yaml

+include: _turkishmmlu_cot_default_yaml
+task: turkishmmlu_cot_geography
+description:
+  "Soru: Yerkabuğunu oluşturan levha sınırları ile aşağıdakilerden hangisinin dağılışı paralellik göstermez?\nA) Tektonik depremlerin\nB) Volkanik faaliyetlerin\nC) Kaplıcaların\nD)\
+  \ Orman alanlarının\nE) Fay hatlarının\nÇözüm: Adım adım düşünelim.\
+  \ Bu soruyu cevaplayabilmek için, levha sınırlarının özelliklerini ve levha hareketlerinin yeryüzündeki etkilerini bilmek gerekir.\
+  \ A) Tektonik depremlerin dağılışı, levha sınırlarıyla paralellik gösterir. Levhaların birbirinden uzaklaştığı veya birbirine çarptığı yerlerde depremler meydana gelir.\
+  \ B) Volkanik faaliyetlerin dağılışı, levha sınırlarıyla paralellik gösterir. Özellikle açılma (divergent) sınırlarında ve çarpışma (konverjan) sınırlarında volkanik faaliyetler görülür.\
+  \ C) Kaplıcaların dağılışı, levha sınırlarıyla paralellik gösterir. Yerkabuğu inceldikçe ve magma yeryüzüne yaklaştıkça kaplıcalar oluşur. Bu da genellikle levha sınırlarında gerçekleşir.\
+  \ D) Orman alanlarının dağılışı, levha sınırlarıyla paralellik göstermez. Orman alanlarının dağılışı iklim, toprak yapısı, yükselti gibi faktörlere bağlıdır, doğrudan levha sınırlarıyla ilişkili değildir.\
+  \ E) Fay hatlarının dağılışı, levha sınırlarıyla paralellik gösterir. Faylar, levha hareketleri sonucu oluşur ve levha sınırlarına paralel uzanırlar.\
+  \ Dolayısıyla, verilen seçeneklerden sadece D şıkkı \"Orman alanlarının\" dağılışı, levha sınırlarıyla paralellik göstermez.\
+  \ Doğru cevap D şıkkıdır.\n\nSoru: Geçmişten günümüze değişen iklim koşullarına rağmen, kendi yaşam bölgelerinde varlıklarını\
+  \ devam ettiren kalıntı bitkilere..........denir. \
+  \ Yukarıdaki boşluğa aşağıdakilerden hangisi getirilirse cümle tamamlanmış olur?\nA)\
+  \ Endemik\nB) Relikt\nC) Psödomaki\nD) Antropojen Bozkır\nE) Habitat\nÇözüm: Adım adım düşünelim.\
+  \ Bu soruyu cevaplayabilmek için \"relikt\" kavramının ne anlama geldiğini bilmemiz gerekir.\
+  \ Relikt bitkiler, geçmiş dönemlerdeki iklim koşullarına uyum sağlamış ve günümüze kadar varlıklarını sürdürebilmiş bitki türleridir.\
+  \ Bu bitkiler, çevresel koşullar değişmiş olmasına rağmen özel alanlarda hayatta kalabilmişlerdir.\
+  \ Seçeneklere baktığımızda, relikt bitkileri en iyi tanımlayan seçenek B şıkkındaki \"Relikt\" seçeneğidir.\
+  \ Doğru cevap B şıkkıdır.\n\nSoru: I. Üretim sürecinde doğanın dengesini bozacak ve\
+  \ insan sağlığına zararlı olabilecek kimyasal madde kullanmadan yapılan bir tarım şeklidir. II. Yağışın az, sulamanın yetersiz olduğu alanlarda tarlaların bir yıl ekilip, bir yıl dinlendirilmesi şeklinde uygulanan bir tarım yöntemidir. III. Kış sıcaklık ortalamasının 0 °C’nin altına inmediği yerlerde uygulanan tarım yöntemidir.\
+  \ Bu yöntem tarım ürünlerinin mevsimi dışında yetiştirilmesine olanak sağlar. Yukarıda anlatılan tarımsal faaliyetler hangisinde doğru verilmiştir?\
+  \ I II III \nA) Organik              Nadas               Seracılık\nB) Entansif             Organik             Ekstansif\nC) Seracılık             Nadas               Organik\nD) Ekstansif            Nadas               Seracılık\nE)\
+  \ Organik              Ekstansif          Seracılık\nÇözüm: Adım adım düşünelim. Bu soruyu cevaplayabilmek için, verilen tarım yöntemlerinin özelliklerini bilmemiz gerekir.\
+  \ Organik tarım, üretim sürecinde doğanın dengesini bozacak ve insan sağlığına zararlı olabilecek kimyasal madde kullanmadan yapılan bir tarım şeklidir.\
+  \ Nadas, yağışın az, sulamanın yetersiz olduğu alanlarda tarlaların bir yıl ekilip, bir yıl dinlendirilmesi şeklinde uygulanan bir tarım yöntemidir.\
+  \ Seracılık, kış sıcaklık ortalamasının 0 °C’nin altına inmediği yerlerde uygulanan tarım yöntemidir. Bu yöntem tarım ürünlerinin mevsimi dışında yetiştirilmesine olanak sağlar.\
+  \ Dolayısıyla, verilen tarım yöntemlerinin doğru karşılıkları şu şekildedir: Organik - Nadas - Seracılık\
+  \ Doğru cevap A şıkkıdır.\n\nSoru:\
+  \ Yeşilırmak Havzası gelişim projesi ile aşağıdakilerden hangisinin gerçekleşmesi beklenmez?\nA)\
+  \ Yeşilırmak'ın akım düzensizliğinden kaynaklanan sel, taşkın, erozyon, su ve çevre kirliliği sorunlarının çözülmesi\nB)\
+  \ Otlak alanlarının iyileştirilmesi\nC) Düzenli kentleşmenin sağlanması\nD) Sanayileşmenin\
+  \ gerçekleşmesi\nE) Bölgeden çıkarılan ham madde kaynaklarının pazarlanması\nÇözüm: Adım adım düşünelim.\
+  \ Yeşilırmak Havzası Gelişim Projesi genellikle bölgedeki çevresel sorunların çözümü, tarım alanlarının geliştirilmesi, su kaynaklarının yönetimi gibi hedeflerle yapılan bir projedir.\
+  \ A) Doğru: Projede sel, taşkın, erozyon gibi akım düzensizliğinden kaynaklanan sorunların çözülmesi hedeflenir.\
+  \ B) Doğru: Projede otlak alanlarının iyileştirilmesi ve tarım alanlarının geliştirilmesi gibi doğal alanların rehabilitasyonu da önemli bir hedeftir.\
+  \ C) Doğru: Projede düzenli kentleşme, altyapı geliştirme gibi şehir planlaması da dikkate alınır.\
+  \ D) Doğru: Projenin amaçlarından biri sanayileşmede plansızlığın giderilmesi ve sanayinin gelişmesidir.\
+  \ E) Yanlış: Projedenin amaçları arasında ham madde kaynaklarının pazarlanması yer almamaktadır.\
+  \ Sonuç olarak, E) Bölgeden çıkarılan ham madde kaynaklarının pazarlanması beklenmez, çünkü projenin amaçları arasında yer almamaktadır.\
+  \ Doğru cevap E şıkkıdır.\n\nSoru:\
+  \ 1\/2.000.000 ölçekli bir haritada 4 cm olarak gösterilen A-B arasındaki uzaklık başka bir haritada 16 cm olarak gösterilmiştir.\
+  \ Buna göre ikinci haritanın ölçeği aşağıdakilerden hangisidir?\nA) 1\/100.000\nB) 1\/200.000\nC) 1\/500.000\nD) 1\/1.500.000\nE)\
+  \ 1\/8.000.000\nÇözüm: Adım adım düşünelim.\
+  \ İlk haritada 4 cm olarak gösterilen A-B arasındaki uzaklık, ikinci haritada 16 cm olarak gösterilmiştir.\
+  \ İlk haritada 4 cm olan uzaklık, ikinci haritada 16 cm olarak gösterildiğine göre, ikinci haritanın ölçeği 4 kat büyüktür.\
+  \ İlk haritanın ölçeği 1/2.000.000 olduğuna göre, ikinci haritanın ölçeği 4 kat büyük olduğundan 1/500.000 olacaktır.\
+  \ Dolayısıyla, ikinci haritanın ölçeği 1/500.000'dir.\
+  \ Doğru cevap C şıkkıdır."
+num_fewshot: 0
+dataset_name: Geography

lm_eval/tasks/turkishmmlu/config_cot/History.yaml

+include: _turkishmmlu_cot_default_yaml
+task: turkishmmlu_cot_history
+description:
+  "Soru: Denizcilikte öne çıkan ............. Beyliği Balıkesir bölgesinde kuruldu.\
+  \ Osmanlı Devleti’ne .............. döneminde katıldı. Bu beyliğin Osmanlı Devletine katılmasıyla Osmanlı\
+  \ Devleti’nde donanma gücü oluşturuldu. Yukarıdaki metinde boş bırakılan yerlere aşağıdakilerden hangisi getirilmelidir?\nA)\
+  \ Karesioğulları - Orhan Bey\nB) Hamitoğulları - I. Murat (Hüdavendigar)\nC) Ramazanoğluları\
+  \ - I. Selim (Yavuz)\nD) Karamanoğulları - II. Mehmet (Fatih)\nE) Candaroğulları - II. Mehmet (Fatih)\nÇözüm: Adım adım düşünelim.\
+  \ Denizcilikte öne çıkan Karesi Beyliği Balıkesir bölgesinde kurulmuştur.\
+  \ Osmanlı Devleti'ne katılması ise Orhan Bey döneminde gerçekleşmiştir.\
+  \ Bu dönemde Karesi Beyliği'nin Osmanlı'ya katılmasıyla Osmanlı Devleti'nde donanma gücü oluşturulmuştur.\
+  \ Doğru cevap A şıkkıdır.\n\nSoru: Osmanlı Devleti’nin kuruluşu ile ilgili birçok tez ortaya atılmıştır.\
+  \ Bu tezler arasında birbiriyle benzer fikirler\
+  \ olmakla beraber birbirinden oldukça farklı bakış açılarını temsil eden görüşler de ortaya atılmıştır.\
+  \ Bu doğrultuda Tarihçi Colin İmber’in görüşleri “Osmanlıların kökenleri hakkındaki eski ya da çağdaş kuramların\
+  \ hiçbiri kesinlikle kanıtlanamaz. Osman Gazi hakkındaki geleneksel hikâyelerin neredeyse tümü hayal ürünüdür.\
+  \ Çağdaş bir tarihçinin yapabileceği en iyi şey, Osmanlı tarihinin başlangıcının bir kara delikten ibaret\
+  \ olduğunu kabul etmek olacaktır.” şeklindedir. Ancak 15. yüzyılda Aşıkpaşazade Osmanlı Tarihi eserini nasıl yazdığını\
+  \ şu cümlelerle ifade etmiştir: \"Kendimden önce yazılmış eserleri inceledim. Bu inceleme sonucunda\
+  \ önceki dönemleri kaleme aldım.\" Buna göre, Tarihçi Colin İmber ve Aşıkpaşazade’nin görüşleri dikkate\
+  \ alındığında aşağıdakilerden hangisine ulaşılamaz?\nA)\
+  \ Tarihî meselelerde birbirine zıt görüşler ortaya atılmıştır.\nB) Colin İmber, Osmanlı kuruluş kaynaklarını yetersiz\
+  \ görmüştür.\nC) Aşıkpaşazade eserini kaynaklara dayandırmıştır.\nD) Colin İmber, Osman Bey hakkındaki görüşleri\
+  \ reddetmiştir.\nE) Osmanlı kuruluşu efsanelere dayanılarak yazılmıştır.\nÇözüm: Adım adım düşünelim.\
+  \ Seçenekleri gözden geçirelim:\
+  \ A) Tarihi meselelerde birbirine zıt görüşler ortaya atılmıştır.\
+  \ - Bu doğru, çünkü Colin İmber ve Asıkpaşazade'nin görüşleri birbirine zıt gibi görünmektedir.\
+  \ B) Colin İmber, Osmanlı kuruluş kaynaklarını yetersiz görmüştür. \
+  \ - Doğru, çünkü İmber'e göre Osmanlı tarihindeki kaynaklar yetersiz ve hikayeler hayal ürünüdür.\
+  \ C) Asıkpaşazade eserini kaynaklara dayandırmıştır. - Doğru, çünkü Asıkpaşazade, eserini kaynaklara dayandırdığını belirtmiştir.\
+  \ D) Colin İmber, Osman Bey hakkındaki görüşleri reddetmiştir.\
+  \ - Doğru, çünkü İmber, Osman Gazi hakkındaki geleneksel hikayelerin çoğunun hayal ürünü olduğunu belirtmiştir.\
+  \ E) Osmanlı kuruluşu efsanelere dayanılarak yazılmıştır.\
+  \ - Bu yanlıştır, çünkü Asıkpaşazade'nin eserini kaynaklara dayandırdığı\
+  \ ve İmber'in görüşüne göre Osmanlı tarihinin başlangıcının kesin olarak bilinmediği belirtilmiştir.\
+  \ Doğru cevap E şıkkıdır.\n\nSoru: Aşağıdakilerden hangisi İstanbul İsyanları’nın sonuçlarından biri değildir?\nA) İstanbul’da\
+  \ asayiş ve kamu düzeni bozulmuştur.\nB) Yeniçerilerin devlet içindeki otoritesi artmıştır.\nC) Padişah ve devlet adamlarının\
+  \ otoriteleri sarsılmıştır.\nD) Tarımsal üretim azalmış, topraklar boş kalmıştır.\nE) Halkın orduya olan güveni\
+  \ azalmıştır.\nÇözüm: Adım adım düşünelim.\
+  \ İstanbul İsyanları'nın sonuçlarından biri olarak verilen seçeneklerin hepsi olumlu ya da olumsuz sonuçlar içermektedir.\
+  \ Ancak, D seçeneği olan \"Tarımsal üretim azalmış, topraklar boş kalmıştır\" \
+  \ İstanbul İsyanları'nın sonuçlarından biri olarak kabul edilmemektedir. İstanbul İsyanları genellikle\
+  \ askeri, siyasi ve sosyal sonuçlarla ilişkilendirilir, tarımsal üretimdeki azalma ve toprakların boş\
+  \ kalması bu isyanlarla doğrudan bağlantılı değildir.\
+  \ Doğru cevap D şıkkıdır.\n\nSoru: SSCB'nin 1991'de dağılmasından sonra Rusya'nın girişimiyle kurulan teşkilat\
+  \ aşağıdakilerden hangisidir?\nA) Gümrük Birliği\nB) Avrupa Birliği\nC) Bağımsız Devletler Topluluğu\nD) Şhangay\
+  \ Teşkilatı\nE) AGİT\nÇözüm: Adım adım düşünelim.\
+  \ Seçenekleri gözden geçirelim: A) Gümrük Birliği - SSCB'nin dağılmasından sonra Rusya'nın girişimiyle kurulan bir teşkilat değildir.\
+  \ B) Avrupa Birliği - SSCB'nin dağılmasıyla ilgili değildir ve Rusya'nın girişimiyle kurulmamıştır.\
+  \ C) Bağımsız Devletler Topluluğu - SSCB'nin dağılmasından sonra Rusya'nın girişimiyle kurulan bir teşkilattır.\
+  \ D) Şangay Teşkilatı - SSCB'nin dağılmasıyla ilgili değildir ve Rusya'nın girişimiyle kurulmamıştır.\
+  \ E) AGİT (Avrupa Güvenlik ve İşbirliği Teşkilatı) - SSCB'nin dağılmasıyla ilgili değildir ve Rusya'nın girişimiyle kurulmamıştır.\
+  \ Doğru cevap C şıkkıdır.\n\nSoru: Cüveynî “Tarih-i Cihangüşa” adlı eserinde Uygur bölgesini gezerken rastladığı garip\
+  \ işaretlerle yazılmış taşlardan söz etmektedir.\
+  \ Daha sonra Danimarkalı Messerschmidt’in (Mesırşmit) 1721’de bu eseri görerek Avrupa bilim camiasına tanıtması üzerine birçok bilim adamı\
+  \ bu yazıların kime ait olduğu hakkında tahminlerde bulunmuştur. Bu bilim insanlarının bazıları bu yazıların; Prusyalılara, İskitlere,\
+  \ Yunanlara ve Latinlere ait olduğunu ileri sürmüştür. Bölgeye giden birçok araştırmacı burada kazılar yaparak yeni kalıntılar tespit etmiştir.\
+  \ Kitabelerin okunuşunu ilk çözen Danimarkalı W. Thomsen (V. Tomsen) olmuş, Türklerin yaşantılarına, töresine,\
+  \ kültürüne ve devlet yönetimine dair bilgilerle birlikte bu abidelerin Türklere ait olduğunu tüm dünyaya duyurmuştur.\
+  \ Metne göre, tarih biliminin aşağıdaki hangi bilim dalından yararlandığı söylenemez?\nA) Arkeoloji\nB)\
+  \ Nümizmatik\nC) Epigrafi\nD) Paleografya\nE) Etnografya\nÇözüm: Adım adım düşünelim.\
+  \ Metinde, Cuveyni'nin \"Tarih-i Cihanguşa\" adlı eserinde Uygur bölgesinde rastladığı garip işaretlerle yazılmış taşlardan bahsedilmektedir.\
+  \ Kitabelerin okunuşunu ilk çözen Danimarkalı W. Thomsen, bu abidelerin Türklere ait olduğunu tüm dünyaya duyurmuştur.\
+  \ Bu ifadelerde, epigrafi ve paleografi bilim dallarından bahsedilmektedir.\
+  \ Yeni kalıntıların tespitiyle ilgili olarak arkeoloji bilim dalından da bahsedilmektedir.\
+  \ Türklerin yaşantılarına, töresine, kültürüne ve devlet yönetimine dair bilgilerin elde edilmesi etnografya bilim dalıyla ilgilidir.\
+  \ Nümizmatik, madeni paraları ve metal para basımı tarihini inceleyen bir bilim dalıdır.\
+  \ Metinde bahsedilen taşlarla ilgili olarak nümizmatik biliminin bir katkısından bahsedilmemektedir.\
+  \ Sonuç olarak, verilen metne göre tarih bilimi, nümizmatik bilim dalından yararlanmamıştır.\
+  \ Doğru cevap B şıkkıdır."
+num_fewshot: 0
+dataset_name: History

lm_eval/tasks/turkishmmlu/config_cot/Mathematics.yaml

+include: _turkishmmlu_cot_default_yaml
+task: turkishmmlu_cot_mathematics
+description:
+  "Soru: 3 farklı fizik ve 4 farklı kimya kitabı sıra halinde bir rafa dizilecektir. Fizik veya kimya kitaplarının\
+  \ birbirinden ayrılmaması koşuluyla bu kitaplar kaç farklı şekilde dizilebilir\nA) 7.3!.4! \nB) 3.3!.4!\nC) 5.3!.4!\nD)\
+  \ 6.3!.4!\nE) 2!.3!.4!\nÇözüm: Adım adım düşünelim.
+  \ Bu tür soruları çözerken, ilgili koşulları adım adım inceleyerek ilerlemek önemlidir. Bu\
+  \ problemde iki önemli koşul var: fizik kitaplarının birbirinden ayrılmaması ve kimya\
+  \ kitaplarının birbirinden ayrılmaması gerekmektedir. 1. Adım: Fizik ve kimya kitapları kendi arasında ayrılmaması gerektiği için, tüm fizik\
+  \ kitaplarını tek bir grup olarak ve tüm kimya kitaplarını da tek bir grup olarak\
+  \ düşünebiliriz. Bu durumda, sadece iki grup olduğu için bu iki grubu sıra halinde\
+  \ dizmenin 2! farklı yolu vardır. 2. Adım: Fizik kitapları kendi içinde sıralanabilir. 3 farklı fizik kitabı olduğu için, bu\
+  \ kitapları sıralamanın 3! farklı yolu vardır. 3. Adım: Kimya kitapları kendi içinde sıralanabilir. 4 farklı kimya kitabı olduğu için, bu\
+  \ kitapları sıralamanın 4! farklı yolu vardır. 4. Adım: Bu durumda, tüm durumların toplam sayısını bulmak için bu\
+  \ kombinasyonların çarpımını alırız: 2! . 3! . 4!.\
+  \ Doğru cevap E şıkkıdır.\n\nSoru: $(p \\land q')' \\Rightarrow p$ koşullu önermesinin\
+  \ karşıtı aşağıdakilerden hangisidir?\nA) $p \\Rightarrow (p \\Rightarrow q)$\nB) $p \\Rightarrow (p \\land q')$\nC)\
+  \ $p' \\Rightarrow q$\nD) $q' \\lor p$\nE) $p' \\lor (q \\Rightarrow p)$\nÇözüm: Adım adım düşünelim.\
+  \ Verilen koşullu önermenin karşıtını bulmak için, öncelikle verilen koşullu önermeyi ve\
+  \ karşıtını gözden geçirelim.\
+  \ Verilen koşullu önerme: $(p \\land q')' \\Rightarrow p$\
+  \  Bir koşullu önermenin karşıtını bulmak için, koşullu önermenin solundaki ifade (hipotez) ile\
+  \ sağdaki ifade (sonuç) yer değiştirilmelidir. Buna göre, verilen önermenin karşıtı:\
+  \ $p \\Rightarrow (p \\land q')'$\
+  \ $(p \\land q')'$ ifadesini açalım:\
+  \ $(p \\land q')' = p' \\lor q$\
+  \ $(p \\land q')' = $p \\Rightarrow q$\
+  \ Bu durumda, verilen koşullu önermenin karşıtı: $p \\Rightarrow (p \\land q')'$\
+  \ $p \\Rightarrow (p \\Rightarrow q)$ şeklinde de ifade edilebilir. \
+  \ Doğru cevap A şıkkıdır.\n\nSoru: A oto kiralama firması kiralanacak bir araç için sabit 200 TL\
+  \ ve her bir kilometre için 20 kuruş almaktadır. B oto kiralama firması ise kiralanacak bir araç için sabit 140 TL ve her bir kilometre için 25 kuruş almaktadır.\
+  \ Buna göre kiralanan birer araçla kaç kilometre yol gidilirse iki firmaya da ödenecek ücret birbirine eşit olur\nA) 1150\nB)\
+  \ 1200\nC) 1250\nD) 1300\nE) 1350\nÇözüm: Adım adım düşünelim. A ve B firmalarının uyguladığı ücret planını bir denklemle ifade edebiliriz.\
+  \ A firması için toplam maliyet: 200 + 0.20k TL ('k' kilometre için)\
+  \ B firması için toplam maliyet: 140 + 0.25k TL\
+  \ Bu iki firmaya ödenecek ücretin birbirine eşit olduğu durumu bulmak için bu iki ifadeyi birbirine eşitleriz:\
+  \ 200 + 0.20k = 140 + 0.25k\
+  \ Bu denklemi çözmek için öncelikle her iki tarafından da '140' çıkarırız ve '0.20k' sapmasını bir tarafa alırız:\
+  \ 60 = 0.05k\
+  \ Buradan 'k' değerini bulmak için:\
+  \ k = 60/0.05 = 1200\
+  \ Yani, araçlarla 1200 kilometre yol gidildiğinde iki firmaya da ödenecek ücret birbirine eşit olur.\
+  \ Bu nedenle doğru seçenek B: 1200 olacaktır. Doğru cevap B şıkkıdır.\n\nSoru:\
+  \ Merkezinin koordinatları M(-1,2) ve yarıçap uzunluğu r=3 birim olan çemberin standart denklemi\
+  \ aşağıdakilerden hangisidir?\nA) $\\(\\mathrm{\\left( x-1\\right) ^{2}+\\left( y-2\\right) ^{2}=9}\\)$\nB)\
+  \ $\\(\\mathrm{\\left( x-1\\right) ^{2}-\\left( y-2\\right) ^{2}=9}\\)$\nC)\
+  \ $\\(\\mathrm{\\left( x+1\\right) ^{2}+\\left( y-2\\right) ^{2}=9}\\)$\nD)\
+  \ $\\(\\mathrm{\\left( x+1\\right) ^{2}+\\left( y+2\\right) ^{2}=9}\\)$\nE)\
+  \ $\\(\\mathrm{\\left( x+1\\right) ^{2}-\\left( y+2\\right) ^{2}=9}\\)$\nÇözüm: Adım adım düşünelim.\
+  \ Çemberin standart denklemi $(x - h)^2 + (y - k)^2 = r^2$ şeklinde ifade edilir, burada\
+  \ $(h, k)$ çemberin merkezinin koordinatlarıdır ve $r$ çemberin yarıçapıdır.\
+  \ Verilen soruda, çemberin merkezi $M(-1,2)$ ve yarıçapının uzunluğu $r=3$ birim\
+  \ olarak belirtilmiştir. Bu değerleri standart denklemde yerine koyalım:\
+  \ Merkez $(-1, 2)$ olduğu için, $h = -1$ ve $k = 2$ olur. Yarıçap $r = 3$ birimi olduğu\
+  \ için denklem $r^2 = 9$ şekline dönüşür.\
+  \ Bunu denkleme yerleştirirsek:\
+  \ $(x - (-1))^2 + (y - 2)^2 = 3^2$.\
+  \ Bu da şu şekilde basitleştirilir:\
+  \ $(x + 1)^2 + (y - 2)^2 = 9$.\
+  \ Doğru cevap C şıkkıdır.\n\nSoru:\
+  \ $\\(\\large| -8-1\\large| +\\large|-1+6\\large| -\\large|4\\large|\\)$ işleminin sonucu kaçtır?\nA) 2\nB)\
+  \ 4\nC) 9\nD) 10\nE) 18\nÇözüm: Adım adım düşünelim.\
+  \ Mutlak değer ifadesindeki sayı negatif olsa dahi sonuç pozitif olacaktır. Soruda\
+  \ verilen ifadeyi adım adım çözeceğiz:\
+  \ $\\large| -8 - 1\\large| + \\large| -1 + 6\\large| - \\large| 4\\large|$\
+  \ İlk adımda her bir mutlak değer içindeki işlemi yapalım:\
+  \ - $\\large| -8 - 1\\large| = \\large| -9\\large| = 9$ (Mutlak değer içindeki sonuç her\
+  \ zaman pozitiftir.)\
+  \ - $\\large| -1 + 6\\large| = \\large| 5\\large| = 5$.\
+  \ - $\\large| 4\\large| = 4$.\
+  \ Böylece ifade şu şekle dönüşür: $9 + 5 - 4$. Sonuç: $9 + 5 - 4 = 10$\
+  \ Bu nedenle işlemin sonucu 10'dur. Doğru cevap D şıkkıdır.\n\n"
+num_fewshot: 0
+dataset_name: Mathematics

lm_eval/tasks/turkishmmlu/config_cot/Philosophy.yaml

+include: _turkishmmlu_cot_default_yaml
+task: turkishmmlu_cot_philosophy
+description:
+  "Soru: Aşağıdaki ifadelerden hangisi Kant'ın epistemolojik görüşünü yansıtan bir yargıdır?\nA)\
+  \ Bilginin kaynağı hem akıl hem deneyimdir.\nB) Doğru bilgi mümkün değildir.\nC) Sezgiye\
+  \ dayalı bilgi gerçektir.\nD) Akıl tek başına bilgi elde etmek için yeterlidir.\nE)\
+  \ Fenomenlerin bilgisi özseldir.\nÇözüm: Adım adım düşünelim.\
+  \ Kant'ın epistemolojik görüşü, bilginin kaynağı olarak hem akıl (yani a priori bilgi) hem de deneyim (a posteriori bilgi) olduğunu öne sürer.\
+  \ Doğru cevap A şıkkıdır.\n\nSoru: Bir argümanın ya da argümanı oluşturan önermelerin kendi içinde\
+  \ veya birbiriyle uygun olması o argümanın ya daönermenin .................. olduğunu gösterir. Parçadaki boşluğa aşağıdaki\
+  \ kavramlardan hangisi getirilmelidir?\nA) Çelişik\nB) Gerçek\nC) Doğru\nD)\
+  \ Tutarlı\nE) Geçerli\nÇözüm: Adım adım düşünelim.\
+  \ Boşluğa getirilmesi gereken kavram, bir argümanın veya argümanı oluşturan önermelerin kendi içinde veya\
+  \ birbiriyle uygun olmasını ifade eden bir kavram olmalıdır. Bu durumda, argümanın veya önermenin tutarlı olduğunu gösterir.\
+  \ Doğru cevap D şıkkıdır.\n\nSoru: Bir tek teoloji yoktur. Hemen her dinin kendi teolojisi vardır;\
+  \ Hristiyan ve İslam teolojisi gibi. Bunlardan hiçbiri açıklamalarında ait oldukları dinin inanç esaslarının dışına çıkmaz.\
+  \ Aşağıdakilerden hangisi bu durumun sebebi olamaz?\nA) Teolojilerin ait oldukları dini baştan doğru kabul\
+  \ etmeleri\nB) Teolojilerin din felsefesi gibi dine eleştirel olarak yaklaşmaları\nC) Teolojilerin ait oldukları\
+  \ dinin doğruluğunu ispat etme çabaları\nD) Teolojilerin belli bir dini görüşü savunmaya çalışmaları\nE)\
+  \ Teolojilerin din felsefesi gibi dinlere tarafsız yaklaşmamaları\nÇözüm: Adım adım düşünelim.\
+  \ Bu soruda, verilen ifadelerden hangisinin çeşitli dinlerin kendi teolojilerinin ait oldukları dinin inanç esaslarının dışına\
+  \ çıkmadığı durumu açıklamada bir sebep olamayacağı sorulmaktadır. Teolojinin temel amacı, bir dinin inanç esaslarını açıklamak ve yorumlamaktır.\
+  \ Dolayısıyla, teolojilerin ait oldukları dini baştan doğru kabul etmeleri A), belli bir dinin görüşünü savunmaya çalışmaları, D)\
+  \ ait oldukları dinin doğruluğunu ispat etme çabaları C) ve din felsefesi gibi dinlere tarafsız yaklaşmamaları E) bu durumun sebepleri olabilir.\
+  \ Ancak, din felsefesi gibi dine eleştirel olarak yaklaşmaları B) ise teolojik çalışmaların temel amaçlarından biri değildir.\
+  \ Doğru cevap B şıkkıdır. \n\nSoru: Konfüçyüs’a göre “Zenginlik ve şeref herkesin istediği şeylerdir. Eğer bunlar doğru bir yolda\
+  \ kazanılmazsa pek çabuk kaybedilir. Fakirlik ve düşkünlük insanların nefret ettiği şeylerdir. Eğer insanlar dürüst davranmazlarsa\
+  \ kendilerini bunlardan sıyırmalarının imkânı yoktur.” Bu açıklama ile Konfüçyüs, felsefenin hangi konusuna vurgu\
+  \ yapmıştır?\nA) Bilgi\nB) Spor\nC) Varlık\nD) Siyaset\nE) Ahlak\nÇözüm: Adım adım düşünelim.\
+  \ Konfüçyüs'ün bu açıklamasında vurgu yaptığı temel konu, insan davranışlarının doğruluğuyla ilgilidir.\
+  \ Konfüçyüs, zenginlik, şeref, fakirlik ve düşkünlük gibi dışsal değerlerin kazanılmasının doğru bir şekilde sağlanmaması durumunda\
+  \ hızlıca kaybedilebileceğini, ancak insanların dürüst davranışlar sergilemediği sürece bu tür olumsuzluklardan kaçmanın mümkün olmadığını vurgular.\
+  \ Dolayısıyla, Konfüçyüs'ün bu açıklamasıyla vurguladığı konu ahlaktır.\ Doğru cevap E şıkkıdır.\n\nSoru:\
+  \ İnancın temele alındığı MS 2- MS 15. yüzyıl felsefesi, kendinden önceki dönem felsefelerinden etkilenmiştir.\
+  \ Örneğin Hristiyan filozofları, Hristiyanlığı yaymak için diriliş inancını destekleyen ruhun ölmemesi hatta tekrar dirilmesi\
+  \ fikrini savunan Antik Yunan filozofunun görüşlerinden; İslam filozofları ise Tanrı’nın varlığı kanıtlamalarında\
+  \ başka bir Antik Yunan filozofunun geliştirdiği mantıktan yararlanmışlardır. Bu parçaya göre, MS 2- 15. yüzyıl\
+  \ felsefesini etkileyen filozoflar sırasıyla aşağıdaki seçeneklerden hangisinde verilmiştir?\nA)\
+  \ Epiküros, Aristoteles\nB) Epiküros, Platon\nC) Platon, Aristoteles\nD) Platon, Epiküros\nE)\
+  \ Aristoteles, Platon\nÇözüm: Adım adım düşünelim.\
+  \ Parçada belirtilenler doğrultusunda, Hristiyan filozoflarının diriliş inancını desteklemek için Antik Yunan filozoflarının ruhun ölmemesi\
+  \ ve hatta tekrar dirilmesi fikrini savunan görüşlerinden etkilendiği ifade edilmiştir. Bu görüşleri savunan Antik Yunan filozofunun Platon olduğu bilinmektedir.\
+  \ İslam filozoflarının ise Tanrı'nın varlığını kanıtlamada başka bir Antik Yunan filozofunun mantığından yararlandığı ifade edilmektedir\
+  \ ve bu filozofun da Aristoteles olduğu bilinmektedir. Doğru cevap C şıkkıdır."
+dataset_name: Philosophy

lm_eval/tasks/turkishmmlu/config_cot/Physics.yaml

+include: _turkishmmlu_cot_default_yaml
+task: turkishmmlu_cot_physics
+description:
+  "Soru: 20°C sıcaklığında R direncine sahip silindirik bakır tel eritilerek boyu ilk boyunun iki katı kadar ve yine\
+  \ silindirik olacak biçimde yeni bir kalıba dökülüyor. Bu durumda yeni telin direnci kaç R olur?\nA)\
+  \ 4\nB) 2\nC) 1\nD) 1/2\nE) 1/4\nÇözüm: Adım adım düşünelim.\
+  \ Yeni direncin değerini bulmak için öncelikle direncin nasıl değiştiğini anlamamız gerekiyor.\
+  \ Direnç \\(R\\), iletkenin direncinin uzunluğu \\(l\\), kesit alanı \\(A\\) ve\
+  \ malzemenin özdirenci (veya direnç katsayısı) \\(\\rho\\) ile doğrudan ilişkilidir ve\
+  \ aşağıdaki formülle ifade edilir:\
+  \ \\[R = \\rho \\frac{l}{A}\\]\
+  \ Bu denklemde görüldüğü üzere, direnç iletkenin uzunluğu ile doğru orantılıyken,\
+  \ kesit alanı ile ters orantılıdır. Soruda verilenler doğrultusunda, bakır telin uzunluğu iki\
+  \ katına çıkarılıyor, bu durumda yeni uzunluğumuz \\(2l\\) olacaktır. Bakır telin hacmi\
+  \ değişmediğinden ve şekli de yine silindirik olduğundan, bu durumda kesit alan da\
+  \ değişmek zorundadır; çünkü uzunluk iki katına çıkartıldığında, hacmi korumak için\
+  \ kesit alanın yarıya düşürülmesi gerekiyor. Yeni kesit alanımız \\(A/2\\) olacaktır.\
+  \ Yeni direnç \\(R'\\) şu şekilde hesaplanır:\
+  \ \\[R' = \\rho \\frac{2l}{A/2} = 4 \\times \\rho \\frac{l}{A}\\]\
+  \ Bu durumda, yeni direnç \\(R'\\) orijinal direnç \\(R\\) ile karşılaştırıldığında 4 katına\
+  \ çıkmış olur. Doğru cevap A şıkkıdır.\n\nSoru: Karayip resif mürekkep balığı suyun üstünde 2 m yüksekliğe çıkmak\
+  \ ve vücut uzunluğunun 50 katı kadar bir mesafeye yani toplamda 10 m uçmak için tepkili itme kullanır.\
+  \ Bunun için vücuduna düşük hızda aldığı akışkan ile kütlesini arttırıp, sonra bu akışkanı yüksek hızda dışarı atarak kütlesini azaltır. Mürekkep balığının kullandığı\
+  \ bu yöntem roketleri fırlatmak için ihtiyaç duyulan itiş gücünün temel mantığını oluşturur. Örneğin yükünü\
+  \ kaldırabilecek yeterli itiş kuvvetinin sağlanabilmesi için Atlas V roketinde, saniyede 1000 kg’dan fazla yakıt\
+  \ tüketilmesi ve egzoz gazının saniyede 4000 m süratle dışarı atılması gerekmiştir. Yer çekimine karşı yapılan bu\
+  \ fırlatma işlemi rokete uçuş süresi boyunca gerekli yakıtın sağlanması ve yer çekiminden kurtulmak için saatte 40000 km gibi bir sürate ulaşması\
+  \ ile mümkün olabilmektedir. Aşağıdakilerden hangisinde ya da hangilerinde\
+  \ yukarıdaki metinde geçen duruma örnek verilebilir?\nI. Şişirilen balonun serbest bırakılması. II. Ateşlenen top aracının geriye doğru hareket etmesi.\
+  \ III. Havada patlayan havai fişeği parçalarının farklı yönlerde ilerlemesi. IV.\
+  \ Hareketli bir bilardo topu ile duran bilardo topunun hareket ettirilmesi\nA) Yalnız I\nB)\
+  \ Yalnız II\nC) I ve II\nD) II ve IV\nE) I, II ve IV\nÇözüm: Adım adım düşünelim.\
+  \ Yukarıdaki metinde anlatılan durum, bir cismin içerisinden hızla dışarı atılan akışkan veya gaz sayesinde\
+  \ ters yönde bir itiş gücü üretilmesini ve bu sayede ileri hareket edilmesini içerir. Bu durum, roketlerin fırlatılma\
+  \ prensibi ve Karayip resif mürekkep balığının hareket mekanizması ile örneklendirilmiştir. Verilen seçenekler göz önünde\
+  \ bulundurulduğunda: \
+  \ I. Şişirilen balonun serbest bırakılması - Bu durum, balonun içindeki hava dışarıya hızla atıldığında balonun ters yönde\
+  \ hareket etmesi prensibine dayanır, bu nedenle ilgili durumla benzerdir. \
+  \ II. Ateşlenen top aracının geriye doğru hareket etmesi - Bu, Newton'un üçüncü yasası (her eyleme karşılık eşit ve zıt\
+  \ yönde bir tepki olur) örneğidir ve roketin veya mürekkep balığının hareketine benzer bir durumdur. Ateşlenen top, bir yöne doğru\
+  \ kuvvet uyguladığında, top aracı da zıt yönde bir kuvvetle hareket eder.\
+  \ III. Havada patlayan havai fişeğin parçalarının farklı yönlere ilerlemesi - Bu, içeriden\
+  \ dışarıya bir patlama etkisi ile nesnelerin her yöne dağılmasını içerir ve itme\
+  \ kuvvetinin her yöne eşit dağıldığı bir durumu ifade eder. Bu örnek, direkt olarak\
+  \ içeriden dışarıya hızlı bir akışkan veya gazın atılması ile ileri hareket etme prensibini\
+  \ taşımaz.\
+  \ IV. Hareketli bir bilardo topu ile duran bilardo topunun hareket ettirilmesi - Bu, iki katı\
+  \ cismin çarpışması durumunu ve momentumun korunumu ilkesini içerir, direkt olarak\
+  \ itiş kuvveti prensibi ile ilgili değildir.\
+  \ Böylece, açıklanan prensiplere en çok uyan seçenek I. ve II. durumları içeren seçenek doğrudur.\
+  \ Doğru cevap C şıkkıdır.\n\nSoru: Yay sabiti k olan yay sarkacı ve ip uzunluğu $\\(\\ell\\)$ olan basit sarkaçtan oluşturulan\
+  \ sistemler yerçekimi ivmesinin daha büyük olduğu bir gezegene götürülürse periyotları nasıl değişir?\nYay Sarkacı        Basit Sarkaç\nA) Değişmez Artar\nB) Değişmez Değişmez\nC) Azalır\
+  \ Değişmez\nD) Artar Azalır\nE) Değişmez Azalır\nÇözüm: Adım adım düşünelim.\
+  \ Yay sarkacının periyodu, yay sabiti \\(k\\) ve sarkacın kütlesi \\(m\\) ile ilişkili olup\
+  \ \\(T = 2\\pi\\sqrt{\\frac{m}{k}}\\) formülüyle hesaplanır. Yerçekimi ivmesi (\\(g\\)) bu formülde yer almadığından, yay sarkacının\
+  \ periyodu yerçekimi ivmesinin değerinden bağımsızdır ve değişmez. \
+  \ Basit sarkacın periyodu ise \\(T = 2\\pi\\sqrt{\\frac{\\ell}{g}}\\) formülüyle hesaplanır. Bu  formülde \\(\\ell\\) ipin uzunluğunu\
+  \ ve \\(g\\) yerçekimi ivmesini temsil eder. Eğer yerçekimi ivmesi \\(g\\) büyükse, denklemin paydası büyüyeceğinden, periyodun\
+  \ değeri azalır. Bu durumda, yay sarkacının periyodu değişmezken, basit sarkacın periyodu azalır.\
+  \ Doğru cevap E şıkkıdır.\n\nSoru: 100 g kütleli bir kap özkütlesi 1 g/cm $^{3}$ olan su ile dolu iken kütlesi 350 g oluyor.\
+  \ Buna göre, kap 0,5 g/cm$^{3 }$özkütleli sıvı ile doldurulursa kütlesi kaç g olur?\nA) 75\nB)\
+  \ 125\nC) 175\nD) 225\nE) 250\nÇözüm: Adım adım düşünelim.\
+  \ Kap ve suyun birleşik kütlesi 350 g olduğuna göre, sadece suyun kütlesini bulabilmek için kapın kütlesini bu değerden\
+  \ çıkarmamız gerekiyor. Kap zaten boşken 100 g olduğuna göre: \
+  \ Su + kap = 350 g\
+  \ Su = 350 g - kap\
+  \ Su = 350 g - 100 g\
+  \ Su = 250 g\
+  \ Bu, kapın içerisine koyduğumuz suyun kütlesinin 250 g olduğunu gösterir. Su için\
+  \ verilen özkütlesi 1 g/cm$^{3}$ olduğuna göre ve kütlesi 250 g ise hacmi de 250\
+  \ cm$^{3}$ olmalıdır (çünkü kütlesi özkütlesi ile çarpıldığında hacmini verir).\
+  \ Şimdi, 0,5 g/cm$^{3}$ öz kütleli bir sıvı ile aynı kapı doldurursak, aynı hacmi (250\
+  \ cm$^{3}$) dolduracağını varsayabiliriz. Bu sıvının kütlesini bulmak için hacmi öz\
+  \ kütlesi ile çarpalım:\
+  \ Kütle = özkütle * hacim\
+  \ Kütle = 0,5 g/cm$^{3}$ * 250 cm$^{3}$\
+  \ Kütle = 125 g\
+  \ Bu yeni sıvının kütlesi 125 g olacaktır. Ancak bu sadece sıvının kütlesi. Toplam\
+  \ kütleyi bulmak için kapın kütlesini (100 g) de eklememiz gerekiyor:\
+  \ Toplam kütle = sıvı + kap\
+  \ Toplam kütle = 125 g + 100 g\
+  \ Toplam kütle = 225 g\
+  \ Buna göre, kap 0,5 g/cm$^{3}$ özkütleli sıvı ile doldurulursa toplam kütlesi 225 g olur.\
+  \ Doğru cevap D şıkkıdır.\n\nSoru: Sıcaklık için aşağıda verilenlerden hangisi doğrudur?\nA)\
+  \ Bir enerji çeşitidir.\nB) Termometre ile ölçülür.\nC) Birimi\
+  \ kaloridir.\nD) Madde miktarına bağlıdır.\nE) Birimi joule' dür.\nÇözüm: Adım adım düşünelim.\
+  \ Sıcaklığın ne olduğunu ve nasıl ölçüldüğünü ele alarak, verilen seçenekleri inceleyelim:\
+  \ A) \"Bir enerji çeşididir.\" - Bu ifade doğru değildir. Sıcaklık, enerjinin bir çeşidi değil,\
+  \ malzemenin veya cismin ortalama kinetik enerjisinin bir ölçüsüdür. Dolayısıyla,\
+  \ enerjinin bir türü olarak değil, enerjinin belli bir durumunu ifade eder.\
+  \ B) \"Termometre ile ölçülür.\" - Bu ifade doğrudur. Sıcaklık termometre gibi özel\
+  \ aygıtlar kullanılarak ölçülür. Bu aygıtlar, farklı sıcaklık değerlerinde farklı tepkiler verir\
+  \ ve bu sayede sıcaklığın ne olduğunu belirleyebiliriz.\
+  \ C) \"Birimi kaloridir.\" - Bu ifade yanlıştır. Kalori, enerji birimidir ve özellikle ısı\
+  \ enerjisinin miktarını ölçmek için kullanılır. Sıcaklığın birimi ise derece Celsius (°C), derece\
+  \ Fahrenheit (°F), veya Kelvin (K) gibi ölçü birimleridir.\
+  \ D) \"Madde miktarına bağlıdır.\" - Bu ifade yanlıştır. Sıcaklık, bir maddenin miktarından\
+  \ bağımsız, maddenin ortalama kinetik enerjisinin bir ölçüsüdür. Yani, madde miktarı\
+  \ sıcaklığı doğrudan etkilemez; aynı sıcaklıktaki iki farklı miktar madde, biri fazla biri az\
+  \ olsa dahi, aynı sıcaklığa sahip olabilir.\
+  \ E) \"Birimi joule'dür.\" - Bu ifade de yanlıştır. Joule, enerjinin SI birimidir ve sıcaklığın\
+  \ birimi değildir. Daha önce belirtildiği gibi, sıcaklığın birimi derece Celsius, derece\
+  \ Fahrenheit veya Kelvin'dir.\
+  \ Doğru cevap B şıkkıdır."
+num_fewshot: 0
+dataset_name: Physics

lm_eval/tasks/turkishmmlu/config_cot/Religion_and_Ethics.yaml

+include: _turkishmmlu_cot_default_yaml
+task: turkishmmlu_cot_religion_and_ethics
+description:
+  "Soru: (I)  Allah’a (c.c.) inanmak insanın hayatında olumlu değişiklikler yapar. (II)  Bunun nedeni imanın; duygu, düşünce ve davranışlar üzerinde etkili olmasıdır.\
+  \ (III)  İnsanın Allah (c.c.) ile irtibatı dua, ibadet, tövbe ve Kur’an okuma gibi yollarla gerçekleşir. (IV)  İnsan büyük oranda inancına göre görür, düşünür ve davranışlar sergiler.\
+  \ (V)  Bu durumu açıklayan birçok ayet ve hadis bulunmaktadır. Bu parçadaki numaralanmış cümlelerden hangisi düşüncenin akışını bozmaktadır?\nA)\
+  \ I\nB) II\nC) III\nD) IV\nE) V\nÇözüm: Adım adım düşünelim.\
+  \ Metinde düşüncenin akışını bozan cümle C) III'dür. Çünkü diğer cümleler imanın insan üzerindeki etkilerine odaklanırken,\
+  \ III numaralı cümle insanın Allah ile irtibatını nasıl gerçekleştirdiğine dair bir açıklama sunar, bu da ana fikrin akışını biraz keser. \
+  \ Doğru cevap C şıkkıdır.\n\nSoru: İslam ahlakının kaynağı aşağıdakilerden hangisidir?\nA)\
+  \ Kur’an ve sünnet\nB) Birey ve toplum\nC) Terbiye ve deneyim\nD)\
+  \ Akıl ve düşünce\nE) Vicdan ve bilgi\nÇözüm: Adım adım düşünelim.\
+  \ İslam ahlakının kaynağı \"Kur'an ve Sünnet\"tir. \
+  \ Kur'an, İslam'ın kutsal kitabıdır ve peygamberin sözleri, eylemleri ve onayladıkları olan sünnet, İslam ahlakının temelini oluşturur.\
+  \ Doğru cevap A şıkkıdır.\n\nSoru: Dinimizin ibadetler konusunda önem verdiği temel ilkelerden biri ihlastır.\
+  \ Dolayısıyla İslami açıdan ibadetlerin, sadece Yüce Allah’ın (c.c.) rızasını kazanmak amacıyla yapılması esastır.\
+  \ Mümin, her zaman bu bilinçte olmalıdır.\nİbadetlerini bu bilinçle, severek, isteyerek ve samimiyetle yapmalıdır.\
+  \ Nitekim bizler her gün namazlarda okuduğumuz Fâtiha suresinde, ---- diyerek bunu ifade ediyoruz.\
+  \ Verilen parçada boş bırakılan yere aşağıdaki ayetlerden hangisi getirilmelidir?\nA)\
+  \ “Rahmân ve rahîm olan Allah’ın adıyla.” (Fâtiha suresi, 1. ayet.) \nB)\
+  \ “Hamd (övme ve övülme), âlemlerin Rabbi Allah’a mahsustur. ” (Fâtiha suresi, 2. ayet.) \nC)\
+  \ “O, rahmândır ve rahîmdir. Ceza gününün malikidir. ” (Fâtiha suresi, 3-4. ayetler.) \nD)\
+  \ “Yalnız sana ibadet eder ve yalnız senden yardım dileriz.” (Fâtiha suresi, 5. ayet.) \nE)\
+  \ “Bize doğru yolu göster. ” (Fâtiha suresi, 6. ayet.)\nÇözüm: Adım adım düşünelim. \
+  \ Verilen parçada ifade edildiği gibi, İslami ibadetlerin temel amacı Allah'ın rızasını kazanmaktır ve bu amaçla ibadetlerin ihlas ile yapılması önemlidir. Namazlarda okunan Fatiha suresinde bu bilinci ifade eden bir ayet bulunmaktadır.\
+  \ Fatiha suresinin ayetleri şunlardır:\
+  \ Rahmân ve Rahîm olan Allah'ın adıyla.\
+  \ Hamd (övme ve övülme) âlemlerin Rabbi Allah'a mahsustur.\
+  \ O, Rahmân'dır ve Rahîm'dir.\
+  \ Ceza gününün malikidir. \
+  \ Yalnız sana ibadet eder ve yalnız senden yardım dileriz.\
+  \ Bize doğru yolu göster.\
+  \ İbadetlerin ihlas ile yapılması ve sadece Allah'ın rızasını gözeterek gerçekleştirilmesi kavramını ifade eden ayet ise D) Yalnız sana ibadet eder ve yalnız senden yardım dileriz. şeklindeki 5. ayettir.\
+  \ Doğru cevap D şıkkıdır.\n\nSoru: Müminler ancak kardeştirler. Öyleyse kardeşlerinizin arasını düzeltin.\
+  \ Allah’a karşı gelmekten sakının ki size merhamet edilsin.” (Hucurât suresi, 10. ayet.) Ayetin asıl konusu nedir?\nA)\
+  \ Adalet\nB) Kardeşlik\nC) İtaat\nD) Bağışlama\nE) Sorumluluk\nÇözüm: Adım adım düşünelim.\
+  \ Bu ayetin asıl konusu \"Kardeşlik\"tir. Çünkü ayette müminlerin birbirlerine kardeş oldukları\
+  \ ve aralarındaki ilişkilerin düzeltilmesi gerektiği vurgulanır. Doğru cevap B şıkkıdır.\n\nSoru:\
+  \ İslam medeniyeti, Emeviler döneminde oluşum sürecine girmiş, Abbasiler döneminde gelişmiş, Selçuklular döneminde bu gelişim devam etmiş, \
+  \ Osmanlı döneminde ise kurum ve kuruluşlarıyla en parlak devrini yaşamıştır. İslam medeniyetinin mimari, edebiyat, sanat, matematik, astronomi, tıp vb. \
+  \ alanlarda ortaya koyduğu örnekler oldukça fazladır. Farabi, İbn Sina, Biruni, Harezmî, İbn Rüşd, İbn Haldun gibi ilim adamları kendi dönemlerinde, felsefe, mantık, matematik,\
+  \ tıp, astronomi gibi alanlarda tüm dünyaya zengin ilmi ürünler sunmuşlardır. Bu parçanın ana konusu aşağıdakilerden hangisidir?\nA)\
+  \ Medeniyetin en önemli unsurları\nB) Medeniyete katkı sağlayan İslam âlimleri\nC)\
+  \ İslam medeniyetiyle ortaya çıkan kurumlar\nD) İslam medeniyetinin en parlak dönemleri\nE)\
+  \ İslam medeniyetinin oluşma süreci\nÇözüm: Adım adım düşünelim.\
+  \ Bu parçanın ana konusu, İslam medeniyetinin gelişimini ve etkisini tanımlayan bir açıklamadır.\
+  \ Parça, İslam medeniyetinin Emeviler, Abbasiler, Selçuklular ve Osmanlılar dönemlerindeki oluşumunu ve gelişimini kapsamlı bir şekilde ele alırken,\
+  \ İslam medeniyetinin farklı alanlardaki önemli katkılarını ve ilim adamlarının rollerini vurgular.\
+  \ Doğru cevap E şıkkıdır."
+dataset_name: Religion_and_Ethics
+num_fewshot: 0