Added KMMLU evaluation method and changed ReadMe (#1447)

* update kmmlu default formatting * Update _default_kmmlu_yaml * Delete lm_eval/tasks/kmmlu/utils.py * new tasks implemented * add direct tasks * update direct evaluate * update direct eval * add cot sample * update cot * add cot * Update _cot_kmmlu_yaml * add kmmlu90 * Update and rename _cot_kmmlu.yaml to _cot_kmmlu_yaml * Create kmmlu90.yaml * Update _cot_kmmlu_yaml * add direct * Update _cot_kmmlu_yaml * Update and rename kmmlu90.yaml to kmmlu90_cot.yaml * Update kmmlu90_direct.yaml * add kmmlu hard * Update _cot_kmmlu_yaml * Update _cot_kmmlu_yaml * update cot * update cot * erase typo * Update _cot_kmmlu_yaml * update cot * Rename dataset to match k-mmlu-hard * removed kmmlu90 * fixed name 'kmmlu_cot' to 'kmmlu_hard_cot' and revised README * applied pre-commit before pull requests * rename datasets and add notes * Remove DS_Store cache * Update lm_eval/tasks/kmmlu/README.md Co-authored-by: Hailey Schoelkopf <65563625+haileyschoelkopf@users.noreply.github.com> * Change citations and reflect reviews on version * Added kmmlu_hard and fixed other errors * fixing minor errors * remove duplicated * Rename files * try ".index" * minor fix * minor fix again * fix revert. * minor fix. thank for hailey --------- Co-authored-by: GUIJIN SON <spthsrbwls123@yonsei.ac.kr> Co-authored-by: Hailey Schoelkopf <65563625+haileyschoelkopf@users.noreply.github.com>

Added KMMLU evaluation method and changed ReadMe (#1447)
* update kmmlu default formatting * Update _default_kmmlu_yaml * Delete lm_eval/tasks/kmmlu/utils.py * new tasks implemented * add direct tasks * update direct evaluate * update direct eval * add cot sample * update cot * add cot * Update _cot_kmmlu_yaml * add kmmlu90 * Update and rename _cot_kmmlu.yaml to _cot_kmmlu_yaml * Create kmmlu90.yaml * Update _cot_kmmlu_yaml * add direct * Update _cot_kmmlu_yaml * Update and rename kmmlu90.yaml to kmmlu90_cot.yaml * Update kmmlu90_direct.yaml * add kmmlu hard * Update _cot_kmmlu_yaml * Update _cot_kmmlu_yaml * update cot * update cot * erase typo * Update _cot_kmmlu_yaml * update cot * Rename dataset to match k-mmlu-hard * removed kmmlu90 * fixed name 'kmmlu_cot' to 'kmmlu_hard_cot' and revised README * applied pre-commit before pull requests * rename datasets and add notes * Remove DS_Store cache * Update lm_eval/tasks/kmmlu/README.md Co-authored-by: Hailey Schoelkopf <65563625+haileyschoelkopf@users.noreply.github.com> * Change citations and reflect reviews on version * Added kmmlu_hard and fixed other errors * fixing minor errors * remove duplicated * Rename files * try ".index" * minor fix * minor fix again * fix revert. * minor fix. thank for hailey --------- Co-authored-by: GUIJIN SON <spthsrbwls123@yonsei.ac.kr> Co-authored-by: Hailey Schoelkopf <65563625+haileyschoelkopf@users.noreply.github.com>
c26a6ac7 · Hanwool Albert Lee · GitHub · 5ab295c8 · c26a6ac7 · c26a6ac7
Unverified Commit c26a6ac7 authored Feb 21, 2024 by Hanwool Albert Lee Committed by GitHub Feb 21, 2024
20 changed files
--- a/lm_eval/tasks/kmmlu/README.md
+++ b/lm_eval/tasks/kmmlu/README.md
@@ -2,29 +2,43 @@

 ### Paper

-Title: `K-MMLU(work in progress) `
-* ongoing project at publishing help/ non-english benchmark
+Title: `KMMLU : Measuring Massive Multitask Language Understanding in Korean`

-Abstract: `The K-MMLU (Korean-MMLU) is a comprehensive suite designed to evaluate the advanced knowledge and reasoning abilities of large language models (LLMs) within the Korean language and cultural context. This suite encompasses 45 topics, primarily focusing on expert-level subjects. It includes general subjects like Physics and Ecology, and law and political science, alongside specialized fields such as Non-Destructive Training and Maritime Engineering. The datasets are derived from Korean licensing exams, with about 90% of the questions including human accuracy based on the performance of human test-takers in these exams. K-MMLU is segmented into training, testing, and development subsets, with the test subset ranging from a minimum of 100 to a maximum of 1000 questions, totaling 35,000 questions. Additionally, a set of 10 questions is provided as a development set for few-shot exemplar development. At total, K-MMLU consists of 254,334 instances.`
+Abstract: `We propose KMMLU, a new Korean benchmark with 35,030 expert-level multiple-choice questions across 45 subjects ranging from humanities to STEM. Unlike previous Korean benchmarks that are translated from existing English benchmarks, KMMLU is collected from original Korean exams, capturing linguistic and cultural aspects of the Korean language. We test 26 publicly available and proprietary LLMs, identifying significant room for improvement. The best publicly available model achieves 50.54% on KMMLU, far below the average human performance of 62.6%. This model was primarily trained for English and Chinese, not Korean. Current LLMs tailored to Korean, such as Polyglot-Ko, perform far worse. Surprisingly, even the most capable proprietary LLMs, e.g., GPT-4 and HyperCLOVA X, achieve 59.95% and 53.40%, respectively. This suggests that further work is needed to improve Korean LLMs, and KMMLU offers the right tool to track this progress. We make our dataset publicly available on the Hugging Face Hub and integrate the benchmark into EleutherAI's Language Model Evaluation Harness.`

-Homepage: https://huggingface.co/datasets/HAERAE-HUB/K-MMLU-Preview
+Note: lm-eval-harness is using the micro average as the default. To replicate the test results in the paper, take the macro average for the scores evaluated with lm-eval-harness
+
+Homepage: https://huggingface.co/datasets/HAERAE-HUB/KMMLU

 ### Citation

-```
-We'll be updating this section soon.
-```
+@article{son2024kmmlu,
+      title={KMMLU: Measuring Massive Multitask Language Understanding in Korean},
+      author={Guijin Son and Hanwool Lee and Sungdong Kim and Seungone Kim and Niklas Muennighoff and Taekyoon Choi and Cheonbok Park and Kang Min Yoo and Stella Biderman},
+      journal={arXiv preprint arXiv:2402.11548},
+      year={2024}
+}

 ### Groups and Tasks

 #### Groups

 * `kmmlu`: 'All 45 subjects of the KMMLU dataset, evaluated following the methodology in MMLU's original implementation'
+* `kmmlu_direct`: 'kmmlu_direct solves questions using a straightforward *generative* multiple-choice question-answering approach'
+* `kmmlu_hard`: 'kmmlu_hard comprises difficult questions that at least one proprietary model failed to answer correctly using log-likelihood approach'
+* `kmmlu_hard_direct`:  'kmmlu_hard_direct solves questions of kmmlu_hard using direct(generative) approach'
+* `kmmlu_hard_cot`: 'kmmlu_hard_cot includes 5-shot of exemplars for chain-of-thought approach'

 #### Tasks

 The following tasks evaluate subjects in the KMMLU dataset
- `kmmlu_{subject_english}`
+- `kmmlu_direct_{subject_english}`
+
+The following tasks evaluate subjects in the KMMLU-Hard dataset
+- `kmmlu_hard_{subject_english}`
+- `kmmlu_hard_cot_{subject_english}`
+- `kmmlu_hard_direct_{subject_english}`
+

 ### Checklist


--- a/lm_eval/tasks/kmmlu/cot_hard/_cot_kmmlu_yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/_cot_kmmlu_yaml
+group:
+    - kmmlu
+    - kmmlu_hard_cot
+dataset_path: HAERAE-HUB/KMMLU-HARD
+output_type: generate_until
+test_split: test
+doc_to_target: "{{['A', 'B', 'C', 'D'][answer-1]}}"
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+generation_kwargs:
+  until:
+    - "질문:"
+  do_sample: false
+  max_gen_toks: 2048
+  temperature: 0.0
+filter_list:
+  - name: "get-answer"
+    filter:
+      - function: "regex"
+        regex_pattern: "(?<=정답은)(.*)(?=입니다.)"
+        regex_pattern: "(?<=정답은)\\s*[(]?(A|B|C|D)[)]?.*(?=입니다.)"
+      - function: "take_first"
+metadata:
+  version: 2.0
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_accounting.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_accounting.yaml
+dataset_name: accounting
+doc_to_text: '질문: 수정 전 잔액시산표의 차변 합계액은 ￦1,000,000이다. 보험료 미경과액 ￦30,000과 이자수익 미수액 ￦20,000을
+  계상한 후의 수정 후 잔액시산표 차변 합계액은 얼마인가?
+
+  A.￦970,000
+
+  B.￦990,000
+
+  C.￦1,020,000
+
+  D.￦1,050,000
+
+  정답: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다. 주어진 문제는 수정 후 시산표의 합계에 영향을 주는 요소와
+  주지 않는 요소를 구분하고 이해하는 문제입니다. 이 경우, 보험료 미경과액과 이자수익 미수액이 추가되었습니다. 보험료 미경과액은 차변에 계상되어
+  있는 보험료(비용)을 감소 하면서 자산계정인 선급보험료가 동일금액이 차변에 증가하므로 영향을 주지 않습니다. 다음으로 이자수익 미수액 ￦20,000은
+  아직 받지 않은 이자를 의미합니다. 이자미수액은 잔액시산표에서 차변에 기록됩니다.  , 원래의 차변 합계액 ￦1,000,000에 이자수익 미수액
+  ￦20,000을 더하면, 수정 후의 차변 합계액은 ￦1,020,000이 됩니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 제조업을 영위하는 (주)상공이 결산 시 이자비용 미지급분에 대한 거래를 누락하였을 경우 재무제표에 미치는 영향으로 옳은 것은?
+
+  A.매출총이익이 과소계상된다.
+
+  B.영업이익이 과대계상된다.
+
+  C.비유동부채가 과소계상된다.
+
+  D.당기순이익이 과대계상된다.
+
+  정답: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이자비용 미지급분이란, 회사가 이자를 지급해야 하지만
+  아직 지급하지 않은 금액을 말합니다. 이는 기업의 부채로 간주되며, 이를 누락하게 되면 회계상의 문제가 발생할 수 있습니다. (A) 선택지의 매출총이익은
+  판매액에서 제조비용을 뺀 금액으로, 이자비용과는 직접적인 관련이 없습니다.   이자비용 미지급분을 누락하였다고 해서 매출총이익이 과소계상되는 것은
+  아닙니다. (B) 선택지의 영업이익은 매출총이익에서 판매비와 관리비를 뺀 금액입니다. 이자비용은 판매비나 관리비에 포함되지 않으므로, 이자비용
+  미지급분을 누락하였다고 해서 영업이익이 과대계상되는 것은 아닙니다. (C) 선택지의 비유동부채는 장기적으로 변제해야 하는 부채를 말합니다. 이자비용
+  미지급분은 단기적으로 변제해야 하는 부채로 간주될 수 있으나, 이를 누락하게 되면 전체 부채가 과소계상되는 결과를 초래할 수 있습니다. (D)
+  선택지의 당기순이익은 수익에서 모든 비용을 뺀 금액입니다. 이자비용 미지급분을 누락하게 되면 이자비용이 과소계상되어 당기순이익이 과대계상되는 결과를
+  초래할 수 있습니다.  , 이자비용 미지급분을 누락하였을 경우, 비유동부채와 당기순이익에 영향을 미칠 수 있습니다. 하지만, 주어진 선택지 중에서는
+  비유동부채가 아닌 당기순이익이 과대계상되는 것이 더 정확한 표현일 것입니다. 이는 이자비용이 누락되었을 때 비용이 과소계상되므로 순이익이 과대계상되기
+  때문입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 현금및현금성자산에 대한 설명으로 옳지 않은 것은?
+
+  A.현금성자산은 단기의 현금수요를 충족하기 위한 목적으로 보유한다.
+
+  B.현금성자산으로 분류되기 위해서는 확정된 금액이 현금으로의 전환이 용이하고, 가치변동의 위험이 경미하여야 한다.
+
+  C.취득당시 장기로 분류되었던 국ㆍ공채 중 결산일 현재 만기일이 3개월 이내인 국·공채를 현금성자산으로 분류한다.
+
+  D.상환일이 정해져 있고 취득일로부터 상환일까지 기간이 3개월 이내인 우선주의 경우 현금성자산으로 처리한다.
+
+  정답: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 현금성자산은 단기의 현금수요를 충족하기 위한 목적으로
+  보유하는 자산으로, 큰 거래비용 없이 현금으로 전환이 용이하고, 이자율 변동에 따른 가치 변동의 위험이 크지 않은 금융상품으로서, 취득 당시 만기일
+  또는 상환일이 3개월 이내인 것을 말합니다. (A)는 현금성자산의 정의와 일치하므로 옳은 설명입니다. (B)도 현금성자산의 분류 기준을 설명하고
+  있으므로 옳은 설명입니다. (C)의 경우, 취득당시 장기로 분류되었던 국ᆞ공채 중 결산일 현재 만기일이 3개월 이내인 국·공채는 단기금융상품으로
+  분류됩니다.   이 설명은 옳지 않습니다. (D)의 경우, 상환일이 정해져 있고 취득일로부터 상환일까지 기간이 3개월 이내인 우선주의 경우 현금성자산으로
+  처리할 수 있습니다.   이 설명도 옳은 설명입니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 금융자산과 금융부채에 속하는 항목으로 바르게 나타낸 것은?
+
+  A.(금융자산) 선급금, (금융부채) 미지급비용
+
+  B.(금융자산) 미수금, (금융부채) 선수금
+
+  C.(금융자산) 단기대여금, (금융부채) 장기차입금
+
+  D.(금융자산) 재고자산, (금융부채) 선수수익
+
+  정답: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다. 금융자산과 금융부채는 기업이 자금을 조달하고 운용하는 과정에서
+  발생하는 자산과 부채를 말합니다. 이 때, 금융자산은 기업이 보유하고 있는 자산 중에서 현금이나 현금성자산으로 전환이 용이하고, 가치변동의 위험이
+  상대적으로 작은 자산을 말합니다. 반면에 금융부채는 기업이 상환해야 할 의무가 있는 부채 중에서 금융기관으로부터 차입한 차입금이나 사채 등을 말합니다.
+  각 선택지를 살펴 보겠습니다. (A) 선급금은 상품이나 원재료 등을 매입하기 위해 미리 지급한 금액으로, 금융자산이 아닌 재고자산으로 분류됩니다.
+  미지급비용은 이미 발생한 비용 중에서 아직 지급하지 않은 금액으로, 금융부채가 아닌 부채로 분류됩니다. (B) 미수금은 상품이나 제품 등을 판매하고
+  아직 받지 못한 금액으로, 금융자산에 해당됩니다. 선수금은 상품이나 제품 등을 주문받고 미리 받은 금액으로, 금융부채가 아닌 부채로 분류됩니다.
+  (C) 단기대여금은 상대방에게 대여한 금액 중에서 1년 이내에 회수할 예정인 금액으로, 금융자산에 해당됩니다. 장기차입금은 금융기관으로부터 차입한
+  차입금 중에서 1년 이후에 상환할 예정인 금액으로, 금융부채에 해당됩니다. (D) 재고자산은 기업이 판매를 목적으로 보유하고 있는 상품이나 제품,
+  원재료 등을 말합니다. 선수수익은 고객으로부터 미리 받은 수익 중에서 아직 제공하지 않은 용역에 대한 대가로, 부채에 해당됩니다. 따라서, 정답은
+  (C) 입니다.
+
+
+  질문: 전기 말에 상품재고액 \560,000을 \650,000으로 잘못 계상한 경우, 당기의 매출원가와 당기순이익에 미치는 영향으로 옳은 것은?
+  (단, 재고자산 평가는 실지재고조사법을 적용 한다.)
+
+  A.(매출원가) 과대, (당기순이익) 과소
+
+  B.(매출원가) 과대, (당기순이익) 과대
+
+  C.(매출원가) 과소, (당기순이익) 과소
+
+  D.(매출원가) 과소, (당기순이익) 과대
+
+  정답: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 매출원가와 당기순이익에 대해 이해해야 합니다. 매출원가는
+  판매된 상품을 생산하는 데 들어간 비용을 의미하며, 당기순이익은 매출에서 모든 비용을 뺀 순수익을 의미합니다. 상품재고액을 과대 계상한 경우,
+  이는 회사가 실제로 보유하고 있는 재고보다 더 많은 재고를 보유하고 있다고 잘못 표시한 것을 의미합니다. 이는 재고자산의 가치를 과대평가한 것이므로,
+  이에 따른 비용(매출원가) 역시 과대 계상됩니다. 매출원가가 과대 계상되면, 매출에서 매출원가를 뺀 이익인 당기순이익은 과소 계상됩니다. 왜냐하면
+  매출원가가 더 높아지면 이익은 줄어들기 때문입니다.  , 상품재고액을 과대 계상한 경우 매출원가는 과대 계상되고, 당기순이익은 과소 계상됩니다.
+  ''따라서, 정답은 (A) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_accounting
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_agricultural_sciences.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_agricultural_sciences.yaml
+dataset_name: agricultural_sciences
+doc_to_text: '질문: 지하발아형 종자가 아닌 것은?
+
+  A.콩
+
+  B.완두
+
+  C.보리
+
+  D.옥수수
+
+  정답: 차근 차근 생각해봅시다. 농업 과학 관련 정보를 위해 위키피디아를 참조하겠습니다. 지하발아형(상배축신장형) 종자는 배유종자와 무배유종자로
+  나눌 수 있습니다. 배유종자에는 벼, 보리, 밀, 귀리, 옥수수가 포함되며, 무배유종자에는 완두, 잠두, 팥, 상추가 포함됩니다. 하지만 콩은
+  지하발아형 종자가 아니라 지상발아형 종자입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 종자의 습윤저온층적(濕潤低溫層積) 저장 설명으로 가장 적합한 것은?
+
+  A.습한 자루에 3∼6 ℃에서 1∼2주 처리
+
+  B.습한 모래에 1∼10 ℃에서 3∼4주 처리
+
+  C.습한 진흙에 2∼9 ℃에서 2∼3주 처리
+
+  D.습한 짚 속에 6∼10 ℃에서 1∼2주 처리
+
+  정답: 차근 차근 생각해봅시다. 농업 과학 관련 정보를 위해 위키피디아를 참조하겠습니다. 종자의 습윤저온층적(濕潤低溫層積)이란, 일정한 기간 동안
+  종자를 습하고 저온의 환경에서 보관하여 종자 내부의 생리적, 생화학적 변화를 일으키는 처리 방법을 말합니다. 이는 종자의 발아를 촉진하거나 동조화시키는
+  데 사용됩니다. 먼저 각 선택지에 대해 검토해보겠습니다. (A) 선택지는 습한 자루에 3∼6 ℃에서 1∼2주 처리하는 방법을 제시하고 있습니다.
+  이 방법은 습윤저온층적에 필요한 습도와 저온을 제공할 수 있지만, 종자의 종류에 따라 처리 기간이 충분하지 않을 수 있습니다. (B) 선택지는
+  습한 모래에 1∼10 ℃에서 3∼4주 처리하는 방법을 제시하고 있습니다. 이 방법은 습윤저온층적에 필요한 습도와 저온을 제공하며, 처리 기간도
+  상대적으로 길어 종자의 변화를 촉진시키는 데 충분할 수 있습니다. (C) 선택지는 습한 진흙에 2∼9 ℃에서 2∼3주 처리하는 방법을 제시하고
+  있습니다. 이 방법은 습윤저온층적에 필요한 습도와 저온을 제공하지만, 진흙은 종자에 부적절한 압력을 가하거나 종자를 손상시킬 수 있습니다. (D)
+  선택지는 습한 짚 속에 6∼10 ℃에서 1∼2주 처리하는 방법을 제시하고 있습니다. 이 방법은 습윤저온층적에 필요한 습도를 제공할 수 있지만,
+  온도 범위가 상대적으로 높고 처리 기간이 짧아 종자의 변화를 촉진시키는 데 충분하지 않을 수 있습니다.  , 종자의 습윤저온층적 저장 설명으로
+  가장 적합한 것은 습한 모래에 1∼10 ℃에서 3∼4주 처리하는 방법인 (B) 선택지일 것으로 보입니다. 이 방법은 습윤저온층적에 필요한 조건을
+  충족시키며, 처리 기간도 종자의 변화를 촉진시키는 데 충분합니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 옥수수 복교잡종의 특징이 아닌 것은?
+
+  A.종자값이 저렴하다.
+
+  B.여러 환경조건에 대한 완충능력이 있다.
+
+  C.개화기간이 길어 다른 교잡종보다 수분기회가 많아 이삭이 충실해진다.
+
+  D.불량 환경조건일 때 종자의 균일도가 단교잡종이나 삼원교잡종 종자보다 낮다.
+
+  정답: 차근 차근 생각해봅시다. 농업 과학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 옥수수 복교잡종의 특징에 대해 알아보겠습니다.
+  복교잡종은 두 개의 서로 다른 교잡종을 교배하여 만든 품종으로, 다양한 환경 조건에 대한 완충 능력이 있고, 개화 기간이 길어 다른 교잡종보다
+  수분 기회가 많아 이삭이 충실해지는 특징이 있습니다. 선택지를 하나씩 살펴보겠습니다. (A) 종자값이 저렴하다. - 복교잡종은 두 개의 교잡종을
+  교배하여 만들기 때문에, 단교잡종이나 삼원교잡종에 비해 종자값이 저렴할 수 있습니다. (B) 여러 환경조건에 대한 완충능력이 있다. - 복교잡종은
+  다양한 환경 조건에 대한 완충 능력이 있어, 불량 환경 조건에서도 비교적 높은 생산량을 유지할 수 있습니다. (C) 개화기간이 길어 다른 교잡종보다
+  수분기회가 많아 이삭이 충실해진다. - 복교잡종은 개화 기간이 길어 다른 교잡종보다 수분 기회가 많기 때문에 이삭이 충실해지는 특징이 있습니다.
+  (D) 불량 환경조건일 때 종자의 균일도가 단교잡종이나 삼원교잡종 종자보다 낮다. - 불량 환경 조건에서는 복교잡종의 종자 균일도가 단교잡종이나
+  삼원교잡종 종자보다 낮을 수 있습니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 완두 종자를 AㆍB 창고에 보관한 후 전기전도도 조사를 실시한 결과, A창고에 보관한 완 두 종자의 침출액이 더 많았다. 종자퇴화는 어느
+  것이 더 진전되었는가?
+
+  A.OPTION창고 완두 종자가 더 퇴화되었다.
+
+  B.OPTION창고 완두 종자가 더 퇴화되었다.
+
+  C.OPTION창고와 OPTION창고 완두 종자의 퇴화는 똑같다.
+
+  D.비교할 수 없다.
+
+  정답: 차근 차근 생각해봅시다. 농업 과학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 완두 종자의 퇴화와 전기전도도 조사의 관계를 이해해야
+  합니다. 종자의 퇴화는 씨앗의 생명력이나 발아력이 감소하는 현상을 말합니다. 이는 보관 상태, 온도, 습도 등 여러 요인에 의해 영향을 받습니다.
+  전기전도도 조사는 종자의 퇴화 정도를 판단하는 데 널리 사용되는 방법 중 하나입니다. 이 방법은 종자에서 침출된 이온의 양을 측정하여 종자의 생체막
+  손상 정도를 판단하는 방법입니다. 즉, 전기전도도가 높으면 종자에서 많은 양의 이온이 침출되었음을 의미하며, 이는 종자의 생체막이 손상되었음을
+  나타냅니다.  , A창고에 보관한 완두 종자의 침출액이 더 많았다는 것은 전기전도도가 높았음을 의미하며, 이는 A창고의 완두 종자가 더 많은 생체막
+  손상을 입었음을 나타냅니다. 이는 A창고의 완두 종자가 더 많이 퇴화되었음을 의미합니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 우량종자를 생산하는 방법으로 잘못된 것은?
+
+  A.격리재배를 통하여 이종의 혼입을 막는다.
+
+  B.무병지에서 채종한다.
+
+  C.감자의 바이러스 병을 막기 위해 평지에서 채종한다.
+
+  D.벼 종자는 평야지보다 분지에서 생산된 것이 임실이 좋아서 종자가치가 높다.
+
+  정답: 차근 차근 생각해봅시다. 농업 과학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대해 이해를 해보겠습니다. (A) 선택지는
+  우량종자를 생산하는 방법 중 하나로 격리재배를 통해 이종의 혼입을 막는 방법을 말합니다. 이는 종자의 품질을 보장하기 위해 필요한 과정이므로 올바른
+  방법입니다. (B) 선택지는 무병지에서 채종하는 방법을 말합니다. 무병지는 병원균이 없는 땅을 의미하며, 병원균이 없는 상태에서 채종을 하면 병에
+  강한 우량종자를 얻을 수 있으므로 이 역시 올바른 방법입니다. (C) 선택지는 감자의 바이러스 병을 막기 위해 평지에서 채종한다는 내용입니다.
+  감자는 바이러스 병에 취약한 식물로 알려져 있습니다. 하지만 그것이 평지에서 채종을 해야 한다는 것과 직접적인 연관성은 없습니다. 감자의 바이러스
+  병 예방은 주로 바이러스 자체를 통제하거나, 바이러스에 강한 품종을 선택하는 것 등이 중요하다고 알려져 있습니다. (D) 선택지는 벼 종자는 평야지보다
+  분지에서 생산된 것이 임실이 좋아서 종자가치가 높다는 내용입니다. 벼는 물을 많이 필요로 하는 식물로, 일반적으로 물이 잘 공급되는 분지에서 재배되는
+  것이 좋다고 알려져 있습니다.   이 역시 올바른 방법입니다.  , 각 선택지를 분석한 결과 (C) 선택지인 ''감자의 바이러스 병을 막기 위해
+  평지에서 채종한다.''가 가장 잘못된 방법으로 보입니다. 이는 감자의 바이러스 병 예방과 평지에서의 채종 사이에 직접적인 연관성이 없기 때문입니다.
+  따라서, 정답은 (C) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 농업 과학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_agricultural_sciences
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_aviation_engineering_and_maintenance.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_aviation_engineering_and_maintenance.yaml
+dataset_name: aviation_engineering_and_maintenance
+doc_to_text: '질문: 수평 등속도로 비행하는 항공기에 작용하는 공기력에 대한 설명으로 옳은것은?
+
+  A.추력이 항력보다 크다.
+
+  B.추력과 항력은 같다.
+
+  C.양력이 비행기의 무게보다 크다.
+
+  D.양력이 비행기의 무게보다 작다.
+
+  정답: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 항공기가 수평 등속도로 비행하려면 모든 힘이 균형을
+  이루어야 합니다. 이는 뉴턴의 제1법칙, 즉 ''힘이 작용하지 않는 물체는 휴면 상태에서 계속 휴면 상태를 유지하거나, 균일한 속도로 직선 운동을
+  계속한다''에 따릅니다.  , 항공기가 수평 등속도로 비행하려면 다음 두 가지 조건이 충족되어야 합니다. 1. 추력과 항력이 같아야 합니다. 추력은
+  엔진에서 나오는 힘으로 항공기를 전진시키고, 항력은 항공기가 공기를 통과하면서 겪는 저항입니다. 이 두 힘이 균형을 이루어야 항공기는 직선으로
+  일정한 속도로 비행할 수 있습니다. 2. 양력과 무게가 같아야 합니다. 양력은 항공기의 날개가 생성하는 힘으로 위로 작용하고, 무게는 중력으로
+  아래로 작용합니다. 이 두 힘이 균형을 이루어야 항공기는 수평 비행을 유지할 수 있습니다. 선택지를 살펴보면, (A). 추력이 항력보다 크다.
+  - 이 경우, 항공기는 가속하게 됩니다.  , 이는 수평 등속도 비행과는 맞지 않습니다. (B). 추력과 항력은 같다. - 이는 수평 등속도 비행에
+  필요한 조건 중 하나입니다. (C). 양력이 비행기의 무게보다 크다. - 이 경우, 항공기는 상승하게 됩니다.  , 이는 수평 등속도 비행과는
+  맞지 않습니다. (D). 양력이 비행기의 무게보다 작다. - 이 경우, 항공기는 하강하게 됩니다.  , 이는 수평 등속도 비행과는 맞지 않습니다.
+  따라서, 정답은 (B) 입니다.
+
+
+  질문: 헬리콥터 비행시 역풍지역이 가장 커지게 되는 비행 상태는?
+
+  A.정지비행
+
+  B.상승가속비행
+
+  C.자동회전비행
+
+  D.전진가속비행
+
+  정답: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 헬리콥터의 비행 상태는 주로 로터의 회전과 헬리콥터의
+  속도에 따라 결정됩니다. 헬리콥터의 역풍지역은 주로 로터 블레이드가 후진하는 영역을 말하며, 이 영역은 헬리콥터의 속도에 크게 영향을 받습니다.
+  (A) 정지비행에서는 헬리콥터가 고정된 위치에서 공중에 머무르는 상태를 말합니다. 이 상태에서는 로터 블레이드가 공기를 밀어내어 상승력을 생성하며,
+  헬리콥터는 정지 상태에 있기 때문에 전방으로의 속도는 없습니다.   역풍지역은 상대적으로 작을 것입니다. (B) 상승가속비행에서는 헬리콥터가 위로
+  상승하면서 동시에 속도를 높이는 상태를 말합니다. 이 상태에서는 로터 블레이드가 공기를 밀어내어 상승력을 생성하고, 동시에 전방으로 가속하면서
+  속도를 높입니다.   역풍지역은 증가할 것입니다. (C) 자동회전비행에서는 엔진의 동력을 잃었을 때 로터 블레이드가 자유회전하면서 헬리콥터를 지탱하는
+  상태를 말합니다. 이 상태에서는 로터 블레이드의 회전이 공기 저항에 의해 유지되므로 역풍지역은 상대적으로 작을 것입니다. (D) 전진가속비행에서는
+  헬리콥터가 전방으로 속도를 높이는 상태를 말합니다. 이 상태에서는 헬리콥터의 전진 속도가 증가하므로, 로터 블레이드가 후진하는 영역인 역풍지역은
+  더욱 커질 것입니다. 이는 로터 블레이드의 한쪽이 전진하고 다른 한쪽이 후진하면서 생기는 디스크의 회전에 따른 현상입니다.   전진가속비행 상태에서
+  역풍지역이 가장 커질 것으로 예상됩니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: A,B,C 3대의 비행기가 각각 10000m, 5000m, 1000m 의 고도에서 동일한 속도로 비행하고 있다. 각 비행기의 마하계가 지시하는
+  마하수의 크기를 비교한 것으로 옳은 것은?
+
+  A.OPTION < OPTION < OPTION
+
+  B.OPTION > OPTION > OPTION
+
+  C.OPTION > OPTION > OPTION
+
+  D.OPTION = OPTION = OPTION
+
+  정답: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 마하수는 속도를 음속으로 나눈 값으로, 비행기의 속도를
+  측정하는 데 사용되는 단위입니다. 그러나 마하수는 고도에 따라 변하게 됩니다. 왜냐하면 대기의 밀도가 고도에 따라 변하기 때문입니다. 고도가 높아질수록
+  대기의 밀도가 낮아지고,   음속이 줄어들게 됩니다. 이로 인해 동일한 속도로 비행하는 비행기의 마하수는 고도가 높아질수록 커지게 됩니다. 즉,
+  고도가 높은 A 비행기의 마하수가 가장 크고, 그 다음은 B, 마지막으로 가장 낮은 고도에서 비행하는 C 비행기의 마하수가 가장 작을 것입니다.
+  따라서, 정답은 (B) 입니다.
+
+
+  질문: 비행기 날개의 양력에 관한 설명으로 틀린 것은?
+
+  A.양력은 날개 면적에 비례한다.
+
+  B.양력은 유체의 밀도에 비례한다.
+
+  C.양력은 날개의 무게에 비례한다.
+
+  D.양력은 비행기 속도제곱에 비례한다.
+
+  정답: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 양력은 비행기가 하늘을 날 수 있게 하는 중요한
+  힘입니다. 양력은 베르누이의 원리에 기반하여 생성되며, 이는 유체가 빠르게 움직일수록 그 유체의 압력이 낮아지는 원리를 설명합니다. 이 원리에
+  따르면, 비행기의 날개는 위쪽 표면(상부)이 아래쪽 표면(하부)보다 길게 설계되어 있어, 공기가 상부를 통과하는데 더 많은 시간이 소요됩니다.  ,
+  날개 상부의 공기 압력은 날개 하부의 공기 압력보다 낮아지며, 이 차이로 인해 양력이 발생합니다. 이제 선택지를 하나씩 살펴보겠습니다. (A)
+  양력은 날개 면적에 비례한다: 이는 맞는 말입니다. 날개의 면적이 클수록 더 많은 공기를 밀어내고,   더 큰 양력을 생성할 수 있습니다. (B)
+  양력은 유체의 밀도에 비례한다: 이 역시 맞는 말입니다. 유체(여기서는 공기)의 밀도가 높을수록, 날개는 더 많은 양력을 생성할 수 있습니다.
+  (D) 양력은 비행기 속도제곱에 비례한다: 이는 맞는 말입니다. 양력은 비행기의 속도에 비례하는 것이 아니라, 비행기의 속도 제곱에 비례합니다.
+  이는 양력 공식 L = 0.5 * Cl * p * V^2 * A에서 알 수 있습니다. 여기서 L은 양력, Cl은 리프트 계수, p는 공기 밀도,
+  V는 속도, A는 날개 면적입니다. (C) 양력은 날개의 무게에 비례한다: 이는 틀린 말입니다. 양력은 비행기의 무게에 직접적으로 비례하지 않습니다.
+  사실, 양력은 비행기를 공중에 띄우기 위해 반드시 비행기의 무게를 초과해야 합니다.  , 양력은 날개의 무게에 비례한다는 말은 틀린 말입니다.
+  따라서, 정답은 (C) 입니다.
+
+
+  질문: 항공기 날개에 쳐든각을 주는 주된 목적은?
+
+  A.선회성능을 좋게 하기 위해서
+
+  B.날개저항을 적게 하기 위해서
+
+  C.날개끝 실속을 방지하기 위해서
+
+  D.옆놀이의 안정성 향상을 위해서
+
+  정답: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 항공기 날개에 쳐든각을 주는 것을 ''날개 트위스트''라고
+  부릅니다. 날개 트위스트는 항공기의 날개가 루트(날개의 가장 안쪽 부분)에서 팁(날개의 가장 바깥쪽 부분)까지 각도가 점차 변하는 것을 의미합니다.
+  이는 주로 항공기의 안정성을 높이기 위해 사용되며, 특히 고속에서의 안정성을 향상시키는 데 도움이 됩니다. 선택지를 보면, (A) 선회성능을 좋게
+  하기 위해서는 날개의 트위스트와는 직접적인 관련이 없습니다. 선회성능은 주로 항공기의 조종면과 엔진 출력 등에 의해 결정됩니다. (B) 날개저항을
+  적게 하기 위해서는 트위스트가 직접적으로 영향을 주지 않습니다. 저항은 주로 항공기의 형상, 크기, 속도 등에 의해 결정되며, 날개의 트위스트는
+  이러한 요소들과는 별개의 요소입니다. (C) 날개끝 실속을 방지하기 위해서는 트위스트가 일부 도움이 될 수 있지만, 이는 주된 목적이 아닙니다.
+  날개끝 실속은 주로 날개의 설계와 관련이 있으며, 트위스트는 이를 완전히 방지할 수 없습니다. (D) 옆놀이의 안정성 향상을 위해서는 트위스트가
+  중요한 역할을 합니다. 트위스트는 날개 팁 부분의 각도를 조절하여, 항공기가 고속에서도 안정적으로 비행할 수 있도록 돕습니다. 따라서, 정답은
+  (D) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_aviation_engineering_and_maintenance
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_biology.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_biology.yaml
+dataset_name: biology
+doc_to_text: '질문: 포도당의 특성이 아닌 것은?
+
+  A.환원당
+
+  B.알도오스
+
+  C.헥소오스
+
+  D.퓨라노오스
+
+  정답: 차근 차근 생각해봅시다. 생물학 관련 정보를 위해 위키피디아를 참조하겠습니다. 포도당은 가장 기본적인 단당류로, 생물학적 에너지의 주요한
+  원천입니다. (A) 환원당: 포도당은 환원당입니다. 환원당은 카르보닐 그룹이 있는 당류로, 이 카르보닐 그룹이 다른 화합물을 환원할 수 있는 특성을
+  가지고 있습니다. 포도당은 이러한 환원 반응을 일으킬 수 있으므로 환원당입니다. (B) 알도오스: 포도당은 알도오스입니다. 알도오스는 알데히드
+  그룹(-CHO)을 가진 당류를 의미합니다. 포도당은 이 알데히드 그룹을 가지고 있으므로 알도오스입니다. (C) 헥소오스: 포도당은 헥소오스입니다.
+  헥소오스는 6개의 탄소 원자를 가진 당류를 의미합니다. 포도당은 6개의 탄소 원자를 가지고 있으므로 헥소오스입니다. (D) 퓨라노오스: 이것은
+  포도당의 특성이 아닙니다. 퓨라노오스는 5원 고리 구조를 가진 당류를 의미합니다. 포도당은 헥소오스 즉, 6원 고리 구조를 가지는 것이 일반적입니다.  ,
+  포도당은 퓨라노오스가 아닙니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 미생물을 보존하는 방법 중 승화에 의한 수분이 제거되는 원리를 이용하는 것은?
+
+  A.현탄액법
+
+  B.동결보존법
+
+  C.동결건조법
+
+  D.액체질소 보존법
+
+  정답: 차근 차근 생각해봅시다. 생물학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 승화에 대해 알아보겠습니다. 승화는 물질이 고체 상태에서
+  기체 상태로 변화하는 것을 말합니다. 이는 수분이 제거되는 원리를 사용하는 방법 중 하나입니다. (A). 현탄액법은 미생물을 보존하는 방법 중
+  하나로, 미생물을 현탄액에 담가 보존하는 방법입니다. 이 방법은 승화의 원리를 사용하지 않습니다. (B). 동결보존법은 미생물을 극저온에서 보존하는
+  방법입니다. 이 방법은 미생물을 액체 질소 등의 극저온 환경에 노출시켜 보존하는 방법으로, 승화의 원리를 사용하지 않습니다. (C). 동결건조법은
+  미생물을 빠르게 동결한 후, 진공 상태에서 물을 제거하여 보존하는 방법입니다. 이 방법은 승화의 원리를 사용하여 물을 제거합니다. 동결된 미생물에서
+  물이 직접 기체 상태로 변화하게 되는데, 이것이 바로 승화입니다. (D). 액체질소 보존법은 미생물을 액체 질소에서 보존하는 방법입니다. 이 방법은
+  극저온에서 미생물을 보존하는 방법으로, 승화의 원리를 사용하지 않습니다.  , 승화에 의한 수분이 제거되는 원리를 이용하는 미생물 보존 방법은
+  동결건조법입니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 세포가 한번 분열하는데 30분이 걸린다면, 1개의 세포가 2048개로 분열하는데 걸리는 시간은? (단, 세포는 죽지 않는다고 가정한다.)
+
+  A.4시간 30분
+
+  B.5시간
+
+  C.5시간 30분
+
+  D.6시간
+
+  정답: 차근 차근 생각해봅시다. 생물학 관련 정보를 위해 위키피디아를 참조하겠습니다. 세포가 분열하는데 30분이 걸린다는 것은, 1개의 세포가
+  2개로 분열하는데 30분이 필요하다는 것을 의미합니다. 이런 패턴이 계속된다면, 세포의 수는 2의 지수 형태로 증가하게 됩니다. 즉, 1, 2,
+  4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048 순으로 증가하게 됩니다. 이러한 증가 방식을 보면, 세포가 처음
+  1개에서 2개로 분열하는데 30분이 걸리고, 그 다음 2개에서 4개로 분열하는데 추가로 30분이 걸립니다. 이런 식으로 세포의 수가 2배로 증가할
+  때마다 30분씩 추가로 걸립니다.  , 1개의 세포가 2048개로 분열하는데 걸리는 시간을 계산하려면, 2048이 2의 몇 승인지 알아내면 됩니다.
+  2048은 2의 11승이므로, 11번의 분열이 필요하다는 것을 알 수 있습니다. 각 분열이 30분씩 걸리므로, 총 시간은 11 * 30 = 330분이
+  됩니다. 330분을 시간과 분으로 변환하면, 5시간 30분이 됩니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 10-6 N NaOH 수용액의 pH는?
+
+  A.8
+
+  B.10
+
+  C.12
+
+  D.14
+
+  정답: 차근 차근 생각해봅시다. 생물학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, NaOH는 강염기로 알려져 있습니다. 강염기는 수용액에서
+  완전히 이온화되어 수산화 이온(OH-)을 생성합니다.   NaOH의 농도가 pH에 직접적인 영향을 미칩니다. pH는 아래의 공식을 사용하여 계산됩니다.
+  pH = -log[H+] 여기서 [H+]는 수산화 이온의 농도입니다. 그러나 우리는 NaOH의 농도를 알고 있으며, 이는 수산화 이온의 농도와
+  동일합니다.   우리는 이를 pOH로 변환해야 합니다. pOH는 아래의 공식을 사용하여 계산됩니다. pOH = -log[OH-] 여기서 [OH-]는
+  수산화 이온의 농도입니다. 주어진 문제에서 NaOH의 농도는 10^-6 N입니다. 이것을 pOH 공식에 대입하면, pOH = -log(10^-6)
+  = 6 이를 통해 알 수 있는 것은, 이 수용액의 pOH는 6이라는 것입니다. 그러나 우리는 pH를 찾고 있습니다. pH와 pOH는 다음과 같은
+  관계를 가지고 있습니다. pH + pOH = 14   pH는 14 - pOH = 14 - 6 = 8입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 세포막의 안정성을 유지하기 위하여 고농도의 수소이온을 필요로 하며 중성 pH에서는 세포막이 파괴되어 성장할 수 없는 미생물은?
+
+  A.절대호산성 미생물
+
+  B.통성호산성 미생물
+
+  C.통성호염성 미생물
+
+  D.절대호염성 미생물
+
+  정답: 차근 차근 생각해봅시다. 생물학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 이해가 필요합니다. (A). 절대호산성
+  미생물: 이들은 극도의 산성 환경에서만 생존할 수 있는 미생물입니다. 즉, 중성의 환경에서 전혀 생육이 불가능합니다. (B). 통성호산성 미생물:
+  이들은 산성 환경에서 성장하지만, 중성 또는 약 알칼리성 환경에서도 성장할 수 있는 미생물입니다. (C). 통성호염성 미생물: 이들은 염분이 많은
+  환경에서 성장하지만, 염분이 적은 환경에서도 성장할 수 있는 미생물입니다. (D). 절대호염성 미생물: 이들은 염분이 많은 환경에서만 성장할 수
+  있는 미생물입니다. 질문에서는 세포막의 안정성을 유지하기 위해 고농도의 수소이온이 필요하며, 중성 pH에서는 세포막이 파괴되어 성장할 수 없는
+  미생물에 대해 묻고 있습니다. 수소 이온의 농도는 pH와 관련이 있습니다. pH가 낮을수록 수소 이온의 농도가 높아지며, 이는 산성 환경을 의미합니다.  ,
+  고농도의 수소 이온을 필요로 하는 미생물은 산성 환경에서 성장하는 미생물일 것입니다. 또한, 중성 pH에서 세포막이 파괴되어 성장할 수 없다는
+  점을 고려하면, 이 미생물은 중성 또는 알칼리성 환경에서는 성장할 수 없어야 합니다. 이러한 조건을 충족하는 미생물은 절대호산성 미생물입니다.
+  절대호산성 미생물은 극도로 산성 환경에서만 생존할 수 있으며, 중성 또는 알칼리성 환경에서는 성장할 수 없습니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 생물학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_biology
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_chemical_engineering.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_chemical_engineering.yaml
+dataset_name: chemical_engineering
+doc_to_text: '질문: 이상기체의 내부에너지에 대한 설명으로 옳은 것은?
+
+  A.온도만의 함수이다.
+
+  B.압력만의 함수이다.
+
+  C.압력과 온도의 함수이다.
+
+  D.압력이나 온도의 함수가 아니다.
+
+  정답: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이상기체의 내부에너지는 이상기체의 성질을 나타내는 중요한
+  요소 중 하나입니다. 이상기체는 기체 분자들 사이의 상호작용을 무시하고 분자들이 차지하는 부피를 무시하는 가정하에 만들어진 기체 모델입니다. 이
+  모델에서 기체의 내부에너지는 온도에만 의존한다고 알려져 있습니다. 선택지 (A)는 이상기체의 내부에너지가 온도만의 함수라는 내용으로, 이는 이상기체의
+  성질을 정확하게 반영하고 있습니다. 이상기체에서는 분자들 사이의 상호작용이 없으므로 압력은 내부에너지에 영향을 미치지 않습니다. 선택지 (B)는
+  이상기체의 내부에너지가 압력만의 함수라는 내용으로, 이는 이상기체의 성질을 잘못 이해한 것입니다. 이상기체에서는 분자들 사이의 상호작용이 없으므로
+  압력은 내부에너지에 영향을 미치지 않습니다. 선택지 (C)는 이상기체의 내부에너지가 압력과 온도의 함수라는 내용으로, 이 역시 이상기체의 성질을
+  잘못 이해한 것입니다. 이상기체에서는 분자들 사이의 상호작용이 없으므로 압력은 내부에너지에 영향을 미치지 않습니다. 선택지 (D)는 이상기체의
+  내부에너지가 압력이나 온도의 함수가 아니라는 내용으로, 이는 이상기체의 성질에 대한 잘못된 이해를 반영하고 있습니다. 이상기체의 내부에너지는 온도에만
+  의존합니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 기체가 단열 팽창한다면 엔트로피는 어떻게 되는가?
+
+  A.감소 또는 불변
+
+  B.증가 또는 불변
+
+  C.불변
+
+  D.증가와 감소를 반복
+
+  정답: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 기체의 단열 팽창에 대해 생각해보면, 단열 팽창은 외부와의
+  열 교환 없이 기체가 팽창하는 것을 의미합니다. 이러한 과정에서 기체의 엔트로피는 어떻게 될까요? 먼저 엔트로피의 개념을 이해해야 합니다. 엔트로피는
+  물질의 무질서함을 나타내는 물리량으로, 시스템의 상태가 더 많은 방향으로 분산될 수록 엔트로피는 증가합니다. 이런 관점에서 보면, 기체가 단열
+  팽창하면 기체 분자들이 차지하는 공간이 더 커지므로 더 많은 상태를 가질 수 있게 되어 엔트로피가 증가할 것입니다. 또한, 열역학의 두 번째 법칙에
+  따르면, 고립된 시스템의 엔트로피는 항상 증가하거나 일정하게 유지됩니다. 단열 팽창 과정에서는 외부와의 열 교환 없이 일어나므로 이 과정을 고립된
+  시스템으로 볼 수 있습니다.   이 경우 엔트로피는 증가하거나 일정하게 유지될 것입니다. 이를 바탕으로 선택지를 보면, (B) 증가 또는 불변이
+  가장 적절한 답변으로 보입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 100기압의 이상기체가 들어 있는 탱크에 수렴노즐(convergent nozzle)을 연결하여 기체를 가장 단시간에 뽑아내려고 한다. 제2탱크의
+  최대 허용압력은 약 몇 기압인가? (단, 비열비는 1.3 이다.)
+
+  A.55
+
+  B.77
+
+  C.90
+
+  D.100
+
+  정답: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이 문제는 이상기체가 수렴노즐을 통해 빠져나갈 때의 허용압력을
+  묻는 문제입니다. 이를 계산하기 위해서는 수렴노즐을 통해 이상기체가 흐를 때의 기체 동력학에 대한 이해가 필요합니다. 기본적으로, 이상기체가 수렴노즐을
+  통해 흐를 때, 노즐의 출구에서의 압력은 주변 압력에 도달할 때까지 계속 감소합니다. 이 때의 압력 감소율은 기체의 비열비에 의해 결정됩니다.
+  문제에서 주어진 비열비는 1.3이므로, 이를 이용하여 계산할 수 있습니다. 이상기체의 동력학에서, 수렴노즐을 통해 기체가 흐를 때의 압력비는 다음과
+  같이 주어집니다: P2/P1 = (2/(n+1))^(n/(n-1)) 여기서 P1은 초기 압력 (100기압), P2는 최종 압력 (제2탱크의 최대
+  허용압력), n은 비열비 (1.3)입니다. 이 식을 이용하여 P2를 계산하면 다음과 같습니다: P2 = P1 * (2/(n+1))^(n/(n-1))  ,
+  계산 결과를 얻기 위해 주어진 값을 대입해보겠습니다. P2 = 100 * (2/(1.3+1))^(1.3/(1.3-1)) 이를 계산하면, P2의
+  값은 약 54.6가 나오는데, 이는 선택지 중에서 가장 가까운 55에 해당합니다.   제2탱크의 최대 허용압력은 약 55기압이 됩니다. 따라서,
+  정답은 (A) 입니다.
+
+
+  질문: 성분1과 성분2가 기-액 평형을 이루는 계에 대하여 라울(Raoult)의 법칙을 만족하는 기포점 압력 계산을 수행하였다. 계산결과에 대한
+  설명 중 틀린 것은?
+
+  A.기포점 압력계산으로 P-x-y 선도를 나타낼 수 있다.
+
+  B.기포점 압력 계산 결과에서 기상의 조성선은 직선이다.
+
+  C.성분 1의 조성이 1 일 때의 압력은 성분 1의 증기압이다.
+
+  D.공비점의 형성을 나타낼 수 없다.
+
+  정답: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 라울의 법칙에 대해 알아보겠습니다. 라울의 법칙은
+  이상 기체에서의 부분 압력을 설명하는 법칙으로, 이는 순수 액체의 증기압과 그 액체의 몰 분율에 비례한다고 합니다. 이를 기반으로 각 선택지를
+  살펴보겠습니다. (A) 기포점 압력계산으로 P-x-y 선도를 나타낼 수 있다. P-x-y 선도는 이성분 혼합물의 기-액 평형을 그래프로 나타낸
+  것입니다. x와 y는 각각 액상과 기상의 몰 분율을, P는 총압을 나타냅니다. 라울의 법칙을 이용하면 이러한 P-x-y 선도를 그릴 수 있습니다.
+  (B) 기포점 압력 계산 결과에서 기상의 조성선은 직선이다. 라울의 법칙에 따르면, 기상의 조성선은 직선이 아닌 곡선 형태를 보입니다.   이
+  설명은 잘못되었습니다. (C) 성분 1의 조성이 1 일 때의 압력은 성분 1의 증기압이다. 이 설명은 맞습니다. 라울의 법칙에 따르면, 성분의
+  조성이 1, 즉 순수한 성분일 때 그 성분의 압력은 그 성분의 증기압과 같습니다. (D) 공비점의 형성을 나타낼 수 없다. 공비점은 두 성분이
+  혼합되어 있을 때, 특정 조건에서 기상과 액상의 조성이 같아지는 점을 말합니다. 라울의 법칙을 이용하면 이러한 공비점을 나타낼 수 있습니다. 따라서,
+  정답은 (B) 입니다.
+
+
+  질문: 정압열용량 Cp는 7/2R이고 정적열용량 Cv는 5/2R인 1몰의 이상기체가 압력 10bar, 부피 0.05m3에서 압력 1bar로 정용과정을
+  거쳐 변화할 때 기계적인 가역과정으로 가정하면 이 계에 부가된 열량 Q와 이 계가 한 일 W는 각각 얼마인가?
+
+  A.Q=-11250J, W=0
+
+  B.Q=-15750J, W=0
+
+  C.Q=0, W=-11250J
+
+  D.Q=0, W=-15750J
+
+  정답: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이상기체의 정용과정에서는 부피가 일정하므로, 열량 Q는
+  계가 한 일 W와 동일하게 됩니다. 이는 열역학의 제1법칙에 따른 것입니다. 이상기체의 정용과정에서 열량 Q는 Cv(T2-T1)이며, 여기서 Cv는
+  정적열용량, T1과 T2는 각각 초기와 최종 온도입니다. 이상기체방정식 PV=nRT를 이용하여 초기 온도 T1을 구할 수 있습니다. 여기서 P는
+  압력, V는 부피, n은 몰수, R은 기체상수입니다. 초기 상태에서 압력 P1은 10bar, 부피 V는 0.05m3, 몰수 n은 1mol, 기체상수
+  R은 8.314J/(mol·K)입니다.   T1 = P1V/nR = (10×10^5 Pa)(0.05m^3)/(1mol)(8.314J/(mol·K))
+  = 6015K입니다. 최종 상태에서 압력 P2는 1bar이므로, 이상기체방정식을 이용하여 최종 온도 T2를 구하면, T2 = P2V/nR = (1×10^5
+  Pa)(0.05m^3)/(1mol)(8.314J/(mol·K)) = 601.5K입니다.   열량 Q는 Cv(T2-T1) = (5/2R)(T2-T1)
+  = (5/2)(8.314J/(mol·K))(601.5K - 6015K) = -11250J입니다. 기계적인 가역과정에서 이상기체가 한 일 W는 -P1Vln(P2/P1)로
+  주어지며, 이때 ln은 자연로그를 의미합니다. 여기서 P1은 초기 압력, P2는 최종 압력, V는 부피입니다.   W = -P1Vln(P2/P1)
+  = -(10×10^5 Pa)(0.05m^3)ln((1×10^5 Pa)/(10×10^5 Pa)) = 0입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_chemical_engineering
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_chemistry.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_chemistry.yaml
+dataset_name: chemistry
+doc_to_text: '질문: 수산화나트륨(NaOH) 80g을 물에 녹여 전체 부피가 1000mL가 되게 하였다. 이 용액의 N농도는 얼마인가?
+  (단, 수산화나트륨의 분자량은 40 이다.)
+
+  A.0.08N
+
+  B.1N
+
+  C.2N
+
+  D.4N
+
+  정답: 차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, N농도는 몰농도를 의미하는 M농도에 수산화나트륨의 이온화
+  수를 곱한 것입니다. 수산화나트륨(NaOH)의 이온화 수는 1입니다. 물에 녹인 수산화나트륨의 몰농도를 계산해보겠습니다. 몰농도는 몰 수를 용액의
+  부피(L)로 나눈 값입니다. 수산화나트륨의 몰 수는 주어진 물질의 질량을 그 물질의 분자량으로 나눈 값입니다. 여기서 수산화나트륨의 질량은 80g,
+  분자량은 40이므로 몰 수는 80g / 40 = 2mol입니다. 용액의 부피는 1000mL, 즉 1L입니다.   수산화나트륨의 몰농도는 몰 수
+  2mol을 용액의 부피 1L로 나눈 값, 즉 2M입니다. 수산화나트륨의 N농도는 이 몰농도에 이온화 수를 곱한 값이므로, 2M x 1 = 2N입니다.
+  따라서, 정답은 (C) 입니다.
+
+
+  질문: 칼륨(K) 원자는 19개의 양성자와 20개의 중성자를 가지고 있다. 원자번호와 질량수는 각각 얼마인가?
+
+  A.9, 19
+
+  B.9, 39
+
+  C.19, 20
+
+  D.19, 39
+
+  정답: 차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다. 원자의 기본 구조를 이해하면 이 질문에 답할 수 있습니다.
+  원자번호는 원자의 핵에 있는 양성자의 수를 나타내며, 이는 원소의 고유한 특성을 결정합니다.  , 칼륨(K) 원자가 19개의 양성자를 가지고 있다면,
+  원자번호는 19입니다. 다음으로, 질량수는 원자의 핵에 있는 양성자와 중성자의 총 수를 나타냅니다. 칼륨(K) 원자가 19개의 양성자와 20개의
+  중성자를 가지고 있다면, 질량수는 양성자 19개와 중성자 20개를 합친 39입니다.  , 칼륨(K) 원자의 원자번호는 19이고 질량수는 39입니다.
+  이를 선택지와 비교하면, (D) 19, 39가 정답입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: “어떠한 화학반응이라도 반응물 전체의 질량과 생성물 전체의 질량은 서로 차이가 없고 완전히 같다” 라고 설명할 수 있는 법칙은?
+
+  A.일정성분비의 법칙
+
+  B.배수비례의 법칙
+
+  C.질량보존의 법칙
+
+  D.기체반응의 법칙
+
+  정답: 차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이 질문은 화학의 기본 법칙 중 하나에 대한 것입니다. 먼저
+  선택지를 하나씩 살펴보겠습니다. (A) 일정성분비의 법칙: 이 법칙은 특정 화합물을 구성하는 원소들 사이의 질량비가 일정하다는 것을 말합니다.
+  예를 들어, 물은 항상 수소와 산소의 질량비가 1:8로 일정하다는 것입니다. (B) 배수비례의 법칙: 이 법칙은 같은 원소가 다른 질량비를 가질
+  때, 그 비율이 정수배 관계에 있다는 것을 말합니다. 예를 들어, 수소와 산소가 반응하여 물을 만들 때와 수소과산화물을 만들 때, 산소의 질량비는
+  1:2로 배수 관계에 있다는 것입니다. (C) 질량보존의 법칙: 이 법칙은 화학 반응에서 반응물의 총 질량이 생성물의 총 질량과 같다는 것을 말합니다.
+  즉, 어떠한 화학 반응에서도 질량은 보존된다는 것입니다. (D) 기체반응의 법칙: 이 법칙은 기체의 부피, 압력, 온도 등에 관한 법칙입니다.
+  특히, 동일한 조건에서 같은 양의 기체는 동일한 수의 분자를 가진다는 것을 말합니다. 이렇게 각 선택지를 살펴본 결과, “어떠한 화학반응이라도
+  반응물 전체의 질량과 생성물 전체의 질량은 서로 차이가 없고 완전히 같다” 라는 설명은 질량보존의 법칙에 가장 부합하는 것으로 보입니다. 이 법칙은
+  화학 반응에서 질량의 변화가 없음을 의미하며, 이는 질문에서 요구하는 내용과 일치합니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 할로겐원소의 성질 중 원자번호가 증가할수록 작아지는 것은?
+
+  A.금속성
+
+  B.반지름
+
+  C.이온화에너지
+
+  D.녹는점
+
+  정답: 차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 할로겐 원소는 주기율표의 17족에 속하며, 플루오린(F),
+  클로린(Cl), 브로민(Br), 요오드(I), 아스타틴(At) 등이 있습니다. 원자번호가 증가하면서 이들 원소의 성질이 어떻게 변하는지 살펴보겠습니다.
+  (A) 금속성: 원자번호가 증가함에 따라 할로겐 원소의 금속성은 증가합니다. 플루오린과 클로린은 비금속이지만, 아스타틴은 반금속으로 분류되기도
+  합니다.   원자번호가 증가할수록 금속성은 작아지지 않습니다. (B) 반지름: 원자번호가 증가하면서 원자의 껍질이 늘어나기 때문에 원자 반지름은
+  증가합니다.   원자번호가 증가할수록 반지름은 작아지지 않습니다. (C) 이온화에너지: 이온화 에너지는 원자의 전자를 떼어내는 데 필요한 에너지를
+  말합니다. 원자번호가 증가하면 원자 반지름이 커지고, 이에 따라 전자와 핵 사이의 거리가 멀어져 이온화 에너지가 줄어듭니다.   원자번호가 증가할수록
+  이온화 에너지는 작아집니다. (D) 녹는점: 할로겐 원소의 녹는점은 원자번호가 증가함에 따라 일반적으로 증가하는 경향이 있습니다. 플루오린의 녹는점은
+  -219.67℃, 클로린은 -101.5℃, 브로민은 -7.2℃, 요오드는 113.7℃입니다.   원자번호가 증가할수록 녹는점은 작아지지 않습니다.
+  따라서, 정답은 (C) 입니다.
+
+
+  질문: 황산 49g을 물에 녹여 용액 1L을 만들었다. 이 수용액의 물 농도는 얼마인가? (단, 황산의 분자량은 98이다.)
+
+  A.0.5 M
+
+  B.1 M
+
+  C.1.5 M
+
+  D.2 M
+
+  정답: 차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 농도의 정의를 알아야 합니다. 농도는 용액의 단위 부피당
+  용질의 양을 의미합니다. 일반적으로 몰/리터(M) 단위로 표현합니다. 그리고 몰은 물질의 양을 나타내는 SI 단위로, 1몰은 6.02214076×10^23개의
+  입자를 가지고 있습니다. 이는 아보가드로 수라고 불리는 값입니다. 이 문제에서는 황산의 몰 수를 구하고 이를 용액의 부피인 1L로 나눠주면 됩니다.
+  황산의 몰 수는 주어진 황산의 질량을 황산의 분자량으로 나눠주면 됩니다. 황산의 질량은 49g이고, 황산의 분자량은 98g/mol입니다.   황산의
+  몰 수는 49g ÷ 98g/mol = 0.5mol입니다.   이 수용액의 물 농도는 0.5mol/1L = 0.5M입니다. 따라서, 정답은 (A)
+  입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_chemistry
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_civil_engineering.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_civil_engineering.yaml
+dataset_name: civil_engineering
+doc_to_text: '질문: 도시의 새로운 계획 패러다임의 방향이 아닌 것은?
+
+  A.도 · 농 통합적 계획으로의 전환
+
+  B.에너지 절약형 도시개발로의 전환
+
+  C.입체적 · 기능 통합적 토지이용관리
+
+  D.시민참여의 확대와 계획 및 개발주체의 단일화
+
+  정답: 차근 차근 생각해봅시다. 토목 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 도시 계획의 새로운 패러다임은 주로 지속 가능한 개발과
+  더불어 사회, 경제, 환경의 균형을 유지하려는 방향으로 변화하고 있습니다. (A) 도·농 통합적 계획으로의 전환은 도시와 농촌 간의 균형있는 발전을
+  위한 방향으로, 지속 가능한 개발을 위한 중요한 패러다임입니다. 이는 도시와 농촌 간의 상호 의존성을 인식하고, 두 지역 간의 경제적, 사회적,
+  환경적 균형을 추구합니다. (B) 에너지 절약형 도시개발로의 전환은 에너지 효율성을 높이고, 에너지 소비를 줄이는 것을 목표로 합니다. 이는 환경
+  보호와 지속 가능한 개발을 위한 중요한 패러다임입니다. (C) 입체적 · 기능 통합적 토지이용관리는 다양한 기능과 활동을 효율적으로 수용하고,
+  토지 이용의 다양성을 증진시키는 것을 목표로 합니다. 이는 토지 자원의 효율적인 활용을 위한 중요한 패러다임입니다. (D) 시민참여의 확대와 계획
+  및 개발주체의 단일화는 다소 상반되는 개념입니다. 시민 참여의 확대는 도시 계획과 개발 과정에서 시민들의 의견을 더욱 존중하고, 그들의 요구와
+  필요를 반영하는 것을 목표로 합니다. 반면에, 계획 및 개발주체의 단일화는 주로 효율성과 통합성을 추구하는 경향이 있습니다. 이 두 가지 개념은
+  동시에 존재하기 어렵습니다. 시민 참여의 확대는 다양한 의견과 요구를 수용하려는 노력을 필요로 하지만, 개발주체의 단일화는 주로 결정권을 한 곳에
+  집중시키려는 경향이 있습니다.  , 도시의 새로운 계획 패러다임의 방향이 아닌 것은 ''시민참여의 확대와 계획 및 개발주체의 단일화''입니다.
+  이 두 가지는 동시에 존재하기 어렵습니다. 시민 참여의 확대는 다양한 의견과 요구를 수용하려는 노력을 필요로 하지만, 개발주체의 단일화는 주로
+  결정권을 한 곳에 집중시키려는 경향이 있습니다. 이 두 가지 개념은 서로 상반되는 경향이 있어 동시에 존재하기 어렵습니다. 따라서, 정답은 (D)
+  입니다.
+
+
+  질문: 개별 필지에 대한 규제사항 및 토지이용계획사항을 확인하는 것으로, 해당 토지에 대한 용도지역ㆍ지구ㆍ구역, 도시ㆍ군계획시설, 도시계획사업과
+  입안내용, 그리고 각종 규제에 대한 저축 여부 등을 확인할 수 있는 자료는?
+
+  A.토지대장
+
+  B.건축물대장
+
+  C.토지특성조사표
+
+  D.토지이용계획확인서
+
+  정답: 차근 차근 생각해봅시다. 토목 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 개별 필지에 대한 규제사항 및 토지이용계획사항을 확인하는
+  자료를 찾아야 합니다. (A) 토지대장은 토지의 소유자, 소재지, 지목, 면적 등 토지의 기본적인 사항을 기록한 공적인 증명서입니다. 이는 토지의
+  기본적인 정보를 제공하지만, 규제사항이나 토지이용계획사항에 대한 정보는 포함하지 않습니다. (B) 건축물대장은 건축물의 위치, 구조, 용도, 면적
+  등 건축물에 관한 사항을 기록한 공적인 증명서입니다. 이는 건축물에 대한 정보를 제공하지만, 토지에 대한 규제사항이나 이용계획사항에 대한 정보는
+  포함하지 않습니다. (C) 토지특성조사표는 토지의 지리적, 지질학적 특성을 조사하여 작성한 표입니다. 이는 토지의 특성에 대한 정보를 제공하지만,
+  규제사항이나 이용계획사항에 대한 정보는 포함하지 않습니다. (D) 토지이용계획확인서는 토지의 용도지역, 지구, 구역, 도시, 군계획시설, 도시계획사업과
+  입안내용, 그리고 각종 규제에 대한 저축 여부 등을 확인할 수 있는 공적인 증명서입니다. 이는 토지에 대한 규제사항 및 이용계획사항을 확인하는데
+  필요한 모든 정보를 포함하고 있습니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 중세시대 이슬람도시의 특성을 나타내고 있는 도시와 국가의 연결이 틀린 것은?
+
+  A.바스라(OPTIONasra) - 튀니지
+
+  B.라바트(Rabat) - 모로코
+
+  C.푸스타트(Fustat) - 이집트
+
+  D.코르도바(OPTIONordoba) - 스페인
+
+  정답: 차근 차근 생각해봅시다. 토목 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 선택지에 나와 있는 도시들이 중세시대 이슬람 도시의
+  특성을 나타내는 도시인지 확인해보겠습니다. (A) 바스라(Basra)는 이라크에 위치한 도시로, 중세 이슬람 시대에 바그다드와 함께 중요한 도시
+  중 하나였습니다. (B) 라바트(Rabat)는 모로코의 수도로, 중세 이슬람 시대에는 페스와 함께 모로코의 대표적인 도시였습니다. (C) 푸스타트(Fustat)는
+  이집트 카이로에 위치한 도시로, 중세 이슬람 시대에 건설된 도시 중 하나입니다. (D) 코르도바(Cordoba)는 스페인에 위치한 도시로, 중세
+  이슬람 시대에는 유럽에서 가장 큰 도시 중 하나였습니다. 이제 각 도시와 국가의 연결이 맞는지 확인해보겠습니다. (A) 바스라(Basra)는 이라크에
+  위치한 도시로, 튀니지와 연결되어 있지 않습니다. (B) 라바트(Rabat)는 모로코에 위치한 도시로, 모로코와 연결되어 있습니다. (C) 푸스타트(Fustat)는
+  이집트에 위치한 도시로, 이집트와 연결되어 있습니다. (D) 코르도바(Cordoba)는 스페인에 위치한 도시로, 스페인과 연결되어 있습니다. 따라서,
+  정답은 (A) 입니다.
+
+
+  질문: 새로운 도시계획 패러다임으로 적절하지 않은 것은?
+
+  A.도ㆍ농 통합적 계획 지향
+
+  B.지속가능한 도시개발 지향
+
+  C.성장위주의 경제논리가 지배하는 도시개발 지향
+
+  D.시민참여 확대와 계획 및 개발주체의 다양화 지향
+
+  정답: 차근 차근 생각해봅시다. 토목 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지가 무엇을 의미하는지 살펴보겠습니다. (A)
+  도ㆍ농 통합적 계획 지향: 이는 도시와 농촌이 서로 독립적으로 발전하는 것이 아니라, 상호보완적이고 균형있는 발전을 추구하는 것을 의미합니다.
+  즉, 도시와 농촌이 서로에게 필요한 자원과 기능을 제공하며, 상호 의존적인 관계를 유지하도록 계획하는 것입니다. (B) 지속가능한 도시개발 지향:
+  이는 환경, 경제, 사회 등 다양한 측면에서 지속 가능한 도시 개발을 추구하는 것을 의미합니다. 즉, 현재 세대의 필요를 충족시키는 동시에 미래
+  세대의 필요를 충족시킬 수 있도록 도시를 계획하고 개발하는 것입니다. (D) 시민참여 확대와 계획 및 개발주체의 다양화 지향: 이는 도시계획과
+  개발 과정에서 시민들의 의견을 적극적으로 수렴하고, 다양한 주체들이 도시계획과 개발에 참여하는 것을 추구하는 것을 의미합니다. (C) 성장위주의
+  경제논리가 지배하는 도시개발 지향: 이는 경제적 성장을 최우선 목표로 삼고, 그를 위해 도시를 계획하고 개발하는 것을 의미합니다. 이는 단기적인
+  경제적 이익을 추구하는 경향이 있으며, 이로 인해 환경 파괴, 사회적 불평등 등의 문제가 발생할 수 있습니다.  , 새로운 도시계획 패러다임에서는
+  지속가능성, 균형, 다양성 등을 중요하게 생각합니다. 이에 비해 성장위주의 경제논리가 지배하는 도시개발 지향은 단기적인 경제적 이익을 우선시하는
+  경향이 있어, 이는 새로운 도시계획 패러다임과는 맞지 않는 것으로 보입니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 부동산 소유자간 또는 개발업자와 구입자 사이에 체결되는 민사계약으로 지역제보다 훨씬 상세하고 엄격한 규정으로 되어 있으며, 일반적으로 토지ㆍ건물대장
+  및 권리서에 기재되어 부동산 매매 시 신규 구입자에게로 승계되는 것으로, 미국의 근대도시계획 성립기에 지역제의 바탕이 된 제도는?
+
+  A.협약(covenant)
+
+  B.획지분할규제(subdivision control)
+
+  C.공도(official mapping)
+
+  D.성장관리(growth management)
+
+  정답: 차근 차근 생각해봅시다. 토목 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 문제에서 요구하는 것은 부동산 소유자간 또는 개발업자와
+  구입자 사이에 체결되는 민사계약이며, 이 계약은 지역제보다 훨씬 상세하고 엄격한 규정으로 되어 있다는 것입니다. 그리고 이 계약은 토지, 건물대장
+  및 권리서에 기재되어 부동산 매매 시 신규 구입자에게로 승계되는 것입니다. 마지막으로, 이 계약은 미국의 근대도시계획 성립기에 지역제의 바탕이
+  된 제도라고 합니다. 선택지를 살펴보면, (A) 협약(covenant), (B) 획지분할규제(subdivision control), (C) 공도(official
+  mapping), (D) 성장관리(growth management)가 있습니다. (A) 협약(covenant)은 일반적으로 두 당사자 사이에 체결되는
+  계약을 의미하며, 부동산 매매에 있어서도 이용됩니다. 또한, 이 협약은 토지, 건물대장 및 권리서에 기재되어 부동산 매매 시 신규 구입자에게로
+  승계되는 것이 일반적입니다. (B) 획지분할규제(subdivision control)는 부동산 개발 과정에서 적용되는 규제로, 토지를 분할하여
+  개발하는 경우에 적용되는 규제입니다. 이 규제는 개발자가 토지를 분할하여 팔 때 적용되는 것이므로, 이는 부동산 소유자간의 계약이 아니라 개발업자와
+  구입자 사이의 계약에 더 가깝습니다. (C) 공도(official mapping)는 도시 계획을 위한 지도를 의미하며, 이는 도시의 미래 발전을
+  계획하는 데 사용됩니다. 이는 부동산 계약과는 직접적인 관련이 없습니다. (D) 성장관리(growth management)는 도시의 성장을 관리하고
+  통제하는 데 사용되는 정책이나 기법을 의미합니다. 이는 부동산 계약과는 직접적인 관련이 없습니다.  , 문제에서 요구하는 부동산 소유자간 또는
+  개발업자와 구입자 사이에 체결되는 민사계약이며, 이 계약은 지역제보다 훨씬 상세하고 엄격한 규정으로 되어 있으며, 이 계약은 토지, 건물대장 및
+  권리서에 기재되어 부동산 매매 시 신규 구입자에게로 승계되는 것이며, 이 계약은 미국의 근대도시계획 성립기에 지역제의 바탕이 된 제도는 (A)
+  협약(covenant)이 가장 적절한 선택입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 토목 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_civil_engineering
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_computer_science.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_computer_science.yaml
+dataset_name: computer_science
+doc_to_text: '질문: 암호 프로토콜 서비스에 대한 설명 중 옳지 않은 것은?
+
+  A.비밀성 : 자료 유출의 방지
+
+  B.접근제어 : 프로토콜 데이터 부분의 접근 제어
+
+  C.무결성 : 메시지의 변조를 방지
+
+  D.부인봉쇄 : 송수신 사실의 부정 방지
+
+  정답: 차근 차근 생각해봅시다. 컴퓨터 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 정확한 정의를 이해하는 것이
+  중요합니다. (A) 비밀성: 이는 데이터가 전송 중에 외부로부터 보호되어, 오직 수신자만이 그 내용을 이해할 수 있게 하는 것을 의미합니다. 이는
+  ''자료 유출의 방지''와 일치하는 설명입니다. (B) 접근제어: 이는 데이터나 리소스에 대한 접근을 제어하는 것을 의미합니다. 이는 일반적으로
+  사용자의 권한을 확인하고, 해당 권한에 따라 데이터나 리소스에 접근할 수 있는지를 결정합니다. 하지만, ''프로토콜 데이터 부분의 접근 제어''라는
+  설명은 정확하지 않습니다. 접근제어는 일반적으로 데이터나 리소스에 대해 적용되지, 특정 프로토콜 데이터 부분에 대해 적용되지는 않습니다. (C)
+  무결성: 이는 데이터가 전송 중에 변경되거나 손상되는 것을 방지하는 것을 의미합니다. 이는 ''메시지의 변조를 방지''와 일치하는 설명입니다.
+  (D) 부인봉쇄: 이는 데이터의 송수신 사실을 부정할 수 없게 하는 것을 의미합니다. 이는 ''송수신 사실의 부정 방지''와 일치하는 설명입니다.  ,
+  정확하지 않은 설명은 (B) 접근제어: 프로토콜 데이터 부분의 접근 제어입니다. ''프로토콜 데이터 부분의 접근 제어''라는 설명은 접근제어의
+  정의와 일치하지 않습니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 인터넷상에서 시스템 보안 문제는 중요한 부분이다. 보안이 필요한 네트워크 통로를 단일화하여 이 출구를 보안 관리함으로써 외부로부터의 불법적인
+  접근을 막는 시스템은?
+
+  A.해킹
+
+  B.펌웨어
+
+  C.크래킹
+
+  D.방화벽
+
+  정답: 차근 차근 생각해봅시다. 컴퓨터 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 인터넷상에서 시스템 보안 문제를 해결하기 위한 방법에
+  대한 질문입니다. 각 선택지를 분석해보겠습니다. (A) 해킹: 해킹은 시스템의 보안을 침해하는 행위를 의미합니다. 해킹은 보안 문제를 해결하는
+  방법이 아니라 보안 문제를 일으키는 원인 중 하나입니다.   이 선택지는 정답이 될 수 없습니다. (B) 펌웨어: 펌웨어는 컴퓨터나 장치의 제어
+  및 운영에 필요한 소프트웨어를 의미합니다. 펌웨어는 장치의 기능을 실행하는데 필요하지만, 직접적으로 보안을 관리하는 시스템은 아닙니다.   이
+  선택지도 정답이 아닙니다. (C) 크래킹: 크래킹은 보안 시스템을 무력화하거나 소프트웨어의 보호 기능을 제거하는 행위를 의미합니다. 해킹과 마찬가지로
+  크래킹도 보안 문제를 일으키는 원인 중 하나이므로 이 선택지도 정답이 아닙니다. (D) 방화벽: 방화벽은 네트워크의 보안을 유지하기 위해 설계된
+  시스템입니다. 네트워크 통로를 단일화하여 이 출구를 보안 관리함으로써 외부로부터의 불법적인 접근을 막습니다. 이 설명은 질문에서 요구하는 시스템의
+  기능과 일치합니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 인터넷에서 일어날 수 있는 대표적인 보안사고 유형으로 어떤 침입 행위를 시도하기 위해 일정기간 위장한 상태를 유지하며, 코드 형태로 시스템의
+  특정 프로그램 내부에 존재 하는 것은?
+
+  A.논리 폭탄
+
+  B.웜
+
+  C.트로이 목마
+
+  D.잠입
+
+  정답: 차근 차근 생각해봅시다. 컴퓨터 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이 질문은 인터넷 보안에 관한 것으로, 특정한 침입
+  행위를 위해 일정 기간 동안 위장하고, 코드 형태로 시스템의 특정 프로그램 내부에 존재하는 보안사고 유형에 대한 것입니다. 선택지를 하나씩 살펴보면,
+  (A) 논리 폭탄은 특정 조건이 충족될 때까지 자신의 존재를 숨기고 그 조건이 만족되면 행동을 시작하는 프로그램을 의미합니다. 하지만 이는 특정
+  시간 동안 위장하는 것이 아니라 특정 조건이 충족될 때까지 대기하는 것이므로 이 질문의 답이 아닙니다. (B) 웜은 네트워크를 통해 시스템에 침입하고
+  자신을 복제하여 다른 시스템에 전파하는 코드를 의미합니다. 웜은 자동으로 전파되지만 특정 프로그램 내부에 숨어있다가 공격하는 것은 아니므로 이
+  질문의 답이 아닙니다. (C) 트로이 목마는 사용자가 원하는 프로그램처럼 보이지만 실제로는 시스템에 해를 끼치는 코드를 실행하는 악성 프로그램입니다.
+  트로이 목마는 사용자가 원하는 프로그램으로 위장하여 시스템에 침입하고, 일정 시간 동안 그 상태를 유지할 수 있습니다. (D) 잠입은 시스템에
+  무단으로 들어가 정보를 훔치는 행위를 의미합니다. 하지만 이는 특정 프로그램 내부에 숨어있다가 공격하는 것이 아니라 시스템 자체에 침입하는 것이므로
+  이 질문의 답이 아닙니다.  , 이 질문의 답은 (C) 트로이 목마입니다. 이 악성 프로그램은 사용자가 원하는 프로그램으로 위장하여 시스템에 침입하고,
+  일정 시간 동안 그 상태를 유지할 수 있습니다. 이는 질문에서 언급한 "일정 기간 동안 위장하고, 코드 형태로 시스템의 특정 프로그램 내부에 존재하는"
+  보안사고 유형을 가장 잘 설명합니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: DNS(Domain Name System) 서버 종류에 속하지 않는 것은?
+
+  A.Primary Server
+
+  B.OPTIONache Server
+
+  C.Expert Server
+
+  D.Master Name Server
+
+  정답: 차근 차근 생각해봅시다. 컴퓨터 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. DNS(Domain Name System)는 웹 브라우징에
+  있어 핵심적인 역할을 하는 시스템입니다. 이 시스템은 사람이 읽을 수 있는 도메인 이름을 컴퓨터가 이해할 수 있는 IP 주소로 변환하는 역할을
+  합니다. 이렇게 하면 사용자가 웹사이트의 IP 주소를 외우지 않고도 웹사이트를 방문할 수 있습니다. DNS 서버의 종류에 대해 알아보면 다음과
+  같습니다. (A). Primary Server: 이는 DNS 구조의 가장 중요한 서버입니다. 모든 DNS 레코드를 저장하고, 이 정보를 다른 DNS
+  서버에 제공합니다. (B). Cache Server: 이 서버는 DNS 요청에 대한 응답을 임시로 저장하는 역할을 합니다. 이를 통해 같은 요청이
+  들어올 때마다 Primary Server에 접속하지 않고 빠르게 응답할 수 있습니다. (D). Master Name Server: 이는 Primary
+  Server와 같은 역할을 합니다. DNS 구조에서 가장 중요한 서버로, 모든 DNS 레코드를 저장하고, 이 정보를 다른 DNS 서버에 제공합니다.
+  그러나, (C). Expert Server는 DNS 서버의 종류로 존재하지 않습니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 보안 OS(Secure OS)에 대한 설명 중 가장 옳지 않은 것은?
+
+  A.OPTION1급은 보안에 대한 기능이 없는 것으로, MS-OPTIONOS 등이 이에 해당한다.
+
+  B.OPTION1급은 사용자의 접근제어, OPTIONuditing, Shadow Password 등의 부가적인 기능이 제공된다.
+
+  C.OPTION급의 보안OS는 다단계 보안을 제공하며, 필수적인 접근제어 등이 제공된다.
+
+  D.OPTION급은 검증된 설계 수준으로서 수학적인 검증 과정이 요구된다.
+
+  정답: 차근 차근 생각해봅시다. 컴퓨터 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 보안 운영 체제(Secure OS)의 분류에 대한 설명
+  중에서 가장 옳지 않은 것을 찾으려면, 각 옵션에 제시된 내용을 TCSEC(Trusted Computer System Evaluation Criteria)의
+  기준에 따라 검토해야 합니다. TCSEC은 미국 국방부에서 개발한 시스템 보안 등급을 정의한 기준입니다. 각 등급은 다음과 같은 특징을 가집니다:
+  D등급 (Minimal Protection): 보안 설정이 전혀 이루어지지 않은 시스템. C1등급 (Discretionary Security Protection):
+  일반적인 로그인 과정이 있으며, 사용자 간 침범이 차단됨. 사용자는 자신이 생성한 파일에 대한 권한 설정이 가능. C2등급 (Controlled
+  Access Protection): 계정별 로그인 가능, 그룹별 통제가 가능한 시스템. B1등급 (Labeled Security): 시스템에 보안
+  정책 적용 가능, 데이터에 보안 레벨 설정 가능. B2등급 (Structured Protection): B1 등급의 기능을 모두 포함, 정형화된
+  보안 정책 존재. B3등급 (Security Domains): 운영체제상 불필요한 영역 제거, 모듈별 분석 및 테스트 가능. 시스템 파일 및 디렉터리에
+  대한 접근 방식 지정, 위험 동작 사용자에 대한 백업 자동화. A1등급 (Verified Design): 수학적으로 완벽한 시스템 설계. 이 정보를
+  바탕으로 각 옵션을 검토해 보면: (A) D1급은 보안 기능이 없는 것으로 설명되어 있는데, 실제로 D등급은 보안 설정이 전혀 이루어지지 않은
+  시스템을 의미합니다. (B) C1급은 사용자의 접근 제어, 감사 추적(Auditing), Shadow Password 등의 부가적인 기능이 제공된다고
+  설명되어 있으나, 실제 C1 등급은 일반적인 로그인 과정이 있고 사용자 간 침범을 차단하는 정도의 기능을 제공합니다. 감사 추적이나 Shadow
+  Password는 C1에서 특별히 언급되지 않습니다. (C) B급의 보안 OS는 다단계 보안을 제공하며, 필수적인 접근제어 등이 제공된다고 설명되어
+  있으며, 이는 B등급의 특징을 정확하게 반영합니다. (D) A급은 검증된 설계 수준으로서 수학적인 검증 과정이 요구된다고 설명되어 있으며, 이는
+  A1등급의 특징을 정확하게 반영합니다. 그러나, C1급은 주어진 설명에서 언급된 감사 추적(Auditing)이나 Shadow Password와
+  같은 부가적인 기능보다는 사용자 간 침범 차단과 사용자별 파일 권한 설정에 초점을 맞춘 것으로 정의됩니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 컴퓨터 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_computer_science
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_construction.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_construction.yaml
+dataset_name: construction
+doc_to_text: '질문: 디젤기관에서 질소 산화물(NOX)의 발생을 억제하려면 어떻게 해야 하는가?
+
+  A.흡기온도를 높인다.
+
+  B.산소(O2)의 농도를 낮춘다.
+
+  C.연소온도를 높인다.
+
+  D.반응시간을 길게한다.
+
+  정답: 차근 차근 생각해봅시다. 건설 관련 정보를 위해 위키피디아를 참조하겠습니다. 디젤 엔진에서 질소 산화물(NOx)의 발생을 억제하려면 연소
+  과정에서의 조건을 조절해야 합니다. 질소 산화물은 고온에서 산소와 질소가 결합할 때 생성되는데, 이는 디젤 엔진의 연소 과정에서 일어납니다. (A)
+  흡기 온도를 높인다: 흡기 온도를 높이면, 공기와 연료의 혼합물이 더욱 빠르게 연소하게 되고 이는 연소 온도를 높이게 됩니다.   NOx의 생성을
+  증가시킬 수 있습니다. (B) 산소(O2)의 농도를 낮춘다: 산소 농도를 낮추면, 연소 과정에서 산소와 질소가 결합하여 NOx를 생성하는 것을
+  줄일 수 있습니다.   NOx의 발생을 억제하는데 도움이 될 수 있습니다. (C) 연소 온도를 높인다: 연소 온도를 높이면, NOx의 생성이 증가합니다.
+  이는 NOx가 고온에서 산소와 질소가 결합할 때 생성되기 때문입니다. (D) 반응 시간을 길게 한다: 이론적으로, 반응 시간을 길게 하면 연소
+  과정이 더욱 완전해지고, 이는 NOx의 생성을 줄일 수 있습니다. 그러나 실제로는 연소 시간이 길어지면 엔진의 효율이 떨어질 수 있으므로, 이
+  방법이 항상 적용 가능한 것은 아닙니다.  , 산소의 농도를 낮추는 것이 디젤 엔진에서 NOx의 발생을 억제하는 가장 효과적인 방법으로 보입니다.
+  이는 연소 과정에서 산소와 질소가 결합하여 NOx를 생성하는 것을 줄일 수 있기 때문입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 전자제어 기관에서 산소센서가 피드백이 되는 조건은?
+
+  A.냉각수온이 낮을 때
+
+  B.시동시
+
+  C.연료차단시
+
+  D.공전시
+
+  정답: 차근 차근 생각해봅시다. 건설 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 산소센서가 피드백 되는 조건을 파악하기 위해 전자제어
+  기관에서의 산소센서 역할을 이해해야 합니다. 산소센서는 배기가스 중 산소 농도를 검출하여 ECU(전자제어장치)에 전달하는 역할을 합니다. 이를
+  통해 ECU는 엔진의 상태를 파악하고, 최적의 공연비를 유지할 수 있도록 제어합니다. 산소센서가 피드백 되는 조건은 다음과 같습니다. - 엔진이
+  가동 중일 때: 산소센서는 엔진이 가동 중일 때만 작동합니다. - 공연비가 적절할 때: 산소센서는 공연비가 적절할 때만 피드백 됩니다. 공연비란,
+  공기와 연료의 비율을 말합니다. - 냉각수온이 정상일 때: 냉각수온이 낮으면 산소센서의 작동에 영향을 미칠 수 있습니다. 위의 조건을 바탕으로
+  선택지를 검토해보겠습니다. (A) 냉각수온이 낮을 때: 냉각수온이 낮으면 산소센서의 작동에 영향을 미칠 수 있으므로, 이는 피드백이 되는 조건이
+  아닙니다. (B) 시동시: 시동 시에는 엔진이 가동 중이지만, 공연비가 적절하지 않을 수 있으므로, 이는 피드백이 되는 조건이 아닙니다. (C)
+  연료차단시: 연료차단시에는 엔진이 가동 중이지만, 공연비가 적절하지 않을 수 있으므로, 이는 피드백이 되는 조건이 아닙니다. (D) 공전시: 공전시에는
+  엔진이 가동 중이고, 공연비가 적절하게 유지되므로, 이는 피드백이 되는 조건입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 크랭크축 메인저널의 외경이 규정보다 작을 때 일어나는 현상으로 가장 적당한 것은?
+
+  A.오일유압의 압력저하로 적당한 오일의 공급량이 적어 오일의 오염도가 적다.
+
+  B.오일간극이 적어 베어링의 소결이 생긴다.
+
+  C.오일압력의 상승으로 각부에 윤활공급이 확실하다.
+
+  D.운행중 소음이 많이 발생된다.
+
+  정답: 차근 차근 생각해봅시다. 건설 관련 정보를 위해 위키피디아를 참조하겠습니다. 크랭크축 메인저널의 외경이 규정보다 작을 때의 현상을 생각해보면,
+  이는 크랭크축과 베어링 사이의 간극이 커지는 상황을 의미합니다. 크랭크축과 베어링 사이의 간극이 커지면, 이 간극 사이를 통과하는 엔진오일의 양이
+  많아지게 됩니다. 이로 인해 오일 압력이 감소하게 될 것입니다. 하지만, 선택지 A의 ''오일유압의 압력저하로 적당한 오일의 공급량이 적어 오일의
+  오염도가 적다''는 설명은 오일 압력이 감소했지만, 오일의 공급량이 적어지는 것은 아니며, 오염도가 적어지는 것도 아닙니다. 선택지 B의 ''오일간극이
+  적어 베어링의 소결이 생긴다''는 설명은 크랭크축의 외경이 작아져 오일간극이 커진 상황과는 반대의 상황을 설명하고 있습니다. 선택지 C의 ''오일압력의
+  상승으로 각부에 윤활공급이 확실하다''는 설명은 크랭크축의 외경이 작아져 오일 압력이 감소하는 상황과는 반대의 상황을 설명하고 있습니다. 선택지
+  D의 ''운행중 소음이 많이 발생된다''는 설명은 크랭크축과 베어링 사이의 간극이 커져서 오일이 제대로 윤활을 하지 못하면, 마찰로 인해 소음이
+  발생할 수 있습니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 디젤엔진의 공기여과기가 막혔을 때 나타나는 현상이 아닌 것은?
+
+  A.가속 불량
+
+  B.연료소비 과다
+
+  C.매연 과다배출
+
+  D.엔진오일 연소
+
+  정답: 차근 차근 생각해봅시다. 건설 관련 정보를 위해 위키피디아를 참조하겠습니다. 디젤엔진의 공기여과기는 엔진이 외부에서 공기를 빨아들일 때
+  그 공기에 포함된 먼지나 이물질을 걸러내는 역할을 합니다. 이 공기여과기가 막혔을 때, 공기 흐름이 제대로 이루어지지 않아 엔진의 효율이 떨어질
+  수 있습니다. (A) 가속 불량: 공기여과기가 막혀 공기의 흐름이 제대로 이루어지지 않으면, 연료의 완전한 연소를 방해하게 되어 엔진의 출력이
+  떨어지고, 결국 가속력이 떨어질 수 있습니다.   이는 맞는 설명입니다. (B) 연료소비 과다: 엔진의 효율이 떨어지면 연료의 소비량이 증가하게
+  됩니다. 이는 공기여과기가 막힘으로 인해 공기와 연료의 비율이 제대로 맞지 않아 연료가 완전히 연소되지 않고 일부가 낭비되기 때문입니다.   이는
+  맞는 설명입니다. (C) 매연 과다배출: 공기여과기가 막혀 연료의 완전한 연소가 이루어지지 않으면, 미연소 연료가 배기가스와 함께 배출되어 매연이
+  증가하게 됩니다.   이는 맞는 설명입니다. (D) 엔진오일 연소: 엔진오일의 연소는 엔진오일이 엔진실린더 내로 유입되어 연소되는 현상을 말합니다.
+  이는 주로 엔진의 내부 부품이 마모되거나 오일 밀봉부가 손상되어 발생하는 현상으로, 공기여과기의 상태와는 직접적인 관련이 없습니다.   이는 디젤엔진의
+  공기여과기가 막혔을 때 나타나는 현상이 아닌 것으로 보입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 행정체적이 240cc이고 압축비가 9일 때 연소실 체적은 몇 cc인가?
+
+  A.20cc
+
+  B.30cc
+
+  C.40cc
+
+  D.65cc
+
+  정답: 차근 차근 생각해봅시다. 건설 관련 정보를 위해 위키피디아를 참조하겠습니다. 압축비는 피스톤이 최하단에서 최상단으로 이동했을 때 실린더
+  내부의 전체 부피와 피스톤이 최상단에 있을 때 남는 연소실의 부피의 비율을 나타냅니다. 수학적으로 표현하면: \[ \text{압축비} = \frac{\text{행정체적}
+  + \text{연소실 체적}}{\text{연소실 체적}} \] 이 식을 연소실 체적에 대해 풀면: \[ \text{연소실 체적} = \frac{\text{행정체적}}{\text{압축비}
+  - 1} \] 여기서 주어진 값은 행정체적이 240cc이고 압축비가 9입니다. 이를 식에 대입하여 연소실 체적을 계산해 보겠습니다. 행정체적 =
+  240 압축비 = 9 연소실_체적 = 행정체적 / (압축비 - 1) = 240 / 8 = 30 연소실의 체적은 30cc입니다. 따라서, 정답은
+  (B) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 건설 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_construction
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_criminal_law.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_criminal_law.yaml
+dataset_name: criminal_law
+doc_to_text: '질문: 책임능력에 대한 설명으로 옳은 것은?
+
+  A.심 신장애는 생물학적 요소 외에 심리학적 요소로서 정신병 또는 비정상적 정신 상태와 같은 정신적 장애로 말 미암아 사물에 대한 변별 능력과
+  그에 따른 행위 통제능력이 결여되거나 감소되었음을 요한다.
+
+  B.심 신장애인의 행위인지 여부는 전문가의 감정, 그 행위의 전 후 사정이나 기록에 나타난 제반 자료를 종합하여 인정하되 , 공판정 에서의 피고인의
+  태도를 고려하여서는 안 된다.
+
+  C.성적 측면에서의 성격적 결함에 따른 소아기 호증은 그 증상이 심각하여 원래의 의 미의 정신병이 있는 사람과 동 등하다고 평가할 수 있더라도
+  심신장애를 인정할 여지는 없다.
+
+  D.위험의 발생을 예견할 수 있었는데도 자의로 심신장애를 야기한 경우는 원인에 있어서 자유로운 행위에 관한 형 법 제10조 제3항의 적용 대상이
+  아니다.
+
+  정답: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다. (A) 책임능력은 행위자가 자신의 행위의 결과를 인식하고 그에
+  대한 책임을 질 수 있는 능력을 말합니다. 이는 생물학적 요소와 심리학적 요소로 구성됩니다. 생물학적 요소는 신체적 또는 정신적 질환이나 장애를
+  의미하며, 심리학적 요소는 사물에 대한 변별 능력과 그에 따른 행위 통제능력을 의미합니다. 사물에 대한 변별 능력은 행위의 옳고 그름을 판단할
+  수 있는 능력을 말합니다. 행위 통제능력은 자신의 행동을 통제할 수 있는 능력을 말합니다. 이러한 능력이 결여되거나 감소된 경우에는 책임능력이
+  없다고 판단됩니다. (B)는 공판정에서의 피고인의 태도를 고려하지 않는다는 부분이 옳지 않습니다. 피고인의 태도는 책임능력을 판단하는 데 중요한
+  요소 중 하나입니다. (C)는 성적 측면에서의 성격적 결함에 따른 소아기호증은 심신장애를 인정할 여지가 있다는 것이 최근 대법원 판례의 입장입니다.   옳지
+  않습니다. (D)는 위험의 발생을 예견할 수 있었는데도 자의로 심신장애를 야기한 경우는 원인에 있어서 자유로운 행위에 관한 형법 제10조 제3항의
+  적용 대상이 됩니다.   옳지 않습니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 형법상 가석방 제도에 대한 설명으로 옳은 것은?
+
+  A.형기에 산입된 판결 선고 전 구금의 일수는 가석방에 있어서 집행을 경과한 기간에 산입하지 아니한다.
+
+  B.가석방의 기간은 무기형에 있어서는 20년으로 하고, 유기형에 있어서는 남은 형기로 하되, 그 기간은 10년을 초과할 수 없다.
+
+  C.징역 또는 금고의 집행 중에 있는 자가 그 행상이 양호하여 개전의 정이 현저한 때에는 무기에 있어서는 10년, 유기에 있어서는 형기의 2분의
+  1을 경과한 후 행정처분으로 가석방을 할 수 있다.
+
+  D.가석방의 처분을 받은 자가감시에 관한 규칙을 위배하거나, 보호관찰의 준수사항을 위반하고 그 정도가 무거운 때에는 가석방 처분을 취소할 수 있다.
+
+  정답: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다. (A) 형법 제57조 제1항에 따르면, 형기에 산입된 판결
+  선고 전 구금의 일수는 가석방에 있어서 집행을 경과한 기간에 산입한다고 명시되어 있습니다.   (A)는 옳지 않습니다. (B) 형법 제73조의2에
+  따르면, 가석방의 기간은 무기형에 있어서는 10년으로 하고, 유기형에 있어서는 남은 형기로 하되, 그 기간은 10년을 초과할 수 없다고 명시되어
+  있습니다.   (B)는 옳지 않습니다. (C) 형법 제72조 제1항에 따르면, 징역 또는 금고의 집행 중에 있는 자가 그 행상이 양호하여 개전의
+  정이 현저한 때에는 무기에 있어서는 10년, 유기에 있어서는 형기의 3분의 1을 경과한 후 행정처분으로 가석방을 할 수 있다고 명시되어 있습니다.   (C)는
+  옳지 않습니다. (D) 형법 제75조에 따르면, 가석방의 처분을 받은 자가 감시에 관한 규칙을 위배하거나, 보호관찰의 준수사항을 위반하고 그 정도가
+  무거운 때에는 가석방 처분을 취소할 수 있다고 명시되어 있습니다.   (D)는 옳은 설명입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 공소시효에 대한 설명으로 옳지 않은 것은?
+
+  A.범죄 후 법률의 개정에 의하여 법정형이 가 벼워진 경우에는 형법 제1조 제2항에 의하여 당해 범죄 사실에 적용될 가벼운 법정형인 신법의 법정형이
+  공소시효 기간의 기준이 된다.
+
+  B.1개의 행위가 형법 상 사기죄와 변호사법 위반죄에 해당하고 양 죄가 상상적 경합 관계에 있는 경우, 변호사법 위반죄의 공소시효가 완성되었다면
+  사기죄의 공소시효도 완성된 것으로 보아야 한다.
+
+  C.공범의 1인으로 기소된 자가 범죄의 증명이 없다는 이유로 무죄의 확정 판결을 선 고 받은 경우, 그는 공범이라고 할 수 없으므로 그에 대하여
+  제기된 공소는 진범에 대한 공소시효를 정 지시키는 효력이 없다.
+
+  D.공범의 1인에 대한 공소시효 정지는 다른 공범자에게 대하여 그 효력이 미치는데 , 여기의 ‘공범’에는 뇌물공여죄와 뇌물수수죄 사이와 같은 대
+  향범 관계에 있는 자는 포함되지 않는다 .
+
+  정답: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지가 어떤 내용을 담고 있는지 확인해봅시다. (A)는
+  범죄 후 법률의 개정에 따라 법정형이 가벼워진 경우, 가벼운 법정형의 신법이 공소시효 기간의 기준이 된다는 내용입니다. 형법 제1조 제2항에 따르면,
+  범죄를 저지른 후 법률이 변경되어 처벌이 가벼워진 경우에는 그 가벼운 처벌을 적용해야 한다는 내용이므로 이는 맞는 내용입니다. (B)는 1개의
+  행위가 사기죄와 변호사법 위반죄에 해당하며, 두 죄가 상상적 경합 관계에 있는 경우, 변호사법 위반죄의 공소시효가 완성되면 사기죄의 공소시효도
+  완성된다는 내용입니다. 상상적 경합이란 하나의 행위로 여러 죄가 동시에 성립하는 경우를 말합니다. 그러나 각각의 죄는 독립적으로 공소시효가 적용되므로,
+  한 죄의 공소시효가 완성되었다고 해서 다른 죄의 공소시효가 완성되는 것은 아닙니다. (C)는 공범에 대한 공소시효에 대한 내용입니다. 이 내용은
+  공범이 무죄 판결을 받은 경우, 그 공범에 대한 공소가 다른 진범에 대한 공소시효를 정지시키지 않는다는 내용입니다. 이는 형법의 공소시효에 대한
+  일반적인 원칙과 일치합니다. 공범이 무죄 판결을 받았다면, 그는 법적으로 공범이 아니므로 그에 대한 공소가 다른 진범에 대한 공소시효를 정지시키는
+  효력은 없습니다. (D)는 공범 중 한 명에 대한 공소시효 정지가 다른 공범에게 그 효력이 미치지만, 뇌물공여죄와 뇌물수수죄 사이와 같은 대향범
+  관계에 있는 자는 포함되지 않는다는 내용입니다. 이는 맞는 내용입니다. 대향범 관계는 한 죄를 저지른 자와 그 죄를 교사하거나 선동한 자 등이
+  서로 다른 죄를 저지른 관계를 말하며, 이 경우 각각의 죄는 독립적으로 공소시효가 적용됩니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 상소심에 대한 설명으로 옳지 않은 것은?
+
+  A.피고인이 공소 기각의 판결에 대하여 무죄를 주장하며 상소하는 것은 상소 이익이 없으므로 허용되지 않는다 .
+
+  B.상고심 판결의 파기 이유가 된 사실상의 판단은 당해 사건의 하급심에 대하여 기 속력을 가지며 , 이 경우에 파기 판결의 기 속력은 파기의 직접
+  이유가 된 원 심판결에 대한 소극적인 부정 판단에 한하여 생긴 다 .
+
+  C.피고인이 제1심 판결에 대하여 양형 부당만을 항소이유로 내세워 항소하였다가 기각된 경우, 피고인은 그 항소심 판결에 대하여 사실 오인 또는
+  법리 오해의 위법이 있다는 것을 상고 이유로 삼을 수 없다.
+
+  D.법률의 해석 ㆍ 적용을 그르친 나머지 피고인을 유죄로 잘못 인정한 항소심 판결에 대하여 검사만이 다른 사유를 들어 상고를 제기하였고 검사의
+  상고가 피고인의 이익을 위하여 제기된 것이 아님이 명백한 경우라면 , 상고법원은 직권으로 심판하여 무죄의 취지로 항소심 판결을 파기할 수 없다.
+
+  정답: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지를 하나씩 살펴보겠습니다. (A)는 피고인이
+  공소 기각의 판결에 대해 무죄를 주장하며 상소하는 것은 상소 이익이 없으므로 허용되지 않는다는 내용입니다. 이는 피고인이 이미 공소 기각, 즉
+  무죄 판결을 받았음에도 무죄를 주장하며 상소하는 것은 실질적인 이익이 없으므로 상소가 허용되지 않는다는 법리를 설명하고 있습니다. 이는 법적으로
+  옳은 설명입니다. (B)는 상고심 판결의 파기 이유가 된 사실상의 판단은 당해 사건의 하급심에 대하여 기 속력을 가지며, 이 경우에 파기 판결의
+  기 속력은 파기의 직접 이유가 된 원 심판결에 대한 소극적인 부정 판단에 한하여 생긴다는 내용입니다. 이는 상고심 판결의 파기 이유가 된 사실
+  판단이 하급심에 대한 기속력을 가진다는 법리를 설명하고 있으며, 이는 법적으로 옳은 설명입니다. (C)는 피고인이 제1심 판결에 대하여 양형 부당만을
+  항소이유로 내세워 항소하였다가 기각된 경우, 피고인은 그 항소심 판결에 대하여 사실 오인 또는 법리 오해의 위법이 있다는 것을 상고 이유로 삼을
+  수 없다는 내용입니다. 이는 피고인이 양형 부당만을 항소이유로 내세웠다가 기각된 경우, 그 항소심 판결에 대해 새로운 상고 이유를 제시할 수 없다는
+  법리를 설명하고 있습니다. 이 역시 법적으로 옳은 설명입니다. (D)는 법률의 해석ㆍ적용을 그르친 나머지 피고인을 유죄로 잘못 인정한 항소심 판결에
+  대하여 검사만이 다른 사유를 들어 상고를 제기하였고 검사의 상고가 피고인의 이익을 위하여 제기된 것이 아님이 명백한 경우라면, 상고법원은 직권으로
+  심판하여 무죄의 취지로 항소심 판결을 파기할 수 없다는 내용입니다. 하지만, 법률의 해석ㆍ적용을 그르친 나머지 피고인을 유죄로 잘못 인정한 경우라면,
+  상고법원은 검사의 상고가 피고인의 이익을 위하여 제기된 것이 아님에도 불구하고 직권으로 심판하여 무죄의 취지로 항소심 판결을 파기할 수 있습니다.   이
+  선택지는 잘못된 설명입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 형법 제1조 제2항에 대한 설명으로 옳지 않은 것은?
+
+  A.범죄 후 법률의 변경이 있더라도 형의 변경이 없는 경우에는 형법 제1조 제1항에 따라 행위 시법을 적용해야 한다.
+
+  B.형의 경중의 비교는 원칙적으로 법정형을 표준으로 하고, 처단형이나 선고형에 의할 것은 아니다 .
+
+  C.범죄 후 형벌법규의 위임을 받은 법령의 변경에 따라 범죄를 구성하지 아니하게 된 경우, 종전 법령이 범죄로 정하여 처벌한 것이 부당하였다는
+  반성적 고려에 따라 변경된 경우에 한하여 형 법 제1조 제2항이 적용된 다 .
+
+  D.행위 시 양벌규정에는 법인에 대한 면책 규정이 없었으나 법률 개정으로 면책 규정이 추가된 경우, 법원은 형법 제1조 제2항에 따라 피고인에게
+  개정된 양벌규정을 적용해야 한다.
+
+  정답: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다. 형법 제1조 제2항에 따르면, 범죄 후 법률의 변경에 의하여
+  그 행위가 범죄를 구성하지 아니하거나 형이 구법보다 경한 때에는 신법에 의한다고 규정하고 있습니다. 즉, 법률이 변경된 경우에는 그 변경된 법률을
+  적용해야 한다는 것입니다. (A)는 옳은 설명입니다. 범죄 후 법률의 변경이 있더라도 형의 변경이 없는 경우에는 형법 제1조 제1항에 따라 행위
+  시법을 적용해야 합니다. (B)는 옳은 설명입니다. 형의 경중의 비교는 원칙적으로 법정형을 표준으로 하고, 처단형이나 선고형에 의할 것은 아닙니다.
+  (D)는 옳은 설명입니다. 행위 시 양벌규정에는 법인에 대한 면책 규정이 없었으나 법률 개정으로 면책 규정이 추가된 경우, 법원은 형법 제1조
+  제2항에 따라 피고인에게 개정된 양벌규정을 적용해야 합니다. (C)는 옳지 않은 설명입니다. 범죄 후 형벌법규의 위임을 받은 법령의 변경에 따라
+  범죄를 구성하지 아니하게 된 경우, 종전 법령이 범죄로 정하여 처벌한 것이 부당하였다는 반성적 고려에 따라 변경된 경우에 형법 제1조 제2항이
+  적용되는 것은 맞지만, 법령의 변경이 있더라도 그것이 반성적 고려에서 비롯된 것이 아니라면 형법 제1조 제2항이 적용되지 않습니다. 따라서, 정답은
+  (C) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_criminal_law
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_ecology.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_ecology.yaml
+dataset_name: ecology
+doc_to_text: '질문: 탄소순환에 관한 설명으로 옳은 것은?
+
+  A.대기권에서 탄소는 주로 OPTIONO2, OPTIONO의 형태로 존재한다.
+
+  B.생물체가 죽으면 미생물에 의하여 분해되어 유기태탄 소로 돌아간다.
+
+  C.지구에서 탄소를 가장 많이 보유하고 있는 부분은 산림이다.
+
+  D.녹색식물에 의하여 유기태탄소가 무기태탄소로 전환 된다.
+
+  정답: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대해 하나씩 살펴보겠습니다. (A) 대기권에서
+  탄소는 주로 CO2, CO의 형태로 존재한다. - 이 설명은 맞습니다. 대기권에서 탄소는 주로 이산화탄소(CO2)와 일산화탄소(CO)의 형태로
+  존재합니다. (B) 생물체가 죽으면 미생물에 의하여 분해되어 유기태탄 소로 돌아간다. - 이 설명도 맞습니다. 생물체가 죽으면 미생물에 의해 분해되어
+  다시 유기 탄소로 변환됩니다. (C) 지구에서 탄소를 가장 많이 보유하고 있는 부분은 산림이다. - 이 설명은 틀린 것 같습니다. 지구에서 가장
+  많은 탄소를 보유하고 있는 곳은 바다입니다. 바다는 지구 상에서 가장 큰 탄소 저장고로, 해양 생물체와 해양 퇴적물에 의해 대량의 탄소가 저장됩니다.
+  (D) 녹색식물에 의하여 유기태탄소가 무기태탄소로 전환 된다. - 이 설명은 틀립니다. 실제로는 녹색 식물이 무기 탄소를 유기 탄소로 전환합니다.
+  이 과정은 광합성을 통해 이루어지며, 이 때 탄소는 대기 중의 이산화탄소에서 녹색 식물의 유기물로 전환됩니다.  , 정확한 설명은 (A) 대기권에서
+  탄소는 주로 CO2, CO의 형태로 존재한다와 (B) 생물체가 죽으면 미생물에 의하여 분해되어 유기태탄 소로 돌아간다입니다. 그러나 이 중 하나만
+  선택해야 한다면, (A) 대기권에서 탄소는 주로 CO2, CO의 형태로 존재한다가 탄소순환에 대한 가장 기본적인 사실을 설명하고 있으므로 이를
+  선택하겠습니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 지표면으로부터 10-45km의 성층권에 존재하며 태양 으로부터 오는 자외선의 99%이상을 차단하여 피부암과 백내장 등의 발생을 막아주는
+  역할을 하는 물질은?
+
+  A.오존
+
+  B.이산화탄소
+
+  C.프레온가스
+
+  D.양성자 α선
+
+  정답: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 질문에서 주어진 정보를 확인해보겠습니다. 질문에서는
+  ''지표면으로부터 10-45km의 성층권에 존재하며 태양으로부터 오는 자외선의 99% 이상을 차단하여 피부암과 백내장 등의 발생을 막아주는 역할을
+  하는 물질''에 대해 묻고 있습니다. (A) 오존에 대해 생각해보면, 오존은 대기 중에 존재하며 자외선을 차단하는 역할을 하는 것으로 알려져 있습니다.
+  오존층은 지구 대기권 중에서 성층권에 위치해 있으며, 태양으로부터 오는 자외선 중 유해한 자외선 B를 흡수해줍니다. (B) 이산화탄소는 지구 대기
+  중에 존재하는 주요 온실가스 중 하나이지만, 자외선을 차단하는 역할에 대해서는 특별히 언급되지 않습니다. (C) 프레온가스는 냉장고나 에어컨 등에
+  사용되는 냉매로, 오존층 파괴에 기여하는 것으로 알려져 있습니다. 이 물질 자체가 자외선을 차단하는 역할을 하는 것은 아닙니다. (D) 양성자
+  α선은 방사선의 일종으로, 이 물질이 자외선을 차단하는 역할을 하는 것은 아닙니다.  , 위의 정보를 바탕으로 볼 때, 성층권에 존재하며 태양으로부터
+  오는 자외선의 99% 이상을 차단하여 피부암과 백내장 등의 발생을 막아주는 역할을 하는 물질은 오존입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 콩과식물과 뿌리혹박테리아와 같이 두 종의 생물이 서로 상호작용하며 이익을 주고받는 관계를 의미하는 용어는?
+
+  A.편리공생
+
+  B.상리공생
+
+  C.편해공생
+
+  D.자원이용
+
+  정답: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 질문에서 언급된 콩과식물과 뿌리혹박테리아의 관계를
+  생각해보겠습니다. 이 두 종의 생물이 서로 상호작용하며 이익을 주고받는 관계라는 점이 중요한 힌트입니다. 이런 관계를 일반적으로 공생관계라고 부릅니다.
+  (A). 편리공생은 한 종이 다른 종에 의해 이익을 받는 반면, 다른 종에게는 특별한 영향을 미치지 않는 관계를 의미합니다.  , 이 용어는 두
+  종 모두가 이익을 얻는 상황을 설명하지 않습니다. (B). 상리공생은 두 종이 서로 이익을 주고받는 관계를 의미합니다. 이 용어는 콩과식물과 뿌리혹박테리아의
+  관계를 잘 설명하는 것 같습니다. (C). 편해공생은 한 종이 다른 종에게 해를 끼치는 반면, 다른 종에게는 특별한 영향을 미치지 않는 관계를
+  의미합니다.  , 이 용어는 두 종 모두가 이익을 얻는 상황을 설명하지 않습니다. (D). 자원이용은 생물이 자신의 생존과 번식을 위해 주변 환경의
+  자원을 이용하는 행동을 의미합니다. 이 용어는 공생관계를 설명하는 것이 아니라, 생물의 일반적인 행동을 설명하는 용어입니다.  , 콩과식물과 뿌리혹박테리아의
+  관계를 가장 잘 설명하는 용어는 ''상리공생''입니다. ''상리공생''은 두 종이 서로 이익을 주고받는 관계를 의미하므로, 이 용어가 이 질문의
+  정답일 것입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 수은(Hg)을 함유하는 폐수가 방류되어 오염된 바다에서 잡은 어패류를 섭취함으로서 발생하는 병은?
+
+  A.골연화증
+
+  B.미나마타병
+
+  C.피부흑색병
+
+  D.이따이이따이병
+
+  정답: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 수은(Hg)은 무거운 금속 중 하나로, 인체에 치명적인
+  독성을 가지고 있습니다. 그리고 어패류를 통해 인체에 들어오는 경우가 많습니다. 이에 대한 정보를 바탕으로 각 선택지를 살펴보겠습니다. (A)
+  골연화증은 뼈가 약해지는 병으로, 일반적으로 고령화, 비타민 D 결핍, 칼슘 결핍 등으로 인해 발생합니다. 수은 오염과는 직접적인 관련성이 없습니다.
+  (B) 미나마타병은 1950년대 일본 미나마타시에서 처음 발생한 병으로, 수은 중독에 의해 발생하는 것으로 알려져 있습니다. 당시, 미나마타 시의
+  쿠니스토 가공 공장에서 아크릴아미드를 생산하는 과정에서 발생한 수은이 하수와 함께 바다로 유입되었고, 이로 인해 바다 생태계가 오염되었습니다.
+  이렇게 오염된 바다에서 잡은 어패류를 섭취한 주민들이 미나마타병이라는 심각한 수은 중독 증상을 보였습니다. (C) 피부흑색병은 피부에 색소 침착이
+  일어나 피부가 검게 변하는 병으로, 일반적으로 피부에 직접적인 손상이나 특정 약물, 호르몬 불균형 등으로 인해 발생합니다. 수은 오염과는 직접적인
+  관련성이 없습니다. (D) 이따이이따이병은 실제로 존재하지 않는 병입니다.  , 수은을 함유하는 폐수가 방류되어 오염된 바다에서 잡은 어패류를
+  섭취함으로서 발생하는 병은 미나마타병이라 할 수 있습니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 생태계의 구성요소에 관한 설명으로 틀린 것은?
+
+  A.미량원소에는 몰리브덴, 망간, 철 등이 있다.
+
+  B.생물계 안에는 탄소, 질소, 아연, 코발트와 같은 다량 원소가 있다.
+
+  C.유기물질은 토성 및 물과 무기염류들의 보유력을 증진시킨다.
+
+  D.다량원소들은 주로 유기체들이 직접 이용할 수 있는 이산화탄소, 물과 같은 간단한 화합물로 존재한다.
+
+  정답: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다. 생태계의 구성요소에 대한 설명을 확인해보겠습니다. (A)
+  옵션은 미량원소에 몰리브덴, 망간, 철 등이 있다고 말하고 있습니다. 미량원소는 생물체가 생존하고 성장하는데 필요한 원소 중에서 그 양이 매우
+  적은 것을 말합니다. 몰리브덴, 망간, 철은 실제로 미량원소로 분류되므로 이 설명은 올바릅니다. (B) 옵션은 생물계 안에는 탄소, 질소, 아연,
+  코발트와 같은 다량 원소가 있다고 말하고 있습니다. 다량원소는 생물체가 생존하고 성장하는데 필요한 원소 중에서 그 양이 많은 것을 말합니다. 탄소와
+  질소는 확실히 다량원소로 분류되지만, 아연과 코발트는 일반적으로 미량원소로 분류됩니다.   이 설명에는 문제가 있어 보입니다. (C) 옵션은 유기물질이
+  토성 및 물과 무기염류들의 보유력을 증진시킨다고 말하고 있습니다. 유기물질은 토양의 물 분포, 구조, 영양소 보유력 등에 중요한 역할을 합니다.   이
+  설명은 올바릅니다. (D) 옵션은 다량원소들이 주로 유기체들이 직접 이용할 수 있는 이산화탄소, 물과 같은 간단한 화합물로 존재한다고 말하고 있습니다.
+  이는 사실입니다. 예를 들어, 탄소는 이산화탄소의 형태로, 질소는 질소 가스나 암모니아의 형태로 존재합니다.  , 위의 분석에 따르면, (B)
+  옵션의 설명이 잘못되었습니다. 아연과 코발트는 일반적으로 미량원소로 분류되지만, 이 설명에서는 그들을 다량 원소로 잘못 분류하고 있습니다. 따라서,
+  정답은 (B) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_ecology
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_economics.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_economics.yaml
+dataset_name: economics
+doc_to_text: '질문: 기업실체의 이해 관계자가 유용한 의사결정을 하기 위해서는 적시성 있는 정보가 필요하다. 이러한 정보수요를 충족시키기
+  위하여 기업 실체의 존속기간을 일정한 기간 단위로 분할하여 재무제표를 작성하는 기본가정은 무엇인가?
+
+  A.기간별 보고
+
+  B.목적적합성
+
+  C.화폐단위의 안정
+
+  D.신뢰성
+
+  정답: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다. 기업실체의 이해 관계자가 유용한 의사결정을 하기 위해서는
+  적시성 있는 정보가 필요하다는 말은 기업의 재무 상황에 대한 정보가 시간적으로 지연 없이 제공되어야 한다는 것을 의미합니다. 이를 위해 기업 실체의
+  존속기간을 일정한 기간 단위로 분할하여 재무제표를 작성하는 기본가정을 찾아야 합니다. (A) 기간별 보고는 기업의 존속기간을 일정한 기간으로 분할하여
+  재무제표를 작성하고 이를 이해관계자에게 보고해야 한다는 원칙을 의미합니다. 이 원칙은 적시성 있는 정보 제공을 보장하며, 이해관계자가 유용한 의사결정을
+  할 수 있도록 돕습니다.  , 기업실체의 존속기간을 일정한 기간 단위로 분할하여 재무제표를 작성하는 기본가정은 ''기간별 보고''가 가장 적합하다고
+  볼 수 있습니다. (B) 목적적합성은 재무정보가 특정 목적에 적합해야 한다는 원칙을 의미합니다. 이 원칙은 재무정보가 의사결정에 도움이 되기 위해
+  필요하지만, 이 경우에는 적시성과 직접적인 연관성이 없습니다. (C) 화폐단위의 안정은 재무정보가 안정된 화폐 단위로 표시되어야 한다는 원칙을
+  의미합니다. 이 원칙은 재무제표의 비교 가능성을 보장하지만, 이 경우에는 적시성과 직접적인 연관성이 없습니다. (D) 신뢰성은 재무정보가 정확하고
+  오류가 없어야 한다는 원칙을 의미합니다. 이 원칙은 재무제표가 신뢰성을 가질 때만 의사결정에 도움이 되지만, 이 경우에는 적시성에 직접적으로 관련되어
+  있지 않습니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 유형자산의 감가상각에 대한 설명으로 옳은 않은 것은?
+
+  A.감가상각이란 감가상각대상금액을 내용연수에 걸쳐 합리적이고 체계적으로 배분하는 것을 말한다.
+
+  B.감가상각대상금액은 취득원가에서 잔존가치를 차감한 금액으로 한다.
+
+  C.정액법은 유형자산의 내용연수 동안 일정액의 감가상각액을 인식하는 방법이다.
+
+  D.정률법을 적용하면 내용연수 초기보다 후기에 감가상각비를 더 많이 인식하게 된다.
+
+  정답: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 내용을 확인해봅시다. (A) 선택지는
+  감가상각에 대한 일반적인 정의를 제공합니다. 감가상각이란 기업이 자산을 사용함에 따라 그 가치가 감소하는 것을 회계적으로 반영하는 것을 말합니다.
+  이는 자산의 사용기간 동안 체계적이고 합리적인 방식으로 이루어집니다.   이 선택지는 옳습니다. (B) 선택지는 감가상각 대상 금액에 대해 설명하고
+  있습니다. 감가상각 대상 금액은 일반적으로 자산의 취득원가에서 잔존가치를 뺀 금액입니다. 잔존가치는 자산의 사용기간이 끝난 후에도 여전히 가지고
+  있는 가치를 의미합니다.   이 선택지도 옳습니다. (C) 선택지는 정액법에 대해 설명하고 있습니다. 정액법은 감가상각의 한 방법으로, 이는 각
+  회계기간 동안 일정한 금액의 감가상각비를 인식하는 방법입니다.   이 선택지도 옳습니다. (D) 선택지는 정률법에 대해 설명하고 있습니다. 정률법은
+  감가상각의 한 방법으로, 자산의 장부가치에 일정한 비율을 적용하여 감가상각비를 계산하는 방법입니다. 이 방법을 사용하면, 사용기간이 길어질수록
+  감가상각비가 감소하게 됩니다. 이는 정률법이 장부가치(취득원가에서 누적 감가상각비를 뺀 금액)에 기반하기 때문입니다.  , 이 선택지는 옳지 않습니다.
+  따라서, 정답은 (D) 입니다.
+
+
+  질문: (주)한공은 (주)서울 소유의 건물을 3년간 사용하기로 하는 전세계약을 체결하고, 전세금 10,000,000원을 지급하였다. (주)한공은
+  전세금 10,000,000원을 비유동자산 중 어떤 계정과목으로 표시하여야 하는가?
+
+  A.장기외상매출금
+
+  B.구축물
+
+  C.임대보증금
+
+  D.임차보증금
+
+  정답: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 전세계약이란 임차인이 일정 기간 동안 건물 등을 사용할
+  권리를 얻기 위해 임대인에게 일정 금액을 지급하는 계약을 말합니다. 여기서 (주)한공은 임차인의 입장이며, (주)서울은 임대인의 입장입니다. 다음으로,
+  전세금은 임차인이 임대인에게 건물 등을 사용할 권리를 얻기 위해 지급하는 금액을 말합니다.   이 금액은 임차인인 (주)한공이 임대인인 (주)서울에게
+  지급한 금액이므로, 이는 (주)한공의 비유동자산 중 하나로 간주될 수 있습니다. 선택지를 보면, (A) 장기외상매출금, (B) 구축물, (C)
+  임대보증금, (D) 임차보증금이 있습니다. (A) 장기외상매출금은 장기적으로 회수가 예정된 매출금을 말하며, 이는 (주)한공이 전세금을 지급한
+  상황과는 관련이 없습니다. (B) 구축물은 (주)한공이 직접 건물을 건설하거나 개선하는 경우에 해당되므로, 이 역시 전세금을 지급한 상황과는 관련이
+  없습니다. (C) 임대보증금은 임대인이 임차인에게 보증금을 지급하는 경우에 해당되므로, 이는 (주)한공이 전세금을 지급한 상황과는 관련이 없습니다.
+  (D) 임차보증금은 임차인이 임대인에게 건물 등을 사용할 권리를 얻기 위해 지급하는 금액을 말합니다.   이는 (주)한공이 전세금 10,000,000원을
+  지급한 상황과 일치합니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 개인일반과세자 甲은 2014년 2월 10일에 부동산임대업을 폐업하였다. 甲이 2014년 1월 1일부터 2014년 2월 10일까지의 거래에
+  대한 부가가치세 확정 신고기한으로 옳은 것은?
+
+  A.2014년 2월 25일
+
+  B.2014년 3월 25일
+
+  C.2014년 4월 25일
+
+  D.2014년 7월 25일
+
+  정답: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다. 개인일반과세자의 부가가치세 확정 신고 기간은 제1기(1월
+  1일부터 6월 30일까지)와 제2기(7월 1일부터 12월 31일까지)로 구분되며, 각 기의 확정 신고 기한은 다음과 같습니다. - 제1기 확정
+  신고: 매년 7월 1일부터 7월 25일까지 - 제2기 확정 신고: 매년 1월 1일부터 1월 25일까지 그러나, 이는 일반적인 사업 연도에 대한
+  확정신고기한이며, 폐업한 경우에는 다르게 적용됩니다. 폐업한 경우에는, 폐업일이 속하는 달의 말일로부터 25일 이내에 부가가치세 확정신고를 해야
+  합니다. 이를 바탕으로 질문에 대해 생각해보면, 甲이 2014년 2월 10일에 부동산임대업을 폐업하였으므로, 폐업일이 속하는 2월의 말일로부터
+  25일 이내인 2014년 3월 25일까지 확정신고를 해야 합니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: (주)한공은 종원원이 퇴사하여 퇴직금 10,000,000원을 보통예금계좌에서 지급하였다. 이 거래를 회계처리한 후 나타나는 결과로 옳은
+  것은? (단, 종업원 퇴사직전 퇴직급여충당부채 잔액은 7,000,000원이다.)
+
+  A.자산이 증가한다.
+
+  B.자본금이 증가한다.
+
+  C.부채가 감소한다.
+
+  D.이익잉여금이 증가한다.
+
+  정답: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, (주)한공이 종업원인 종원원에게 퇴직금 10,000,000원을
+  지급하였다고 합니다. 이는 회사의 자산인 ''보통예금''에서 10,000,000원이 줄어들었다는 의미입니다.   자산은 감소하였습니다. 이로 인해
+  선택지 A는 옳지 않습니다. 다음으로, 자본금이란 주주들이 회사에 투자한 금액을 말합니다. 이 경우에는 종원원의 퇴직금 지급과 관련하여 주주들이
+  추가적으로 회사에 투자한 내용이 없으므로, 자본금은 변동하지 않습니다.   선택지 B도 옳지 않습니다. 다음으로, 퇴직급여충당부채 잔액이 7,000,000원이었다고
+  합니다. 퇴직급여충당부채란 회사가 직원의 퇴직금을 지급할 의무를 미리 인식하고 이를 부채로 계상하는 것을 말합니다. 즉, 이는 회사의 부채입니다.
+  종원원에게 퇴직금을 지급함으로써 이 부채는 감소하게 됩니다. 하지만, 퇴직금 10,000,000원 중에서 부채로 계상되어 있던 7,000,000원을
+  지급한 것이므로, 부채는 7,000,000원 감소하게 됩니다.   선택지 C는 옳습니다. 그런데 퇴직금 10,000,000원 중에서 부채로 계상되어
+  있던 금액을 초과하는 3,000,000원 (10,000,000원 - 7,000,000원)은 어떻게 처리되었을까요? 이 금액은 회사의 이익에서 차감되어야
+  합니다. 이는 이익잉여금, 즉 회사가 벌어들인 이익에서 퇴직금 등을 지급한 후 남은 금액이 감소한다는 의미입니다.   선택지 D는 옳지 않습니다.
+  따라서, 정답은 (C) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_economics
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_education.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_education.yaml
+dataset_name: education
+doc_to_text: '질문: 신 교육 사회학에 대한 설명으로 옳지 않은 것은?
+
+  A.학교 교육과정 또는 교육내용에 주목한다.
+
+  B.불평등의 문제를 학교 교육 안에서 찾는다.
+
+  C.학교에서 가르치는 지식의 사회적 성격을 탐구한다.
+
+  D.구조기능주의에 기반하여 교육의 사회적 기능을 탐구한다.
+
+  정답: 차근 차근 생각해봅시다. 교육학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 신 교육 사회학은 학교 교육에 대한 사회학적 연구로서,
+  학교 교육이 사회적으로 어떻게 구성되고 어떤 영향을 미치는지에 대한 탐구를 수행합니다. 이를 바탕으로 선택지를 살펴보겠습니다. (A) 학교 교육과정
+  또는 교육내용에 주목한다는 것은 신 교육 사회학의 주요한 특징 중 하나입니다. 신 교육 사회학은 교육과정이 사회적으로 구성되어 있으며, 이에 따라
+  학생들이 습득하는 지식과 가치가 영향을 받는다고 주장합니다. (B) 불평등의 문제를 학교 교육 안에서 찾는다는 것도 신 교육 사회학의 중요한 특징
+  중 하나입니다. 신 교육 사회학은 학교 교육이 사회적 불평등을 재생산하는 데에 기여한다고 주장합니다. (C) 학교에서 가르치는 지식의 사회적 성격을
+  탐구한다는 것은 신 교육 사회학의 핵심적인 주장 중 하나입니다. 신 교육 사회학은 지식이 사회적으로 구성되어 있으며, 학교에서 가르치는 지식 역시
+  사회적 맥락에 따라 형성된다고 주장합니다. (D) 구조기능주의에 기반하여 교육의 사회적 기능을 탐구한다는 것은 신 교육 사회학의 특징이 아닙니다.
+  신 교육 사회학은 구조기능주의에 비판적이며, 교육의 사회적 기능을 다른 관점에서 해석합니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 피들러(Fiedler)의 리더십 상황이론에서 강조하는 ‘상황’ 요소에 포함되지 않는 것은?
+
+  A.구성원의 성숙도
+
+  B.과업의 구조화 정도
+
+  C.지도자와 구성원의 관계
+
+  D.지도자가 구성원에 대해 가지고 있는 영향력의 정도
+
+  정답: 차근 차근 생각해봅시다. 교육학 관련 정보를 위해 위키피디아를 참조하겠습니다. 피들러의 리더십 상황이론은 리더의 성향과 상황 요소를 중심으로
+  한 이론입니다. 이 이론에 따르면, 리더의 성향과 상황 요소의 적절한 조합이 효과적인 리더십을 만들어낸다는 것이 핵심입니다. 상황 요소에는 ''과업의
+  구조화 정도'', ''지도자와 구성원의 관계'', ''지도자가 구성원에 대해 가지고 있는 영향력의 정도'' 등이 포함됩니다. ''과업의 구조화
+  정도''는 과업이 얼마나 명확하게 정의되고, 어떻게 수행되어야 하는지에 대한 정도를 의미합니다. ''지도자와 구성원의 관계''는 상호 신뢰, 존경,
+  감정적 애착 등을 포함합니다. ''지도자가 구성원에 대해 가지고 있는 영향력의 정도''는 리더의 권위와 영향력을 의미합니다. 그러나 ''구성원의
+  성숙도''는 허시-블랜차드의 리더십 이론에서 중요한 요소로 다루어지는 개념입니다. 이 이론에서는 구성원의 역량과 동기에 따라 리더십 스타일을 조절해야
+  한다는 주장을 하고 있습니다.  , 피들러의 리더십 상황이론에서 강조하는 ''상황'' 요소에는 ''구성원의 성숙도''가 포함되지 않습니다. 이는
+  허시-블랜차드의 리더십 이론에서 중요하게 다루어지는 요소입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 교육행정의 원리에 대한 설명으로 옳지 않은 것은?
+
+  A.안정성 의 원리는 교육정책을 일관되고 지속적으로 추진해야 한다는 것이다.
+
+  B.효율성 의 원리는 교육에 투입되는 비용을 상대적으로 적게 하면서 교육 목표를 달성하려는 것이다.
+
+  C.자주 성의 원리는 지역의 특수성과 다양성을 반영하여 주민의 적극적인 의사와 자발적인 참여를 강조하는 것이다.
+
+  D.민주성 의 원리는 이해당사자들의 의사를 적극적으로 반영하고 그들을 의사결정 과정에 적절하게 참여시켜야 한다는 것이다.
+
+  정답: 차근 차근 생각해봅시다. 교육학 관련 정보를 위해 위키피디아를 참조하겠습니다. 교육행정의 원리에 대해 알아보겠습니다. 우선 교육행정의 원리는
+  합법성, 기회균등, 자주성 존중, 지방분권, 민주성, 공공성, 효율성, 안정성 유지, 전문성 보장의 원리로 이루어진 9가지가 존재합니다. (A)
+  안정성의 원리는 교육정책을 일관되고 지속적으로 추진해야 한다는 것으로, 교육의 효과를 높이고 사회적 안정을 유지하기 위해 중요합니다. (B) 효율성의
+  원리는 교육에 투입되는 비용을 상대적으로 적게 하면서 교육 목표를 달성하려는 것으로, 교육 예산을 효율적으로 활용하고 교육의 성과를 높이기 위해
+  중요합니다. (D) 민주성의 원리는 이해당사자들의 의사를 적극적으로 반영하고 그들을 의사결정 과정에 적절하게 참여시켜야 한다는 것으로, 교육행정의
+  공정성과 투명성을 높이고 교육의 발전을 이루기 위해 중요합니다. 하지만, (C) 자주성의 원리는 교육행정의 원리에 해당하지 않습니다. 따라서,
+  정답은 (C) 입니다.
+
+
+  질문: 문화실조론의 주장으로 옳지 않은 것은?
+
+  A.학생의 학습 실패 중요 요인으로 학생의 문화적 경험 부족을 지목한다.
+
+  B.문화적 상대주의 관점이며, 학생 간의 교육격차가 문화적 결핍 보다는 문화적 차이 때문이라고 본다.
+
+  C.빈곤 가정의 결핍된 문화적 환경을 보상하기 위한 프로그램 중 하나가 헤드스타트 프로그램이다.
+
+  D.학교에서 학생들의 성공과 실패는 유전적으로 결정된 것이 아니라고 본다.
+
+  정답: 차근 차근 생각해봅시다. 교육학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 문화실조론에 대해 알아보겠습니다. 문화실조론은 1960년대
+  미국에서 빈곤층 아동들의 학업 성적 저하를 설명하기 위해 제기된 이론입니다. 이 이론은 학생들의 학업 성적 저하는 학생들이 가진 문화적 경험의
+  부족이 주된 원인이라고 주장합니다. 이에 따라 빈곤층 아동들의 문화적 경험을 풍부하게 하기 위한 여러 프로그램들이 제안되었는데, 그 중 하나가
+  헤드스타트 프로그램입니다. 선택지 (A)는 문화실조론의 주요 주장을 잘 나타내고 있습니다. 학생들의 학업 성적 저하는 학생들이 가진 문화적 경험의
+  부족 때문이라는 것이 이론의 핵심입니다.   (A)는 문화실조론의 주장입니다. 선택지 (B)는 문화적 상대주의 관점을 언급하고 있습니다. 이는
+  문화실조론과는 약간 다른 관점입니다. 문화적 상대주의는 모든 문화가 동등하다는 주장이며, 이는 문화실조론이 주장하는 ''문화적 결핍''과는 상반되는
+  개념입니다. 문화실조론은 특정 문화(여기서는 빈곤층 아동들의 문화)가 결핍되었다고 보는 반면, 문화적 상대주의는 모든 문화가 동등하다고 보기 때문입니다.   (B)는
+  문화실조론의 주장이 아닙니다. 선택지 (C)는 문화실조론이 주장하는 바를 잘 나타내고 있습니다. 빈곤층 아동들의 문화적 경험을 풍부하게 하기 위한
+  프로그램 중 하나가 헤드스타트 프로그램이라는 것이 이론의 주장입니다. 마지막으로 선택지 (D)는 학교에서 학생들의 성공과 실패는 유전적으로 결정된
+  것이 아니라고 보는 것입니다. 이는 문화실조론이 주장하는 바와 일치합니다. 문화실조론은 학생들의 학업 성적 저하는 학생들이 가진 문화적 경험의
+  부족이 주된 원인이라고 보기 때문입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 평생교육법 상평생학습도시에 대한 설명으로 옳지 않은 것은?
+
+  A.평생학습도시의 지정 및 지원에 필요한 사항은 교육부 장관이 정한다.
+
+  B.전국평생학습도시협의회의 구성 및 운영에 필요한 사항은 교육부령으로 정한다.
+
+  C.평생학습도 시 간의 연계․ 협력 및 정보교류의 증진을 위하여 전국 평생학습도시협의회를 둘 수 있다.
+
+  D.국가는 지역사회의 평생교육 활성화를 위하여 시․군 및 자치구를 대상으로 평생학습도시를 지정 및 지원할 수 있다.
+
+  정답: 차근 차근 생각해봅시다. 교육학 관련 정보를 위해 위키피디아를 참조하겠습니다. 우선, 평생교육법을 확인해야 합니다. 평생교육법 제24조에
+  따르면, 국가는 지역사회의 평생교육 활성화를 위하여 시․군 및 자치구를 대상으로 평생학습도시를 지정 및 지원할 수 있다. 이를 통해 선택지 (D)는
+  정확하다는 것을 알 수 있습니다. 그리고 평생교육법 제24조의2에는 평생학습도시의 지정 및 지원에 필요한 사항은 교육부 장관이 정한다는 내용이
+  있습니다. 이를 통해 선택지 (A)도 옳다는 것을 확인할 수 있습니다. 또한, 평생교육법 제24조의3에서는 평생학습도시 간의 연계․협력 및 정보교류의
+  증진을 위하여 전국 평생학습도시협의회를 둘 수 있다는 내용이 있습니다.   선택지 (C)도 옳다는 것을 확인할 수 있습니다. 하지만, 평생교육법에는
+  전국평생학습도시협의회의 구성 및 운영에 필요한 사항은 교육부령으로 정한다는 내용은 없습니다. 이를 통해 선택지 (B)가 평생교육법 상평생학습도시에
+  대한 설명으로 옳지 않다는 것을 알 수 있습니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 교육학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_education
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_electrical_engineering.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_electrical_engineering.yaml
+dataset_name: electrical_engineering
+doc_to_text: '질문: 곡선도로 조명상 조명기구의 배치 조건이 가장 적당한 것은?
+
+  A.양측 배치의 경우는 지그재그식으로 한다.
+
+  B.한쪽만 배치하는 경우는 커브 바깥쪽에 배치한다.
+
+  C.직선도로에서 보다 등 간격을 조금 더 넓게 한다.
+
+  D.곡선도로의 곡률 반지름이 클수록 등 간격을 짧게 한다.
+
+  정답: 차근 차근 생각해봅시다. 전기 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 검토를 해보겠습니다. (A) 양측
+  배치의 경우는 지그재그식으로 한다. 지그재그식 배치는 보통 도로의 양측에 조명기구를 배치할 때 사용하는 방식입니다. 이 방식은 두 조명기구 사이의
+  거리를 적절하게 유지하면서도 도로의 전체적인 밝기를 유지할 수 있게 해줍니다. 하지만 이것이 곡선도로에서도 반드시 적용되는지에 대한 정보는 확인이
+  필요합니다. (B) 한쪽만 배치하는 경우는 커브 바깥쪽에 배치한다. 이 선택지는 로드 라이팅 디자인의 기본 원칙 중 하나로 보입니다. 곡선 도로에서
+  커브 바깥쪽에 조명을 배치하면, 운전자가 도로를 더 잘 볼 수 있습니다. 이는 운전자가 도로의 곡률을 더 잘 인식하게 하고, 사고 위험을 줄이는
+  데 도움이 됩니다. (C) 직선도로에서 보다 등 간격을 조금 더 넓게 한다. 이 선택지는 조명기구의 배치 간격에 관한 것입니다. 직선 도로에서는
+  조명기구 간의 거리가 일정하게 유지되지만, 곡선 도로에서는 조명기구 간의 거리를 넓게 유지해야 할 수도 있습니다. 이는 곡선 도로에서 운전자의
+  시야를 확보하기 위한 것일 수 있습니다. (D) 곡선도로의 곡률 반지름이 클수록 등 간격을 짧게 한다. 이 선택지는 곡선도로의 곡률 반지름에 따라
+  조명기구의 배치 간격을 조정하는 것을 제안하고 있습니다. 곡률 반지름이 큰 곡선도로에서는 도로가 덜 굽어 있으므로, 조명기구 간의 거리를 짧게
+  유지할 수 있습니다. 이는 도로의 밝기를 일정하게 유지하는 데 도움이 될 수 있습니다. 각 선택지를 분석한 결과, (B) 한쪽만 배치하는 경우는
+  커브 바깥쪽에 배치한다는 가장 합리적인 배치 방법으로 보입니다. 이 방법은 곡선 도로에서 운전자의 시야를 가장 잘 확보할 수 있게 해주기 때문입니다.
+  다른 선택지들은 곡선 도로에서의 조명기구 배치에 대한 구체적인 가이드라인을 제공하지 않습니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 휘도 B[sb], 반지름 r[m]인 등휘도 완전 확산성 구 광원의 전광속 F[lm]은 얼마인가?
+
+  A.4r2OPTION
+
+  B.πr2OPTION
+
+  C.π2r2OPTION
+
+  D.4π2r2OPTION
+
+  정답: 차근 차근 생각해봅시다. 전기 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 등휘도 완전 확산성 구 광원에 대해 이해해야 합니다.
+  이는 구 형태의 광원에서 모든 방향으로 동일한 강도의 빛이 발산되는 것을 의미합니다. 휘도(B)는 광도(I)를 표면적(A)으로 나눈 값으로 정의됩니다.
+  즉, B = I/A입니다. 여기서 광도(I)는 빛의 강도를 나타내며, 단위는 루멘(lm)입니다. 표면적(A)는 단위 면적당 빛의 양을 나타내며,
+  단위는 제곱미터(m^2)입니다. 등휘도 완전 확산성 구 광원의 경우, 모든 방향으로 동일한 강도의 빛이 발산되므로, 전광속(F)은 광원의 모든
+  표면에서 발산되는 총 빛의 양을 나타냅니다. 구의 표면적(A)은 4πr^2로 계산됩니다.  , 광도(I)는 휘도(B)와 표면적(A)의 곱, 즉
+  I = B * A이므로, I = B * 4πr^2가 됩니다. 전광속(F)는 광원의 모든 표면에서 발산되는 총 빛의 양이므로, 광도(I)와 동일합니다.  ,
+  F = I = B * 4πr^2입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 200W 전구를 우유색 구형 글로브에 넣었을 경우 우유색 유리의 반사율은 40%, 투과율은 50%라고 할 때 글로브의 효율은 약 몇 %인가?
+
+  A.20
+
+  B.40
+
+  C.50
+
+  D.83
+
+  정답: 차근 차근 생각해봅시다. 전기 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 우선, 글로브의 효율을 계산하기 위해 우리는 먼저 어떤
+  양이 글로브를 통과하거나 반사되는지 알아야 합니다. 문제에서 주어진 것은 우유색 유리의 반사율이 40%, 투과율이 50%라는 것입니다. 이것은
+  우유색 유리가 받은 전체 에너지 중 40%는 반사되고, 50%는 통과한다는 것을 의미합니다. 그럼 남은 10%는 어디로 갔을까요? 이 부분은 문제에서
+  명시적으로 언급되지 않았지만, 일반적으로 이러한 유형의 문제에서는 나머지 에너지가 흡수되었다고 가정합니다.  , 200W 전구의 경우, 40%는
+  반사되어 80W가 되고, 50%는 통과하여 100W가 됩니다. 글로브의 효율은 통과된 에너지와 반사된 에너지의 합을 전체 에너지로 나눈 것이므로,
+  (80W + 100W) / 200W = 0.9 또는 90%가 됩니다. 그러나 선택지 중에 90%는 없습니다. 이 경우, 문제의 정보가 잘못되었거나
+  제가 무언가를 잘못 이해하고 있는 것일 수 있습니다. 이러한 상황에서는 문제를 다시 확인하거나 추가 정보를 찾아보는 것이 좋습니다. 그러나 이
+  경우에는 추가 정보를 찾을 수 없으므로, 주어진 정보를 바탕으로 가장 가능성이 높은 답변을 선택해야 합니다. 이 문제에서는 글로브의 효율이 90%라고
+  계산되었지만, 선택지 중에서는 83%가 가장 가까운 값입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 폭 24m인 거리의 양쪽에 20m의 간격으로 지그재그식으로 등주를 배치하여 도로상의 평균 조도를 5[lx]로 하고자 한다. 각 등주상에
+  몇 [lm]의 전구가 필요한가? (단, 도로면에서의 광속 이용률은 25%이다.)
+
+  A.4000
+
+  B.4500
+
+  C.4800
+
+  D.5000
+
+  정답: 차근 차근 생각해봅시다. 전기 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이 문제를 해결하기 위해 조도와 플럭스에 대한
+  개념을 이해해야 합니다. 조도(lux, lx)는 단위 면적당 광속(lumen, lm)을 나타내는 단위입니다.   조도는 광속을 면적으로 나눈 값이라고
+  할 수 있습니다. 문제에서 주어진 정보를 바탕으로 필요한 광속을 계산해보겠습니다. 우선, 도로의 폭이 24m이고, 등주의 간격이 20m라는 정보를
+  통해 도로의 면적을 계산할 수 있습니다. 면적은 폭과 길이를 곱한 값이므로, 도로의 면적은 24m * 20m = 480m²입니다. 다음으로, 도로상의
+  평균 조도가 5lx라는 정보를 통해 필요한 총 광속을 계산할 수 있습니다. 조도가 면적당 광속이므로, 총 광속은 조도 * 면적입니다.   필요한
+  총 광속은 5lx * 480m² = 2400lm입니다. 그러나, 도로면에서의 광속 이용률이 25%라는 정보를 고려해야 합니다. 이는 도로에 비추어지는
+  전체 광속 중 실제로 도로면에서 이용되는 광속의 비율을 의미합니다.   실제로 필요한 광속은 계산된 총 광속을 이용률로 나눈 값이 됩니다. 즉,
+  필요한 광속은 2400lm / 0.25 = 9600lm입니다. 하지만, 이는 도로 전체에 필요한 광속이므로, 등주 하나에 필요한 광속을 계산해야
+  합니다. 등주가 지그재그식으로 배치되어 있으므로, 하나의 등주는 2개의 도로 면적을 비추게 됩니다.   하나의 등주에 필요한 광속은 9600lm
+  / 2 = 4800lm입니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 플랭크의 방사법칙을 이용하여 온도를 측정하는 것은?
+
+  A.광고온계
+
+  B.방사 온도계
+
+  C.열전 온도계
+
+  D.저항 온도계
+
+  정답: 차근 차근 생각해봅시다. 전기 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 플랭크의 방사법칙은 물체가 방출하는 전자기 복사의 스펙트럼과
+  세기가 그 물체의 온도와 관련이 있다는 원리를 설명합니다. 이 원리를 이용하여 온도를 측정하는 장치는 물체가 방출하는 복사 에너지를 측정하여 온도를
+  결정합니다. 주어진 옵션들 중에서: (A) 광고온계 (Optical Pyrometer): 이 장치는 특정 파장(여기서는 0.65μm의 적색 단파장)의
+  가시광선을 이용해 온도를 측정합니다. 열원으로부터 방사되는 빛과 기기 내의 표준 열원으로부터 나오는 같은 파장의 빛의 강도를 비교함으로써 온도를
+  측정합니다. 이 방법은 비앙(Wien)의 분배법칙에 바탕을 두고 있으며, 흑체 또는 흑체 조건에서 방사되는 열 에너지의 파장과 강도가 온도에 따라
+  변화하는 원리를 이용합니다. (B) 방사 온도계 (Radiation Pyrometer): 이 장치는 물체로부터 방출되는 열방사(적외선)를 받아들여
+  온도를 측정합니다. 이 방법은 열전도를 이용하는 온도계와는 다르게 비접촉 방식이며, 고속으로 온도를 측정할 수 있습니다. (C) 열전 온도계 (Thermocouple):
+  이 장치는 두 다른 금속의 접합점에서 발생하는 전압 변화를 측정하여 온도를 결정합니다. (D) 저항 온도계 (Resistance Thermometer):
+  이 장치는 온도에 따라 변하는 재료의 전기 저항을 측정하여 온도를 결정합니다. 주어진 옵션들 중에서, 플랭크의 방사법칙을 이용하여 온도를 측정하는
+  장치는 광고온계(Optical Pyrometer)입니다. 이는 흑체 또는 비슷한 조건의 물체로부터 방사되는 가시광선의 강도를 통해 온도를 측정하는
+  방식을 사용하며, 흑체의 방사율을 1로 설정하여 보정하는 원리를 기반으로 합니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 전기 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_electrical_engineering
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_electronics_engineering.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_electronics_engineering.yaml
+dataset_name: electronics_engineering
+doc_to_text: '질문: C 언어에서 사용되는 자료형이 아닌 것은?
+
+  A.double
+
+  B.short
+
+  C.integer
+
+  D.float
+
+  정답: 차근 차근 생각해봅시다. 전자 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. C 언어에서는 여러가지 기본 자료형을 제공하고 있습니다.
+  (A) double은 C 언어에서 실수를 표현하는 자료형 중 하나로, float보다 더 넓은 범위의 실수를 표현할 수 있습니다.   이는 C 언어의
+  자료형입니다. (B) short는 C 언어에서 정수를 표현하는 자료형 중 하나로, int보다 작은 범위의 정수를 표현할 수 있습니다. 이 역시
+  C 언어의 자료형입니다. (D) float은 C 언어에서 실수를 표현하는 자료형으로, double보다 작은 범위의 실수를 표현할 수 있습니다.
+  이 역시 C 언어의 자료형입니다. 그러나 (C) integer는 C 언어의 자료형이 아닙니다. C 언어에서 정수를 표현하는 자료형은 int, short,
+  long 등이 있지만 ''integer''라는 자료형은 존재하지 않습니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 원시 프로그램을 컴파일러가 수행되는 기계에 대한 기계어로 번역하는 것이 아니라, 다른 기종에 대한 기계어로 번역하는 것은?
+
+  A.linker
+
+  B.debugger
+
+  C.cross-compiler
+
+  D.preprocessor
+
+  정답: 차근 차근 생각해봅시다. 전자 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 설명을 해보겠습니다. (A)
+  링커(linker)는 여러 개의 오브젝트 파일들을 연결시켜 하나의 실행 파일을 만드는 역할을 합니다. 이는 컴파일 과정의 마지막 단계에서 일어나는
+  작업입니다. (B) 디버거(debugger)는 프로그램의 오류를 찾고 수정하는 데 사용되는 소프트웨어 도구입니다. 이는 실행 중인 프로그램을 모니터링하고,
+  필요한 경우 중단시켜 변수의 값을 검사하거나 변경할 수 있습니다. (C) 크로스 컴파일러(cross-compiler)는 한 기종의 컴퓨터에서 실행되지만,
+  다른 기종의 컴퓨터에서 실행될 수 있는 코드를 생성하는 컴파일러입니다. 이는 다른 하드웨어 아키텍처를 대상으로 코드를 생성할 때 사용됩니다. (D)
+  프리프로세서(preprocessor)는 컴파일러가 소스 코드를 컴파일하기 전에 처리하는 프로그램입니다. 이는 주로 소스 코드 내의 매크로를 확장하거나,
+  조건부 컴파일 지시자를 처리하는 데 사용됩니다. 질문에서는 ''원시 프로그램을 컴파일러가 수행되는 기계에 대한 기계어로 번역하는 것이 아니라,
+  다른 기종에 대한 기계어로 번역하는 것''을 묻고 있습니다. 이 설명은 크로스 컴파일러(cross-compiler)의 기능과 일치합니다. 따라서,
+  정답은 (C) 입니다.
+
+
+  질문: BNF 심볼 중 택일을 의미하는 것은?
+
+  A.::=
+
+  B.＜＞
+
+  C.|
+
+  D.#
+
+  정답: 차근 차근 생각해봅시다. 전자 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. BNF(Backus-Naur Form)는 문법을 정의하는
+  메타 문법입니다. 이는 프로그래밍 언어나 데이터 구조의 문법을 표현하는 데 사용됩니다. BNF에서 사용되는 심볼들은 각각 특정한 의미를 가지고
+  있습니다. 선택지를 하나씩 살펴보면, (A) ::= 심볼은 BNF에서 "정의한다"는 의미를 가집니다. 즉, 왼쪽에 있는 식이나 요소가 오른쪽에
+  있는 식이나 요소로 정의된다는 것을 나타냅니다. (B) ＜＞ 심볼은 BNF에서 비터미널을 표현하는 데 사용됩니다. 비터미널이란, 규칙에 의해 다른
+  심볼로 대체될 수 있는 심볼을 의미합니다. (C). | : 이 심볼은 BNF에서 여러 선택 사항 중 하나를 선택할 수 있음을 나타냅니다. 예를
+  들어, A | B는 A나 B 중 하나를 선택할 수 있음을 의미합니다. (D) # 심볼은 일반적으로 BNF에서 사용되지 않는 심볼입니다. 따라서,
+  정답은 (C) 입니다.
+
+
+  질문: 로더(Loader)의 기능으로 볼 수 없는 것은?
+
+  A.할당(allocation)
+
+  B.연결(link)
+
+  C.번역(translation)
+
+  D.재배치(relocation)
+
+  정답: 차근 차근 생각해봅시다. 전자 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 로더(loader)는 컴퓨터 시스템에서 실행할 프로그램을
+  메모리에 적재하는 역할을 하는 프로그램입니다. 이를 위해 로더는 크게 세 가지 주요 기능을 수행합니다. 1. 할당(Allocation): 로더는
+  프로그램이 메모리 내에서 어디에 위치할지 결정합니다. 이를 위해 프로그램이 필요로 하는 메모리 공간을 찾아 할당하는 작업을 수행합니다.  , ''할당''은
+  로더의 기능 중 하나입니다. 2. 연결(Linking): 프로그램은 여러 개의 모듈로 분할될 수 있습니다. 로더는 이러한 모듈들을 연결하여 하나의
+  실행 가능한 프로그램을 만듭니다.  , ''연결'' 또한 로더의 기능 중 하나입니다. 3. 재배치(Relocation): 프로그램이 메모리 내의
+  특정 위치에 적재되면, 그 프로그램 내의 모든 주소는 적재된 위치를 기준으로 재배치됩니다. 이러한 작업을 로더가 수행하므로, ''재배치'' 또한
+  로더의 기능입니다. 그러나 ''번역(Translation)''은 로더의 기능이 아닙니다. 번역은 주로 컴파일러나 인터프리터가 수행하는 작업으로,
+  고급 언어로 작성된 소스 코드를 저급 언어인 기계어로 변환하는 과정을 의미합니다. 이는 로더의 역할 범위를 벗어난 작업입니다. 따라서, 정답은
+  (C) 입니다.
+
+
+  질문: 운영체제가 제공하는 서비스로 볼 수 없는 것은?
+
+  A.프로그래머가 작성한 응용 프로그램에 대한 오류를 자동으로 수정한다.
+
+  B.파일의 생성, 판독, 삭제 등의 파일에 대한 조작을 지원한다.
+
+  C.각종 자원에 대한 사용 내역이나 응답시간과 같은 성능향상을 위한 요소들을 기록하여 관리한다.
+
+  D.컴퓨터 시스템의 하드웨어 오류를 발견하고 그에 대한 적절한 조치를 한다.
+
+  정답: 차근 차근 생각해봅시다. 전자 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 운영체제는 컴퓨터 시스템의 자원을 관리하고 응용 프로그램과
+  하드웨어 사이의 인터페이스 역할을 하는 소프트웨어입니다. 선택지 (A)는 프로그래머가 작성한 응용 프로그램에 대한 오류를 자동으로 수정한다는 내용입니다.
+  하지만, 이는 운영체제의 기능이 아닙니다. 프로그램의 오류는 프로그래머나 개발자가 디버깅 과정을 통해 찾아내고 수정해야 합니다. 운영체제는 오류가
+  발생하면 그 정보를 프로그래머에게 전달할 수 있지만, 자동으로 수정하는 것은 아닙니다. 선택지 (B)는 파일의 생성, 판독, 삭제 등의 파일에
+  대한 조작을 지원한다는 내용입니다. 이는 운영체제의 핵심 기능 중 하나로, 파일 시스템 관리를 통해 사용자가 파일을 효과적으로 관리하고 사용할
+  수 있게 지원합니다. 선택지 (C)는 각종 자원에 대한 사용 내역이나 응답시간과 같은 성능향상을 위한 요소들을 기록하여 관리한다는 내용입니다.
+  이 또한 운영체제의 중요한 기능 중 하나로, 시스템 성능을 모니터링하고 최적화하는 역할을 합니다. 마지막으로 선택지 (D)는 컴퓨터 시스템의 하드웨어
+  오류를 발견하고 그에 대한 적절한 조치를 한다는 내용입니다. 이 역시 운영체제의 기능으로, 하드웨어 오류를 감지하고 적절한 처리를 하여 시스템의
+  안정성을 유지하는 역할을 합니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 전자 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_electronics_engineering
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_energy_management.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_energy_management.yaml
+dataset_name: energy_management
+doc_to_text: '질문: 이상적인 변압기에 대한 설명으로 옳은 것은?
+
+  A.단자 전류의 비 I2/I1는 권수비와 같다.
+
+  B.단자 전압의 비 V2/V1는 코일의 권수비와 같다.
+
+  C.1차측 복소전력은 2차측 부하의 복소전력과 같다.
+
+  D.1차측 단자에서 본 전체 임피던스는 부하 임피던스에 권수비의 자승의 역수를 곱한 것과 같다.
+
+  정답: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다. 이상적인 변압기에 대한 설명을 분석하기 위해 각 선택지를
+  살펴보겠습니다. (A) "단자 전류의 비 I2/I1는 권수비와 같다"는 이상적인 변압기에 대한 설명입니다. 이상적인 변압기에서는 1차측과 2차측의
+  권수비가 전류 비율을 결정합니다. 예를 들어, 1차측에 100회 권선, 2차측에 200회 권선이 있다면, 2차측의 전류는 1차측의 전류의 절반만큼
+  흐를 것입니다. 이것은 변압기의 근본적인 원리 중 하나입니다. (B) 선택지는 변압기의 단자 전압의 비는 코일의 권수비와 같다고 말하고 있습니다.
+  이는 사실이 아닙니다. (C) 선택지는 "1차측 복소전력은 2차측 부하의 복소전력과 같다"고 합니다. 이상적인 변압기에서는 1차측과 2차측의 전력이
+  동일해야 합니다. 하지만 이는 복소전력에 관한 진술이므로, 더 구체적인 맥락이 필요합니다. (D) 선택지는 "1차측 단자에서 본 전체 임피던스는
+  부하 임피던스에 권수비의 자승의 역수를 곱한 것과 같다"고 합니다. 이것은 변압기의 임피던스 리플렉션 원리를 설명하지만 사실이 아닙니다. 따라서,
+  정답은 (A) 입니다.
+
+
+  질문: 어떤 회로에 E=200+j50(V)인 전압을 가했을 때 I=5+j5(A)의 전류가 흘렀다면 이 회로의 임피던스는 약 몇 Ω인가?
+
+  A.0
+
+  B.∞
+
+  C.70+j30
+
+  D.25-j15
+
+  정답: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 회로의 임피던스 Z를 구하는 방법에 대해 알아보겠습니다.
+  회로에서의 임피던스 Z는 전압 E를 전류 I로 나눈 값으로 구할 수 있습니다. 즉, Z = E/I 입니다. 여기서 주어진 E는 200+j50(V),
+  I는 5+j5(A)입니다.  , Z = (200+j50) / (5+j5)를 계산하면 됩니다. 복소수의 나눗셈을 수행하기 위해서는 분모의 복소수를
+  켤레 복소수로 곱하여 실수로 만든 후 분자에도 같은 켤레 복소수를 곱합니다. 즉, Z = (200+j50) * (5-j5) / (5+j5) *
+  (5-j5)를 계산하면 됩니다. 분자를 계산하면 200*5 + 200*(-j5) + j50*5 + j50*(-j5) = 1000 - j1000
+  + j250 + 250 = 1250 - j750 입니다. 분모를 계산하면 5*5 + 5*(-j5) + j5*5 + j5*(-j5) = 25 -
+  j25 + j25 + 25 = 50 입니다.  , Z = (1250 - j750) / 50 = 25 - j15 입니다. 따라서, 정답은 (D)
+  입니다.
+
+
+  질문: 태양광발전 전지에서 직렬저항이 발생하는 원인이 아닌 것은?
+
+  A.전면 및 후면 금속전극의 저항
+
+  B.태양광발전 전지 내의 누설전류
+
+  C.금속전극과 에미터, 베이스 사이의 접촉저항
+
+  D.태양광발전 전지의 에미터와 베이스를 통한 전류 흐름
+
+  정답: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다. 정답 해설: 먼저, 직렬저항이 무엇인지 알아야 합니다.
+  직렬저항은 전기 회로에서 여러 개의 저항이 연속적으로 연결되어 있는 것을 말합니다. 태양광발전 전지에서 직렬저항이 발생하는 원인은 다음과 같습니다.
+  (A) 전면 및 후면 금속전극의 저항: 태양광발전 전지의 전면과 후면에는 금속전극이 있습니다. 이 금속전극은 태양광발전 전지의 전기적 특성을 결정하는
+  중요한 요소 중 하나입니다. 하지만 금속전극 자체의 저항이 존재하기 때문에, 태양광발전 전지의 직렬저항이 발생할 수 있습니다. (B) 태양광발전
+  전지 내의 누설전류: 태양광발전 전지 내의 누설전류는 전지 내부에서 전류가 새어나가는 것을 말합니다. 이 누설전류는 태양광발전 전지의 효율을 저하시키고,
+  수명을 단축시키는 원인 중 하나이지만, 직렬저항과는 직접적인 관련이 없습니다. (C) 금속전극과 에미터, 베이스 사이의 접촉저항: 태양광발전 전지의
+  금속전극과 에미터, 베이스 사이에는 접촉저항이 존재합니다. 이 접촉저항은 금속전극과 반도체 물질 사이의 접촉이 불완전할 때 발생하며, 태양광발전
+  전지의 효율을 저하시키는 원인 중 하나입니다. (D) 태양광발전 전지의 에미터와 베이스를 통한 전류 흐름: 태양광발전 전지의 에미터와 베이스는
+  전류가 흐르는 경로 중 하나입니다. 이 경로에서 전류가 흐르면 저항이 발생하며, 이 저항이 태양광발전 전지의 직렬저항을 증가시킬 수 있습니다.
+  따라서, 정답은 (B) 입니다.
+
+
+  질문: 서로 다른 두 종류의 금속을 접촉하여 두 접점의 온도를 다르게 하면 온도차에 의해서 열 기전력이 발생하고 미세한 전류가 흐르는 현상은?
+
+  A.홀 효과(Hall effect)
+
+  B.펠티에 효과(Peltier effect)
+
+  C.제베크 효과(Seebeck effect)
+
+  D.광도전 효과((photo-conductivity effect)
+
+  정답: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다. 서로 다른 두 종류의 금속을 접촉하여 두 접점의 온도를
+  다르게 하면 온도차에 의해서 열 기전력이 발생하고 미세한 전류가 흐르는 현상을 찾기 위해서는 각 선택지를 자세히 알아볼 필요가 있습니다. (A).
+  홀 효과(Hall effect)는 자기장이 인가된 물질에 전류를 흘렸을 때, 자기장과 전류에 수직인 방향으로 전기적인 힘이 발생하는 현상을 말합니다.
+  이는 전하 운반체의 종류와 밀도, 그리고 자기장의 세기에 의존합니다. (B). 펠티에 효과(Peltier effect)는 서로 다른 금속을 접합하여
+  전기를 흘렸을 때, 접합부의 양쪽에 열의 흡수 또는 발생이 일어나는 현상을 말합니다. 이는 전기 에너지가 열 에너지로 변환되는 현상으로, 열전
+  효과의 일종입니다. (C). 제베크 효과(Seebeck effect)는 서로 다른 금속 또는 반도체를 접합하여 전기를 흘렸을 때, 접합부의 양쪽에
+  온도차가 있으면 열기전력이 발생하는 현상을 말합니다. 이는 열 에너지가 전기 에너지로 변환되는 현상으로, 열전 효과의 일종입니다. (D). 광도전
+  효과((photo-conductivity effect)는 물질에 빛을 비추었을 때, 물질 내부의 전자가 빛 에너지를 받아 이동하면서 전기 전도도가
+  증가하는 현상을 말합니다. 이는 광전자 효과의 일종입니다. 위의 선택지 중에서 서로 다른 두 종류의 금속을 접촉하여 두 접점의 온도를 다르게 하면
+  온도차에 의해서 열 기전력이 발생하고 미세한 전류가 흐르는 현상을 설명하는 것은 (C). 제베크 효과(Seebeck effect)입니다. 따라서,
+  정답은 (C) 입니다.
+
+
+  질문: 태양광발전 모듈의 I-V 특성곡선에서 일사량에 따라 가장 많이 변화하는 것은?
+
+  A.전압
+
+  B.전류
+
+  C.저항
+
+  D.커패시턴스
+
+  정답: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다. 태양광발전 모듈의 I-V 특성곡선은 전류(I)와 전압(V)의
+  관계를 나타내는 곡선입니다. 이 곡선은 태양광 모듈의 작동 특성을 보여주며, 일사량, 온도 등의 변화에 따라 그 형태가 변합니다. 일사량은 태양의
+  빛이 얼마나 강하게 닿는지를 나타내는 값으로, 태양광발전 모듈의 전력 출력에 중요한 영향을 미칩니다. 일사량이 증가하면 태양광 모듈이 흡수하는
+  에너지가 증가하므로 전류가 증가합니다. 반면, 전압은 일사량에 상대적으로 덜 민감하며, 일사량이 변해도 전압의 변화는 그다지 크지 않습니다. 저항과
+  커패시턴스는 전자회로의 물리적 특성을 나타내는 값들로, 태양광발전 모듈의 I-V 특성곡선과는 직접적인 관련이 없습니다. 태양광발전 모듈의 저항은
+  일반적으로 일사량에 따라 변하지 않으며, 커패시턴스 역시 태양광발전 모듈의 출력에 영향을 주는 주요 요인이 아닙니다.  , 태양광발전 모듈의 I-V
+  특성곡선에서 일사량에 따라 가장 많이 변화하는 것은 전류입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_energy_management
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_environmental_science.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_environmental_science.yaml
+dataset_name: environmental_science
+doc_to_text: '질문: 혐기성 소화에서 독성을 유발 시킬 수 있느 물질의 농도(mg/L)로 가장 적절한 것은?
+
+  A.Fe : 1000
+
+  B.Na : 3500
+
+  C.OPTIONa : 1500
+
+  D.Mg : 800
+
+  정답: 차근 차근 생각해봅시다. 환경 과학 관련 정보를 위해 위키피디아를 참조하겠습니다. 혐기성 소화는 미생물이 산소 없이 유기물을 분해하는 과정입니다.
+  이 과정에서 다양한 미네랄이 필요하며, 그 중 철(Fe), 나트륨(Na), 칼슘(Ca), 마그네슘(Mg) 등이 있습니다. 이들 미네랄의 적절한
+  농도는 혐기성 소화 과정의 효율성을 결정하며, 농도가 너무 높으면 독성을 유발할 수 있습니다.  , 이 질문의 답을 찾기 위해서는 각 미네랄의
+  독성 농도를 확인해야 합니다. - 철(Fe)의 경우, 물에 대한 독성 농도는 1000mg/L 이상일 때 발생한다고 합니다. - 나트륨(Na)의
+  경우, 물에 대한 독성 농도는 2300mg/L 이상일 때 발생한다고 합니다. - 칼슘(Ca)의 경우, 물에 대한 독성 농도는 2000mg/L 이상일
+  때 발생한다고 합니다. - 마그네슘(Mg)의 경우, 물에 대한 독성 농도는 1250mg/L 이상일 때 발생한다고 합니다. 위의 정보를 바탕으로
+  보았을 때, 주어진 선택지 중에서 가장 적절한 독성 농도는 철(Fe)의 1000mg/L입니다. 이는 철(Fe)의 독성 농도가 1000mg/L 이상일
+  때 발생한다는 정보와 일치하기 때문입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 도시폐기물의 유기성 성분 중 셀룰로오스에 해당하는 것은?
+
+  A.6탄당의 중합체
+
+  B.아미노산 중합체
+
+  C.당, 전분 등
+
+  D.방향환과 메톡실기를 포함한 중합체
+
+  정답: 차근 차근 생각해봅시다. 환경 과학 관련 정보를 위해 위키피디아를 참조하겠습니다. 셀룰로오스는 식물 세포벽의 주요 구성요소로, 대부분의
+  식물 세포에 존재합니다. 셀룰로오스는 탄수화물의 한 종류로, 긴 사슬 모양의 구조를 가지고 있습니다. 이 사슬은 당류인 글루코스의 수천 개 단위가
+  연결된 것으로 이루어져 있습니다. 이 글루코스 단위들은 화학적으로 연결되어 있어서, 셀룰로오스는 매우 강하고 튼튼한 물질이 됩니다. 선택지를 보면,
+  (A) 6탄당의 중합체, (B) 아미노산 중합체, (C) 당, 전분 등, (D) 방향환과 메톡실기를 포함한 중합체가 있습니다. (A) 6탄당의
+  중합체는 셀룰로오스의 정의에 가장 가깝습니다. 셀룰로오스는 기본적으로 6탄당인 글루코스의 중합체입니다. (B) 아미노산 중합체는 단백질을 형성하는
+  요소로, 셀룰로오스와는 무관합니다. (C) 당, 전분 등은 셀룰로오스의 구성 요소인 글루코스와 관련이 있지만, 셀룰로오스 자체를 정의하는 것은
+  아닙니다. (D) 방향환과 메톡실기를 포함한 중합체는 리그닌의 구조를 설명하는 것으로, 셀룰로오스와는 다른 식물 세포벽의 구성요소입니다. 따라서,
+  정답은 (A) 입니다.
+
+
+  질문: 완전히 건조시킨 폐기물 20g을 채취해 회분함량을 분석하였더니 5g 이었다. 폐기물의 함수율이 40% 이었다면, 습량기준으로 회분 중량비(%)는?
+  (단, 비중 = 1.0)
+
+  A.5
+
+  B.10
+
+  C.15
+
+  D.20
+
+  정답: 차근 차근 생각해봅시다. 환경 과학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 문제에서 주어진 정보를 이해해보겠습니다. 1. 건조시킨
+  폐기물의 무게는 20g입니다. 2. 그 중 회분함량이 5g입니다. 3. 폐기물의 습도는 40%입니다. 여기서 회분 중량비를 구하라고 했는데, 회분
+  중량비는 회분함량을 습기를 포함한 전체 무게로 나눈 것을 퍼센트로 표현한 것입니다.  , 먼저 습기를 포함한 전체 무게를 구해야 합니다. 건조시킨
+  폐기물의 무게는 20g이고, 이는 습도를 제거한 상태이므로, 이 무게는 전체 무게의 60%(100% - 40% = 60%)에 해당합니다.   전체
+  무게는 20g / 0.6 = 약 33.33g입니다. 이제 회분 중량비를 구할 수 있습니다. 회분 중량비 = (회분함량 / 습기를 포함한 전체 무게)
+  * 100% = (5g / 33.33g) * 100% = 약 15%입니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 소각방식 중 회전로(Rotary Kiln)에 대한 설명으로 옳지 않은 것은?
+
+  A.넓은 범위의 액상, 고상 폐기물은 소각할 수 있다.
+
+  B.일반적으로 회전속도는 0.3~1.5 rpm, 주변속도는 5~25 mm/sec 정도이다.
+
+  C.예열, 혼합, 파쇄 등 전처리를 거쳐야만 주입이 가능하다.
+
+  D.회전하는 원통형 소각로로서 경사진 구조로 되어있으며 길이와 직경의 비는 2~10 정도이다.
+
+  정답: 차근 차근 생각해봅시다. 환경 과학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 회전로(Rotary Kiln)에 대한 기본적인
+  정보를 확인해보겠습니다. 회전로는 원통형의 소각로로서 경사진 구조로 되어 있습니다. 그리고 이 회전로의 길이와 직경의 비는 일반적으로 2~10
+  정도로 알려져 있습니다.   선택지 (D)는 회전로에 대한 정확한 설명입니다. 다음으로, 회전로는 넓은 범위의 액상, 고상 폐기물을 소각할 수
+  있는 장점이 있습니다. 이는 회전로의 작동 원리와 관련이 있습니다. 회전로는 원통 내부에서 폐기물을 높은 온도로 가열하면서 소각하는 방식이기 때문에
+  다양한 종류의 폐기물을 처리할 수 있습니다.   선택지 (A)는 옳은 설명입니다. 회전로의 회전속도는 일반적으로 0.3~1.5 rpm, 주변속도는
+  5~25 mm/sec 정도로 알려져 있습니다. 이는 폐기물이 고르게 분배되어 효율적으로 소각되도록 하는데 필요한 조건입니다.   선택지 (B)
+  역시 옳은 설명입니다. 마지막으로, 회전로에서 폐기물을 소각하기 전에는 예열, 혼합, 파쇄 등의 전처리 과정이 필요합니다. 하지만 이는 모든 폐기물에
+  적용되는 것은 아닙니다. 일부 폐기물은 이러한 전처리 과정 없이도 바로 회전로에 주입될 수 있습니다.   선택지 (C)는 ''모든 폐기물이 전처리를
+  거쳐야만 주입이 가능하다''는 점에서 부정확한 설명입니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 전과정평가(LCA)의 구성요소로 가장 거리가 먼 것은?
+
+  A.개선평가
+
+  B.영향평가
+
+  C.과정분석
+
+  D.목록분석
+
+  정답: 차근 차근 생각해봅시다. 환경 과학 관련 정보를 위해 위키피디아를 참조하겠습니다. 전과정평가(Life Cycle Assessment, LCA)의
+  주요 구성요소를 이해하고 각 옵션을 평가해보겠습니다. LCA는 제품이나 서비스의 전체 생애주기 동안의 환경적 영향을 평가하는 과정입니다. 일반적으로
+  LCA는 다음 네 가지 주요 단계로 구성됩니다: 목적 및 범위 정의: LCA의 목적과 범위를 명확히 하는 단계입니다. 목록분석 (Inventory
+  Analysis): 제품이나 서비스의 생애주기 동안 발생하는 모든 입력(원자재, 에너지 등)과 출력(배출물, 폐기물 등)을 수집하는 과정입니다.
+  영향평가 (Impact Assessment): 수집된 데이터를 바탕으로 환경적 영향을 평가하는 단계입니다. 해석: 수집된 데이터와 평가 결과를
+  분석하고 해석하는 단계입니다. 주어진 옵션들을 이러한 단계들과 비교해보면: (A) 개선평가: 이는 LCA의 일반적인 단계는 아닙니다. 하지만 LCA
+  결과를 바탕으로 제품이나 과정의 환경적 영향을 개선하는 방안을 고려할 수 있습니다. (B) 영향평가 (Impact Assessment): 이는
+  LCA의 주요 단계 중 하나입니다. (C) 과정분석: 이는 목록분석과 유사하게 들리지만, LCA의 전통적인 구성요소는 아닙니다. 과정분석은 보다
+  일반적인 용어로, 다양한 맥락에서 사용될 수 있습니다. (D) 목록분석 (Inventory Analysis): 이 역시 LCA의 핵심 단계 중
+  하나입니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 환경 과학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_environmental_science
--- a/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_fashion.yaml
+++ b/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_fashion.yaml
+dataset_name: fashion
+doc_to_text: '질문: 오점의 성분 중 충해의 원인이 되는 것은?
+
+  A.단백질
+
+  B.무기물
+
+  C.염류
+
+  D.요소
+
+  정답: 차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다. 오점의 성분 중 충해의 원인이 되는 것을 찾기 위해서는 먼저
+  충해의 원인이 되는 성분이 무엇인지 알아야 합니다. 충해는 일반적으로 곤충이나 벌레 등이 식물이나 동물 등에 피해를 입히는 것을 말합니다. 이러한
+  충해의 원인은 다양하지만, 일반적으로 단백질과 같은 영양분이 충해의 원인이 되는 경우가 많습니다. 충해를 일으키는 곤충이나 벌레들은 대부분 단백질을
+  필요로 하기 때문에, 식물이나 동물의 단백질을 먹이로 삼습니다.  , 오점의 성분 중 단백질이 충해의 원인이 될 가능성이 높습니다. 무기물, 염류,
+  요소 등은 충해의 원인이 될 가능성이 상대적으로 낮습니다. 무기물은 식물이나 동물의 성장에 필요한 성분 중 하나이지만, 충해의 원인이 되는 경우는
+  드물며, 염류는 식물의 성장에 영향을 미칠 수 있지만, 충해의 원인이 되는 경우는 거의 없습니다. 요소는 단백질을 구성하는 성분 중 하나이지만,
+  충해의 원인이 되는 경우는 거의 없습니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 비누의 특성 중 장점이 아닌 것은?
+
+  A.산성용액에서도 사용할 수 있다.
+
+  B.세탁한 직물의 촉감이 양호하다.
+
+  C.합성세제보다 환경을 적게 오염시킨다.
+
+  D.거품이 잘 생기고 헹굴 때에는 거품이 사라진다.
+
+  정답: 차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대해 검토해보겠습니다. (A) 비누는 기본적으로
+  알칼리성이기 때문에 산성 용액에서는 잘 작동하지 않습니다. 산과 알칼리는 서로 중화 반응을 일으키므로, 산성 용액에서 비누를 사용하면 비누의 세정력이
+  크게 떨어질 수 있습니다. (B) 비누는 일반적으로 세탁한 직물의 촉감을 부드럽게 만드는 특성이 있습니다. 이는 비누가 직물의 섬유 사이에 들어가서
+  섬유들이 서로 마찰하지 않도록 하는 역할을 하기 때문입니다. (C) 비누는 합성세제보다 환경 오염을 덜 일으키는 것으로 알려져 있습니다. 이는
+  비누가 자연에서 잘 분해되기 때문입니다. 반면 합성세제는 자연에서 잘 분해되지 않아 환경 오염을 일으킬 수 있습니다. (D) 비누는 거품이 잘
+  생기는 특성이 있습니다. 이는 비누가 물과 함께 사용될 때 표면 활성 효과를 일으켜 거품을 만들기 때문입니다. 또한 헹굴 때에는 이 거품이 사라지는
+  특성이 있습니다.   이 모든 정보를 종합해 보면, 비누의 특성 중 장점이 아닌 것은 ''산성용액에서도 사용할 수 있다''입니다. 왜냐하면 비누는
+  알칼리성이기 때문에 산성 용액에서는 잘 작동하지 않기 때문입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 피복의 오염 부착 상태에 대한 설명 중 틀린 것은?
+
+  A.화학결합에 의한 부착 : 섬유표면에 오염이 부착된 후 섬유와 오점 간에 결합이 화학결합하여 부착된 것이다.
+
+  B.정전기에 의한 부착 : 오염입자와 섬유가 서로 다른 대전성(+ -로 나타나는 정전기 성질)을 띄고 있을 때 오염입자가 섬유에 부착된 것이다.
+
+  C.분자 간 인력에 의한 부착 : 오염물질의 분자와 섬유 분자 간의 인력에 의해서 부착된 것이며 강한 분자간의 인력으로 인하여 쉽게 제거되지 아니한다.
+
+  D.유지결합에 의한 부착 : 오염에 입자가 물의 엷은 막을 통해서 섬유에 부착된 것이다.
+
+  정답: 차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다. 우선, 각 선택지에 대해 이해를 높이기 위해 각 부착 방식에
+  대해 자세히 알아보겠습니다. (A) 화학결합에 의한 부착: 이는 오염물질이 섬유 표면에 부착된 후, 섬유와 오염물질 간에 화학적인 결합이 이루어져
+  부착되는 경우를 말합니다. 이는 일반적으로 세탁이 어려운 경우에 해당합니다. (B) 정전기에 의한 부착: 오염 입자와 섬유가 서로 다른 대전성을
+  띠고 있을 때, 즉 한쪽이 양전하고 다른 한쪽이 음전할 때 오염 입자가 섬유에 부착되는 경우를 말합니다. 이는 일반적으로 건조한 환경에서 더 잘
+  일어납니다. (C) 분자 간 인력에 의한 부착: 이는 오염물질의 분자와 섬유 분자 간의 물리적인 인력(반발력이나 인력 등)에 의해 부착되는 경우를
+  말합니다. 이는 섬유와 오염물질 간의 인력이 강하여 세탁으로 쉽게 제거되지 않는 경우에 해당합니다. (D) 유지결합에 의한 부착: 이는 오염 입자가
+  물의 얇은 막을 통해 섬유에 부착되는 경우를 말합니다. 각 부착 방식에 대해 알아본 결과, (D)의 유지결합에 의한 부착의 설명이 부정확한 것으로
+  보입니다. 유지결합은 오염물질이 섬유 표면에 직접적으로 부착되는 것이 아니라, 물이나 기타 액체의 막을 통해 간접적으로 부착되는 경우를 말합니다.
+  하지만, 선택지 (D)에서는 오염 입자가 ''물의 엷은 막을 통해서 섬유에 부착된 것''이라고 설명하고 있습니다. 이는 유지결합의 정의와 일치하지
+  않습니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 의류의 푸새가공에 사용하는 풀에 해당되지 않는 것은?
+
+  A.전분
+
+  B.OPTION.M.OPTION
+
+  C.L.OPTION.S
+
+  D.P.V.OPTION
+
+  정답: 차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다. 의류의 푸새가공에 사용하는 풀은 의류의 완성도를 높이고 제품의
+  품질을 유지하기 위해 사용됩니다. 이러한 풀에는 다양한 종류가 있습니다. (A) 전분: 전분은 식물의 줄기와 뿌리에서 발견되는 탄수화물의 한 종류로,
+  의류 산업에서는 풀로 사용됩니다. 이는 옷에 바르면 품질을 유지하고 주름을 방지하는 데 도움이 됩니다. (B) C.M.C (Carboxymethyl
+  Cellulose): C.M.C는 셀룰로스 유도체 중 하나로, 의류 산업에서는 풀로 사용됩니다. C.M.C는 물에 잘 녹는 특성 때문에 의류에
+  사용되며, 의류의 완성도를 높이는 데 도움이 됩니다. (D) P.V.A (Polyvinyl Alcohol): P.V.A는 합성 수지의 일종으로,
+  물에 잘 녹는 특성 때문에 의류 산업에서는 풀로 사용됩니다. P.V.A는 의류에 사용되면 품질을 유지하고 주름을 방지하는 데 도움이 됩니다. 그러나
+  (C) L.A.S (Linear Alkylbenzene Sulfonate)는 합성 세제의 주요 성분 중 하나로, 의류 산업에서 풀로 사용되지 않습니다.
+  L.A.S는 주로 세탁제, 식기세척제 등에 사용되며, 그것은 강력한 세척력과 풍부한 거품을 제공합니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 클리닝 서비스 중 특수 서비스에 해당되는 것은?
+
+  A.모 제품만 세정하는 서비스
+
+  B.웨트클리닝 서비스
+
+  C.워싱(Washing) 서비스
+
+  D.패션 케어(Fashion care) 서비스
+
+  정답: 차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다. 클리닝 서비스는 일반적으로 의류나 직물 제품을 세정하는 서비스를
+  말합니다. 이에는 다양한 방법이 있을 수 있습니다. (A) 선택지인 ''모 제품만 세정하는 서비스''는 특정 제품을 세정하는 서비스를 말하는 것
+  같습니다. 이는 특수 서비스라기 보다는 일반적인 클리닝 서비스에 해당할 것입니다. (B) 선택지인 ''웨트클리닝 서비스''는 물을 이용한 세탁
+  방식을 의미합니다. 이는 일반적인 세탁 방식 중 하나이므로 특수 서비스라고 보기 어렵습니다. (C) 선택지인 ''워싱(Washing) 서비스''도
+  물을 이용한 일반적인 세탁 방식을 의미합니다. 이 역시 특수 서비스라고 보기는 어렵습니다. (D) 선택지인 ''패션 케어(Fashion care)
+  서비스''는 패션 아이템에 대한 전반적인 관리를 의미하는 것 같습니다. 이는 일반적인 세탁 방식이 아닌, 의류의 보관, 관리, 수선 등을 포함한
+  종합적인 서비스를 제공하는 것으로 보입니다. 이는 일반적인 클리닝 서비스와는 차별화된 서비스라고 볼 수 있습니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_fashion