Added KMMLU evaluation method and changed ReadMe (#1447)

* update kmmlu default formatting

* Update _default_kmmlu_yaml

* Delete lm_eval/tasks/kmmlu/utils.py

* new tasks implemented

* add direct tasks

* update direct evaluate

* update direct eval

* add cot sample

* update cot

* add cot

* Update _cot_kmmlu_yaml

* add kmmlu90

* Update and rename _cot_kmmlu.yaml to _cot_kmmlu_yaml

* Create kmmlu90.yaml

* Update _cot_kmmlu_yaml

* add direct

* Update _cot_kmmlu_yaml

* Update and rename kmmlu90.yaml to kmmlu90_cot.yaml

* Update kmmlu90_direct.yaml

* add kmmlu hard

* Update _cot_kmmlu_yaml

* Update _cot_kmmlu_yaml

* update cot

* update cot

* erase typo

* Update _cot_kmmlu_yaml

* update cot

* Rename dataset to match k-mmlu-hard

* removed kmmlu90

* fixed name 'kmmlu_cot' to 'kmmlu_hard_cot' and revised README

* applied pre-commit before pull requests

* rename datasets and add notes

* Remove DS_Store cache

* Update lm_eval/tasks/kmmlu/README.md
Co-authored-by: Hailey Schoelkopf <65563625+haileyschoelkopf@users.noreply.github.com>

* Change citations and reflect reviews on version

* Added kmmlu_hard and fixed other errors

* fixing minor errors

* remove duplicated

* Rename files

* try ".index"

* minor fix

* minor fix again

* fix revert.

* minor fix. thank for hailey

---------
Co-authored-by: GUIJIN SON <spthsrbwls123@yonsei.ac.kr>
Co-authored-by: Hailey Schoelkopf <65563625+haileyschoelkopf@users.noreply.github.com>

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_public_safety.yaml

+dataset_name: public_safety
+doc_to_text: '질문: 산업안전보건법령상 법령 요지의 게시 등과 안전ㆍ보건표지의 부착 등에 관한 설명으로 옳지 않은 것은?
+
+  A.근로자대표는 작업환경측정의 결과를 통지할 것을 사업주에게 요청할 수 있고, 사업주는 이에 성실히 응하여야 한다.
+
+  B.야간에 필요한 안전ㆍ보건표지는 야광물질을 사용하는 등 쉽게 알아볼 수 있도록 제작하여야 한다.
+
+  C.안전ㆍ보건표지의 표시를 명백히 하기 위하여 필요한 경우에는 안전ㆍ보건표지의 주위에 표시사항을 글자로 덧붙여 적을 수 있으며, 이 경우 글자는
+  노란색 바탕에 검은색 한글고딕체로 표기하여야 한다.
+
+  D.안전ㆍ보건표지의 성질상 설치하거나 부착하는 것이 곤란한 경우에는 해당 물체에 직접 도장(塗裝)할 수 있다.
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 내용을 살펴보겠습니다. (A)
+  선택지는 근로자대표가 작업환경 측정 결과를 사업주에게 통지 요청을 할 수 있고, 사업주는 이에 성실히 응해야 한다는 내용입니다. 이 내용은 산업안전보건법
+  제28조의2에 명시되어 있습니다.   이 선택지는 옳습니다. (B) 선택지는 야간에 필요한 안전ㆍ보건표지는 야광물질을 사용하는 등 쉽게 알아볼
+  수 있도록 제작해야 한다는 내용입니다. 이 내용은 산업안전보건법 시행규칙 제77조의2에 따라, 야간에는 야광물질을 사용하여 쉽게 알아볼 수 있도록
+  해야 한다고 명시되어 있습니다.   이 선택지는 옳습니다. (C) 선택지는 안전ㆍ보건표지의 표시를 명백히 하기 위하여 필요한 경우에는 안전ㆍ보건표지의
+  주위에 표시사항을 글자로 덧붙여 적을 수 있으며, 이 경우 글자는 노란색 바탕에 검은색 한글고딕체로 표기해야 한다는 내용입니다. 하지만, 산업안전보건법
+  시행규칙 제77조의2에서는 글자 색상이나 폰트에 대한 구체적인 규정을 하지 않았습니다.   이 선택지는 옳지 않습니다. (D) 선택지는 안전ㆍ보건표지의
+  성질상 설치하거나 부착하는 것이 곤란한 경우에는 해당 물체에 직접 도장(塗裝)할 수 있다는 내용입니다. 이 내용은 산업안전보건법 시행규칙 제77조의2에
+  따라, 안전표지의 성질상 설치하거나 부착하기 어려운 경우에는 해당 물체에 직접 도장할 수 있다고 명시되어 있습니다.   이 선택지는 옳습니다.
+  따라서, 정답은 (C) 입니다.
+
+
+  질문: 사업주 갑(甲)의 사업장에 산업재해가 발생하였다. 이 경우 갑(甲)이 기록ㆍ보존해야 할 사항으로 산업안전보건법령상 명시되지 않은 것은?
+  (다만, 법령에 따른 산업재해조사표 사본을 보존하거나 요양신청서의 사본에 재해 재발방지 계획을 첨부하여 보존한 경우에 해당하지 아니 한다.)
+
+  A.사업장의 개요
+
+  B.근로자의 인적 사항 및 재산 보유현황
+
+  C.재해 발생의 일시 및 장소
+
+  D.재해 발생의 원인 및 과정
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 산업안전보건법은 산업재해의 예방 및 산업재해로 인한 근로자의
+  보호를 위해 필요한 사항을 규정하고 있습니다. 사업주가 기록 및 보존해야 하는 사항에 대해 살펴보면, (A) 사업장의 개요: 사업장의 규모, 종류,
+  위치 등에 대한 정보는 산업재해의 상황 파악 및 예방에 중요한 요소이므로 이는 기록 및 보존해야 하는 사항에 해당합니다. (B) 근로자의 인적
+  사항 및 재산 보유현황: 이는 산업재해의 발생 원인이나 예방과 직접적인 연관성이 없습니다. 산업재해의 발생과 근로자의 재산 보유현황은 별개의 사항이며,
+  이를 기록 및 보존하는 것은 산업안전보건법에서 요구하는 사항이 아닙니다. (C) 재해 발생의 일시 및 장소: 재해 발생 시간과 장소는 재해의 원인
+  분석 및 예방책 수립에 중요한 정보이므로 이 역시 기록 및 보존해야 하는 사항입니다. (D) 재해 발생의 원인 및 과정: 재해의 원인과 과정을
+  기록하는 것은 재해의 원인을 파악하고, 비슷한 상황에서의 재해를 예방하기 위한 중요한 절차입니다.   이 역시 기록 및 보존해야 하는 사항입니다.  ,
+  사업주 갑(甲)이 기록ㆍ보존해야 할 사항으로 산업안전보건법령상 명시되지 않은 것은 ''근로자의 인적 사항 및 재산 보유현황''입니다. 따라서,
+  정답은 (B) 입니다.
+
+
+  질문: 산업안전보건법령상 안전ㆍ보건 관리체제에 관한 설명으로 옳지 않은 것은?
+
+  A.사업주는 안전보건관리책임자를 선임하였을 때에는 그 선임 사실 및 법령에 따른 업무의 수행내용을 증명할 수 있는 서류를 갖춰 둬야 한다.
+
+  B.안전보건관리책임자는 안전관리자와 보건관리자를 지휘ㆍ감독한다.
+
+  C.사업주는 안전보건조정자로 하여금 근로자의 건강진단 등 건강관리에 관한 업무를 총괄관리하도록 하여야 한다.
+
+  D.사업주는 관리감독자에게 법령에 따른 업무 수행에 필요한 권한을 부여하고 시설ㆍ장비ㆍ예산, 그 밖의 업무수행에 필요한 지원을 하여야 한다.
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지를 하나씩 분석해보겠습니다. (A) 선택지는
+  사업주가 안전보건관리책임자를 선임하였을 때, 그 선임 사실 및 법령에 따른 업무의 수행내용을 증명할 수 있는 서류를 갖추어야 한다고 되어있습니다.
+  이 내용은 산업안전보건법에 따라 사업주가 안전보건관리체제를 운영하는데 필요한 요건 중 하나입니다.   이 선택지는 옳습니다. (B) 선택지는 안전보건관리책임자가
+  안전관리자와 보건관리자를 지휘ㆍ감독한다고 되어있습니다. 이 역시 산업안전보건법에 따라 안전보건관리책임자의 역할 중 하나입니다.   이 선택지는
+  옳습니다. (C) 선택지는 사업주가 안전보건조정자로 하여금 근로자의 건강진단 등 건강관리에 관한 업무를 총괄관리하도록 하여야 한다고 되어있습니다.
+  하지만, 산업안전보건법에 따르면, 안전보건조정자의 역할은 안전보건관리체제의 운영을 총괄하고, 사업주와 안전보건관리책임자 사이의 조정 역할을 수행하는
+  것이며, 근로자의 건강진단 등 건강관리에 관한 업무를 총괄하는 것은 보건관리자의 역할입니다.   이 선택지는 옳지 않습니다. (D) 선택지는 사업주가
+  관리감독자에게 법령에 따른 업무 수행에 필요한 권한을 부여하고 시설ㆍ장비ㆍ예산, 그 밖의 업무수행에 필요한 지원을 하여야 한다고 되어있습니다.
+  이 역시 산업안전보건법에 따라 사업주의 의무 중 하나입니다.   이 선택지는 옳습니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 산업안전보건법령상 안전보건관리규정에 관한 설명으로 옳지 않은 것은?
+
+  A.소프트웨어 개발 및 공급업에서 상시 근로자 100명을 사용하는 사업장은 안전보건관리규정을 작성하여야 한다.
+
+  B.안전보건관리규정의 내용에는 작업지휘자 배치 등에 관한 사항이 포함되어야 한다.
+
+  C.안전보건관리규정은 해당 사업장에 적용되는 단체협약 및 취업규칙에 반할 수 없다.
+
+  D.안전보건관리규정에 관하여는 산업안전보건법에서 규정한 것을 제외하고는 그 성질에 반하지 아니하는 범위에서 「근로기준법」의 취업규칙에 관한 규정을
+  준용한다.
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대해 검토해보겠습니다. (A) 선택지는
+  산업안전보건법 제25조의1에서 "사업주는 사업장의 안전 및 보건을 유지하기 위하여 다음 각 호의 사항이 포함된 안전보건관리규정을 작성하여야 한다."라고
+  규정하고 있습니다. 소프트웨어 개발 및 공급업의 경우 상시 근로자가 300명을 초과할때 안전보건관리규정을 작성해야 합니다. (B) 선택지는 산업안전보건법
+  제26조의2에서 "안전보건관리규정의 내용에는 작업지휘자 배치 등에 관한 사항이 포함되어야 한다."라고 명시하고 있습니다.   이 선택지는 정확한
+  내용입니다. (C) 선택지는 안전보건관리규정이 단체협약 및 취업규칙에 반할 수 없다는 내용입니다. 이는 사업장의 안전보건을 위한 기본적인 원칙이므로
+  이 선택지는 정확한 내용입니다. (D) 선택지는 안전보건관리규정에 관하여는 산업안전보건법에서 규정한 것을 제외하고는 그 성질에 반하지 아니하는
+  범위에서 「근로기준법」의 취업규칙에 관한 규정을 준용한다는 내용입니다. 이 역시 안전보건관리규정의 성질을 반영한 내용이므로 이 선택지는 정확한
+  내용입니다.  , 위 내용을 종합하면 (A) 선택지가 산업안전보건법령상 안전보건관리규정에 관한 설명으로 옳지 않은 것입니다. 이는 산업안전보건법에서
+  규정한 대로 특정 업종과 근로자 수에 따라 안전보건관리규정을 작성해야 하는데, 이를 정확히 반영하지 않았기 때문입니다. 따라서, 정답은 (A)
+  입니다.
+
+
+  질문: 산업안전보건법령상 산업안전보건위원회의 심의ㆍ의결을 거쳐야 하는 사항에 해당하지 않는 것은?
+
+  A.유해하거나 위험한 기계ㆍ기구와 그 밖의 설비를 도입한 경우 안전ㆍ보건조치에 관한 사항
+
+  B.안전ㆍ보건과 관련된 안전장치 구입 시의 적격품 여부 확인에 관한 사항
+
+  C.산업재해에 관한 통계의 기록 및 유지에 관한 사항
+
+  D.산업재해 예방계획의 수립에 관한 사항
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 산업안전보건법령에 따르면, 산업안전보건위원회의 심의ᆞ의결을
+  거쳐야 하는 사항은 다음과 같습니다. 1. 안전 및 보건에 관한 중요 사항 2. 유해하거나 위험한 기계ᆞ기구와 그 밖의 설비를 도입한 경우 안전ᆞ보건조치에
+  관한 사항 3. 안전ᆞ보건과 관련된 안전장치 및 보호구 구입 시의 적격품 여부 확인에 관한 사항 4. 산업재해에 관한 통계의 기록 및 유지에 관한
+  사항 5. 안전ᆞ보건 관련 인력ᆞ시설 및 장비 등의 현황 파악과 관리에 관한 사항 6. 산업재해 예방 및 재발 방지대책 수립에 관한 사항 7.
+  안전ᆞ보건에 관한 규정의 제정 또는 개정에 관한 사항 8. 작업환경의 측정 등 작업환경의 점검 및 개선에 관한 사항 9. 근로자의 건강진단 등
+  건강관리에 관한 사항 10. 중대재해의 원인조사 및 재발 방지대책 수립에 관한 사항 11. 산업안전ᆞ보건과 관련된 그 밖의 사항  , 선택지 중에서
+  산업안전보건위원회의 심의ᆞ의결을 거치지 않아도 되는 사항은 (B) 안전ᆞ보건과 관련된 안전장치 구입 시의 적격품 여부 확인에 관한 사항입니다.
+  따라서, 정답은 (B) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_public_safety

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_railway_and_automotive_engineering.yaml

+dataset_name: railway_and_automotive_engineering
+doc_to_text: '질문: 경유를 사용하는 자동차에서 배출되는 오염물질과 가장 거리가 먼 것은?
+
+  A.매연
+
+  B.알데히드
+
+  C.입자상물질
+
+  D.질소산화물
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 경유를 사용하는 자동차에서 배출되는 오염물질을
+  알아보겠습니다. 경유를 사용하는 자동차는 주로 디젤 엔진을 사용하는데, 이 엔진은 고온 고압의 환경에서 연료를 연소시키기 때문에 다양한 오염물질을
+  배출합니다. 대표적인 오염물질로는 매연, 입자상물질, 질소산화물 등이 있습니다. (A) 매연은 연료가 불완전하게 연소하면서 발생하는 검은 연기로,
+  대기오염을 유발하는 대표적인 물질 중 하나입니다. (C) 입자상물질은 경유가 연소하면서 발생하는 미세한 입자로, 대기 중에 떠다니며 호흡기 질환
+  등을 유발할 수 있습니다. (D) 질소산화물은 고온 고압의 환경에서 질소가 산소와 결합하여 발생하는 물질로, 대기 중에서 화학 반응을 일으켜 미세먼지
+  등의 2차 오염물질을 생성할 수 있습니다. 반면, (B) 알데히드는 주로 휘발성 유기화합물(VOC)이 산화하면서 발생하는 물질로, 경유를 사용하는
+  자동차에서는 배출되지 않는 물질입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 믹서 방식의 LPG엔진과 비교한 LPI엔진의 장점으로 틀린 것은?
+
+  A.연료의 보관성 향상
+
+  B.역화 발생 문제 개선
+
+  C.겨울철 냉간 시동성 향상
+
+  D.정밀한 공연비 제어로 연비 향상
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 믹서 방식의 LPG엔진과 비교한 LPI엔진의 장점을 살펴보면,
+  (A) 연료의 보관성 향상: LPG는 액화된 상태에서 보관되며, 믹서 방식과 LPI 방식 모두 연료의 보관성에는 큰 차이가 없습니다. LPI는
+  액체 연료를 직접 분사하는 방식이므로, 연료의 보관성이 더욱 향상될 수 있습니다. (B) 역화 발생 문제 개선: LPG엔진에서는 역화라는 현상이
+  발생할 수 있는데, 이는 연료가 기화되지 않고 액체 상태로 존재하면서 발생하는 문제입니다. LPI엔진은 연료를 직접 분사하는 방식을 사용하므로,
+  이런 역화 현상을 개선할 수 있습니다. (C) 겨울철 냉간 시동성 향상: LPG는 냉간에서 기화하기 어려운 성질이 있어, 겨울철 냉간 시동성이
+  떨어질 수 있습니다. 그러나 LPI엔진은 연료를 직접 분사하는 방식을 사용하므로, 이런 문제를 해결하고 냉간 시동성을 향상시킬 수 있습니다. (D)
+  정밀한 공연비 제어로 연비 향상: LPI엔진은 연료를 직접 분사하는 방식을 사용하므로, 연료의 분사와 혼합을 더욱 정밀하게 제어할 수 있습니다.
+  이로 인해 연비를 향상시킬 수 있습니다.  , 모든 선택지가 LPI엔진의 장점을 정확하게 나타내고 있습니다. 그러나 문제에서 요구하는 것은 잘못된
+  장점을 찾는 것이므로, 이를 고려하면 선택지 중에서 가장 덜 중요한 장점을 찾아야 합니다. 이 경우, (A) 연료의 보관성 향상이 LPG엔진과
+  LPI엔진 간에 가장 큰 차이를 만들지 못하는 요소일 수 있습니다. 왜냐하면 LPG는 원래 액화되어 보관되는 연료이기 때문에, 믹서 방식과 LPI
+  방식 사이에 연료의 보관성에 큰 차이를 만들지는 못합니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 실린더 지름과 행정이 70×70㎜이고, 회전속도가 3000rpm인 기관의 밸브 지름은 약 몇 ㎜ 인가? (단, 밸브를 통과하는 가스의 속도는
+  50m/sec이다.)
+
+  A.12.2
+
+  B.26.2
+
+  C.32.5
+
+  D.46.5
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 밸브의 지름을 찾기 위해서는 밸브를 통과하는 가스의
+  체적 흐름률을 알아야 합니다. 체적 흐름률은 실린더의 퇴적 체적과 엔진의 회전 속도에 의해 결정됩니다. 실린더의 퇴적 체적은 π/4 * 실린더
+  지름^2 * 행정입니다. 문제에서 주어진 실린더 지름과 행정은 각각 70mm입니다.  , 실린더의 퇴적 체적은 π/4 * 70mm^2 * 70mm
+  = 269,391 mm^3 또는 0.269391 m^3입니다. 엔진의 회전속도는 3000rpm입니다. 이는 분당 3000회전을 의미하므로, 초당
+  회전수는 3000/60 = 50회전입니다.  , 밸브를 통과하는 가스의 체적 흐름률은 실린더의 퇴적 체적 * 엔진의 회전속도 = 0.269391
+  m^3/회전 * 50회전/초 = 13.46955 m^3/sec입니다. 밸브를 통과하는 가스의 속도는 50m/sec로 주어졌습니다.  , 밸브의
+  지름은 체적 흐름률 / (π/4 * 가스의 속도)의 제곱근으로 계산할 수 있습니다. 이를 계산하면, 밸브의 지름 = (13.46955 m^3/sec
+  / (π/4 * 50m/sec))^0.5 = 0.262 m 또는 262 mm입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 행정 체적이 800cc, 크랭크축 회전수 1000rpm, 체적효율 80%, 2행정 사이클 기관의 흡기중량 유량은 몇 g/s인가? (단,
+  흡기의 비중량은 1.25kg/m3이다.)
+
+  A.11.67
+
+  B.13.33
+
+  C.16.67
+
+  D.20.33
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이 문제는 기관의 흡기 중량 유량을 계산하는 것입니다.
+  흡기 중량 유량은 기관이 흡입하는 공기의 양을 의미합니다. 문제에서 주어진 정보를 바탕으로 계산해보겠습니다. 행정 체적(V)은 800cc, 크랭크축
+  회전수(N)는 1000rpm, 체적효율(ηv)는 80%, 2행정 사이클 기관이므로, 이 모든 정보를 토대로 흡기중량 유량(Qm)을 계산할 수 있습니다.
+  그리고 흡기의 비중량(ρ)은 1.25kg/m3입니다. 흡기 중량 유량은 다음과 같이 계산할 수 있습니다. Qm = (V * N * ηv * ρ)
+  / (2 * 60) 먼저, 행정 체적(V)은 cc에서 m3로 변환해야 합니다. 1m3 = 10^6 cc이므로, V = 800cc = 0.0008
+  m3입니다. 그 다음, 체적효율(ηv)는 퍼센트에서 소수로 변환해야 합니다. ηv = 80% = 0.8입니다. 이제 모든 값을 대입하여 계산해보겠습니다.
+  Qm = (0.0008 m3 * 1000 rpm * 0.8 * 1.25 kg/m3) / (2 * 60) = 0.01333 kg/s 이 값을 g/s로
+  변환하려면 1kg = 1000g을 사용하면 됩니다.  , Qm = 0.01333 kg/s = 13.33 g/s입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 유체 커플링식 냉각 팬에 대한 설명으로 틀린 것은?
+
+  A.라디에이터 앞쪽에 설치
+
+  B.물 펌프축과 일체로 회전
+
+  C.라디에이터 통풍을 도와줌
+
+  D.기관의 과냉 및 소음방지를 위해 일정 회전수이상 시 슬립 발생
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 유체 커플링식 냉각 팬이 무엇인지부터 알아야 합니다.
+  유체 커플링식 냉각 팬은 유체 커플링을 이용하여 물 펌프와 일체로 회전하는 냉각 팬입니다. 유체 커플링은 기관의 회전수에 따라 자동으로 회전수를
+  조절하여 기관의 과냉 및 소음 방지를 위해 일정 회전수 이상 시 슬립이 발생하도록 합니다. 이제 선택지를 하나씩 살펴보겠습니다. (A) 라디에이터
+  앞쪽에 설치: 유체 커플링식 냉각 팬은 팬과 물펌프 사이에 설치됩니다.   이는 틀린 설명입니다. (B) 물 펌프축과 일체로 회전: 유체 커플링식
+  냉각 팬은 물 펌프축과 일체로 회전합니다. 이는 유체 커플링을 이용하여 물 펌프와 함께 회전하기 때문입니다. (C) 라디에이터 통풍을 도와줌:
+  유체 커플링식 냉각 팬은 라디에이터의 통풍을 도와줍니다. 이는 엔진의 열을 효과적으로 식혀주기 위한 것입니다. (D) 기관의 과냉 및 소음방지를
+  위해 일정 회전수 이상 시 슬립 발생: 유체 커플링식 냉각 팬은 기관의 과냉 및 소음 방지를 위해 일정 회전수 이상 시 슬립이 발생합니다. 이는
+  유체 커플링의 특성 때문입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_railway_and_automotive_engineering

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_real_estate.yaml

+dataset_name: real_estate
+doc_to_text: '질문: 공인중개사법령상 법인인 개업공인중개사의 중개사무소등록증 원본 또는 사본이 첨부되어야 하는 경우에 해당하지 않는 것은?
+
+  A.중개사무소 이전신고
+
+  B.중개사무소 폐업신고
+
+  C.분사무소 설치신고
+
+  D.분사무소 폐업신고
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 공인중개사법에 따르면, 법인인 개업공인중개사가 중개사무소를
+  등록하려면 등록증의 원본 또는 사본을 첨부해야 합니다. 이 규정은 중개사무소의 설치, 이전, 폐업 등의 경우에 모두 적용됩니다. (A) 중개사무소
+  이전신고의 경우, 중개사무소의 위치가 변경되는 것이므로, 중개사무소등록증의 원본 또는 사본을 첨부해야 합니다. (B) 중개사무소 폐업신고의 경우에도,
+  중개사무소의 운영을 중단하는 것이므로, 중개사무소등록증의 원본 또는 사본을 첨부해야 합니다. (C) 분사무소 설치신고의 경우에는 중개사무소등록증을
+  필요로 하지 않습니다. 중개사무소등록증은 분사무소의 휴업과 폐업에만 요구됩니다. (D) 분사무소 폐업신고의 경우, 분사무소의 운영을 중단하는 것이므로,
+  중개사무소등록증의 원본 또는 사본을 첨부해야 합니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 공인중개사법령상 중개대상물의 표시ㆍ광고 및 모니터링에 관한 설명으로 틀린 것은?
+
+  A.개업공인중개사는 의뢰받은 중개대상물에 대하여 표시ㆍ광고를 하려면 개업공인중개사, 소속공인중개사 및 중개보조원에 관한 사항을 명시해야 한다.
+
+  B.개업공인중개사는 중개대상물이 존재하지 않아서 실제로 거래를 할 수 없는 중개대상물에 대한 광고와 같은 부당한 표시ㆍ광고를 해서는 안 된다.
+
+  C.개업공인중개사는 중개대상물의 가격 등 내용을 과장되게 하는 부당한 표시ㆍ광고를 해서는 안 된다.
+
+  D.국토교통부장관은 인터넷을 이용한 중개대상물에 대한 표시ㆍ광고의 규정준수 여부에 관하여 기본 모니터링과 수시 모니터링을 할 수 있다.
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 공인중개사법령에 따라 중개대상물의 표시·광고 및 모니터링에
+  관한 규정을 살펴보겠습니다. (A) 개업공인중개사가 의뢰받은 중개대상물에 대해 표시·광고를 할 때, 소속공인중개사나 중개보조원에 관한 사항을 명시해야
+  하는 것은 의무가 아닙니다. (B) 개업공인중개사는 중개대상물이 존재하지 않아서 실제로 거래를 할 수 없는 중개대상물에 대한 광고와 같은 부당한
+  표시·광고를 해서는 안 됩니다. 이는 소비자의 피해를 방지하고, 중개시장의 공정성을 유지하기 위한 것입니다. (C) 개업공인중개사는 중개대상물의
+  가격 등 내용을 과장되게 하는 부당한 표시·광고를 해서는 안 됩니다. 이 역시 소비자의 피해를 방지하고, 중개시장의 공정성을 유지하기 위한 것입니다.
+  (D) 국토교통부장관은 인터넷을 이용한 중개대상물에 대한 표시·광고의 규정 준수 여부에 관하여 기본 모니터링과 수시 모니터링을 할 수 있습니다.
+  이는 중개대상물에 대한 표시·광고가 규정에 맞게 이루어지고 있는지 확인하고, 부당한 표시·광고를 방지하기 위한 것입니다. 따라서, 정답은 (A)
+  입니다.
+
+
+  질문: 공인중개사법령상 중개사무소 명청에 관한 설명으로 옳은 것은?
+
+  A.공인중개사인 개업공인중개사는 그 사무소의 명칭에 "공인중개사사무소" 또는 "부동산중개"라는 문자를 사용하여야 한다.
+
+  B.공인중개사가 중개사무소의 개설등록을 하지 않은 경우, 그 사무소에 "공인중개사사부소"라는 명칭을 사용할 수 없지만, "부동산중개"라는 명칭은
+  사용할 수 있다.
+
+  C.공인중개사인 개업공인중개사가 관련 법령에 따른 옥외광고물을 설치하는 경우, 중개사무소등록증에 표기된 개업공인중개사의 성명을 표기할 필요는 없다.
+
+  D.중개사무소 개설등록을 하지 않은 공인중개사가 "부동산중개"라는 명칭을 사용한 경우, 국토교통부장관은 그 명칭이 사용된 간판 등의 철거를 명할
+  수 있다.
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 공인중개사법령상 중개사무소 명칭에 관한 설명으로 옳은
+  것을 찾아야 합니다. (A) 선택지를 보면, 공인중개사인 개업공인중개사는 그 사무소의 명칭에 "공인중개사사무소" 또는 "부동산중개"라는 문자를
+  사용하여야 한다고 명시되어 있습니다. 이는 공인중개사법 제 18조 제1항에 규정되어 있는 내용으로 옳은 설명입니다. (B) 선택지를 보면, 공인중개사가
+  중개사무소의 개설등록을 하지 않은 경우, 그 사무소에 "공인중개사사무소"라는 명칭을 사용할 수 없지만, "부동산중개"라는 명칭은 사용할 수 있다고
+  되어 있습니다. 이는 옳지 않은 설명입니다. 공인중개사법 제 18조 제2항에 따르면, 중개사무소의 개설등록을 하지 않은 자는 "공인중개사사무소",
+  "부동산중개" 또는 이와 유사한 명칭을 사용하여서는 아니된다고 규정되어 있습니다. (C) 선택지를 보면, 공인중개사인 개업공인중개사가 관련 법령에
+  따른 옥외광고물을 설치하는 경우, 중개사무소등록증에 표기된 개업공인중개사의 성명을 표기할 필요는 없다고 되어 있습니다. 이는 옳지 않은 설명입니다.
+  공인중개사법 시행령 제 17조의 2에 따르면, 개업공인중개사가 법 제18조제3항에 따라 옥외광고물을 설치하는 경우 중개사무소등록증에 표기된 개업공인중개사의
+  성명을 표기하여야 합니다. (D) 선택지를 보면, 중개사무소 개설등록을 하지 않은 공인중개사가 "부동산중개"라는 명칭을 사용한 경우, 국토교통부장관은
+  그 명칭이 사용된 간판 등의 철거를 명할 수 있다고 되어 있습니다. 이는 옳지 않은 설명입니다. 공인중개사가 아닌 자는 "공인중개사사무소", "부동산중개"
+  또는 이와 유사한 명칭을 사용하여서는 아니되지만, 이를 위반한 경우 국토교통부장관이 아닌 해당 등록관청이 철거를 명하게 됩니다. 따라서, 정답은
+  (A) 입니다.
+
+
+  질문: 공인중개사법령상 공인중개사 자격시험 등에 관한 설명으로 옳은 것은?
+
+  A.국토교통부장관이 직접 시험을 시행하려는 경우에는 미리 공인중개사 정책심의위원회의 의결을 거치지 않아도 된다.
+
+  B.공인중개사자격증의 재교부를 신청하는 자는 재교부신청서를 국토교통부장관에게 제출해야 한다.
+
+  C.국토교통부장관은 공인중개사시험의 합격자에게 공인중개사자격증을 교부해야 한다.
+
+  D.시험시행기관장은 시험에서 부정한 행위를 한 응시자에 대해서는 그 시험을 무효로 하고, 그 처분이 있은 날부터 5년간 시험응시자격을 정지한다.
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 공인중개사법령상 공인중개사 자격시험 등에 관한 설명으로 옳은
+  것을 고르는 문제입니다. 선택지를 하나씩 살펴보며 정답을 찾아보겠습니다. (A) 국토교통부장관이 직접 시험을 시행하려는 경우에는 미리 공인중개사
+  정책심의위원회의 의결을 거치지 않아도 된다. - 공인중개사 정책심의위원회는 공인중개사의 시험 등에 관한 사항을 심의하는 기관으로, 국토교통부장관이
+  시험을 시행할 때는 이 위원회의 의결을 거쳐야 합니다.   이 선택지는 옳지 않습니다. (B) 공인중개사자격증의 재교부를 신청하는 자는 재교부신청서를
+  국토교통부장관에게 제출해야 한다. - 공인중개사 자격증의 재교부를 신청하는 경우, 재교부신청서를 작성하여 시·도지사에게 제출해야 합니다.   이
+  선택지도 옳지 않습니다. (C) 국토교통부장관은 공인중개사시험의 합격자에게 공인중개사자격증을 교부해야 한다. - 공인중개사 자격시험에 합격한 사람은
+  시·도지사로부터 자격증을 교부받아야 합니다.   이 선택지도 옳지 않습니다. (D) 시험시행기관장은 시험에서 부정한 행위를 한 응시자에 대해서는
+  그 시험을 무효로 하고, 그 처분이 있은 날부터 5년간 시험응시자격을 정지한다. - 공인중개사법령에 따르면 시험시행기관장은 시험에서 부정한 행위를
+  한 응시자에 대해 그 시험을 무효로 하고, 처분일로부터 5년간 응시자격을 정지할 수 있습니다.   이 선택지는 옳은 설명입니다. 따라서, 정답은
+  (D) 입니다.
+
+
+  질문: 공인중개사법령상 중개사무소의 설치 등에 관한 설명으로 틀린 것은?
+
+  A.개업공인중개사는 그 등록관천의 관할구역안에 1개의 중개사무소만을 둘수 있다.
+
+  B.개업공인중개사는 천막 그 밖에 이동이 용이한 임시 중개시설물을 설치하여서는 아니된다.
+
+  C.법인이 아닌 개업공인중개사는 분사무소를 둘수 없다.
+
+  D.개업공인중개사는 등록관청의 관할구역 외의 지역에 있는 중개대상물을 중개할 수 없다.
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 내용을 확인하겠습니다. (A) 개업공인중개사는
+  그 등록관청의 관할구역안에 1개의 중개사무소만을 둘 수 있다. 이 내용은 공인중개사법에 따라 개업공인중개사가 등록한 관할구역 안에 1개의 중개사무소를
+  설치해야 한다는 것을 의미합니다. 이는 공인중개사법에 따라 올바른 내용입니다. (B) 개업공인중개사는 천막 그 밖에 이동이 용이한 임시 중개시설물을
+  설치하여서는 아니된다. 이 내용은 공인중개사법에 따라 개업공인중개사가 천막이나 이동이 용이한 임시 중개시설물을 설치해서는 안된다는 것을 의미합니다.
+  이는 공인중개사법에 따라 올바른 내용입니다. (C) 법인이 아닌 개업공인중개사는 분사무소를 둘 수 없다. 이 내용은 공인중개사법에 따라 법인이
+  아닌 개업공인중개사는 분사무소를 설치할 수 없다는 것을 의미합니다. 이는 공인중개사법에 따라 올바른 내용입니다. (D) 개업공인중개사는 등록관청의
+  관할구역 외의 지역에 있는 중개대상물을 중개할 수 없다. 이 내용은 공인중개사법에 따라 개업공인중개사가 등록한 관할구역 외의 지역에 있는 중개대상물을
+  중개할 수 없다는 것을 의미합니다. 하지만, 공인중개사법에 따르면 개업공인중개사는 등록한 관할구역 외의 지역에 있는 중개대상물을 중개할 수 있습니다.   이
+  내용은 잘못된 내용입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_real_estate

lm_eval/tasks/kmmlu/direct/_direct_kmmlu_yaml

+group:
+    - kmmlu
+    - kmmlu_direct
+dataset_path: HAERAE-HUB/KMMLU
+output_type: generate_until
+test_split: test
+fewshot_split: dev
+doc_to_text: "{{question.strip()}}\nA. {{A}}\nB. {{B}}\nC. {{C}}\nD. {{D}}\n정답："
+doc_to_target: "{{['A', 'B', 'C', 'D'][answer-1]}}"
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+    regexes_to_ignore:
+          - " "
+generation_kwargs:
+  until:
+    - "Q:"
+    - "\n\n"
+    - "</s>"
+    - "."
+  do_sample: false
+  temperature: 0.0
+metadata:
+  version: 2.0