Merge branch 'main' into weight_by_size

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_political_science_and_sociology.yaml

+dataset_name: political_science_and_sociology
+doc_to_text: '질문: 실질소득이 증가할수록 해당 재화에 대한 수요가 감소하는 재화를 지칭하는 용어로 옳은 것은?
+
+  A.대체재
+
+  B.보완재
+
+  C.열등재
+
+  D.정상재
+
+  정답: 차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다. 정답 해설: 실질소득이 증가할 때 해당 재화에 대한 수요가
+  감소하는 재화를 지칭하는 용어를 찾기 위해 각 선택지를 살펴보겠습니다. (A). 대체재는 한 재화의 가격이 상승할 때 다른 재화의 수요가 증가하는
+  관계를 가진 두 재화를 의미합니다. 실질소득과 직접적인 관련이 없으므로 정답이 아닙니다. (B). 보완재는 한 재화의 수요가 증가할 때 함께 수요가
+  증가하는 재화를 의미합니다. 실질소득과 직접적인 관련이 없으므로 정답이 아닙니다. (C). 열등재는 실질소득이 증가할 때 해당 재화의 수요가 감소하는
+  재화를 의미합니다. 이는 소득이 증가함에 따라 더 좋은 재화를 소비하게 되기 때문입니다.  , 정답은 (C) 열등재입니다. (D). 정상재는 실질소득이
+  증가할 때 해당 재화의 수요가 증가하는 재화를 의미합니다. 이는 소득이 증가함에 따라 더 많은 재화를 소비하게 되기 때문입니다. 이는 우리가 일반적으로
+  생각하는 대부분의 재화에 해당합니다. 하지만, 이 문제에서는 실질소득이 증가할 때 해당 재화의 수요가 감소하는 재화를 찾아야 하므로 정답이 아닙니다.
+  따라서, 정답은 (C) 입니다.
+
+
+  질문: 하향식(top-down)과 상향식(bottom-up) 지역발전전략을 비교한 설명으로 옳지 않은 것은?
+
+  A.하향식 전략은 효율성을 중시하는 반면, 상향식 전략은 민주성을 강조한다.
+
+  B.하향식 전략은 외부 수요와 시장에 의존하는 반면, 상향식 전략은 지역 자원 활용의 극대화에 초점을 두고 있다.
+
+  C.하향식 전략은 중심지역의 성장을 주변 지역으로 확산시키고, 상향식 전략은 대규모 지역사회의 발전을 자극할 수 있다.
+
+  D.하향식 전략은 개별 지역의 특성을 반영하기 어렵다는 단점이 있으며, 상향식 전략은 개발도상국에서는 실천 가능성이 낮다는 단점이 있다.
+
+  정답: 차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다. 하향식(top-down) 전략과 상향식(bottom-up)
+  전략은 지역 발전 전략의 두 가지 주요 접근법입니다. (A) 선택지는 하향식 전략이 효율성을 중시하고, 상향식 전략이 민주성을 강조한다고 합니다.
+  이는 사실입니다. 하향식 전략은 주로 중앙 정부 또는 주요 기관에서 정책이나 계획을 결정하고 이를 하위 조직에 전달하는 방식이므로 효율성이 중요합니다.
+  반면에 상향식 전략은 지역 주민이나 조직에서 정책이나 계획을 제안하고 이를 상위 조직에 제출하는 방식이므로 민주성이 강조됩니다. (B) 선택지는
+  하향식 전략이 외부 수요와 시장에 의존하고, 상향식 전략이 지역 자원 활용의 극대화에 초점을 두고 있다고 합니다. 이 또한 사실입니다. 하향식
+  전략은 대부분 외부에서 결정된 정책이나 계획을 실행하기 때문에 외부 수요와 시장에 의존하는 경향이 있습니다. 반면에 상향식 전략은 지역의 자원과
+  능력을 최대한 활용하려는 노력이 중요하므로 지역 자원 활용의 극대화에 초점을 둡니다. (D) 선택지는 하향식 전략이 개별 지역의 특성을 반영하기
+  어렵다는 단점이 있고, 상향식 전략은 개발도상국에서는 실천 가능성이 낮다는 단점이 있다고 합니다. 이 역시 사실입니다. 하향식 전략은 중앙에서
+  결정된 정책이나 계획을 지역에 적용하기 때문에 개별 지역의 특성을 반영하기 어려울 수 있습니다. 반면에 상향식 전략은 지역의 참여와 자원을 필요로
+  하기 때문에 개발도상국에서는 자원 부족 등의 이유로 실천 가능성이 낮을 수 있습니다. 하지만 (C) 선택지는 하향식 전략이 중심지역의 성장을 주변
+  지역으로 확산시키고, 상향식 전략이 대규모 지역사회의 발전을 자극할 수 있다고 합니다. 이는 부정확합니다. 하향식 전략이 중심지역의 성장을 주변
+  지역으로 확산시키는 것은 사실이지만, 상향식 전략이 반드시 대규모 지역사회의 발전을 자극하는 것은 아닙니다. 상향식 전략은 지역사회의 참여와 지역
+  자원 활용에 초점을 맞추며, 이는 대규모 지역사회의 발전보다는 각 지역사회의 독특한 특성과 자원을 활용한 지역 개발에 더 집중하는 경향이 있습니다.
+  따라서, 정답은 (C) 입니다.
+
+
+  질문: 변이할 당 분석(shift-sh areanalysis)에서 가정하는 지역 산업 성장의 세 가지 요인이 아닌 것은?
+
+  A.세계 경제 발전 효과(worlddevelopm enteffect)
+
+  B.국가경제성장 효과(nationalgrowtheffect)
+
+  C.산업구조 효과(industrialmixeffect)
+
+  D.지역 할당 효과(regionalshareeffect)
+
+  정답: 차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 변이할 당 분석(shift-share analysis)에
+  대해 이해해야 합니다. 변이할 당 분석은 지역의 경제 성장을 설명하기 위한 방법 중 하나로, 그 경제 성장을 여러 요인으로 분해하여 각각의 영향력을
+  분석하는 방법입니다. 변이할 당 분석에서는 보통 세 가지 주요 요인을 고려합니다. 1. 국가경제성장 효과(nationalgrowtheffect):
+  이는 국가 전체의 경제 성장률이 지역 경제에 미치는 영향을 나타냅니다. 국가 전체의 경제 성장이 있으면, 그 영향력은 모든 지역에 미칩니다. 2.
+  산업구조 효과(industrialmixeffect): 이는 특정 지역의 산업 구조가 그 지역의 경제 성장에 어떤 영향을 미치는지를 나타냅니다.
+  예를 들어, 어떤 지역이 빠르게 성장하는 산업에 집중되어 있다면, 그 지역의 경제 성장률은 국가 평균보다 높을 수 있습니다. 3. 지역 할당 효과(regionalshareeffect):
+  이는 특정 지역이 특정 산업에 대해 어떤 비중을 차지하고 있는지를 나타냅니다. 특정 산업이 그 지역에서 큰 비중을 차지하고 있다면, 그 산업의
+  성장률이 그 지역의 경제 성장에 큰 영향을 미칠 수 있습니다. 이 세 가지 요인을 고려하여 지역의 경제 성장을 분석하는 것이 변이할 당 분석의
+  기본적인 아이디어입니다. 그러나 선택지 중 ''세계 경제 발전 효과(worlddevelopmenteffect)''는 변이할 당 분석에서 고려되는
+  요인이 아닙니다. 세계 경제의 발전 효과는 지역 경제에 영향을 미칠 수 있지만, 변이할 당 분석의 틀 안에서는 고려되지 않는 요인입니다. 따라서,
+  정답은 (A) 입니다.
+
+
+  질문: 지역보건법 시행령 상 지방자치단체장이 매년 보건소를 통하여 지역 주민을 대상으로 실시한 지역사회 건강실태조사 결과를 통보해야 하는 대상은
+  ?
+
+  A.행정안전부 장관
+
+  B.질병관리청장
+
+  C.한국건강증진개발원장
+
+  D.보건복지부 장관
+
+  정답: 차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다. "지역보건법 시행령" 제22조에는 "지방자치단체장은 매년
+  보건소를 통하여 지역 주민을 대상으로 실시한 지역사회 건강실태조사 결과를 질병관리청장에게 통보하여야 한다."라고 명시되어 있습니다.  , 정확한
+  답변은 질병관리청장이 되겠습니다. 그 이유는 질병관리청이 우리나라에서 감염병의 예방 및 관리, 공중보건 업무, 보건의료 연구 등을 담당하고 있기
+  때문입니다. 이러한 역할을 수행하기 위해 지역사회의 건강실태를 파악하는 것이 중요하고, 이를 위해 지방자치단체장이 실시한 조사 결과를 받아야 합니다.
+  따라서, 정답은 (B) 입니다.
+
+
+  질문: 도시마케팅(citym arketing)에 대한 설명으로 옳지 않은 것은?
+
+  A.도시를 하나의 상품이라고 인식하는 것으로 도시가 다른 도시들과 시장을 형성하여 경쟁한다고 본다.
+
+  B.도시마케팅의 대상에는 투자기업이나 관광객뿐만 아니라 방문객 및 기존의 주민도 포함된다.
+
+  C.지역 정체성의 확립은 도시마케팅의 등장과 함께 더욱 중요해지고 있다.
+
+  D.내생적 전략의 성격을 갖기 때문에 도시마케팅의 공간적 범위는 국내로 한정된다.
+
+  정답: 차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다. 도시마케팅에 대한 개념을 이해하기 위해 각 선택지를 분석해보겠습니다.
+  (A) 도시를 하나의 상품이라고 인식하는 것으로 도시가 다른 도시들과 시장을 형성하여 경쟁한다고 본다. 이 설명은 도시마케팅의 핵심 개념을 잘
+  반영하고 있습니다. 도시마케팅은 도시를 마치 상품처럼 판매하려는 시도로, 다른 도시들과 경쟁하는 시장을 형성한다는 점에서 맞습니다. (B) 도시마케팅의
+  대상에는 투자기업이나 관광객뿐만 아니라 방문객 및 기존의 주민도 포함된다. 도시마케팅의 목표는 다양한 이해관계자를 대상으로 도시의 이미지를 향상시키고,
+  투자, 관광 등을 유도하는 것입니다.   투자기업, 관광객, 방문객, 기존 주민 모두 도시마케팅의 대상이 될 수 있습니다. (C) 지역 정체성의
+  확립은 도시마케팅의 등장과 함께 더욱 중요해지고 있다. 지역 정체성의 확립은 도시마케팅에서 중요한 요소입니다. 도시마케팅은 도시의 독특한 특성과
+  장점을 강조하여 그 도시를 독특하게 만드는데, 이는 지역 정체성의 확립을 통해 이루어집니다. (D) 내생적 전략의 성격을 갖기 때문에 도시마케팅의
+  공간적 범위는 국내로 한정된다. 도시마케팅은 국내뿐만 아니라 국제적인 범위에서도 활용되는 전략입니다. 도시의 이미지를 국제적으로 홍보하고, 외국인
+  투자자나 관광객을 유치하는 것이 도시마케팅의 일부이기 때문입니다.   도시마케팅의 공간적 범위가 국내로만 한정되어 있다는 것은 잘못된 설명입니다.
+  따라서, 정답은 (D) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_political_science_and_sociology

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_psychology.yaml

+dataset_name: psychology
+doc_to_text: '질문: 정서적인 아픔이 너무 커서 그 일이 전혀 기억이 나지 않거나 그 일의 일부 조각들만이 기억되는 현상은?
+
+  A.억압(repression)
+
+  B.간섭(interference)
+
+  C.인출실패(retrieval failure)
+
+  D.쇠퇴(decay)
+
+  정답: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다. 정서적인 아픔이 너무 커서 그 일이 전혀 기억이 나지 않거나
+  그 일의 일부 조각들만이 기억되는 현상에 대한 선택지 중에서 가장 적합한 것을 찾아보겠습니다. (A) 억압(repression): 이는 프로이트의
+  이론에서 나온 개념으로, 불쾌한 사건이나 경험을 잊어버리려는 무의식적인 노력을 의미합니다. 이는 주로 트라우마적인 경험을 다루는 방식으로, 사람들이
+  그 경험을 기억하지 못하게 하는 방식입니다. (B) 간섭(interference): 이는 새로운 정보가 기존의 정보를 잊게 하는 현상을 의미합니다.
+  예를 들어, 당신이 새로운 전화번호를 배우면서 이전의 전화번호를 잊어버리는 것과 같은 현상입니다. 이는 질문의 상황과는 맞지 않습니다. (C)
+  인출실패(retrieval failure): 이는 기억은 존재하지만 그것을 떠올리는 데 실패하는 현상을 의미합니다. 이는 주로 장기기억에 영향을
+  미칩니다. 하지만, 이 현상은 주로 기억의 접근성 문제와 관련이 있으며, 질문의 상황과는 맞지 않습니다. (D) 쇠퇴(decay): 이는 정보가
+  시간이 지나면서 잊혀지는 현상을 의미합니다. 이는 주로 단기기억에 영향을 미칩니다. 하지만, 이 현상은 주로 시간의 흐름과 관련이 있으며, 질문의
+  상황과는 맞지 않습니다.  , 위의 해설을 바탕으로 보았을 때, 정서적인 아픔이 너무 커서 그 일이 전혀 기억이 나지 않거나 그 일의 일부 조각들만이
+  기억되는 현상은 ''억압(repression)''이 가장 적합한 것으로 보입니다. 이는 불쾌한 사건이나 경험을 잊어버리려는 무의식적인 노력을 의미하며,
+  이 현상은 주로 트라우마적인 경험을 다루는 방식으로, 사람들이 그 경험을 기억하지 못하게 하는 방식입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 반두라(A. Bandura)의 관찰학습에 관한 설명으로 옳지 않은 것은?
+
+  A.모델의 행동에 집중한다면 반드시 모방하게 된다.
+
+  B.모델은 반드시 실제 인물이 아니라도 효과가 있다.
+
+  C.학습이 이루어지기 위해서는 모델의 행동을 기억해야 한다.
+
+  D.행동, 환경, 개인은 서로 양방향적 영향을 미친다.
+
+  정답: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 반두라의 관찰학습 이론에 대해 간략히 설명하겠습니다.
+  관찰학습 이론은 사람이 다른 사람의 행동을 관찰하고, 그 결과를 보고 학습하는 과정을 설명합니다. 이 이론에 따르면, 학습은 반드시 행동의 결과를
+  경험하거나 보상을 받아야만 이루어지는 것은 아닙니다. 단지 다른 사람의 행동을 관찰하는 것만으로도 학습이 가능하다는 것이죠. 선택지를 하나씩 살펴보겠습니다.
+  (A) 모델의 행동에 집중한다면 반드시 모방하게 된다. 반두라의 관찰학습 이론에서는 모델의 행동에 집중하면 학습이 이루어진다고 설명하지만, 반드시
+  모방하게 된다는 것은 아닙니다. 관찰자는 모델의 행동을 관찰하고, 그 결과를 평가한 후에 스스로의 행동을 결정합니다. 즉, 모델의 행동을 그대로
+  모방하는 것이 아니라, 그 행동의 결과를 고려하여 자신의 행동을 결정하게 됩니다. (B) 모델은 반드시 실제 인물이 아니라도 효과가 있다. 이
+  설명은 옳습니다. 반두라는 모델이 반드시 실제 인물일 필요는 없다고 말했습니다. 즉, 모델은 실제 사람일 수도 있고, 애니메이션 캐릭터나 동물
+  등 다양한 형태가 될 수 있습니다. (C) 학습이 이루어지기 위해서는 모델의 행동을 기억해야 한다. 이 설명도 옳습니다. 관찰학습 이론에 따르면,
+  관찰자는 모델의 행동을 관찰하고, 그 행동을 기억해야 합니다. 그래야 나중에 그 행동을 모방하거나, 그 행동의 결과를 고려하여 자신의 행동을 결정할
+  수 있습니다. (D) 행동, 환경, 개인은 서로 양방향적 영향을 미친다. 이 설명은 반두라의 ''삼위일체 이론''에 해당하는 내용입니다. 이 이론은
+  행동, 개인(인지적 요인 포함), 그리고 환경이 서로 상호작용하여 행동을 결정한다는 것을 주장합니다. 이 세 가지 요인은 동등한 위치에 있으며,
+  한 가지 요인이 변하면 다른 요인들도 변하게 된다는 것이 이 이론의 핵심입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 숙달목표지향성과 수행목표지향성에 관한 설명으로 옳지 않은 것은?
+
+  A.수행목표지향성이 높은 학생은 타인과의 비교를 통하여 자신의 성공여부를 판단한다.
+
+  B.숙달목표지향성이 낮은 학생은 도전적 과제를 선호한다.
+
+  C.규준지향평가는 숙달목표지향성 발달에 부정적 영향을 미친다.
+
+  D.숙달목표지향성이 높은 학생은 지능에 대한 고정 신념(entity beliefs)보다 증가 신념(incremental beliefs)이 강하다.
+
+  정답: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 숙달목표지향성(mastery goal orientation)과
+  수행목표지향성(performance goal orientation)에 대해 이해해야 합니다. 숙달목표지향성은 개인이 자신의 능력을 개발하고, 실력을
+  향상시키는 것에 초점을 맞추는 경향을 의미합니다. 반면, 수행목표지향성은 개인이 자신의 능력을 타인과 비교하며, 자신의 성공을 측정하는 경향을
+  의미합니다. 선택지를 보면, (A) 수행목표지향성이 높은 학생이 타인과의 비교를 통해 자신의 성공여부를 판단한다는 설명은 맞습니다. 수행목표지향성은
+  타인과의 비교를 통해 자신의 능력을 측정하는 경향이 있기 때문입니다. (B) 숙달목표지향성이 낮은 학생이 도전적 과제를 선호한다는 말은 일반적으로
+  틀린 설명입니다. 왜냐하면 숙달목표지향성이 높은 학생들이 자신의 능력을 개발하고 싶어하는 경향이 있기 때문에 새로운 도전이나 어려운 과제를 선호하는
+  경향이 있습니다. (C) 규준지향평가는 숙달목표지향성 발달에 부정적 영향을 미친다는 설명도 맞습니다. 규준지향평가는 개인의 성과를 표준이나 기준에
+  따라 평가하는 것을 의미하며, 이는 개인의 능력 개발보다는 타인과의 비교에 초점을 맞추게 되므로 숙달목표지향성에는 부정적인 영향을 미칠 수 있습니다.
+  (D) 숙달목표지향성이 높은 학생은 지능에 대한 고정 신념(entity beliefs)보다 증가 신념(incremental beliefs)이 강하다는
+  설명도 맞습니다. 숙달목표지향성이 높은 학생들은 자신의 능력이 시간과 노력에 따라 발전할 수 있다는 증가 신념을 가지는 경향이 있습니다. 따라서,
+  정답은 (B) 입니다.
+
+
+  질문: 수퍼비전에 관한 설명으로 옳지 않은 것은?
+
+  A.수퍼비전 관계는 수퍼비전이 진행되면서 변화한다.
+
+  B.내담자를 보호하는 것은 수퍼비전의 중요한 목적이다.
+
+  C.프로이트(S. Freud)의 수요모임이 수퍼비전의 시발점이라 할 수 있다.
+
+  D.수퍼바이저가 평가할 경우에 생산적인 수퍼비전 관계가 이루어지지 않는다.
+
+  정답: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다. 수퍼비전에 관한 설명으로 옳지 않은 것을 고르는 문제입니다.
+  (A) 수퍼비전 관계는 수퍼비전이 진행되면서 변화한다는 것은 맞는 말입니다. 수퍼비전 초기에는 수퍼바이저와 수퍼바이지 간에 신뢰를 구축하고, 역할을
+  명확하게 정의하는 등의 작업이 필요하며, 이러한 과정을 통해 서로를 이해하고 신뢰하게 되면서 수퍼비전 관계가 발전합니다. (B) 내담자를 보호하는
+  것은 수퍼비전의 중요한 목적 중 하나입니다. 수퍼바이저는 수퍼바이지가 내담자를 적절히 다루지 못할 위험이 있는 경우, 이를 미리 파악하고 적절한
+  조치를 취할 수 있도록 도와주어야 합니다. (C) 프로이트(S. Freud)의 수요모임이 수퍼비전의 시발점이라 할 수 있다는 것은 맞는 말입니다.
+  프로이트는 자신의 이론을 발전시키는 과정에서 자신의 제자들과 함께 수요모임을 진행하였고, 이를 통해 제자들에게 자신의 이론을 전달하고, 제자들의
+  임상 경험을 공유하였습니다. (D) 수퍼바이저가 평가할 경우에 생산적인 수퍼비전 관계가 이루어지지 않는다는 것은 옳지 않은 말입니다. 수퍼바이저는
+  수퍼바이지의 행동이나 성과를 평가하고, 이에 대한 피드백을 제공해야 합니다. 평가가 없다면 수퍼바이지의 성장과 발전을 기대하기 어렵습니다. 따라서,
+  정답은 (D) 입니다.
+
+
+  질문: 고급 상담자의 상담 특징은?
+
+  A.내담자를 이해하기 보다는 상담자로서 어떻게 반응해야 하는지를 더 생각한다.
+
+  B.자신과 타인에 대한 감정을 알아차리기 힘들어 불안해한다.
+
+  C.내담자에게 의도적으로 주의를 기울이고 중요한 정보를 수집하고 인식할 수 있다.
+
+  D.내담자와 상담자의 상호관계에 대한 역동을 이해하기 힘들어 한다.
+
+  정답: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 분석을 해보겠습니다. (A) 선택지는
+  상담자가 내담자를 이해하기 보다는 상담자로서 어떻게 반응해야 하는지를 더 생각한다는 내용입니다. 이는 상담자가 내담자를 이해하려는 노력보다는 자신의
+  반응에 더 집중한다는 내용으로, 고급 상담자라면 내담자를 이해하려는 노력이 먼저일 것입니다. (B) 선택지는 상담자가 자신과 타인에 대한 감정을
+  알아차리기 힘들어 불안해한다는 내용입니다. 이는 상담자의 역량을 의심하는 내용으로, 고급 상담자라면 자신과 타인의 감정을 잘 알아차리고 이를 상담에
+  활용할 수 있어야 합니다. (C) 선택지는 상담자가 내담자에게 주의를 기울이고 중요한 정보를 수집하고 인식할 수 있다는 내용입니다. 이는 상담자의
+  기본적인 역량 중 하나로 보입니다. 고급 상담자라면 더욱 더 이러한 역량을 갖추고 있을 것입니다. (D) 선택지는 상담자가 내담자와 상담자의 상호관계에
+  대한 역동을 이해하기 힘들어 한다는 내용입니다. 이는 상담자가 상담 과정에서의 관계 역동을 이해하는 데 어려움을 겪는다는 내용으로, 고급 상담자라면
+  이러한 관계 역동을 잘 이해하고 이를 상담에 활용할 수 있어야 합니다.  , 이러한 분석을 통해 고급 상담자의 특징은 (C) 내담자에게 의도적으로
+  주의를 기울이고 중요한 정보를 수집하고 인식할 수 있다는 것으로 보입니다. 이는 상담자의 기본적인 역량을 넘어서서 고급 상담자가 갖추어야 할 능력으로
+  보입니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_psychology

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_public_safety.yaml

+dataset_name: public_safety
+doc_to_text: '질문: 산업안전보건법령상 법령 요지의 게시 등과 안전ㆍ보건표지의 부착 등에 관한 설명으로 옳지 않은 것은?
+
+  A.근로자대표는 작업환경측정의 결과를 통지할 것을 사업주에게 요청할 수 있고, 사업주는 이에 성실히 응하여야 한다.
+
+  B.야간에 필요한 안전ㆍ보건표지는 야광물질을 사용하는 등 쉽게 알아볼 수 있도록 제작하여야 한다.
+
+  C.안전ㆍ보건표지의 표시를 명백히 하기 위하여 필요한 경우에는 안전ㆍ보건표지의 주위에 표시사항을 글자로 덧붙여 적을 수 있으며, 이 경우 글자는
+  노란색 바탕에 검은색 한글고딕체로 표기하여야 한다.
+
+  D.안전ㆍ보건표지의 성질상 설치하거나 부착하는 것이 곤란한 경우에는 해당 물체에 직접 도장(塗裝)할 수 있다.
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 내용을 살펴보겠습니다. (A)
+  선택지는 근로자대표가 작업환경 측정 결과를 사업주에게 통지 요청을 할 수 있고, 사업주는 이에 성실히 응해야 한다는 내용입니다. 이 내용은 산업안전보건법
+  제28조의2에 명시되어 있습니다.   이 선택지는 옳습니다. (B) 선택지는 야간에 필요한 안전ㆍ보건표지는 야광물질을 사용하는 등 쉽게 알아볼
+  수 있도록 제작해야 한다는 내용입니다. 이 내용은 산업안전보건법 시행규칙 제77조의2에 따라, 야간에는 야광물질을 사용하여 쉽게 알아볼 수 있도록
+  해야 한다고 명시되어 있습니다.   이 선택지는 옳습니다. (C) 선택지는 안전ㆍ보건표지의 표시를 명백히 하기 위하여 필요한 경우에는 안전ㆍ보건표지의
+  주위에 표시사항을 글자로 덧붙여 적을 수 있으며, 이 경우 글자는 노란색 바탕에 검은색 한글고딕체로 표기해야 한다는 내용입니다. 하지만, 산업안전보건법
+  시행규칙 제77조의2에서는 글자 색상이나 폰트에 대한 구체적인 규정을 하지 않았습니다.   이 선택지는 옳지 않습니다. (D) 선택지는 안전ㆍ보건표지의
+  성질상 설치하거나 부착하는 것이 곤란한 경우에는 해당 물체에 직접 도장(塗裝)할 수 있다는 내용입니다. 이 내용은 산업안전보건법 시행규칙 제77조의2에
+  따라, 안전표지의 성질상 설치하거나 부착하기 어려운 경우에는 해당 물체에 직접 도장할 수 있다고 명시되어 있습니다.   이 선택지는 옳습니다.
+  따라서, 정답은 (C) 입니다.
+
+
+  질문: 사업주 갑(甲)의 사업장에 산업재해가 발생하였다. 이 경우 갑(甲)이 기록ㆍ보존해야 할 사항으로 산업안전보건법령상 명시되지 않은 것은?
+  (다만, 법령에 따른 산업재해조사표 사본을 보존하거나 요양신청서의 사본에 재해 재발방지 계획을 첨부하여 보존한 경우에 해당하지 아니 한다.)
+
+  A.사업장의 개요
+
+  B.근로자의 인적 사항 및 재산 보유현황
+
+  C.재해 발생의 일시 및 장소
+
+  D.재해 발생의 원인 및 과정
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 산업안전보건법은 산업재해의 예방 및 산업재해로 인한 근로자의
+  보호를 위해 필요한 사항을 규정하고 있습니다. 사업주가 기록 및 보존해야 하는 사항에 대해 살펴보면, (A) 사업장의 개요: 사업장의 규모, 종류,
+  위치 등에 대한 정보는 산업재해의 상황 파악 및 예방에 중요한 요소이므로 이는 기록 및 보존해야 하는 사항에 해당합니다. (B) 근로자의 인적
+  사항 및 재산 보유현황: 이는 산업재해의 발생 원인이나 예방과 직접적인 연관성이 없습니다. 산업재해의 발생과 근로자의 재산 보유현황은 별개의 사항이며,
+  이를 기록 및 보존하는 것은 산업안전보건법에서 요구하는 사항이 아닙니다. (C) 재해 발생의 일시 및 장소: 재해 발생 시간과 장소는 재해의 원인
+  분석 및 예방책 수립에 중요한 정보이므로 이 역시 기록 및 보존해야 하는 사항입니다. (D) 재해 발생의 원인 및 과정: 재해의 원인과 과정을
+  기록하는 것은 재해의 원인을 파악하고, 비슷한 상황에서의 재해를 예방하기 위한 중요한 절차입니다.   이 역시 기록 및 보존해야 하는 사항입니다.  ,
+  사업주 갑(甲)이 기록ㆍ보존해야 할 사항으로 산업안전보건법령상 명시되지 않은 것은 ''근로자의 인적 사항 및 재산 보유현황''입니다. 따라서,
+  정답은 (B) 입니다.
+
+
+  질문: 산업안전보건법령상 안전ㆍ보건 관리체제에 관한 설명으로 옳지 않은 것은?
+
+  A.사업주는 안전보건관리책임자를 선임하였을 때에는 그 선임 사실 및 법령에 따른 업무의 수행내용을 증명할 수 있는 서류를 갖춰 둬야 한다.
+
+  B.안전보건관리책임자는 안전관리자와 보건관리자를 지휘ㆍ감독한다.
+
+  C.사업주는 안전보건조정자로 하여금 근로자의 건강진단 등 건강관리에 관한 업무를 총괄관리하도록 하여야 한다.
+
+  D.사업주는 관리감독자에게 법령에 따른 업무 수행에 필요한 권한을 부여하고 시설ㆍ장비ㆍ예산, 그 밖의 업무수행에 필요한 지원을 하여야 한다.
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지를 하나씩 분석해보겠습니다. (A) 선택지는
+  사업주가 안전보건관리책임자를 선임하였을 때, 그 선임 사실 및 법령에 따른 업무의 수행내용을 증명할 수 있는 서류를 갖추어야 한다고 되어있습니다.
+  이 내용은 산업안전보건법에 따라 사업주가 안전보건관리체제를 운영하는데 필요한 요건 중 하나입니다.   이 선택지는 옳습니다. (B) 선택지는 안전보건관리책임자가
+  안전관리자와 보건관리자를 지휘ㆍ감독한다고 되어있습니다. 이 역시 산업안전보건법에 따라 안전보건관리책임자의 역할 중 하나입니다.   이 선택지는
+  옳습니다. (C) 선택지는 사업주가 안전보건조정자로 하여금 근로자의 건강진단 등 건강관리에 관한 업무를 총괄관리하도록 하여야 한다고 되어있습니다.
+  하지만, 산업안전보건법에 따르면, 안전보건조정자의 역할은 안전보건관리체제의 운영을 총괄하고, 사업주와 안전보건관리책임자 사이의 조정 역할을 수행하는
+  것이며, 근로자의 건강진단 등 건강관리에 관한 업무를 총괄하는 것은 보건관리자의 역할입니다.   이 선택지는 옳지 않습니다. (D) 선택지는 사업주가
+  관리감독자에게 법령에 따른 업무 수행에 필요한 권한을 부여하고 시설ㆍ장비ㆍ예산, 그 밖의 업무수행에 필요한 지원을 하여야 한다고 되어있습니다.
+  이 역시 산업안전보건법에 따라 사업주의 의무 중 하나입니다.   이 선택지는 옳습니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 산업안전보건법령상 안전보건관리규정에 관한 설명으로 옳지 않은 것은?
+
+  A.소프트웨어 개발 및 공급업에서 상시 근로자 100명을 사용하는 사업장은 안전보건관리규정을 작성하여야 한다.
+
+  B.안전보건관리규정의 내용에는 작업지휘자 배치 등에 관한 사항이 포함되어야 한다.
+
+  C.안전보건관리규정은 해당 사업장에 적용되는 단체협약 및 취업규칙에 반할 수 없다.
+
+  D.안전보건관리규정에 관하여는 산업안전보건법에서 규정한 것을 제외하고는 그 성질에 반하지 아니하는 범위에서 「근로기준법」의 취업규칙에 관한 규정을
+  준용한다.
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대해 검토해보겠습니다. (A) 선택지는
+  산업안전보건법 제25조의1에서 "사업주는 사업장의 안전 및 보건을 유지하기 위하여 다음 각 호의 사항이 포함된 안전보건관리규정을 작성하여야 한다."라고
+  규정하고 있습니다. 소프트웨어 개발 및 공급업의 경우 상시 근로자가 300명을 초과할때 안전보건관리규정을 작성해야 합니다. (B) 선택지는 산업안전보건법
+  제26조의2에서 "안전보건관리규정의 내용에는 작업지휘자 배치 등에 관한 사항이 포함되어야 한다."라고 명시하고 있습니다.   이 선택지는 정확한
+  내용입니다. (C) 선택지는 안전보건관리규정이 단체협약 및 취업규칙에 반할 수 없다는 내용입니다. 이는 사업장의 안전보건을 위한 기본적인 원칙이므로
+  이 선택지는 정확한 내용입니다. (D) 선택지는 안전보건관리규정에 관하여는 산업안전보건법에서 규정한 것을 제외하고는 그 성질에 반하지 아니하는
+  범위에서 「근로기준법」의 취업규칙에 관한 규정을 준용한다는 내용입니다. 이 역시 안전보건관리규정의 성질을 반영한 내용이므로 이 선택지는 정확한
+  내용입니다.  , 위 내용을 종합하면 (A) 선택지가 산업안전보건법령상 안전보건관리규정에 관한 설명으로 옳지 않은 것입니다. 이는 산업안전보건법에서
+  규정한 대로 특정 업종과 근로자 수에 따라 안전보건관리규정을 작성해야 하는데, 이를 정확히 반영하지 않았기 때문입니다. 따라서, 정답은 (A)
+  입니다.
+
+
+  질문: 산업안전보건법령상 산업안전보건위원회의 심의ㆍ의결을 거쳐야 하는 사항에 해당하지 않는 것은?
+
+  A.유해하거나 위험한 기계ㆍ기구와 그 밖의 설비를 도입한 경우 안전ㆍ보건조치에 관한 사항
+
+  B.안전ㆍ보건과 관련된 안전장치 구입 시의 적격품 여부 확인에 관한 사항
+
+  C.산업재해에 관한 통계의 기록 및 유지에 관한 사항
+
+  D.산업재해 예방계획의 수립에 관한 사항
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 산업안전보건법령에 따르면, 산업안전보건위원회의 심의ᆞ의결을
+  거쳐야 하는 사항은 다음과 같습니다. 1. 안전 및 보건에 관한 중요 사항 2. 유해하거나 위험한 기계ᆞ기구와 그 밖의 설비를 도입한 경우 안전ᆞ보건조치에
+  관한 사항 3. 안전ᆞ보건과 관련된 안전장치 및 보호구 구입 시의 적격품 여부 확인에 관한 사항 4. 산업재해에 관한 통계의 기록 및 유지에 관한
+  사항 5. 안전ᆞ보건 관련 인력ᆞ시설 및 장비 등의 현황 파악과 관리에 관한 사항 6. 산업재해 예방 및 재발 방지대책 수립에 관한 사항 7.
+  안전ᆞ보건에 관한 규정의 제정 또는 개정에 관한 사항 8. 작업환경의 측정 등 작업환경의 점검 및 개선에 관한 사항 9. 근로자의 건강진단 등
+  건강관리에 관한 사항 10. 중대재해의 원인조사 및 재발 방지대책 수립에 관한 사항 11. 산업안전ᆞ보건과 관련된 그 밖의 사항  , 선택지 중에서
+  산업안전보건위원회의 심의ᆞ의결을 거치지 않아도 되는 사항은 (B) 안전ᆞ보건과 관련된 안전장치 구입 시의 적격품 여부 확인에 관한 사항입니다.
+  따라서, 정답은 (B) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_public_safety

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_railway_and_automotive_engineering.yaml

+dataset_name: railway_and_automotive_engineering
+doc_to_text: '질문: 경유를 사용하는 자동차에서 배출되는 오염물질과 가장 거리가 먼 것은?
+
+  A.매연
+
+  B.알데히드
+
+  C.입자상물질
+
+  D.질소산화물
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 경유를 사용하는 자동차에서 배출되는 오염물질을
+  알아보겠습니다. 경유를 사용하는 자동차는 주로 디젤 엔진을 사용하는데, 이 엔진은 고온 고압의 환경에서 연료를 연소시키기 때문에 다양한 오염물질을
+  배출합니다. 대표적인 오염물질로는 매연, 입자상물질, 질소산화물 등이 있습니다. (A) 매연은 연료가 불완전하게 연소하면서 발생하는 검은 연기로,
+  대기오염을 유발하는 대표적인 물질 중 하나입니다. (C) 입자상물질은 경유가 연소하면서 발생하는 미세한 입자로, 대기 중에 떠다니며 호흡기 질환
+  등을 유발할 수 있습니다. (D) 질소산화물은 고온 고압의 환경에서 질소가 산소와 결합하여 발생하는 물질로, 대기 중에서 화학 반응을 일으켜 미세먼지
+  등의 2차 오염물질을 생성할 수 있습니다. 반면, (B) 알데히드는 주로 휘발성 유기화합물(VOC)이 산화하면서 발생하는 물질로, 경유를 사용하는
+  자동차에서는 배출되지 않는 물질입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 믹서 방식의 LPG엔진과 비교한 LPI엔진의 장점으로 틀린 것은?
+
+  A.연료의 보관성 향상
+
+  B.역화 발생 문제 개선
+
+  C.겨울철 냉간 시동성 향상
+
+  D.정밀한 공연비 제어로 연비 향상
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 믹서 방식의 LPG엔진과 비교한 LPI엔진의 장점을 살펴보면,
+  (A) 연료의 보관성 향상: LPG는 액화된 상태에서 보관되며, 믹서 방식과 LPI 방식 모두 연료의 보관성에는 큰 차이가 없습니다. LPI는
+  액체 연료를 직접 분사하는 방식이므로, 연료의 보관성이 더욱 향상될 수 있습니다. (B) 역화 발생 문제 개선: LPG엔진에서는 역화라는 현상이
+  발생할 수 있는데, 이는 연료가 기화되지 않고 액체 상태로 존재하면서 발생하는 문제입니다. LPI엔진은 연료를 직접 분사하는 방식을 사용하므로,
+  이런 역화 현상을 개선할 수 있습니다. (C) 겨울철 냉간 시동성 향상: LPG는 냉간에서 기화하기 어려운 성질이 있어, 겨울철 냉간 시동성이
+  떨어질 수 있습니다. 그러나 LPI엔진은 연료를 직접 분사하는 방식을 사용하므로, 이런 문제를 해결하고 냉간 시동성을 향상시킬 수 있습니다. (D)
+  정밀한 공연비 제어로 연비 향상: LPI엔진은 연료를 직접 분사하는 방식을 사용하므로, 연료의 분사와 혼합을 더욱 정밀하게 제어할 수 있습니다.
+  이로 인해 연비를 향상시킬 수 있습니다.  , 모든 선택지가 LPI엔진의 장점을 정확하게 나타내고 있습니다. 그러나 문제에서 요구하는 것은 잘못된
+  장점을 찾는 것이므로, 이를 고려하면 선택지 중에서 가장 덜 중요한 장점을 찾아야 합니다. 이 경우, (A) 연료의 보관성 향상이 LPG엔진과
+  LPI엔진 간에 가장 큰 차이를 만들지 못하는 요소일 수 있습니다. 왜냐하면 LPG는 원래 액화되어 보관되는 연료이기 때문에, 믹서 방식과 LPI
+  방식 사이에 연료의 보관성에 큰 차이를 만들지는 못합니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 실린더 지름과 행정이 70×70㎜이고, 회전속도가 3000rpm인 기관의 밸브 지름은 약 몇 ㎜ 인가? (단, 밸브를 통과하는 가스의 속도는
+  50m/sec이다.)
+
+  A.12.2
+
+  B.26.2
+
+  C.32.5
+
+  D.46.5
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 밸브의 지름을 찾기 위해서는 밸브를 통과하는 가스의
+  체적 흐름률을 알아야 합니다. 체적 흐름률은 실린더의 퇴적 체적과 엔진의 회전 속도에 의해 결정됩니다. 실린더의 퇴적 체적은 π/4 * 실린더
+  지름^2 * 행정입니다. 문제에서 주어진 실린더 지름과 행정은 각각 70mm입니다.  , 실린더의 퇴적 체적은 π/4 * 70mm^2 * 70mm
+  = 269,391 mm^3 또는 0.269391 m^3입니다. 엔진의 회전속도는 3000rpm입니다. 이는 분당 3000회전을 의미하므로, 초당
+  회전수는 3000/60 = 50회전입니다.  , 밸브를 통과하는 가스의 체적 흐름률은 실린더의 퇴적 체적 * 엔진의 회전속도 = 0.269391
+  m^3/회전 * 50회전/초 = 13.46955 m^3/sec입니다. 밸브를 통과하는 가스의 속도는 50m/sec로 주어졌습니다.  , 밸브의
+  지름은 체적 흐름률 / (π/4 * 가스의 속도)의 제곱근으로 계산할 수 있습니다. 이를 계산하면, 밸브의 지름 = (13.46955 m^3/sec
+  / (π/4 * 50m/sec))^0.5 = 0.262 m 또는 262 mm입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 행정 체적이 800cc, 크랭크축 회전수 1000rpm, 체적효율 80%, 2행정 사이클 기관의 흡기중량 유량은 몇 g/s인가? (단,
+  흡기의 비중량은 1.25kg/m3이다.)
+
+  A.11.67
+
+  B.13.33
+
+  C.16.67
+
+  D.20.33
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이 문제는 기관의 흡기 중량 유량을 계산하는 것입니다.
+  흡기 중량 유량은 기관이 흡입하는 공기의 양을 의미합니다. 문제에서 주어진 정보를 바탕으로 계산해보겠습니다. 행정 체적(V)은 800cc, 크랭크축
+  회전수(N)는 1000rpm, 체적효율(ηv)는 80%, 2행정 사이클 기관이므로, 이 모든 정보를 토대로 흡기중량 유량(Qm)을 계산할 수 있습니다.
+  그리고 흡기의 비중량(ρ)은 1.25kg/m3입니다. 흡기 중량 유량은 다음과 같이 계산할 수 있습니다. Qm = (V * N * ηv * ρ)
+  / (2 * 60) 먼저, 행정 체적(V)은 cc에서 m3로 변환해야 합니다. 1m3 = 10^6 cc이므로, V = 800cc = 0.0008
+  m3입니다. 그 다음, 체적효율(ηv)는 퍼센트에서 소수로 변환해야 합니다. ηv = 80% = 0.8입니다. 이제 모든 값을 대입하여 계산해보겠습니다.
+  Qm = (0.0008 m3 * 1000 rpm * 0.8 * 1.25 kg/m3) / (2 * 60) = 0.01333 kg/s 이 값을 g/s로
+  변환하려면 1kg = 1000g을 사용하면 됩니다.  , Qm = 0.01333 kg/s = 13.33 g/s입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 유체 커플링식 냉각 팬에 대한 설명으로 틀린 것은?
+
+  A.라디에이터 앞쪽에 설치
+
+  B.물 펌프축과 일체로 회전
+
+  C.라디에이터 통풍을 도와줌
+
+  D.기관의 과냉 및 소음방지를 위해 일정 회전수이상 시 슬립 발생
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 유체 커플링식 냉각 팬이 무엇인지부터 알아야 합니다.
+  유체 커플링식 냉각 팬은 유체 커플링을 이용하여 물 펌프와 일체로 회전하는 냉각 팬입니다. 유체 커플링은 기관의 회전수에 따라 자동으로 회전수를
+  조절하여 기관의 과냉 및 소음 방지를 위해 일정 회전수 이상 시 슬립이 발생하도록 합니다. 이제 선택지를 하나씩 살펴보겠습니다. (A) 라디에이터
+  앞쪽에 설치: 유체 커플링식 냉각 팬은 팬과 물펌프 사이에 설치됩니다.   이는 틀린 설명입니다. (B) 물 펌프축과 일체로 회전: 유체 커플링식
+  냉각 팬은 물 펌프축과 일체로 회전합니다. 이는 유체 커플링을 이용하여 물 펌프와 함께 회전하기 때문입니다. (C) 라디에이터 통풍을 도와줌:
+  유체 커플링식 냉각 팬은 라디에이터의 통풍을 도와줍니다. 이는 엔진의 열을 효과적으로 식혀주기 위한 것입니다. (D) 기관의 과냉 및 소음방지를
+  위해 일정 회전수 이상 시 슬립 발생: 유체 커플링식 냉각 팬은 기관의 과냉 및 소음 방지를 위해 일정 회전수 이상 시 슬립이 발생합니다. 이는
+  유체 커플링의 특성 때문입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_railway_and_automotive_engineering

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_real_estate.yaml

+dataset_name: real_estate
+doc_to_text: '질문: 공인중개사법령상 법인인 개업공인중개사의 중개사무소등록증 원본 또는 사본이 첨부되어야 하는 경우에 해당하지 않는 것은?
+
+  A.중개사무소 이전신고
+
+  B.중개사무소 폐업신고
+
+  C.분사무소 설치신고
+
+  D.분사무소 폐업신고
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 공인중개사법에 따르면, 법인인 개업공인중개사가 중개사무소를
+  등록하려면 등록증의 원본 또는 사본을 첨부해야 합니다. 이 규정은 중개사무소의 설치, 이전, 폐업 등의 경우에 모두 적용됩니다. (A) 중개사무소
+  이전신고의 경우, 중개사무소의 위치가 변경되는 것이므로, 중개사무소등록증의 원본 또는 사본을 첨부해야 합니다. (B) 중개사무소 폐업신고의 경우에도,
+  중개사무소의 운영을 중단하는 것이므로, 중개사무소등록증의 원본 또는 사본을 첨부해야 합니다. (C) 분사무소 설치신고의 경우에는 중개사무소등록증을
+  필요로 하지 않습니다. 중개사무소등록증은 분사무소의 휴업과 폐업에만 요구됩니다. (D) 분사무소 폐업신고의 경우, 분사무소의 운영을 중단하는 것이므로,
+  중개사무소등록증의 원본 또는 사본을 첨부해야 합니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 공인중개사법령상 중개대상물의 표시ㆍ광고 및 모니터링에 관한 설명으로 틀린 것은?
+
+  A.개업공인중개사는 의뢰받은 중개대상물에 대하여 표시ㆍ광고를 하려면 개업공인중개사, 소속공인중개사 및 중개보조원에 관한 사항을 명시해야 한다.
+
+  B.개업공인중개사는 중개대상물이 존재하지 않아서 실제로 거래를 할 수 없는 중개대상물에 대한 광고와 같은 부당한 표시ㆍ광고를 해서는 안 된다.
+
+  C.개업공인중개사는 중개대상물의 가격 등 내용을 과장되게 하는 부당한 표시ㆍ광고를 해서는 안 된다.
+
+  D.국토교통부장관은 인터넷을 이용한 중개대상물에 대한 표시ㆍ광고의 규정준수 여부에 관하여 기본 모니터링과 수시 모니터링을 할 수 있다.
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 공인중개사법령에 따라 중개대상물의 표시·광고 및 모니터링에
+  관한 규정을 살펴보겠습니다. (A) 개업공인중개사가 의뢰받은 중개대상물에 대해 표시·광고를 할 때, 소속공인중개사나 중개보조원에 관한 사항을 명시해야
+  하는 것은 의무가 아닙니다. (B) 개업공인중개사는 중개대상물이 존재하지 않아서 실제로 거래를 할 수 없는 중개대상물에 대한 광고와 같은 부당한
+  표시·광고를 해서는 안 됩니다. 이는 소비자의 피해를 방지하고, 중개시장의 공정성을 유지하기 위한 것입니다. (C) 개업공인중개사는 중개대상물의
+  가격 등 내용을 과장되게 하는 부당한 표시·광고를 해서는 안 됩니다. 이 역시 소비자의 피해를 방지하고, 중개시장의 공정성을 유지하기 위한 것입니다.
+  (D) 국토교통부장관은 인터넷을 이용한 중개대상물에 대한 표시·광고의 규정 준수 여부에 관하여 기본 모니터링과 수시 모니터링을 할 수 있습니다.
+  이는 중개대상물에 대한 표시·광고가 규정에 맞게 이루어지고 있는지 확인하고, 부당한 표시·광고를 방지하기 위한 것입니다. 따라서, 정답은 (A)
+  입니다.
+
+
+  질문: 공인중개사법령상 중개사무소 명청에 관한 설명으로 옳은 것은?
+
+  A.공인중개사인 개업공인중개사는 그 사무소의 명칭에 "공인중개사사무소" 또는 "부동산중개"라는 문자를 사용하여야 한다.
+
+  B.공인중개사가 중개사무소의 개설등록을 하지 않은 경우, 그 사무소에 "공인중개사사부소"라는 명칭을 사용할 수 없지만, "부동산중개"라는 명칭은
+  사용할 수 있다.
+
+  C.공인중개사인 개업공인중개사가 관련 법령에 따른 옥외광고물을 설치하는 경우, 중개사무소등록증에 표기된 개업공인중개사의 성명을 표기할 필요는 없다.
+
+  D.중개사무소 개설등록을 하지 않은 공인중개사가 "부동산중개"라는 명칭을 사용한 경우, 국토교통부장관은 그 명칭이 사용된 간판 등의 철거를 명할
+  수 있다.
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 공인중개사법령상 중개사무소 명칭에 관한 설명으로 옳은
+  것을 찾아야 합니다. (A) 선택지를 보면, 공인중개사인 개업공인중개사는 그 사무소의 명칭에 "공인중개사사무소" 또는 "부동산중개"라는 문자를
+  사용하여야 한다고 명시되어 있습니다. 이는 공인중개사법 제 18조 제1항에 규정되어 있는 내용으로 옳은 설명입니다. (B) 선택지를 보면, 공인중개사가
+  중개사무소의 개설등록을 하지 않은 경우, 그 사무소에 "공인중개사사무소"라는 명칭을 사용할 수 없지만, "부동산중개"라는 명칭은 사용할 수 있다고
+  되어 있습니다. 이는 옳지 않은 설명입니다. 공인중개사법 제 18조 제2항에 따르면, 중개사무소의 개설등록을 하지 않은 자는 "공인중개사사무소",
+  "부동산중개" 또는 이와 유사한 명칭을 사용하여서는 아니된다고 규정되어 있습니다. (C) 선택지를 보면, 공인중개사인 개업공인중개사가 관련 법령에
+  따른 옥외광고물을 설치하는 경우, 중개사무소등록증에 표기된 개업공인중개사의 성명을 표기할 필요는 없다고 되어 있습니다. 이는 옳지 않은 설명입니다.
+  공인중개사법 시행령 제 17조의 2에 따르면, 개업공인중개사가 법 제18조제3항에 따라 옥외광고물을 설치하는 경우 중개사무소등록증에 표기된 개업공인중개사의
+  성명을 표기하여야 합니다. (D) 선택지를 보면, 중개사무소 개설등록을 하지 않은 공인중개사가 "부동산중개"라는 명칭을 사용한 경우, 국토교통부장관은
+  그 명칭이 사용된 간판 등의 철거를 명할 수 있다고 되어 있습니다. 이는 옳지 않은 설명입니다. 공인중개사가 아닌 자는 "공인중개사사무소", "부동산중개"
+  또는 이와 유사한 명칭을 사용하여서는 아니되지만, 이를 위반한 경우 국토교통부장관이 아닌 해당 등록관청이 철거를 명하게 됩니다. 따라서, 정답은
+  (A) 입니다.
+
+
+  질문: 공인중개사법령상 공인중개사 자격시험 등에 관한 설명으로 옳은 것은?
+
+  A.국토교통부장관이 직접 시험을 시행하려는 경우에는 미리 공인중개사 정책심의위원회의 의결을 거치지 않아도 된다.
+
+  B.공인중개사자격증의 재교부를 신청하는 자는 재교부신청서를 국토교통부장관에게 제출해야 한다.
+
+  C.국토교통부장관은 공인중개사시험의 합격자에게 공인중개사자격증을 교부해야 한다.
+
+  D.시험시행기관장은 시험에서 부정한 행위를 한 응시자에 대해서는 그 시험을 무효로 하고, 그 처분이 있은 날부터 5년간 시험응시자격을 정지한다.
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 공인중개사법령상 공인중개사 자격시험 등에 관한 설명으로 옳은
+  것을 고르는 문제입니다. 선택지를 하나씩 살펴보며 정답을 찾아보겠습니다. (A) 국토교통부장관이 직접 시험을 시행하려는 경우에는 미리 공인중개사
+  정책심의위원회의 의결을 거치지 않아도 된다. - 공인중개사 정책심의위원회는 공인중개사의 시험 등에 관한 사항을 심의하는 기관으로, 국토교통부장관이
+  시험을 시행할 때는 이 위원회의 의결을 거쳐야 합니다.   이 선택지는 옳지 않습니다. (B) 공인중개사자격증의 재교부를 신청하는 자는 재교부신청서를
+  국토교통부장관에게 제출해야 한다. - 공인중개사 자격증의 재교부를 신청하는 경우, 재교부신청서를 작성하여 시·도지사에게 제출해야 합니다.   이
+  선택지도 옳지 않습니다. (C) 국토교통부장관은 공인중개사시험의 합격자에게 공인중개사자격증을 교부해야 한다. - 공인중개사 자격시험에 합격한 사람은
+  시·도지사로부터 자격증을 교부받아야 합니다.   이 선택지도 옳지 않습니다. (D) 시험시행기관장은 시험에서 부정한 행위를 한 응시자에 대해서는
+  그 시험을 무효로 하고, 그 처분이 있은 날부터 5년간 시험응시자격을 정지한다. - 공인중개사법령에 따르면 시험시행기관장은 시험에서 부정한 행위를
+  한 응시자에 대해 그 시험을 무효로 하고, 처분일로부터 5년간 응시자격을 정지할 수 있습니다.   이 선택지는 옳은 설명입니다. 따라서, 정답은
+  (D) 입니다.
+
+
+  질문: 공인중개사법령상 중개사무소의 설치 등에 관한 설명으로 틀린 것은?
+
+  A.개업공인중개사는 그 등록관천의 관할구역안에 1개의 중개사무소만을 둘수 있다.
+
+  B.개업공인중개사는 천막 그 밖에 이동이 용이한 임시 중개시설물을 설치하여서는 아니된다.
+
+  C.법인이 아닌 개업공인중개사는 분사무소를 둘수 없다.
+
+  D.개업공인중개사는 등록관청의 관할구역 외의 지역에 있는 중개대상물을 중개할 수 없다.
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 내용을 확인하겠습니다. (A) 개업공인중개사는
+  그 등록관청의 관할구역안에 1개의 중개사무소만을 둘 수 있다. 이 내용은 공인중개사법에 따라 개업공인중개사가 등록한 관할구역 안에 1개의 중개사무소를
+  설치해야 한다는 것을 의미합니다. 이는 공인중개사법에 따라 올바른 내용입니다. (B) 개업공인중개사는 천막 그 밖에 이동이 용이한 임시 중개시설물을
+  설치하여서는 아니된다. 이 내용은 공인중개사법에 따라 개업공인중개사가 천막이나 이동이 용이한 임시 중개시설물을 설치해서는 안된다는 것을 의미합니다.
+  이는 공인중개사법에 따라 올바른 내용입니다. (C) 법인이 아닌 개업공인중개사는 분사무소를 둘 수 없다. 이 내용은 공인중개사법에 따라 법인이
+  아닌 개업공인중개사는 분사무소를 설치할 수 없다는 것을 의미합니다. 이는 공인중개사법에 따라 올바른 내용입니다. (D) 개업공인중개사는 등록관청의
+  관할구역 외의 지역에 있는 중개대상물을 중개할 수 없다. 이 내용은 공인중개사법에 따라 개업공인중개사가 등록한 관할구역 외의 지역에 있는 중개대상물을
+  중개할 수 없다는 것을 의미합니다. 하지만, 공인중개사법에 따르면 개업공인중개사는 등록한 관할구역 외의 지역에 있는 중개대상물을 중개할 수 있습니다.   이
+  내용은 잘못된 내용입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_real_estate

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_refrigerating_machinery.yaml

+dataset_name: refrigerating_machinery
+doc_to_text: '질문: 보일러 입구의 압력이 9800 kN/m2 이고, 응축기의 압력이 4900 N/m2 일 때 펌프 일은 약 몇 kJ/kg
+  인가? (단, 물의 비체적은 0.001 m3/kg 이다.)
+
+  A.-9.79
+
+  B.-15.17
+
+  C.-87.25
+
+  D.-180.52
+
+  정답: 차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다. 펌프 일은 펌프에 의해 수행되는 일을 나타내며, 보일러와
+  응축기 간의 압력 차이에 의해 발생합니다. 펌프 일은 보통 펌프 입구와 출구 사이의 압력 차이와 물의 비체적을 곱하여 계산됩니다. 펌프 일(Wp)은
+  다음과 같은 공식으로 계산할 수 있습니다. Wp = v * (P2 - P1) 여기서 v는 물의 비체적(0.001 m3/kg), P2는 보일러의
+  압력(9800 kN/m2 = 9800000 N/m2), P1은 응축기의 압력(4900 N/m2)입니다.  , 펌프 일은 다음과 같이 계산됩니다.
+  Wp = 0.001 m3/kg * (9800000 N/m2 - 4900 N/m2) = 9795100 J/kg = 9795.1 kJ/kg 하지만,
+  이 값은 양수인데, 선택지 모두 음수입니다. 이는 펌프 일을 구할 때 압력 단위를 맞추지 않아서 발생한 문제입니다. 펌프 입구와 출구의 압력 단위를
+  같게 맞추어 계산해야 합니다.  , 보일러의 압력을 N/m2 단위로 변환하면 9800 kN/m2 = 9800000 N/m2입니다. 그러므로, 펌프
+  일은 다음과 같이 다시 계산됩니다. Wp = 0.001 m3/kg * (9800000 N/m2 - 4900 N/m2) = 9795100 J/kg
+  = 9.7951 kJ/kg 그러나 이 값도 선택지에 없습니다. 문제가 있는 것 같습니다. 다시 확인해보니, 펌프 일의 부호가 음수인 이유를 찾았습니다.
+  펌프 일은 시스템에 에너지를 공급하는 것이므로, 일반적으로 음수로 표시됩니다.  , 계산한 펌프 일에 음수 부호를 붙여주면 됩니다. 그래서, 펌프
+  일은 -9.7951 kJ/kg로 계산되며, 이는 선택지 A에 가장 가까운 값입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 피스턴-실린더 장치 내에 있는 공기가 0.3m3에서 0.1m3으로 압축되었다. 압축되는 동안 압력과 체적 사이에 P=aV-2의 관계가 성립하며,
+  계수 a=6 kPaㆍm2 이다. 이 과정 동안 공기가 한 일은 얼마인가?
+
+  A.-53.3 kJ
+
+  B.-1.1 kJ
+
+  C.253 kJ
+
+  D.-40 kJ
+
+  정답: 차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이 문제는 공기가 수행하는 일을 계산하는 문제입니다.
+  주어진 정보를 바탕으로 공기가 수행하는 일을 계산하는 공식을 이용하면 됩니다. 피스턴-실린더 장치에서의 공기가 수행하는 일은 보통 압력과 체적의
+  변화에 따라 결정됩니다. 이 문제에서는 압력과 체적 사이에 P=aV-2의 관계가 성립한다고 주어졌습니다. 이 관계식은 압력이 체적의 제곱에 반비례하며,
+  계수 a는 6 kPaㆍm2로 주어졌습니다. 일반적으로 가스의 압축에 의해 수행되는 일은 압력과 체적의 변화에 따른 적분으로 계산할 수 있습니다.
+  즉, 공기가 수행하는 일 W는 다음과 같이 표현됩니다: W = ∫PdV 여기서 P는 압력, V는 체적, dV는 체적의 미소 변화량입니다. 이 경우,
+  압력 P는 체적 V에 대한 함수로 주어졌으므로, 이를 대입하여 적분을 수행하면 됩니다.  , 공기가 수행하는 일 W는 다음과 같이 계산됩니다:
+  W = ∫PdV = ∫(aV-2)dV = a∫V-2dV = a[V-1/-1] (체적이 0.3m3에서 0.1m3으로 변할 때) = -6[(0.1)^-1
+  - (0.3)^-1] kJ = -6[10 - 3.33] kJ = -6*6.67 kJ = -40 kJ  , 공기가 수행하는 일은 -40 kJ입니다.
+  이는 압축 과정에서 공기가 일을 하는 것이 아니라, 일을 받는 것을 의미합니다. 즉, 외부에서 공기를 압축하기 위해 40 kJ의 에너지를 공급받았다는
+  것을 의미합니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 어떤 유체의 밀도가 741 kg/m3 이다. 이 유체의 비체적은 약 몇 m3kg인가?
+
+  A.0.78×10-3
+
+  B.1.35×10-3
+
+  C.2.35×10-3
+
+  D.2.98×10-3
+
+  정답: 차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 비체적이란 무엇인지 알아야 합니다. 비체적은 어떤
+  물질의 질량 당 부피를 나타내는 물리량으로, 그 단위는 m3/kg입니다.   이는 밀도의 역수와 같습니다. 이 문제에서 주어진 유체의 밀도는 741
+  kg/m3입니다. 비체적을 구하려면 이 밀도의 역수를 취하면 됩니다. 즉, 1/741 m3/kg를 계산하면 됩니다. 1/741을 계산하면 약 0.00135
+  m3/kg가 나옵니다. 이를 지수 표기법으로 표현하면 1.35×10-3 m3/kg입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 1 kg의 기체가 압력 50 kPa, 체적 2.5m3 상태에서 압력 1.2 MPa, 체적 0.2m3의 상태로 변하였다. 엔탈피의 변화량은
+  약 몇 kJ 인가? (단, 내부에너지의 증가 U2-U1=0이다.)
+
+  A.306
+
+  B.206
+
+  C.155
+
+  D.115
+
+  정답: 차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이 문제는 열역학의 첫 번째 법칙에 관한 문제입니다.
+  열역학의 첫 번째 법칙은 에너지 보존의 법칙을 표현한 것으로, 고립 시스템의 총 에너지는 일정하다는 내용입니다. 문제에서 주어진 내부에너지의 증가
+  U2-U1=0이라는 정보는 이 시스템에서 내부에너지의 변화가 없다는 것을 의미합니다. 그 다음으로 엔탈피의 변화량을 알아내기 위해서는 엔탈피의
+  정의를 알아야 합니다. 엔탈피 H는 시스템의 내부에너지 U와 그 시스템의 압력 P와 체적 V의 곱의 합으로 정의됩니다. 즉, H = U + PV입니다.   엔탈피의
+  변화 ΔH는 내부에너지의 변화 ΔU와 압력-체적 작용의 변화 Δ(PV)의 합이 됩니다. 문제에서 내부에너지의 변화는 0이므로, ΔH는 Δ(PV)와
+  같습니다. 압력-체적 작용의 변화는 최종 상태의 PV 값에서 초기 상태의 PV 값을 뺀 것입니다. 즉, Δ(PV) = (P2V2) - (P1V1)입니다.
+  여기서 주의할 점은 압력과 체적의 단위입니다. 문제에서 주어진 압력의 단위는 kPa와 MPa이고, 체적의 단위는 m3입니다. 이를 모두 같은 단위로
+  맞추어야 합니다. 1 MPa = 1000 kPa이므로, 1.2 MPa는 1200 kPa입니다.  , Δ(PV) = (1200 kPa * 0.2
+  m3) - (50 kPa * 2.5 m3) = 240 kPa*m3 - 125 kPa*m3 = 115 kPa*m3입니다. 마지막으로, kPa*m3를
+  kJ로 변환해야 합니다. 1 kPa*m3는 1 kJ와 같습니다.  , ΔH는 115 kJ입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 주위의 온도가 27℃일 때, -73℃에서 1kJ의 냉동효과를 얻으려 한다. 냉동 사이클을 구동하는데 필요한 최소일은 얼마인가?
+
+  A.2 kJ
+
+  B.1.5 kJ
+
+  C.1 kJ
+
+  D.0.5 kJ
+
+  정답: 차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 이 문제는 냉동 사이클에 대한 문제이며, 냉동 사이클의
+  성능을 평가하는 지표 중 하나인 ''최소일''에 대한 문제입니다. 냉동 사이클에서 최소일은 카르노 사이클에 의해 결정되며, 이는 절대온도에 비례하여
+  결정됩니다. 카르노 사이클에서 냉동효과(Qc)를 얻기 위해 필요한 일(W)는 다음의 공식에 의해 결정됩니다: W = Qc * (Th - Tc)
+  / Tc 여기서 Th는 높은 온도(절대온도로 표현)이며, Tc는 낮은 온도(절대온도로 표현)입니다. 이 문제에서는 Th가 27℃, Tc가 -73℃입니다.
+  그러나 이 온도들은 절대온도로 변환해야 합니다. 절대온도는 켈빈(K)으로 표현되며, 섭씨온도를 켈빈으로 변환하는 공식은 K = ℃ + 273.15입니다.   Th
+  = 27℃ + 273.15 = 300.15K, Tc = -73℃ + 273.15 = 200.15K입니다. 그러므로, W = 1kJ * (300.15K
+  - 200.15K) / 200.15K = 0.5kJ입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_refrigerating_machinery

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_social_welfare.yaml

+dataset_name: social_welfare
+doc_to_text: '질문: 우리나라 사회보장제도 운영주체의 책임에 관한 원칙으로 옳은 것은?
+
+  A.사회보험은 국가의 책임으로 시행한다.
+
+  B.공공부조는 지방자치단체가 전적으로 책임지고 시행한다.
+
+  C.사회서비스는 지방자치단체만의 책임으로 시행한다.
+
+  D.국가는 사회보장에 관하여 민간단체의 참여를 제한한다.
+
+  정답: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 사회보장제도 운영주체의 책임에 관한 원칙을 확인하기
+  위해 사회보장기본법을 찾아보겠습니다. 사회보장기본법 제5조에 따르면, "국가와 지방자치단체는 국가발전의 수준에 부응하는 사회보장제도를 확립하고
+  매년 이에 필요한 재원을 조달하여야 한다."고 명시되어 있습니다. 또한, 제27조에는 "사회보험은 국가의 책임으로 시행한다."고 되어 있습니다.  ,
+  선택지 중에서 (A) 사회보험은 국가의 책임으로 시행한다. 가 옳은 것으로 확인됩니다. (B) 공공부조는 지방자치단체가 전적으로 책임지고 시행한다는
+  것은 옳지 않습니다. 사회보장기본법 제24조에 따르면, "국가 및 지방자치단체는 생활유지능력이 없거나 생활이 어려운 국민의 보호와 지원을 위하여
+  필요한 경우에는 공공부조를 실시한다."고 되어 있습니다. 이는 공공부조가 국가와 지방자치단체의 공동 책임으로 시행되는 것을 의미합니다. (C)
+  사회서비스는 지방자치단체만의 책임으로 시행한다는 것도 옳지 않습니다. 사회보장기본법 제28조에 따르면, "국가 및 지방자치단체는 사회서비스를 국가발전에
+  필요한 사회서비스의 원활한 제공과 국민의 복지증진을 위하여 적정한 수준으로 제공하여야 한다."고 되어 있습니다. 이는 사회서비스가 국가와 지방자치단체의
+  공동 책임으로 시행되는 것을 의미합니다. (D) 국가는 사회보장에 관하여 민간단체의 참여를 제한한다는 것도 옳지 않습니다. 사회보장기본법 제40조에
+  따르면, "국가와 지방자치단체는 사회보장에 대한 민간부문의 참여를 조장할 수 있도록 정책을 개발·시행하고 그 여건을 조성하여야 한다."고 되어
+  있습니다. 이는 국가가 사회보장에 관하여 민간단체의 참여를 조장하고 참여를 유도해야 한다는 것을 의미합니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 1942년 베버리지 보고서에서 규정한 5대 악에 해당되지 않는 것은?
+
+  A.무지
+
+  B.질병
+
+  C.산업재해
+
+  D.나태
+
+  정답: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다. 1942년에 발표된 베버리지 보고서는 사회복지의 기본적인
+  원칙을 제시했으며, 이 보고서에서는 ''5대 악''이라는 개념을 도입했습니다. ''5대 악''은 사회복지의 목표가 해결해야 할 문제로, 궁핍(want),
+  질병(disease), 무지(ignorance), 불결(squalor), 나태(idleness) 을 지칭합니다. 이 중에서 선택지에 주어진 것들을
+  확인해보면, 무지(A), 질병(B), 나태(D)는 베버리지 보고서의 ''5대 악''에 포함되어 있습니다. 반면에 산업재해(C)는 ''5대 악''에
+  직접적으로 언급된 내용이 아닙니다.  , 1942년 베버리지 보고서에서 규정한 5대 악에 해당되지 않는 것은 ''산업재해''입니다. 따라서, 정답은
+  (C) 입니다.
+
+
+  질문: 사회보험과 민영보험의 차이점에 관한 설명으로 옳지 않은 것은?
+
+  A.사회보험은 현금급여를 원칙으로 하고, 민영보험은 현물급여를 원칙으로 한다.
+
+  B.사회보험은 대부분 국가 또는 공법인이 운영하지만 민영보험은 사기업이 운영한다.
+
+  C.사회보험은 강제로 가입되지만 민영보험은 임의로 가입한다.
+
+  D.사회보험은 국가가 주로 독점하지만 민영보험은 사기업들이 경쟁한다.
+
+  정답: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 사회보험과 민영보험의 차이점을 비교해보겠습니다.
+  - 사회보험은 국민에게 발생하는 사회적 위험을 보험의 방식으로 대처함으로써 국민의 건강과 소득을 보장하는 제도입니다. 이는 국가가 법에 의해 가입을
+  의무화하고 있으며, 대부분의 재원을 국가가 부담합니다. - 반면에 민영보험은 개인이나 기업이 자신의 필요에 따라 가입하는 보험으로, 보험회사가
+  운영하며 보험료를 개인이나 기업이 부담합니다. 이제 선택지를 하나씩 살펴보겠습니다. (A) 사회보험은 현금급여를 원칙으로 하고, 민영보험은 현물급여를
+  원칙으로 한다는 설명은 옳지 않습니다. 사회보험과 민영보험 모두 현금급여와 현물급여를 제공할 수 있습니다. 예를 들어, 국민건강보험은 의료서비스를
+  제공하는 현물급여와 함께 진료비를 지급하는 현금급여를 제공하고, 자동차보험은 수리비나 치료비 등의 현금급여와 함께 차량 수리나 치료 등의 현물급여를
+  제공합니다. (B) 사회보험은 대부분 국가 또는 공법인이 운영하지만 민영보험은 사기업이 운영한다는 설명은 맞습니다. 사회보험은 국민의 복지를 증진하기
+  위한 것으로, 국가가 운영하는 것이 일반적입니다. 반면에 민영보험은 이윤을 추구하는 사기업이 운영합니다. (C) 사회보험은 강제로 가입되지만 민영보험은
+  임의로 가입한다는 설명도 맞습니다. 사회보험은 국민의 사회적 위험을 대비하기 위해 강제로 가입해야 합니다. 반면에 민영보험은 개인이나 기업이 자신의
+  필요에 따라 가입 여부를 결정할 수 있습니다. (D) 사회보험은 국가가 주로 독점하지만 민영보험은 사기업들이 경쟁한다는 설명도 맞습니다. 사회보험은
+  국민의 복지를 증진하기 위해 국가가 독점적으로 운영하는 것이 일반적입니다. 반면에 민영보험은 사기업들이 경쟁을 통해 운영됩니다. 따라서, 정답은
+  (A) 입니다.
+
+
+  질문: 조지와 윌딩(V. George & P. Wilding, 1976; 1994)의 사회복지모형에서 복지국가의 확대를 가장 지지하는 이념은?
+
+  A.신우파
+
+  B.반집합주의
+
+  C.마르크스주의
+
+  D.페이비언 사회주의
+
+  정답: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 조지와 윌딩(V. George & P. Wilding,
+  1976; 1994)의 사회복지모형은 다음과 같이 4가지 이념으로 구성되어 있습니다. 1. 반집합주의(Anti-Collectivism): 개인주의에
+  기반하여 국가의 개입을 최소화하고 시장경제를 강조하며, 사회복지는 개인의 책임으로 간주합니다. 2. 소극적 집합주의(Reluctant Collectivism):
+  자유주의에 기반하여 국가 개입의 필요성은 인정하나, 최소한의 수준에 그쳐야 한다고 주장하며, 사회복지는 기본적인 욕구를 충족시키는 것으로 제한합니다.
+  3. 페이비언 사회주의(Fabian Socialism): 점진적 개혁을 추구하며, 국가의 적극적인 개입을 통해 평등과 사회적 정의를 실현하고자
+  합니다. 이를 위해 누진세, 사회보험 등의 정책을 지지합니다. 4. 마르크스주의(Marxism): 자본주의를 부정하고, 국가의 개입을 통해 평등한
+  사회를 구현하고자 하며, 이를 위해 생산수단의 공유화를 주장합니다. 이러한 이념들 중에서 복지국가의 확대를 가장 지지하는 이념은 페이비언 사회주의입니다.
+  페이비언 사회주의는 국가의 적극적인 개입을 통해 평등과 사회적 정의를 실현하고자 하며, 이를 위해 누진세, 사회보험 등의 정책을 지지합니다. 이러한
+  정책들은 복지국가의 확대를 뒷받침하는 중요한 요소들입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 사회복지정책의 원칙과 기능에 관한 설명으로 옳지 않은 것은?
+
+  A.소득을 재분배하는 기능을 한다.
+
+  B.능력에 비례한 배분을 원칙으로 한다.
+
+  C.경제의 자동안정화 기능을 한다.
+
+  D.국민의 최저생활을 보장하는 기능을 한다.
+
+  정답: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 사회복지정책의 원칙과 기능에 대해 알아보겠습니다.
+  사회복지정책은 사회적 불평등을 해소하고, 모든 사람이 기본적인 생활을 유지할 수 있도록 지원하는 정책입니다. 이러한 정책은 국가나 지역 사회의
+  복지를 향상시키는 데 중점을 두고 있습니다. 선택지를 하나씩 살펴보겠습니다. (A) 소득을 재분배하는 기능을 한다. - 이는 사회복지정책의 주요
+  기능 중 하나입니다. 소득재분배를 통해 사회적 불평등을 해소하려는 목표를 가지고 있습니다. (B) 능력에 비례한 배분을 원칙으로 한다. - 이는
+  사회복지정책의 원칙과는 거리가 먼 개념입니다. 사회복지정책은 능력이 아닌 필요에 따라 지원을 하는 것이 원칙입니다. (C) 경제의 자동안정화 기능을
+  한다. - 이 역시 사회복지정책의 중요한 기능 중 하나입니다. 사회복지정책은 경제적 불안정을 완화하고, 경제의 안정화에 기여합니다. (D) 국민의
+  최저생활을 보장하는 기능을 한다. - 이 역시 사회복지정책의 중요한 기능입니다. 국민의 최저생활 보장은 사회복지정책의 핵심적인 목표입니다.  ,
+  사회복지정책의 원칙과 기능에 관한 설명으로 옳지 않은 것은 ''능력에 비례한 배분을 원칙으로 한다''는 (B) 선택지입니다. 이는 사회복지정책의
+  본질적인 목표와 원칙을 반영하지 못하고 있습니다. 사회복지정책은 능력이 아닌 필요에 따라 지원을 하는 것이 원칙이며, 이를 통해 사회적 불평등을
+  해소하고 모든 사람이 기본적인 생활을 유지할 수 있도록 지원하는 것이 목표입니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_social_welfare

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_taxation.yaml

+dataset_name: taxation
+doc_to_text: '질문: 지방세기본법 상 서류의 송달에 대한 설명으로 옳은 것은?
+
+  A.연대 납세의무자에게 대표자가 없으면 납세의 고지와 독촉에 관한 서류는 연대 납세의무자 중 지방세를 징수하기 유리한 자에게만 송달하여야 한다.
+
+  B.서류를 교부하였을 때에는 수령인이 서명 또는 날인을 거부하면 그 사실을 송달서에 적어야 한다.
+
+  C.서류의 송달을 받아야 할 자가 사전 반대한 경우가 아니면 전자 송달의 방식으로 서류를 송달할 수 있다.
+
+  D.서류를 송달받을 자가 주소, 거소, 사무소 및 영업소 외의 다른 장소를 송달받을 장소로 요청한 경우 그 장소에 송달하여야 한다.
+
+  정답: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다. (A) 연대 납세의무자에게 대표자가 없으면 납세의 고지와 독촉에
+  관한 서류는 연대 납세의무자 중 지방세를 징수하기 유리한 자에게만 송달하여야 한다는 설명은 옳지 않습니다. 연대납세의무자에게 대표자가 없으면 연대납세의무자
+  모두에게 서류를 송달해야 합니다. (B) 서류를 교부하였을 때에는 수령인이 서명 또는 날인을 거부하면 그 사실을 송달서에 적어야 한다는 설명은
+  옳은 설명입니다. 지방세기본법 제24조에 따르면 송달하는 서류에 수령인이 서명 또는 날인을 거부하면 그 사실을 송달서에 적어야 합니다. (C)
+  서류의 송달을 받아야 할 자가 사전에 반대한 경우가 아니면 전자 송달의 방식으로 서류를 송달할 수 있다는 설명은 옳지 않습니다. 서류의 송달을
+  받아야 할 자가 동의한 경우에만 전자송달을 할 수 있습니다. (D) 서류를 송달받을 자가 주소, 거소, 사무소 및 영업소 외의 다른 장소를 송달받을
+  장소로 요청한 경우 그 장소에 송달하여야 한다는 설명은 옳지 않습니다. 서류를 송달받을 자가 송달받을 장소를 지정한 경우에는 그 장소에 송달해야
+  하지만, 송달받을 장소를 지정하지 않은 경우에는 주소, 거소, 영업소 또는 사무소에 송달해야 합니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 관세법상 통관의 통칙에 대한 설명으로 옳지 않은 것은?
+
+  A.세관장은 다른 법령에 따라 수입 후 특정한 용도로 사용하여야 하는 등의 의무가 부가되어 있는 물품에 대하여는 문서로써 해당의무를 이행할 것을
+  요구할 수 있다.
+
+  B.세관장은 관세 보전을 위하여 필요하다고 인정할 때에는 대통령령으로 정하는 바에 따라 수입하는 물품에 통관표지를 첨부할 것을 명할 수 있다.
+
+  C.관세청장이나 세관장은 감시에 필요하다고 인정될 때에는 통관역 ․통관장 또는 특정한 세관에서 통관할 수 있는 물품을 제한할 수 있다.
+
+  D.세관장은 외국 물품의 일시 양륙에 따라 일시적으로 육지에 내려진 외국 물품의 원산지가 우리나라로 허위표시된 물품 이더라도 유치할 수 없다.
+
+  정답: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다. 관세법상 통관의 통칙에 대한 설명으로 옳지 않은 것을 찾기
+  위해 각 선택지를 검토해보겠습니다. (A) 선택지는 "세관장은 다른 법령에 따라 수입 후 특정한 용도로 사용하여야 하는 등의 의무가 부가되어 있는
+  물품에 대하여는 문서로써 해당 의무를 이행할 것을 요구할 수 있다"는 내용을 담고 있습니다. 이는 관세법 제 227조에 명시되어 있으며, 세관장은
+  수입신고가 수리된 물품이 다른 법령에 따라 수입 후 특정 용도로 사용하거나 그 밖의 조건을 충족해야 하는 경우 해당 법령에서 정하는 바에 따라
+  필요한 조치를 할 수 있습니다.   (A) 선택지는 옳은 설명입니다. (B) 선택지는 "세관장은 관세 보전을 위하여 필요하다고 인정할 때에는 대통령령으로
+  정하는 바에 따라 수입하는 물품에 통관표지를 첨부할 것을 명할 수 있다"는 내용을 담고 있습니다. 이는 관세법 제228조에 명시되어 있으며, 세관장은
+  관세의 부과·징수를 위해 필요하다고 인정되면 수입신고 대상 물품에 통관표지를 첨부할 것을 명할 수 있습니다.   (B) 선택지도 옳은 설명입니다.
+  (C) 선택지는 "관세청장이나 세관장은 감시에 필요하다고 인정될 때에는 통관역 .통관장 또는 특정한 세관에서 통관할 수 있는 물품을 제한할 수
+  있다"는 내용을 담고 있습니다. 이는 관세법 제236조에 명시되어 있으며, 관세청장이나 세관장은 감시상 필요하다고 인정되면 통관역·통관장 또는
+  특정 세관에서 통관할 수 있는 물품을 제한할 수 있습니다.   (C) 선택지도 옳은 설명입니다. (D) 선택지는 "세관장은 외국 물품의 일시 양륙에
+  따라 일시적으로 육지에 내려진 외국 물품의 원산지가 우리나라로 허위표시된 물품 이더라도 유치할 수 없다"는 내용을 담고 있습니다. 그러나 이는
+  사실이 아닙니다. 관세법 제231조에 따르면, 세관장은 외국 물품이 원산지의 표시가 명확하지 아니하거나 그 밖에 대통령령으로 정하는 원산지표시의
+  요건을 갖추지 아니한 경우에는 그 외국 물품을 유치할 수 있습니다.   (D) 선택지는 옳지 않은 설명입니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 관세법령상 세액의 확정에 대한 설명으로 옳지 않은 것은?
+
+  A.납세의무자는 신고납부한 세액이 부족하다는 것을 알게 되었을 때에는 신고납부한 날부터 6개월 이내에 대통령령으로 정하는 바에 따라 해당 세액을
+  보정하여 줄 것을 세관장에게 신청할 수 있다.
+
+  B.납세의무자는 신고납부한 세액이 과다한 것을 알게 되었을 때에는 최초로 납세신고를 한 날부터 5년 이내에 대통령령으로 정하는 바에 따라 신고한
+  세액의 경정을 세관장에게 청구할 수 있다.
+
+  C.경정청구에 따른 세관장의 통지에 이의가 있는 청구인은 그 통지를 받은 날부터 2개월 이내에 관세청장에게 국세의 정상 가격과 관세의 과세가 격간의
+  조정을 신청할 수 있다.
+
+  D.세관장은 납세의무자가 납부하여야 하는 세액이 1만원 미만인 경우에는 이를 징수하지 아니한다.
+
+  정답: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 내용을 분석해보겠습니다. (A) 선택지는
+  납세의무자가 신고납부한 세액이 부족하다는 것을 알게 되었을 때, 6개월 이내에 해당 세액을 보정하여 줄 것을 세관장에게 신청할 수 있다는 내용입니다.
+  이 내용은 관세법 제30조에 따라 납세의무자가 신고한 세액이 부족하다는 사실을 알게 된 경우, 그 부족한 세액을 보충납부할 수 있다는 규정이 있습니다.   이
+  선택지는 옳습니다. (B) 선택지는 납세의무자가 신고납부한 세액이 과다하다는 것을 알게 되었을 때, 5년 이내에 신고한 세액의 경정을 세관장에게
+  청구할 수 있다는 내용입니다. 이 내용은 관세법 제38조에 따라 납세의무자가 신고한 세액이 과다하다는 사실을 알게 된 경우, 그 과다한 세액의
+  반환을 청구할 수 있다는 규정이 있습니다.   이 선택지는 옳습니다. (C) 선택지는 경정청구에 따른 세관장의 통지에 이의가 있는 청구인이, 통지를
+  받은 날부터 2개월 이내에 관세청장에게 국세의 정상 가격과 관세의 과세가 격간의 조정을 신청할 수 있다는 내용입니다. 이 내용은 관세법 제38조의2에
+  따라 납세의무자가 세관장의 결정에 불복할 경우 이의신청을 할 수 있으며, 이의신청은 통지를 받은 날로부터 90일 이내에 하여야 합니다. 그러나
+  이 선택지에서는 ''2개월 이내''라고 명시하고 있어, 이 부분이 잘못된 정보입니다. (D) 선택지는 세관장이 납세의무자가 납부하여야 하는 세액이
+  1만원 미만인 경우에는 이를 징수하지 않는다는 내용입니다. 이 내용은 관세법 제29조에 따라 세액이 1만원 미만인 경우에는 징수하지 않는다는 규정이
+  있습니다.   이 선택지는 옳습니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 관세법령상 기간과 기한에 대한 설명으로 옳은 것은?
+
+  A.관세법 에 따른 기간을 계산할 때 관세법 제252조(수입신고 수리 전반출)에 따른 수입신고 수리 전반 출 승인을 받은 경우에는 그승인 일을
+  수입신고의 수리일로 본다.
+
+  B.관세법 에 따른 기간의 계산은 관세법 에 특별한 규정이 있는 것을 제외하고는 민원처리에 관한 법률 에 따른다.
+
+  C.관세법 시행령 제1조의 5(월별 납부) 제2항의 규정에 의하여 월별 납부의 승인을 받은 납세의무자가 관세를 납부기한까지 납부하지 아니하는 때에는,
+  세관장은 월별 납부의 승인을 취소할 수 있다.
+
+  D.세관장은 관세법 제10조(천재지변 등으로 인한 기한의 연장)에 따라 납부기한을 연장하는 때에는 기획재정부 장관이 정하는 기준에 의하여야 하며,
+  납부자의 신청으로 납부기한을 연장하는 경우 관세법 제39조(부과고지)에 따른 납부고지를 생략할 수 있다.
+
+  정답: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다. 관세법령상 기간과 기한에 대한 설명으로 옳은 것을 찾기 위해서는
+  각 선택지를 검토해야 합니다. (A) 선택지는 관세법 제252조(수입신고 수리 전반출)에 따른 수입신고 수리 전반 출 승인을 받은 경우에는 그
+  승인 일을 수입신고의 수리일로 본다는 내용입니다. 이는 관세법령상 기간과 기한에 대한 설명으로 적절하므로, (A) 선택지는 정답일 가능성이 높습니다.
+  (B) 선택지는 관세법에 따른 기간의 계산은 관세법에 특별한 규정이 있는 것을 제외하고는 민원처리에 관한 법률에 따른다는 내용입니다. 이는 관세법령상
+  기간과 기한에 대한 설명으로 적절하지 않습니다.  , (B) 선택지는 정답이 아닙니다. (C) 선택지는 관세법 시행령 제1조의 5(월별 납부)
+  제2항의 규정에 의하여 월별 납부의 승인을 받은 납세의무자가 관세를 납부기한까지 납부하지 아니하는 때에는 세관장은 월별 납부의 승인을 취소할 수
+  있다는 내용입니다. 이는 관세법령상 기간과 기한에 대한 설명으로 적절하지 않으므로, (C) 선택지는 정답이 아닙니다. (D) 선택지는 세관장은
+  관세법 제10조(천재지변 등으로 인한 기한의 연장)에 따라 납부기한을 연장하는 때에는 기획재정부 장관이 정하는 기준에 의하여야 하며, 납부자의
+  신청으로 납부기한을 연장하는 경우 관세법 제39조(부과고지)에 따른 납부고지를 생략할 수 있다는 내용입니다. 이는 관세법령상 기간과 기한에 대한
+  설명으로 적절하지 않으므로, (D) 선택지는 정답이 아닙니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: 관세법상 ‘정부용품 등의 면세’를 적용받을 수 있는 물품에 해당하지 않는 것은?
+
+  A.정보처리 기술을 응용한 공장 자동화기계 ․기구 ․설비 및 그 핵심 부분품으로서 기획재정부령으로 정하는 물품
+
+  B.과학기술 정보통신부 장관이 국가의 안전보장을 위하여 긴요하다고 인정하여 수입하는 비상통신용 물품
+
+  C.상수도 수질을 측정하기 위하 여 지방자치단체가 수입하는 물품으로서 기획재정부령으로 정하는 물품
+
+  D.국가정보원장이 국가의 안전보장 목적의 수행상 긴요하다고 인정하여 수입하는 물품
+
+  정답: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 관세법상 ''정부용품 등의 면세''에 대해 알아보겠습니다.
+  ''정부용품 등의 면세''는 특정 목적을 위해 정부가 수입하는 물품에 대해 관세를 면제하는 것을 말합니다. 이는 국가의 공공적인 목적을 위해 수입하는
+  물품에 대한 경제적 부담을 줄이기 위한 조치입니다. 다음으로 각 선택지에 대해 분석해보겠습니다. (A) 선택지는 정보처리 기술을 응용한 공장 자동화기계
+  등의 물품으로, 기획재정부령으로 정하는 물품을 의미합니다. 해당 선택지의 경우에는 정보처리 기술을 응용한 공장 자동화기계 등의 물품이지만, 이
+  물품이 반드시 기획재정부령으로 정해진 특정 물품이어야 면세를 적용받을 수 있다는 점이 특이하게 보입니다.  , 이 선택지의 물품이 기획재정부령으로
+  정해진 특정 물품이 아닌 경우에는 면세를 적용받을 수 없을 것으로 판단됩니다. (B) 선택지는 과학기술 정보통신부 장관이 국가의 안전보장을 위해
+  긴요하다고 인정하여 수입하는 비상통신용 물품을 의미합니다. 이 또한 국가의 안전보장을 위해 필요한 물품이므로 면세 대상에 해당할 것으로 보입니다.
+  (C) 선택지는 상수도 수질을 측정하기 위해 지방자치단체가 수입하는 물품으로, 기획재정부령으로 정하는 물품을 의미합니다. 이는 공공의 안전과 건강을
+  위해 필요한 물품이므로 면세 대상에 해당할 것으로 보입니다. (D) 선택지는 국가정보원장이 국가의 안전보장 목적의 수행상 긴요하다고 인정하여 수입하는
+  물품을 의미합니다. 이 또한 국가의 안전보장을 위해 필요한 물품이므로 면세 대상에 해당할 것으로 보입니다. 따라서, 정답은 (A) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_taxation

lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_telecommunications_and_wireless_technology.yaml

+dataset_name: telecommunications_and_wireless_technology
+doc_to_text: '질문: 주파수 대역에 따른 RFID 특징 중 틀린 것은?
+
+  A.UHF대역 : 900㎒ 대역과 433㎒ 대역이 사용됨
+
+  B.13.56㎒ : ISM 밴드 대역으로 UHF대역보다 인식거리가 짧음
+
+  C.2.45㎓ : 능동형과 수동형의 두 가지 형태가 사용됨
+
+  D.135㎑ 미만 : 자기장이 아닌 전기장 결합으로 동작함
+
+  정답: 차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다. RFID(Radio Frequency Identification)는
+  무선 주파수 신호를 사용하여 태그에 저장된 정보를 읽거나 쓰는 기술입니다. RFID 시스템은 주파수 대역에 따라 다양한 특징을 가지며, 이는 시스템의
+  성능과 용도에 영향을 미칩니다. (A) UHF 대역: UHF(Ultra High Frequency) 대역은 300 MHz에서 3 GHz 사이의
+  주파수를 포함합니다. RFID에서는 주로 860 MHz에서 960 MHz 범위가 사용되며, 433 MHz 대역도 사용되는 경우가 있습니다.   이
+  선택지는 올바릅니다. (B) 13.56 MHz: 이 주파수는 HF(High Frequency) 대역에 속하며, ISM(Industrial, Scientific,
+  and Medical) 밴드로도 알려져 있습니다. UHF 대역보다 인식 거리가 짧은 것이 일반적이므로, 이 선택지도 올바릅니다. (C) 2.45
+  GHz: 이 주파수는 또한 ISM 밴드에 속하며, RFID에서는 주로 능동형 태그에 사용됩니다. 수동형 태그도 이 주파수를 사용할 수 있지만,
+  일반적으로 능동형 태그가 더 널리 사용됩니다. 이 선택지도 올바르다고 볼 수 있습니다. (D) 135 KHz 미만: 이 주파수는 LF(Low Frequency)
+  대역에 속합니다. LF RFID 시스템은 주로 자기장 결합을 사용하여 동작하며, 전기장 결합은 주로 더 높은 주파수 대역에서 사용됩니다.   이
+  선택지는 잘못된 정보를 제공하고 있습니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: 현재 국내에서 항만 지역에만 제한적으로 사용되는 반능동형 RFID 시스템의 주파수 대역은?
+
+  A.433㎒ 대역
+
+  B.900㎒ 대역
+
+  C.13.56㎒ 대역
+
+  D.2.45㎓ 대역
+
+  정답: 차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, RFID 시스템에 대해 이해해야 합니다. RFID는
+  Radio Frequency Identification의 약자로, 무선 주파수를 이용하여 정보를 저장하고 읽는 시스템을 말합니다. 이 시스템은
+  태그, 리더기, 그리고 관련된 데이터베이스로 구성되어 있습니다. 태그는 물체에 부착되며, 주파수를 통해 정보를 전송합니다. 리더기는 태그의 정보를
+  읽어 데이터베이스에 저장하거나 처리합니다. 이러한 RFID 시스템은 물류, 유통, 보안 등 다양한 분야에서 활용되고 있습니다. 다음으로, 반능동형
+  RFID에 대해 알아보겠습니다. 반능동형 RFID는 태그가 리더기의 신호를 받아 그 에너지를 이용해 정보를 되돌려 보내는 형태의 RFID를 말합니다.
+  이러한 반능동형 RFID는 주로 물류 트래킹, 차량 트래킹, 자산 관리 등에 활용됩니다. 이제, 주파수 대역에 대해 알아보겠습니다. RFID는
+  사용 목적에 따라 다양한 주파수 대역을 사용합니다. 일반적으로, 낮은 주파수 대역은 짧은 거리에서 작동하며, 높은 주파수 대역은 더 넓은 거리에서
+  작동합니다. 국내에서 항만 지역에 제한적으로 사용되는 반능동형 RFID 시스템은 433㎒ 대역을 사용합니다. 이 주파수 대역은 국제적으로 자유롭게
+  사용할 수 있는 ISM 대역 중 하나이며, 이 대역을 사용하는 RFID 시스템은 주로 차량 추적, 컨테이너 추적 등에 활용됩니다. 따라서, 정답은
+  (A) 입니다.
+
+
+  질문: 리더의 안테나 출력이 0.5W라고 할 때 dBm의 환산 값은? (단,log105≒ 0.7)
+
+  A.0.7 dOPTIONm
+
+  B.-7 dOPTIONm
+
+  C.27 dOPTIONm
+
+  D.37 dOPTIONm
+
+  정답: 차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, dBm은 전력을 나타내는 단위로, 1mW를
+  기준으로 한 로그 스케일입니다. dBm의 계산 공식은 다음과 같습니다: dBm = 10 * log10(전력(W) / 1mW) 이 문제에서는 리더의
+  안테나 출력이 0.5W로 주어졌습니다. 그런데, dBm은 mW를 기준으로 하므로, 이 값을 mW로 변환해야 합니다. 1W = 1000mW 이므로,
+  0.5W = 500mW입니다. 이제 dBm로 변환해보겠습니다. dBm = 10 * log10(500mW / 1mW) = 10 * log10(500)
+  = 10 * 2.7 (log105≒ 0.7이므로, log10(500)는 log10(5) + log10(100)으로 계산할 수 있으며, 이를 통해
+  약 2.7로 추정할 수 있습니다.)  , dBm은 약 27입니다. 이는 선택지 C와 일치합니다. 따라서, 정답은 (C) 입니다.
+
+
+  질문: 후방 산란(back-scattering) 방식에 대한 설명으로 틀린 것은?
+
+  A.리더와 태그는 전자파 결합 방식이다.
+
+  B.안테나를 통한 원거리장에서의 전자기파에 의해 이루어지므로 원거리장 조건인 λ/2π보다 가까운 거리에서 이루어진다.
+
+  C.UHF 수동태그에서 이용한다.
+
+  D.태그의 레이더 단면적(ROPTIONS: radar cross section)을 변화시키는 방식이다.
+
+  정답: 차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 후방 산란(back-scattering) 방식이란
+  RFID 기술에서 리더와 태그 간의 통신 방식 중 하나입니다. 리더에서 전송한 전자기파를 태그가 반사하여 다시 리더로 전송하는 방식으로, UHF
+  수동태그에서 이용됩니다. 이 방식에서는 리더와 태그가 전자파 결합 방식으로 통신하며, 태그의 레이더 단면적(RCS: radar cross section)을
+  변화시키는 방식입니다. 이제 선택지를 하나씩 살펴보겠습니다. (A) 리더와 태그는 전자파 결합 방식이다. - 이는 옳은 설명입니다. 후방 산란
+  방식은 리더와 태그가 전자파 결합 방식으로 통신합니다. (B) 안테나를 통한 원거리장에서의 전자기파에 의해 이루어지므로 원거리장 조건인 λ/2π보다
+  가까운 거리에서 이루어진다. - 이는 옳지 않은 설명입니다. 후방 산란 방식은 안테나를 통한 원거리장에서의 전자기파에 의해 이루어지는 것은 맞지만,
+  원거리장 조건인 λ/2π보다 먼 거리에서 이루어집니다. (C) UHF 수동태그에서 이용한다. - 이는 옳은 설명입니다. UHF 수동태그는 후방
+  산란 방식을 이용하여 리더와 통신합니다. (D) 태그의 레이더 단면적(RCS: radar cross section)을 변화시키는 방식이다. -
+  이는 옳은 설명입니다. 후방 산란 방식은 태그의 레이더 단면적을 변화시키는 방식으로 동작합니다. 따라서, 정답은 (B) 입니다.
+
+
+  질문: 전자파가 자유공간을 진행할 때 거리와 전력 밀도와의 관계는?
+
+  A.거리가 2배가 되면 전력 밀도도 2배가 된다.
+
+  B.거리가 2배가 되면 전력 밀도는 1/2배가 된다.
+
+  C.거리가 2배가 되면 전력 밀도는 4배가 된다.
+
+  D.거리가 2배가 되면 전력 밀도는 1/4배가 된다.
+
+  정답: 차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다. 전자파가 자유공간을 진행할 때, 거리와 전력 밀도와의
+  관계를 이해하기 위해서는 전자기파의 특성을 고려해야 합니다. 전자기파는 전기장과 자기장이 서로 수직으로 진동하며 공간을 전파하는 파동입니다. 이
+  때, 전자기파의 전력 밀도는 전기장과 자기장의 제곱에 비례합니다. 전력 밀도를 P, 전기장을 E, 자기장을 H라고 하면, P = (E^2 + H^2)
+  / 2 로 나타낼 수 있습니다. 이때, 전자기파의 세기는 거리에 따라 지수적으로 감소합니다. 즉, 거리가 r배 증가하면, 전자기파의 세기는 1/r^2배
+  감소합니다.  , 거리가 2배가 되면, 전자기파의 세기는 1/4배가 됩니다. 그리고 전력 밀도는 전기장과 자기장의 제곱에 비례하므로, 거리가 2배가
+  되면 전력 밀도는 1/4배가 됩니다. 따라서, 정답은 (D) 입니다.
+
+
+  질문: {{question}}
+
+  A.{{A}}
+
+  B.{{B}}
+
+  C.{{C}}
+
+  D.{{D}}
+
+  정답: 차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다.'
+include: _cot_kmmlu_yaml
+task: kmmlu_hard_cot_telecommunications_and_wireless_technology

lm_eval/tasks/kmmlu/direct/_direct_kmmlu_yaml

+group:
+    - kmmlu
+    - kmmlu_direct
+dataset_path: HAERAE-HUB/KMMLU
+output_type: generate_until
+test_split: test
+fewshot_split: dev
+doc_to_text: "{{question.strip()}}\nA. {{A}}\nB. {{B}}\nC. {{C}}\nD. {{D}}\n정답："
+doc_to_target: "{{['A', 'B', 'C', 'D'][answer-1]}}"
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+    regexes_to_ignore:
+          - " "
+generation_kwargs:
+  until:
+    - "Q:"
+    - "\n\n"
+    - "</s>"
+    - "."
+  do_sample: false
+  temperature: 0.0
+metadata:
+  version: 2.0

lm_eval/tasks/kmmlu/direct/kmmlu_direct_accounting.yaml

+dataset_name: Accounting
+include: _direct_kmmlu_yaml
+task: kmmlu_direct_accounting

lm_eval/tasks/kmmlu/direct/kmmlu_direct_agricultural_sciences.yaml

+dataset_name: Agricultural-Sciences
+include: _direct_kmmlu_yaml
+task: kmmlu_direct_agricultural_sciences

lm_eval/tasks/kmmlu/direct/kmmlu_direct_aviation_engineering_and_maintenance.yaml

+dataset_name: Aviation-Engineering-and-Maintenance
+include: _direct_kmmlu_yaml
+task: kmmlu_direct_aviation_engineering_and_maintenance

lm_eval/tasks/kmmlu/direct/kmmlu_direct_biology.yaml

+dataset_name: Biology
+include: _direct_kmmlu_yaml
+task: kmmlu_direct_biology

lm_eval/tasks/kmmlu/direct/kmmlu_direct_chemical_engineering.yaml

+dataset_name: Chemical-Engineering
+include: _direct_kmmlu_yaml
+task: kmmlu_direct_chemical_engineering

lm_eval/tasks/kmmlu/direct/kmmlu_direct_chemistry.yaml

+dataset_name: Chemistry
+include: _direct_kmmlu_yaml
+task: kmmlu_direct_chemistry

lm_eval/tasks/kmmlu/direct/kmmlu_direct_civil_engineering.yaml

+dataset_name: Civil-Engineering
+include: _direct_kmmlu_yaml
+task: kmmlu_direct_civil_engineering

lm_eval/tasks/kmmlu/direct/kmmlu_direct_computer_science.yaml

+dataset_name: Computer-Science
+include: _direct_kmmlu_yaml
+task: kmmlu_direct_computer_science

lm_eval/tasks/kmmlu/direct/kmmlu_direct_construction.yaml

+dataset_name: Construction
+include: _direct_kmmlu_yaml
+task: kmmlu_direct_construction

lm_eval/tasks/kmmlu/direct/kmmlu_direct_criminal_law.yaml

+dataset_name: Criminal-Law
+include: _direct_kmmlu_yaml
+task: kmmlu_direct_criminal_law