update csatqa.py

lm_eval/tasks/csatqa.py

@@ -18,23 +18,24 @@ class CSATQA(MultipleChoiceTask):
         return map(self._process_doc, self.dataset["test"])
     
     def _process_doc(self, doc):
+        instruction = f"""다음을 읽고 정답으로 알맞은 것을 고르시요.
+### Context: {doc["context"]}
+### Question: {doc["question"]}
+### Options:
+(1) {doc['option#1']}\n(2) {doc["option#2"]}\n(3) {doc["option#3"]}\n(4) {doc['option#4']}\n(5) {doc['option$5']}
+### Answer: 주어진 문제의 정답은"""
+
         choices = [doc["option#1"], doc["option#2"], doc["option#3"], doc["option#4"], doc["option#5"]]
         out_doc = {
-            "question": doc["question"],
-            "context": doc["context"],
-            "choices": choices,
+            "question": instruction,
+            "choices": ["(1)", "(2)","(3)","(4)","(5)"],
             "gold": int(doc['gold']),
         }
         return out_doc
 
     def doc_to_text(self, doc):
-        instruction = f"""다음을 읽고 정답으로 알맞은 것을 고르시요.
-### Context: {doc["context"]}
-### Question: {doc["question"]}
-### Options:
-(1) {doc['choices'][0]}\n(2) {doc['choices'][1]}\n(3) {doc['choices'][2]}\n(4) {doc['choices'][3]}\n(5) {doc['choices'][4]}
-### Answer: 주어진 문제의 정답은"""
-        return instruction
+
+        return doc["question"]
 
 
 class WR(CSATQA):