kbl-v0.1.1 (#2493)

* release kbl-v0.1

* fix linting

* remove rag tasks as  doc_to_text functions cause trouble

* remove remaining rag tasks

* remove unnecessary repeat in yaml files and rag dataset in hf-hub

* remove unncessary newline; introduce cfg files in lbox/kbl in hf

* Make task yaml files consistent to hf-datasets-config

* Make task yaml files consistent to hf-datasets-config

* Remove trailing empty space in doc-to-text

* Remove unncessary yaml file

* Fix task nameing error

* trailing space removed

lm_eval/tasks/kbl/knowledge/kbl_common_legal_mistake_qa_em.yaml

+task: kbl_common_legal_mistake_qa_em
+dataset_name: kbl_knowledge_common_legal_mistake_qa
+doc_to_text: "### 질문: {{question}}\nA. {{A}}\nB. {{B}}\nC. {{C}}\n'A', 'B', 'C' 중 하나를 선택하여 ''답변: A'' 와 같이 단답식으로 답해 주세요."
+include: _kbl_knowledge_yaml

lm_eval/tasks/kbl/knowledge/kbl_common_legal_mistake_qa_reasoning_em.yaml

+task: kbl_common_legal_mistake_qa_reasoning_em
+dataset_name: kbl_knowledge_common_legal_mistake_qa_reasoning
+doc_to_text: "### 질문: {{question}}\nA. {{A}}\nB. {{B}}\nC. {{C}}\n'A', 'B', 'C' 중 하나를 선택하여 ''답변: A'' 와 같이 단답식으로 답해 주세요."
+include: _kbl_knowledge_yaml

lm_eval/tasks/kbl/knowledge/kbl_legal_concept_qa_em.yaml

+task: kbl_legal_concept_qa_em
+dataset_name: kbl_knowledge_legal_concept_qa
+doc_to_text: "### 질문: {{question}}\nA. {{A}}\nB. {{B}}\nC. {{C}}\nD. {{D}}\nE. {{E}}\n'A', 'B', 'C', 'D', 'E' 중 하나를 선택하여 ''답변: A'' 와 같이 단답식으로 답해 주세요."
+include: _kbl_knowledge_yaml

lm_eval/tasks/kbl/knowledge/kbl_offense_component_qa_em.yaml

+task: kbl_offense_component_qa_em
+dataset_name: kbl_knowledge_offense_component_qa
+doc_to_text: "### 질문: {{question}}\n다음 각 선택지를 읽고 선택지 중 하나를 골라 ''답변: A'' 와 같이 단답식으로 답해 주세요. ### 선택지: A. {{A}}\nB. {{B}}."
+include: _kbl_knowledge_yaml

lm_eval/tasks/kbl/knowledge/kbl_query_statute_matching_qa_em.yaml

+task: kbl_query_and_statute_matching_qa_em
+dataset_name: kbl_knowledge_query_and_statute_matching_qa
+doc_to_text: "### 질문: {{question}}\nA. {{A}}\nB. {{B}}\nC. {{C}}\nD. {{D}}\nE. {{E}}\nA, B, C, D, E 중 하나를 선택하여 ''답변: A'' 와 같이 단답식으로 답해 주세요."
+include: _kbl_knowledge_yaml

lm_eval/tasks/kbl/knowledge/kbl_statute_hallucination_qa_em.yaml

+task: kbl_statute_hallucination_qa_em
+dataset_name: kbl_knowledge_statute_hallucination_qa
+doc_to_text: "### 질문: {{question}}\nA. {{A}}\nB. {{B}}\nC. {{C}}\nD. {{D}}\n'A', 'B', 'C', 'D' 중 하나를 선택하여 ''답변: A'' 와 같이 단답식으로 답해 주세요."
+include: _kbl_knowledge_yaml

lm_eval/tasks/kbl/knowledge/kbl_statute_number_and_content_matching_qa_em.yaml

+task: kbl_statute_number_and_content_matching_qa_em
+dataset_name: kbl_knowledge_statute_number_and_content_matching_qa
+doc_to_text: "### 질문: {{question}}\nA. {{A}}\nB. {{B}}\nC. {{C}}\nD. {{D}}\nE. {{E}}\n A, B, C, D, E 중 하나를 선택하여 ''답변: A'' 와 같이 단답식으로 답해 주세요."
+include: _kbl_knowledge_yaml

lm_eval/tasks/kbl/reasoning/_kbl_reasoning_yaml

+tag:
+  - kbl
+  - kbl_reasoning_em
+description: '당신은 사용자의 질문에 친절하고 논리적으로 답변해 주는 법률 전문가 챗봇 입니다.\n'
+dataset_path: lbox/kbl
+test_split: test
+output_type: generate_until
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: false
+filter_list:
+  - name: "get-answer"
+    filter:
+      - function: "regex"
+        regex_pattern: "([A-E]).*"
+      - function: "take_first"

lm_eval/tasks/kbl/reasoning/kbl_case_relevance_qa_p_em.yaml

+task: kbl_case_relevance_qa_p_em
+dataset_name: kbl_reasoning_case_relevance_qa_p
+doc_to_text: "### 질문: {{question}}\n\n[첫번째 판결문 상고인]\n{{query_case_appellant}}\n[첫번째 판결문 사실관계]\n{{query_case_fact}}\n[첫번째 판결문 당사자들의 주장]\n{{query_case_claim}}\n[첫번째 판결문 판사의 의견]\n{{query_case_judicial_opinion}}\n\n[두번째 판결문 상고인]\n{{retrieved_case_appellant}}\n[두번째 판결문 사실관계]\n{{retrieved_case_fact}}\n[두번째 판결문 당사자들의 주장]\n{{retrieved_case_claim}}\n[두번째 판결문 판사의 의견]\n{{retrieved_case_judicial_opinion}}\n\nA: {{A}}, B: {{B}}\n중 하나를 선택하여 '답변: A'과 같이 단답식으로 답해주세요."
+doc_to_target: "{{label}}"
+include: _kbl_reasoning_yaml

lm_eval/tasks/kbl/reasoning/kbl_case_relevance_qa_q_em.yaml

+task: kbl_case_relevance_qa_q_em
+dataset_name: kbl_reasoning_case_relevance_qa_q
+doc_to_text: "### 질문: {{question}}\n[의뢰인의 주장]\n{{query}}\n\n[판결문]\n- 상고인\n{{retrieved_case_appellant}}\n- 사실관계\n{{retrieved_case_fact}}\n- 당사자들의 주장\n{{retrieved_case_claim}}\n- 판사의 의견\n{{retrieved_case_judicial_opinion}}\n\nA: {{A}}, B: {{B}}\n중 하나를 선택하여 '답변: A'과 같이 단답식으로 답해주세요."
+doc_to_target: "{{label}}"
+include: _kbl_reasoning_yaml

lm_eval/tasks/kbl/reasoning/kbl_causal_reasoning_em.yaml

+task: kbl_causal_reasoning_qa_em
+dataset_name: kbl_reasoning_causal_reasoning_qa
+doc_to_text: "### 질문: {{question}}\n검사의 공소사실: {{facts_charged}}\n피고인의 주장: {{defendant_claim}}\n증거: {{facts_accepted}}\nX, Y를 각각\nX: {{cause}})\nY: {{effect}}\n라고 할 때 X와 Y 사이의 관계를\nA: {{A}}, B: {{B}}\n중 하나를 선택하여 '답변: A'과 같이 단답식으로 답해주세요."
+doc_to_target: label
+include: _kbl_reasoning_yaml

lm_eval/tasks/kbl/reasoning/kbl_statement_consistency_qa_em.yaml

+task: kbl_statement_consistency_qa_em
+dataset_name: kbl_reasoning_statement_consistency_qa
+doc_to_text: "### 질문: {{question}}\n진술1: {{statement1}}\n진술2: {{statement2}}\nA: {{A}}, B: {{B}}\n중 하나를 선택하여 '답변: A'과 같이 단답식으로 답해주세요."
+doc_to_target: label
+include: _kbl_reasoning_yaml