utils.py

from lm_eval.api.filter import Filter
from lm_eval.api.registry import register_filter


alpha = ["A", "B", "C"]
out_dic = {"ايجابي": 1, "سلبي": 0, "ماكينش إحساس": 2}


def doc_to_text(doc):
    return (
        doc["messages"][0]["content"]
        .replace("-سلبي", "A. سلبي")
        .replace("-ايجابي", "B. ايجابي")
        .replace(
            "-ماكينش إحساس",
            "C. ماكينش إحساس\nThe answer should be strictly one letter of the following: A, B, C.",
        )
    )  # .replace('شنو هو الإحساس ديال هاد الجملة؟', 'شنو هو الإحساس ديال هاد الجملة؟')


def doc_to_choice_3(doc):
    return alpha


def doc_to_choice_2(doc):
    return alpha[:2]


def doc_to_target(doc):
    return alpha[out_dic[doc["messages"][1]["content"]]]