lveval.py

from mmengine.config import read_base

with read_base():
    from .groups.lveval import lveval_summary_groups

summarizer = dict(
    dataset_abbrs=[
        '----------------------------------------',
        '--------- LVEval All ---------',  # category
        '----------------------------------------',
        'LVEval_qa',
        '----------------------------------------',
        '--------- LVEval Tasks All ---------',  # category
        '----------------------------------------',
        'LVEval_single_hop_qa',
        'LVEval_single_hop_cqa',
        'LVEval_multi_hop_qa',
        'LVEval_multi_hop_cqa',
        'LVEval_factrecall_cqa',
        '----------------------------------------',
        '--------- LVEval Datasets All ---------',  # category
        '----------------------------------------',
        'LVEval_loogle_SD_mixup',
        'LVEval_cmrc_mixup',
        'LVEval_multifieldqa_en_mixup',
        'LVEval_multifieldqa_zh_mixup',
        'LVEval_dureader_mixup',
        'LVEval_loogle_CR_mixup',
        'LVEval_loogle_MIR_mixup',
        'LVEval_hotpotwikiqa_mixup',
        'LVEval_lic_mixup',
        'LVEval_factrecall_en',
        'LVEval_factrecall_zh',
        '----------------------------------------',
        '--------- LVEval Single_Hop QA ---------',  # category
        '----------------------------------------',
        'LVEval_loogle_SD_mixup_16k',
        'LVEval_loogle_SD_mixup_32k',
        'LVEval_loogle_SD_mixup_64k',
        'LVEval_loogle_SD_mixup_128k',
        'LVEval_loogle_SD_mixup_256k',
        '----------------------------------------',
        'LVEval_cmrc_mixup_16k',
        'LVEval_cmrc_mixup_32k',
        'LVEval_cmrc_mixup_64k',
        'LVEval_cmrc_mixup_128k',
        'LVEval_cmrc_mixup_256k',
        '----------------------------------------',
        '--------- LVEval Single_Hop CQA ---------',  # category
        '----------------------------------------',
        'LVEval_multifieldqa_en_mixup_16k',
        'LVEval_multifieldqa_en_mixup_32k',
        'LVEval_multifieldqa_en_mixup_64k',
        'LVEval_multifieldqa_en_mixup_128k',
        'LVEval_multifieldqa_en_mixup_256k',
        '----------------------------------------',
        'LVEval_multifieldqa_zh_mixup_16k',
        'LVEval_multifieldqa_zh_mixup_32k',
        'LVEval_multifieldqa_zh_mixup_64k',
        'LVEval_multifieldqa_zh_mixup_128k',
        'LVEval_multifieldqa_zh_mixup_256k',
        '----------------------------------------',
        '--------- LVEval Multi_Hop QA ---------',  # category
        '----------------------------------------',
        'LVEval_dureader_mixup_16k',
        'LVEval_dureader_mixup_32k',
        'LVEval_dureader_mixup_64k',
        'LVEval_dureader_mixup_128k',
        'LVEval_dureader_mixup_256k',
        '----------------------------------------',
        'LVEval_loogle_CR_mixup_16k',
        'LVEval_loogle_CR_mixup_32k',
        'LVEval_loogle_CR_mixup_64k',
        'LVEval_loogle_CR_mixup_128k',
        'LVEval_loogle_CR_mixup_256k',
        '----------------------------------------',
        'LVEval_loogle_MIR_mixup_16k',
        'LVEval_loogle_MIR_mixup_32k',
        'LVEval_loogle_MIR_mixup_64k',
        'LVEval_loogle_MIR_mixup_128k',
        'LVEval_loogle_MIR_mixup_256k',
        '----------------------------------------',
        '--------- LVEval Multi_Hop CQA ---------',  # category
        '----------------------------------------',
        'LVEval_hotpotwikiqa_mixup_16k',
        'LVEval_hotpotwikiqa_mixup_32k',
        'LVEval_hotpotwikiqa_mixup_64k',
        'LVEval_hotpotwikiqa_mixup_128k',
        'LVEval_hotpotwikiqa_mixup_256k',
        '----------------------------------------',
        'LVEval_lic_mixup_16k',
        'LVEval_lic_mixup_32k',
        'LVEval_lic_mixup_64k',
        'LVEval_lic_mixup_128k',
        'LVEval_lic_mixup_256k',
        '----------------------------------------',
        '--------- LVEval Factrecall CQA ---------',  # category
        '----------------------------------------',
        'LVEval_factrecall_en_16k',
        'LVEval_factrecall_en_32k',
        'LVEval_factrecall_en_64k',
        'LVEval_factrecall_en_128k',
        'LVEval_factrecall_en_256k',
        '----------------------------------------',
        'LVEval_factrecall_zh_16k',
        'LVEval_factrecall_zh_32k',
        'LVEval_factrecall_zh_64k',
        'LVEval_factrecall_zh_128k',
        'LVEval_factrecall_zh_256k',
    ],
    summary_groups=sum(
        [v for k, v in locals().items() if k.endswith('_summary_groups')], []
    ),
)