prompts+tokenid

benchmarks/benchmark_hunyuan.py

@@ -69,7 +69,9 @@ PROMPTS="你是一个搜索排序专家，请你仔细阅读以下Doc和Query，
 
 if __name__ == "__main__":
     llm = LLM(model="/tools/gy_model/hunyuan_model", task="classify",trust_remote_code=True)
-    # 以列表形式传入，避免某些路径把字符串当作序列逐字符处理
+    # token_id
+    #(output,) = llm.classify(token_inputs(DEFAULT_PROMPT_TOKEN_IDS))
+    #prompts
     (output,) = llm.classify(PROMPTS)
     probs = output.outputs.probs
     print(f"Class Probabilities: {probs!r} (size={len(probs)})")