model.properties 392 Bytes
Newer Older
zzg_666's avatar
zzg_666 committed
1
2
3
4
5
# 模型唯一标识
modelCode=2159
# 模型名称
modelName=Kimi-K2-Thinking_vllm 
# 模型描述
zzg_666's avatar
修改  
zzg_666 committed
6
modelDescription=Kimi-K2-Thinking作为原生INT4量化模型,拥有256k上下文窗口,实现了推理延迟和GPU内存占用的无损降低。
zzg_666's avatar
zzg_666 committed
7
8
9
10
11
12
13
14
# 运行过程
processType=推理
# 算法类别
appCategory=对话问答
# 框架类型
frameType=vllm
# 加速卡类型
accelerateType=BW1000