# 模型唯一标识 modelCode=2159 # 模型名称 modelName=Kimi-K2-Thinking_vllm # 模型描述
modelDescription=Kimi-K2-Thinking作为原生INT4量化模型,拥有256k上下文窗口,实现了推理延迟和GPU内存占用的无损降低。
# 运行过程 processType=推理 # 算法类别 appCategory=对话问答 # 框架类型 frameType=vllm # 加速卡类型 accelerateType=BW1000