prevent rpc process from crashing on long prompt
当prompt超过cache_len的时候,rpc进程会crash掉,导致整体不可用。 这里增加一个检查,让过长的prompt在请求早期就被提前过滤掉
Showing
Please register or sign in to comment
当prompt超过cache_len的时候,rpc进程会crash掉,导致整体不可用。 这里增加一个检查,让过长的prompt在请求早期就被提前过滤掉