vllm serve ChengyuDu0123/HER-RM-32B --trust-remote-code --dtype bfloat16 -tp 2 --max-mod 32768 --port 8010
