README.md

<<<<<<< HEAD
# Verl

verl 版本0.5.0post

主要修改内容：  
1．	Main_ppo.py中ray.init需指定num_gpus。  
2．	Vllm的mode模块无法使用需全部屏蔽，所有跟sleep(level=1)和.wake_up(tags=["weights"])的都不适配。    
3．	Fsdp_workers.py中distributed后端需改为nccl。  
4．	Worker.py中修改了_setup_env_cuda_visible_devices。  
5．	Vllm_rollout_spmd中load_format参数穿不进来。  
6．	激励函数reward_score的init中数据路径需修改。  
7．	第5点修改后还需屏蔽在fsdp_vllm.py中关于model.load_weights部分。  

运行命令请参考runverl.sh  
需要运行命令之前添加export HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7；export RAY_EXPERIMENTAL_NOSET_HIP_VISIBLE_DEVICES=1

目前只尝试了单节点八卡，后续尝试多节点