1. ***容器启动***<br>
docker run -itd --name dock --privileged --network=host -v /soft:/soft -v /data:/test_data --device=/dev/kfd --device=/dev/dri --shm-size=16G --group-add video --ipc=host --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1 deepcoder:20240319 /usr/sbin/init<br>
docker exec -it dock /bin/bash<br>
cd  /data/XVERSE-MoE-A4.2B<br>
pip install -r requirements.txt<br>
ln -sf 权重目录 weight
CUDA_VISIBLE_DEVICES=0,1 python text_generation_demo.py --port 30137 --model_path weight --tokenizer_path weight<br>
打开浏览器输入浏览器在地址栏输入机器IP:30137 就可以使用了<br>
2. ***vllm暂时不支持***
![](error.jpg)
从代码上看要对vllm进行针对性修改才能完成vllm适配
![](modelcode.jpg)
模块修改幅度看着很惊人不止改了编码连attention的结构也修改了