Upload New File

sugon_readme.md

+1. ***容器启动***<br>
+docker run -itd --name dock --privileged --network=host -v /soft:/soft -v /data:/test_data --device=/dev/kfd --device=/dev/dri --shm-size=16G --group-add video --ipc=host --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1 deepcoder:20240319 /usr/sbin/init<br>
+docker exec -it dock /bin/bash<br>
+cd  /data/XVERSE-MoE-A4.2B<br>
+pip install -r requirements.txt<br>
+ln -sf 权重目录 weight
+CUDA_VISIBLE_DEVICES=0,1 python text_generation_demo.py --port 30137 --model_path weight --tokenizer_path weight<br>
+打开浏览器输入浏览器在地址栏输入机器IP:30137 就可以使用了<br>
+2. ***vllm暂时不支持***
+![](error.jpg)
+从代码上看要对vllm进行针对性修改才能完成vllm适配
+![](modelcode.jpg)
+模块修改幅度看着很惊人不止改了编码连attention的结构也修改了