Commit a2630e0f authored by yangql's avatar yangql
Browse files

initing

parent 204eb5d7
Pipeline #1717 failed with stages
in 0 seconds
# <div align="center"><strong>AutoAWQ</strong></div> # <div align="center"><strong>AutoGPTQ</strong></div>
## 简介 ## 简介
AutoAWQ 是一个用于4bit量化的三方组件。与FP16相比,AutoAWQ可以将模型速度提升3倍,内存需求减少3倍。AutoAWQ实现了激活感知权重量化(AWQ)算法,用于量化LLMs。AutoAWQ是基于麻省理工学院的[原始工作](https://github.com/mit-han-lab/llm-awq)进行改进和创建的 AutoGPTQ 是一个用于4bit量化的三方组件。AutoGPTQ 提供了一种高效的解决方案来优化深度学习模型,使其更适合在资源受限的环境中运行。通过自动化的量化流程和灵活的配置选项,开发者可以轻松实现性能和准确性的平衡
## 安装 ## 安装
### 使用源码编译方式安装 ### 使用源码编译方式安装
...@@ -23,18 +23,16 @@ docker run -it --name mydocker --shm-size=1024G -v /opt/hyhal:/opt/hyhal:ro --de ...@@ -23,18 +23,16 @@ docker run -it --name mydocker --shm-size=1024G -v /opt/hyhal:/opt/hyhal:ro --de
#### 源码编译安装 #### 源码编译安装
- 代码下载 - 代码下载
根据不同的需求下载不同的分支 根据不同的需求下载不同的分支
- 提供2种源码编译方式(进入AutoAWQ目录): - 提供2种源码编译方式(进入AutoGPTQ目录):
``` ```
#基础依赖安装:
pip install -r requirements.txt
1. 源码编译安装 1. 源码编译安装
pip3 install e. pip3 install e .
2. 编译成whl包安装 2. 编译成whl包安装
# 安装wheel # 安装wheel
python3 setup.py bdist_wheel python3 setup.py bdist_wheel
cd dist && pip3 install autoawq* cd dist && pip3 install auto_gptq*
``` ```
## 支持模型 ## 支持模型
| Models | Sizes | | Models | Sizes |
...@@ -42,23 +40,16 @@ cd dist && pip3 install autoawq* ...@@ -42,23 +40,16 @@ cd dist && pip3 install autoawq*
| LLaMA-2 | 7B/13B/70B | | LLaMA-2 | 7B/13B/70B |
| LLaMA | 7B/13B/30B/65B | | LLaMA | 7B/13B/30B/65B |
| Mistral | 7B | | Mistral | 7B |
| Vicuna | 7B/13B |
| MPT | 7B/30B | | MPT | 7B/30B |
| Falcon | 7B/40B |
| OPT | 125m/1.3B/2.7B/6.7B/13B/30B | | OPT | 125m/1.3B/2.7B/6.7B/13B/30B |
| Bloom | 560m/3B/7B/ | | Bloom | 560m/3B/7B/ |
| GPTJ | 6.7B | | GPTJ | 6.7B |
| Aquila | 7B |
| Aquila2 | 7B/34B |
| Yi | 6B/34B | | Yi | 6B/34B |
| Qwen | 1.8B/7B/14B/72B | | Qwen | 1.8B/7B/14B/72B |
| BigCode | 1B/7B/15B |
| GPT NeoX | 20B | | GPT NeoX | 20B |
| GPT-J | 6B | | GPT-J | 6B |
| LLaVa | 7B/13B |
| Mixtral | 8x7B | | Mixtral | 8x7B |
| Baichuan | 7B/13B | | Baichuan | 7B/13B |
| QWen | 1.8B/7B/14/72B |
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment