Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
OpenDAS
AutoGPTQ
Commits
a2630e0f
Commit
a2630e0f
authored
Sep 19, 2024
by
yangql
Browse files
initing
parent
204eb5d7
Pipeline
#1717
failed with stages
in 0 seconds
Changes
1
Pipelines
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
5 additions
and
14 deletions
+5
-14
README.md
README.md
+5
-14
No files found.
README.md
View file @
a2630e0f
# <div align="center"><strong>Auto
AW
Q</strong></div>
# <div align="center"><strong>Auto
GPT
Q</strong></div>
## 简介
## 简介
Auto
AW
Q 是一个用于4bit量化的三方组件。
与FP16相比,AutoAWQ可以将模型速度提升3倍,内存需求减少3倍。AutoAWQ实现了激活感知权重量化(AWQ)算法,用于量化LLMs。AutoAWQ是基于麻省理工学院的
[
原始工作
](
https://github.com/mit-han-lab/llm-awq
)
进行改进和创建的
。
Auto
GPT
Q 是一个用于4bit量化的三方组件。
AutoGPTQ 提供了一种高效的解决方案来优化深度学习模型,使其更适合在资源受限的环境中运行。通过自动化的量化流程和灵活的配置选项,开发者可以轻松实现性能和准确性的平衡
。
## 安装
## 安装
### 使用源码编译方式安装
### 使用源码编译方式安装
...
@@ -23,18 +23,16 @@ docker run -it --name mydocker --shm-size=1024G -v /opt/hyhal:/opt/hyhal:ro --de
...
@@ -23,18 +23,16 @@ docker run -it --name mydocker --shm-size=1024G -v /opt/hyhal:/opt/hyhal:ro --de
#### 源码编译安装
#### 源码编译安装
-
代码下载
-
代码下载
根据不同的需求下载不同的分支
根据不同的需求下载不同的分支
-
提供2种源码编译方式(进入Auto
AW
Q目录):
-
提供2种源码编译方式(进入Auto
GPT
Q目录):
```
```
#基础依赖安装:
pip install -r requirements.txt
1. 源码编译安装
1. 源码编译安装
pip3 install e.
pip3 install e
.
2. 编译成whl包安装
2. 编译成whl包安装
# 安装wheel
# 安装wheel
python3 setup.py bdist_wheel
python3 setup.py bdist_wheel
cd dist && pip3 install auto
aw
q*
cd dist && pip3 install auto
_gpt
q*
```
```
## 支持模型
## 支持模型
| Models | Sizes |
| Models | Sizes |
...
@@ -42,23 +40,16 @@ cd dist && pip3 install autoawq*
...
@@ -42,23 +40,16 @@ cd dist && pip3 install autoawq*
| LLaMA-2 | 7B/13B/70B |
| LLaMA-2 | 7B/13B/70B |
| LLaMA | 7B/13B/30B/65B |
| LLaMA | 7B/13B/30B/65B |
| Mistral | 7B |
| Mistral | 7B |
| Vicuna | 7B/13B |
| MPT | 7B/30B |
| MPT | 7B/30B |
| Falcon | 7B/40B |
| OPT | 125m/1.3B/2.7B/6.7B/13B/30B |
| OPT | 125m/1.3B/2.7B/6.7B/13B/30B |
| Bloom | 560m/3B/7B/ |
| Bloom | 560m/3B/7B/ |
| GPTJ | 6.7B |
| GPTJ | 6.7B |
| Aquila | 7B |
| Aquila2 | 7B/34B |
| Yi | 6B/34B |
| Yi | 6B/34B |
| Qwen | 1.8B/7B/14B/72B |
| Qwen | 1.8B/7B/14B/72B |
| BigCode | 1B/7B/15B |
| GPT NeoX | 20B |
| GPT NeoX | 20B |
| GPT-J | 6B |
| GPT-J | 6B |
| LLaVa | 7B/13B |
| Mixtral | 8x7B |
| Mixtral | 8x7B |
| Baichuan | 7B/13B |
| Baichuan | 7B/13B |
| QWen | 1.8B/7B/14/72B |
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment