# OPT

## 1. 模型介绍

[OPT: Open Pre-trained Transformer Language Models](https://arxiv.org/abs/2205.01068) 是以自回归填空作为训练目标的通用语言模型，可用于各类理解和生成任务。

**支持模型权重:**
| Model                            |
|----------------------------------|
|facebook/opt-125m|
|facebook/opt-350m |
|facebook/opt-1.3b |
|facebook/opt-2.7b |
|facebook/opt-6.7b|
|facebook/opt-13b |
|facebook/opt-30b |
|facebook/opt-66b |
|facebook/opt-iml-1.3b |
|opt-iml-max-1.3b |

## 2. 模型精调
请参考[LLM全流程工具介绍](../README.md)
