Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
FlagEmbedding_pytorch
Commits
efffc63d
".github/git@developer.sourcefind.cn:tsoc/superbenchmark.git" did not exist on "48cd8a3c99a910cdbf4c5eea9be3db75593e3951"
Commit
efffc63d
authored
Jul 26, 2024
by
Rayyyyy
Browse files
Update READMEs
parent
ae5a317d
Changes
3
Hide whitespace changes
Inline
Side-by-side
Showing
3 changed files
with
13 additions
and
12 deletions
+13
-12
FlagEmbedding/llm_reranker/README.md
FlagEmbedding/llm_reranker/README.md
+9
-8
FlagEmbedding/reranker/README.md
FlagEmbedding/reranker/README.md
+1
-4
README.md
README.md
+3
-0
No files found.
FlagEmbedding/llm_reranker/README.md
View file @
efffc63d
...
@@ -3,18 +3,21 @@
...
@@ -3,18 +3,21 @@
您可以输入查询语句和段落到reranker后直接得到相关性得分。并且分数可以通过sigmoid函数映射到[0,1]中的浮点值。
您可以输入查询语句和段落到reranker后直接得到相关性得分。并且分数可以通过sigmoid函数映射到[0,1]中的浮点值。
## Model List
## Model List
-
[
bge-reranker-base
](
http://113.200.138.88:18080/aimodels/bge-reranker-base
)
-
[
BAAI/bge-reranker-base
](
http://113.200.138.88:18080/aimodels/bge-reranker-base
)
-
[
bge-reranker-large
](
http://113.200.138.88:18080/aimodels/bge-reranker-large
)
-
[
BAAI/bge-reranker-large
](
http://113.200.138.88:18080/aimodels/bge-reranker-large
)
-
[
BAAI/bge-reranker-v2-m3
](
http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-m3
)
-
[
BAAI/bge-reranker-v2-gemma
](
http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-gemma
)
-
[
BAAI/bge-reranker-v2-minicpm-layerwise
](
http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-minicpm-layerwise
)
您可以根据个人场景和资源来选择所需模型:
您可以根据个人场景和资源来选择所需模型:
-
针对
**多种语言**
,使用
[
BAAI/bge-reranker-v2-m3
](
http
s
://
huggingface.co/BAAI
/bge-reranker-v2-m3
)
和
[
BAAI/bge-reranker-v2-gemma
](
http
s
://
huggingface.co/BAAI
/bge-reranker-v2-gemma
)
-
针对
**多种语言**
,使用
[
BAAI/bge-reranker-v2-m3
](
http://
113.200.138.88:18080/aimodels/baai
/bge-reranker-v2-m3
)
和
[
BAAI/bge-reranker-v2-gemma
](
http://
113.200.138.88:18080/aimodels/baai
/bge-reranker-v2-gemma
)
-
针对
**中文或者英文**
, 使用
[
BAAI/bge-reranker-v2-m3
](
http
s
://
huggingface.co/BAAI
/bge-reranker-v2-m3
)
和
[
BAAI/bge-reranker-v2-minicpm-layerwise
](
http
s
://
huggingface.co/BAAI
/bge-reranker-v2-minicpm-layerwise
)
.
-
针对
**中文或者英文**
, 使用
[
BAAI/bge-reranker-v2-m3
](
http://
113.200.138.88:18080/aimodels/baai
/bge-reranker-v2-m3
)
和
[
BAAI/bge-reranker-v2-minicpm-layerwise
](
http://
113.200.138.88:18080/aimodels/baai
/bge-reranker-v2-minicpm-layerwise
)
.
-
针对
**效率**
, 使用
[
BAAI/bge-reranker-v2-m3
](
http
s
://
huggingface.co/BAAI
/bge-reranker-v2-m3
)
和 底层
[
BAAI/bge-reranker-v2-minicpm-layerwise
](
http
s
://
huggingface.co/BAAI
/bge-reranker-v2-minicpm-layerwise
)
.
-
针对
**效率**
, 使用
[
BAAI/bge-reranker-v2-m3
](
http://
113.200.138.88:18080/aimodels/baai
/bge-reranker-v2-m3
)
和 底层
[
BAAI/bge-reranker-v2-minicpm-layerwise
](
http://
113.200.138.88:18080/aimodels/baai
/bge-reranker-v2-minicpm-layerwise
)
.
-
想要更好的效果, 建议
[
BAAI/bge-reranker-v2-minicpm-layerwise
](
http
s
://
huggingface.co/BAAI
/bge-reranker-v2-minicpm-layerwise
)
和
[
BAAI/bge-reranker-v2-gemma
](
http
s
://
huggingface.co/BAAI
/bge-reranker-v2-gemma
)
-
想要更好的效果, 建议
[
BAAI/bge-reranker-v2-minicpm-layerwise
](
http://
113.200.138.88:18080/aimodels/baai
/bge-reranker-v2-minicpm-layerwise
)
和
[
BAAI/bge-reranker-v2-gemma
](
http://
113.200.138.88:18080/aimodels/baai
/bge-reranker-v2-gemma
)
## Usage
## Usage
### 使用 FlagEmbedding
### 使用 FlagEmbedding
...
@@ -305,7 +308,6 @@ merge_llm('google/gemma-2b', 'lora_llm_output_path', 'merged_model_output_paths'
...
@@ -305,7 +308,6 @@ merge_llm('google/gemma-2b', 'lora_llm_output_path', 'merged_model_output_paths'
```
```
**针对 llm-based layerwise reranker**
**针对 llm-based layerwise reranker**
如果基于原始模型进行的微调(openbmb/MiniCPM-2B-dpo-bf16)
如果基于原始模型进行的微调(openbmb/MiniCPM-2B-dpo-bf16)
```
shell
```
shell
...
@@ -314,7 +316,6 @@ merge_layerwise_raw_llm('openbmb/MiniCPM-2B-dpo-bf16', 'lora_llm_output_path', '
...
@@ -314,7 +316,6 @@ merge_layerwise_raw_llm('openbmb/MiniCPM-2B-dpo-bf16', 'lora_llm_output_path', '
```
```
如果基于微调模型进行的微调(BAAI/bge-reranker-v2-minicpm-layerwise)
如果基于微调模型进行的微调(BAAI/bge-reranker-v2-minicpm-layerwise)
```
shell
```
shell
from FlagEmbedding.llm_reranker.merge import merge_layerwise_finetuned_llm
from FlagEmbedding.llm_reranker.merge import merge_layerwise_finetuned_llm
merge_layerwise_finetuned_llm
(
'BAAI/bge-reranker-v2-minicpm-layerwise'
,
'lora_llm_output_path'
,
'merged_model_output_paths'
)
merge_layerwise_finetuned_llm
(
'BAAI/bge-reranker-v2-minicpm-layerwise'
,
'lora_llm_output_path'
,
'merged_model_output_paths'
)
...
...
FlagEmbedding/reranker/README.md
View file @
efffc63d
...
@@ -2,7 +2,7 @@
...
@@ -2,7 +2,7 @@
## Usage
## Usage
和embedding模型不同,Reranker使用问题和文档作为输入,直接输出相似度而不是嵌入。
和embedding模型不同,Reranker使用问题和文档作为输入,直接输出相似度而不是嵌入。
您可以通过输入查询语句和段落文本到reranker来获得相关性评分。
您可以通过输入查询语句和段落文本到reranker来获得相关性评分。
The
reranker
is optimized based cross-entropy loss, so the relevance score is not bounded to a specific range.
reranker
是基于交叉熵损失函数进行优化的,因此相关分数不局限于特定的范围。
### 使用 FlagEmbedding
### 使用 FlagEmbedding
1.
确认环境配置完成,请参考
[
环境配置
](
../../README.md#环境配置
)
1.
确认环境配置完成,请参考
[
环境配置
](
../../README.md#环境配置
)
...
@@ -19,7 +19,6 @@ print(scores)
...
@@ -19,7 +19,6 @@ print(scores)
```
```
### 使用 Huggingface transformers
### 使用 Huggingface transformers
```
python
```
python
import
torch
import
torch
from
transformers
import
AutoModelForSequenceClassification
,
AutoTokenizer
from
transformers
import
AutoModelForSequenceClassification
,
AutoTokenizer
...
@@ -36,7 +35,6 @@ with torch.no_grad():
...
@@ -36,7 +35,6 @@ with torch.no_grad():
```
```
## 微调
## 微调
可以跟着这个
[
用例
](
../../examples/reranker/
)
来微调reranker。
可以跟着这个
[
用例
](
../../examples/reranker/
)
来微调reranker。
reranker采用了
[
xlm-roberta-base
](
https://huggingface.co/xlm-roberta-base
)
进行初始化,并且我们使用了混合的多语言数据集来进行训练
reranker采用了
[
xlm-roberta-base
](
https://huggingface.co/xlm-roberta-base
)
进行初始化,并且我们使用了混合的多语言数据集来进行训练
...
@@ -49,7 +47,6 @@ reranker采用了[xlm-roberta-base](https://huggingface.co/xlm-roberta-base)进
...
@@ -49,7 +47,6 @@ reranker采用了[xlm-roberta-base](https://huggingface.co/xlm-roberta-base)进
当前,模型主要支持中英文,并且可能会看到其他低资源语言的性能下降。
当前,模型主要支持中英文,并且可能会看到其他低资源语言的性能下降。
## Evaluation
## Evaluation
您可以使用我们的
[
c-mteb script
](
../../C_MTEB#evaluate-reranker
)
进行reranker验证。
您可以使用我们的
[
c-mteb script
](
../../C_MTEB#evaluate-reranker
)
进行reranker验证。
## Acknowledgement
## Acknowledgement
...
...
README.md
View file @
efffc63d
...
@@ -89,6 +89,9 @@ BGE Embedding是一个通用向量模型。 我们使用[retromae](https://githu
...
@@ -89,6 +89,9 @@ BGE Embedding是一个通用向量模型。 我们使用[retromae](https://githu
### BGE Reranker
### BGE Reranker
-
[
bge-reranker-base
](
http://113.200.138.88:18080/aimodels/bge-reranker-base
)
-
[
bge-reranker-base
](
http://113.200.138.88:18080/aimodels/bge-reranker-base
)
-
[
bge-reranker-large
](
http://113.200.138.88:18080/aimodels/bge-reranker-large
)
-
[
bge-reranker-large
](
http://113.200.138.88:18080/aimodels/bge-reranker-large
)
-
[
bge-reranker-v2-m3
](
http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-m3
)
-
[
bge-reranker-v2-gemma
](
http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-gemma
)
-
[
bge-reranker-v2-minicpm-layerwise
](
http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-minicpm-layerwise
)
## 源码仓库及问题反馈
## 源码仓库及问题反馈
-
https://developer.hpccube.com/codes/modelzoo/flagembedding_pytorch
-
https://developer.hpccube.com/codes/modelzoo/flagembedding_pytorch
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment