".github/git@developer.sourcefind.cn:tsoc/superbenchmark.git" did not exist on "48cd8a3c99a910cdbf4c5eea9be3db75593e3951"
Commit efffc63d authored by Rayyyyy's avatar Rayyyyy
Browse files

Update READMEs

parent ae5a317d
...@@ -3,18 +3,21 @@ ...@@ -3,18 +3,21 @@
您可以输入查询语句和段落到reranker后直接得到相关性得分。并且分数可以通过sigmoid函数映射到[0,1]中的浮点值。 您可以输入查询语句和段落到reranker后直接得到相关性得分。并且分数可以通过sigmoid函数映射到[0,1]中的浮点值。
## Model List ## Model List
- [bge-reranker-base](http://113.200.138.88:18080/aimodels/bge-reranker-base) - [BAAI/bge-reranker-base](http://113.200.138.88:18080/aimodels/bge-reranker-base)
- [bge-reranker-large](http://113.200.138.88:18080/aimodels/bge-reranker-large) - [BAAI/bge-reranker-large](http://113.200.138.88:18080/aimodels/bge-reranker-large)
- [BAAI/bge-reranker-v2-m3](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-m3)
- [BAAI/bge-reranker-v2-gemma](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-gemma)
- [BAAI/bge-reranker-v2-minicpm-layerwise](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-minicpm-layerwise)
您可以根据个人场景和资源来选择所需模型: 您可以根据个人场景和资源来选择所需模型:
- 针对 **多种语言**,使用 [BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3)[BAAI/bge-reranker-v2-gemma](https://huggingface.co/BAAI/bge-reranker-v2-gemma) - 针对 **多种语言**,使用 [BAAI/bge-reranker-v2-m3](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-m3)[BAAI/bge-reranker-v2-gemma](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-gemma)
- 针对 **中文或者英文**, 使用 [BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3)[BAAI/bge-reranker-v2-minicpm-layerwise](https://huggingface.co/BAAI/bge-reranker-v2-minicpm-layerwise). - 针对 **中文或者英文**, 使用 [BAAI/bge-reranker-v2-m3](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-m3)[BAAI/bge-reranker-v2-minicpm-layerwise](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-minicpm-layerwise).
- 针对 **效率**, 使用 [BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3) 和 底层[BAAI/bge-reranker-v2-minicpm-layerwise](https://huggingface.co/BAAI/bge-reranker-v2-minicpm-layerwise). - 针对 **效率**, 使用 [BAAI/bge-reranker-v2-m3](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-m3) 和 底层[BAAI/bge-reranker-v2-minicpm-layerwise](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-minicpm-layerwise).
- 想要更好的效果, 建议 [BAAI/bge-reranker-v2-minicpm-layerwise](https://huggingface.co/BAAI/bge-reranker-v2-minicpm-layerwise)[BAAI/bge-reranker-v2-gemma](https://huggingface.co/BAAI/bge-reranker-v2-gemma) - 想要更好的效果, 建议 [BAAI/bge-reranker-v2-minicpm-layerwise](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-minicpm-layerwise)[BAAI/bge-reranker-v2-gemma](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-gemma)
## Usage ## Usage
### 使用 FlagEmbedding ### 使用 FlagEmbedding
...@@ -305,7 +308,6 @@ merge_llm('google/gemma-2b', 'lora_llm_output_path', 'merged_model_output_paths' ...@@ -305,7 +308,6 @@ merge_llm('google/gemma-2b', 'lora_llm_output_path', 'merged_model_output_paths'
``` ```
**针对 llm-based layerwise reranker** **针对 llm-based layerwise reranker**
如果基于原始模型进行的微调(openbmb/MiniCPM-2B-dpo-bf16) 如果基于原始模型进行的微调(openbmb/MiniCPM-2B-dpo-bf16)
```shell ```shell
...@@ -314,7 +316,6 @@ merge_layerwise_raw_llm('openbmb/MiniCPM-2B-dpo-bf16', 'lora_llm_output_path', ' ...@@ -314,7 +316,6 @@ merge_layerwise_raw_llm('openbmb/MiniCPM-2B-dpo-bf16', 'lora_llm_output_path', '
``` ```
如果基于微调模型进行的微调(BAAI/bge-reranker-v2-minicpm-layerwise) 如果基于微调模型进行的微调(BAAI/bge-reranker-v2-minicpm-layerwise)
```shell ```shell
from FlagEmbedding.llm_reranker.merge import merge_layerwise_finetuned_llm from FlagEmbedding.llm_reranker.merge import merge_layerwise_finetuned_llm
merge_layerwise_finetuned_llm('BAAI/bge-reranker-v2-minicpm-layerwise', 'lora_llm_output_path', 'merged_model_output_paths') merge_layerwise_finetuned_llm('BAAI/bge-reranker-v2-minicpm-layerwise', 'lora_llm_output_path', 'merged_model_output_paths')
......
...@@ -2,7 +2,7 @@ ...@@ -2,7 +2,7 @@
## Usage ## Usage
和embedding模型不同,Reranker使用问题和文档作为输入,直接输出相似度而不是嵌入。 和embedding模型不同,Reranker使用问题和文档作为输入,直接输出相似度而不是嵌入。
您可以通过输入查询语句和段落文本到reranker来获得相关性评分。 您可以通过输入查询语句和段落文本到reranker来获得相关性评分。
The reranker is optimized based cross-entropy loss, so the relevance score is not bounded to a specific range. reranker是基于交叉熵损失函数进行优化的,因此相关分数不局限于特定的范围。
### 使用 FlagEmbedding ### 使用 FlagEmbedding
1. 确认环境配置完成,请参考[环境配置](../../README.md#环境配置) 1. 确认环境配置完成,请参考[环境配置](../../README.md#环境配置)
...@@ -19,7 +19,6 @@ print(scores) ...@@ -19,7 +19,6 @@ print(scores)
``` ```
### 使用 Huggingface transformers ### 使用 Huggingface transformers
```python ```python
import torch import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer from transformers import AutoModelForSequenceClassification, AutoTokenizer
...@@ -36,7 +35,6 @@ with torch.no_grad(): ...@@ -36,7 +35,6 @@ with torch.no_grad():
``` ```
## 微调 ## 微调
可以跟着这个[用例](../../examples/reranker/)来微调reranker。 可以跟着这个[用例](../../examples/reranker/)来微调reranker。
reranker采用了[xlm-roberta-base](https://huggingface.co/xlm-roberta-base)进行初始化,并且我们使用了混合的多语言数据集来进行训练 reranker采用了[xlm-roberta-base](https://huggingface.co/xlm-roberta-base)进行初始化,并且我们使用了混合的多语言数据集来进行训练
...@@ -49,7 +47,6 @@ reranker采用了[xlm-roberta-base](https://huggingface.co/xlm-roberta-base)进 ...@@ -49,7 +47,6 @@ reranker采用了[xlm-roberta-base](https://huggingface.co/xlm-roberta-base)进
当前,模型主要支持中英文,并且可能会看到其他低资源语言的性能下降。 当前,模型主要支持中英文,并且可能会看到其他低资源语言的性能下降。
## Evaluation ## Evaluation
您可以使用我们的[c-mteb script](../../C_MTEB#evaluate-reranker)进行reranker验证。 您可以使用我们的[c-mteb script](../../C_MTEB#evaluate-reranker)进行reranker验证。
## Acknowledgement ## Acknowledgement
......
...@@ -89,6 +89,9 @@ BGE Embedding是一个通用向量模型。 我们使用[retromae](https://githu ...@@ -89,6 +89,9 @@ BGE Embedding是一个通用向量模型。 我们使用[retromae](https://githu
### BGE Reranker ### BGE Reranker
- [bge-reranker-base](http://113.200.138.88:18080/aimodels/bge-reranker-base) - [bge-reranker-base](http://113.200.138.88:18080/aimodels/bge-reranker-base)
- [bge-reranker-large](http://113.200.138.88:18080/aimodels/bge-reranker-large) - [bge-reranker-large](http://113.200.138.88:18080/aimodels/bge-reranker-large)
- [bge-reranker-v2-m3](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-m3)
- [bge-reranker-v2-gemma](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-gemma)
- [bge-reranker-v2-minicpm-layerwise](http://113.200.138.88:18080/aimodels/baai/bge-reranker-v2-minicpm-layerwise)
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.hpccube.com/codes/modelzoo/flagembedding_pytorch - https://developer.hpccube.com/codes/modelzoo/flagembedding_pytorch
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment