MTEB - Embedding 模型排行榜

文章目录

- 关于 MTEB
- MTEB 任务和数据集概览
- 使用 MTEB Pythont 库
- - Installation
  - 使用

关于 MTEB

MTEB : Massive Text Embedding Benchmark

github : https://github.com/embeddings-benchmark/mteb
huggingface : https://huggingface.co/spaces/mteb/leaderboard
paper : https://paperswithcode.com/paper/mteb-massive-text-embedding-benchmark

中文榜单(2024-05-03)

在这里插入图片描述

英文

在这里插入图片描述

MTEB 任务和数据集概览

多模态标记为紫色。
在这里插入图片描述

使用 MTEB Pythont 库

Installation

pip install mteb

使用

Using a python script (see scripts/run_mteb_english.py and mteb/mtebscripts for more):

from mteb import MTEB
from sentence_transformers import SentenceTransformer

# Define the sentence-transformers model name
model_name = "average_word_embeddings_komninos"
# or directly from huggingface:
# model_name = "sentence-transformers/all-MiniLM-L6-v2"

model = SentenceTransformer(model_name)
evaluation = MTEB(tasks=["Banking77Classification"])
results = evaluation.run(model, output_folder=f"results/{model_name}")

使用命令行

mteb --available_tasks

mteb -m sentence-transformers/all-MiniLM-L6-v2 \
    -t Banking77Classification  \
    --verbosity 3

# if nothing is specified default to saving the results in the results/{model_name} folder

Using multiple GPUs in parallel can be done by just having a custom encode function that distributes the inputs to multiple GPUs like e.g. here or here.

伊织 2024-05-03（五）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/596700.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！