qdrant/vector-db-benchmark

vector-db-benchmark是一个通用基准测试框架，用于在相同硬件约束下评估不同向量搜索引擎的性能，支持自定义引擎、数据集和测试场景，帮助用户选择最适合的向量搜索解决方案。

0 次下载activeqdrant镜像

🚀轩辕镜像专业版更稳定💎一键安装 Docker 配置镜像源

中文简介版本下载

🚀轩辕镜像专业版更稳定💎一键安装 Docker 配置镜像源

vector-db-benchmark

!截图 2022-08-23 14-10-01

查看结果

现有多种向量搜索引擎，各有不同的功能集和效率表现。但如何衡量其性能？目前缺乏统一标准，且在特定场景下，用户可能关注某些方面而忽略其他。本项目提供一个通用框架，可在相同硬件约束下对不同引擎进行基准测试，帮助您选择最适合的解决方案。

运行任何基准测试需选择引擎、数据集并定义测试场景。特定场景可能包括服务器单机/分布式模式、不同客户端实现及客户端实例数量等配置。

核心功能与特性

通用基准框架：在相同硬件环境下对比不同向量搜索引擎性能，消除硬件差异影响
灵活场景配置：支持自定义引擎、数据集及测试场景（单机/分布式模式、客户端实现等）
服务器-客户端架构：服务器端统一部署，客户端独立运行，便于性能隔离测试
自动化结果管理：基准测试结果自动存储至./results/目录，便于分析比对
可扩展设计：支持添加新引擎、数据集及测试场景，适应多样化需求

使用场景与适用范围

适用于需要评估向量搜索引擎性能的开发者、研究人员及技术决策者，具体场景包括：

选择适合特定业务需求的向量搜索引擎
对比不同引擎在相同数据集下的查询效率、吞吐量及资源占用
验证引擎在不同部署模式（单机/分布式）下的性能表现
优化向量搜索相关参数配置（如索引参数、查询参数等）

使用方法与配置说明

运行基准测试流程

基准测试采用服务器-客户端模式，服务器运行在一台机器，客户端在另一台机器运行。

启动服务器

所有引擎通过Docker Compose部署，配置文件位于servers目录。

启动服务器实例的命令：

bash
cd ./engine/servers/<engine-configuration-name>
docker compose up

容器会暴露所有必要端口，供客户端连接。

运行客户端

安装依赖：

bash
pip install poetry
poetry install

运行基准测试：

bash
$ poetry shell
$ python run.py --help

Usage: run.py [OPTIONS]

  示例：

  python3 run.py --engines "qdrant-rps-m-*-ef-*" --datasets "dbpedia-openai-100K-1536-angular" # Qdrant RPS模式

  python3 run.py --engines "*-m-*-ef-*" --datasets "glove-*" # 所有引擎及其配置用于glove数据集

Options:
  --engines TEXT                  [默认: *]
  --datasets TEXT                 [默认: *]
  --host TEXT                     [默认: localhost]
  --skip-upload / --no-skip-upload
                                  [默认: no-skip-upload]
  --install-completion            为当前shell安装补全功能。
  --show-completion               显示当前shell的补全脚本，以便复制或自定义安装。
  --help                          显示帮助信息并退出。

命令支持为引擎和数据集指定通配符。基准测试结果存储在./results/目录中。