Spring AI ectorStore的使用流程_Java

spring ai中的vectorstore是一种用于存储和检索高维向量数据的数据库或存储解决方案，它在ai应用中扮演着至关重要的角色。以下是对spring ai vectorstore的详细解析：

一、vectorstore的基本概念

定义：vectorstore特别适用于处理那些经过嵌入模型转化后的数据。在vectorstore中，查询与传统关系数据库不同，它执行的是相似性搜索，而非精确匹配。当给定向量作为查询时，它会返回与查询向量“相似”的向量。
应用场景：vectorstore主要用于将数据与ai模型集成。它存储并支持对这些向量的相似性搜索，为ai模型提供丰富的上下文信息，从而实现更精确、更智能的回复。这种技术被称为检索增强生成（retrieval augmented generation，rag）。

二、vectorstore的核心接口

spring ai框架通过vectorstore接口为向量数据库交互提供了抽象化的api。vectorstore接口定义了以下核心操作：

添加文档：void add(list documents)，将文档添加到向量数据库中。
删除文档：optional delete(list idlist)，从向量数据库中删除指定id的文档。
相似性搜索：
- list similaritysearch(string query)，根据查询字符串进行相似性搜索，返回相似的文档列表。
- list similaritysearch(searchrequest request)，根据searchrequest对象进行更复杂的相似性搜索。其中，searchrequest对象允许开发者微调相似性搜索的参数，如指定要返回的相似文档的最大数量（topk）、相似度阈值（threshold）以及基于元数据的过滤表达式（filterexpression）。

三、vectorstore的使用流程

数据准备：在将文档存储到向量数据库之前，需要先将文档内容转换为向量嵌入。spring ai框架支持多种嵌入模型，如word2vec、glove、bert以及openai的text-embedding-ada-002等。开发者可以根据自己的需求选择合适的嵌入模型。
文档嵌入：利用spring ai框架提供的embeddingclient将文档转换为向量嵌入。存储到vectorstore：将转换后的向量嵌入存储到vectorstore中。
相似性搜索：当用户发起查询时，spring ai框架会自动将查询字符串转换为向量，并在vectorstore中执行相似性搜索，返回与查询向量最相似的文档列表。
ai模型处理：将这些相似的文档作为用户问题的上下文信息，与用户的查询一起发送到ai模型中进行处理，从而实现更精确、更智能的回复。

四、spring ai与vectorstore的集成案例

以基于spring ai框架的聊天机器人项目为例，该项目需要实现根据用户提供的文档数据进行回复的功能。由于对话有最大token的限制，无法直接将所有的数据发给ai模型进行处理。因此，决定采用数据向量化的方式，将文档数据存储到vectorstore中，并在用户发起对话之前从vectorstore中检索一组相似的文档作为上下文信息。具体实现步骤如下：

引入依赖：在项目的pom.xml文件中引入spring ai框架以及向量数据库相关的依赖。
配置vectorstore：在application.properties或application.yml文件中配置vectorstore的连接信息以及嵌入模型等参数。
创建文档嵌入服务：利用spring ai框架提供的embeddingclient将文档转换为向量嵌入，并存储到vectorstore中。
实现相似性搜索：在用户发起对话之前，从vectorstore中检索一组相似的文档作为上下文信息。
整合ai模型：将检索到的上下文信息与用户的查询一起发送到ai模型中进行处理，并返回处理结果给用户。

五、vectorstore&es8

1、添加依赖

首先，在spring boot项目的构建文件中（如pom.xml对于maven项目，或build.gradle对于gradle项目）添加elasticsearch客户端的依赖。由于spring ai框架可能不直接支持elasticsearch作为vectorstore，需要使用elasticsearch的java客户端库来与elasticsearch进行交互。

<!-- maven 示例 -->
<dependency>
            <groupid>org.springframework.ai</groupid>
            <artifactid>spring-ai-elasticsearch-store</artifactid>
            <version>${spring-ai.version}</version>
        </dependency>
        <dependency>
            <groupid>org.springframework.ai</groupid>
            <artifactid>spring-ai-elasticsearch-store-spring-boot-starter</artifactid>
            <version>${spring-ai.version}</version>
        </dependency>

2、配置elasticsearch连接

在spring boot的配置文件中（如application.properties或application.yml），配置elasticsearch的连接信息，包括集群地址、端口和可能的认证信息。

spring:
  profiles:
    active: druid
  elasticsearch:
    uris: http://127.0.0.1:9200/      #请改成自己的路径
  ai:
    ollama:
      base-url: http://localhost:11434
      embedding:
        model: llama3.2
    vectorstore:
      elasticsearch:
        initialize-schema: true         #请不要修改此配置
        index-name: zixiai           #这是 zixiai 默认的索引，请不要修改或删除
        dimensions: 2048                #不要修改这个配置，与具体大模型本身的维度参数有关系
        similarity: cosine
        batching-strategy: token_count

3、业务代码

    @override
    public string embed(string msg, set<string> fileids) {
        log.debug("embedding... {}", msg);
        set<string> finalfileids = (fileids == null) ? new hashset<>() : fileids;
        list<document> st = vectorstore.similaritysearch(searchrequest.builder().query(msg).topk(5).build());
//                .similaritysearch(searchrequest.query(msg).withtopk(5));
        // 首先查询向量库
        string promptcontent = null;
        if (!collectionutils.isempty(st)) {
            promptcontent = st.stream()
                    .filter(doc -> {
                        if (collectionutils.isempty(finalfileids)) {
                            return true;
                        }
                        object fileidobject = doc.getmetadata().get("file_id");
                        string docfileid = fileidobject != null ? fileidobject.tostring() : null;
                        return finalfileids.contains(docfileid);
                    })
                    .map(document::gettext)
                    .filter(stringutils::hastext)
                    .collect(collectors.joining(" "));
        }
        // 确保 promptcontent 不为空
        if (!stringutils.hastext(promptcontent)) {
            promptcontent = "no information found in the database.";
        }
        log.debug("prompt content: {}", promptcontent);
        return chatclient
                .prompt(promptcontent)
                .user(msg)
                .call()
                .content();
    }

详细样例代码：样例