基于DB-GPT与Google Bard构建知识库问答系统_开源

背景

在人类发展历史上，有两样东西是持续伴随整个人类发展的, 1. 知识 2. 工具。大模型出现之后，尤其是chatgpt发布之后，因其具备的推理、逻辑能力，尤其是说不明，道不清的涌现能力，把ai的能力推向了一个新的层次。不仅仅引爆了整个科技圈，也随着媒体铺天盖地的宣传与渲染，被越来越多的用户所了解。随着围绕大模型的产品与应用的不断推出，非常多用户感受到了ai的魅力。在自然语言领域，各种知识库、写作、文档工具正在改变大家的学习知识、文档检索与撰写的方式。在多模态领域，midjourney，stable diffustion的表现也非常火热，很多图形、设计类的工作也在发生者巨大的改变。

更令人惊喜的是最近秒鸭相机的出圈，让围绕大模型的应用与落地充满了期待。一个崭新的时代，正在加速拉开帷幕，为我们贡献精彩绝伦的表演。处在时代中的我们，是多么的幸运，尤其是处在这个时代的开发者们，我们正在见证也在深度参与一个伟大的时代，也亲眼目睹它的到来。

aigc的大航海时代已经开启，热血的开发者们，想要大模型带来的财宝吗？想要的话就去追逐吧，所有的财宝已经被放在大模型里面了，去解开它的秘密吧。扬起你的帆船，带上你的伙伴，去找吧～

one piece， we are coming～

扯远了，我们言归正传，在本文中，我们主要介绍db-gpt的一些能力以及简要的使用手册，同时如何基于db-gpt与google bard在本地跑一个知识库问答系统。

功能概览

目前db-gpt已经发布了多种关键的特性:

sql 语言能力, sql生成、诊断
私域问答与数据处理
- 知识库管理(目前支持 txt, pdf, md, html, doc, ppt, and url)
- 数据库知识问答
- 数据处理
数据库对话
chat2dashboard
插件模型
- 支持自定义插件执行任务，原生支持auto-gpt插件。如:
- sql自动执行，获取查询结果
- 自动爬取学习知识
知识库统一向量存储/索引
- 非结构化数据支持包括pdf、markdown、csv、word、txt、ppt、weburl等等
多模型支持, 支持多种大语言模型, 当前已支持如下模型:
- vicuna(7b,13b)
- chatglm-6b(int4,int8)
- guanaco(7b,13b,33b)
- gorilla(7b,13b)
- llama-2(7b,13b,70b)
- baichuan(7b,13b)

开源地址： https://github.com/eosphoros-ai

原生对话

原生对话是指大模型提供的原生能力，通过db-gpt提供的统一对话界面可以实现与大模型的流式对话体验，感受大模型的能力。原生对话无需选择任何场景，直接在下方的输入框当中进行提问，即可感受原生对话的能力。通过db-gpt提供的统一chatui，可以丝滑体验大模型的能力。

知识库(chat knowledge)

db-gpt中知识库，是指基于私域文档、数据进行问答与数据处理的能力，目前已支持 txt、pdf、markdown、html、doc、ppt、csv多种文档类型。同时在知识库管理上，db-gpt提供了知识空间(knowledge space)。在使用时首先通过知识空间，将文档、数据上传到知识空间做向量化。