【大模型知识库】(5):本地环境运行dity+fastchat的BGE模型,可以使用embedding接口对知识库进行向量化,连调成功。

1,视频演示地址

https://www.bilibili.com/video/BV1ei4y1e763/?vd_source=4b290247452adda4e56d84b659b0c8a2

【大模型知识库】(5):开源大模型+知识库方案,dity+fastchat的BGE模型,可以使用embedding接口对知识库进行向量化,绑定聊天应用

2,关于 dify 项目

https://github.com/langgenius/dify/blob/main/README_CN.md

Dify 是一个 LLM 应用开发平台,已经有超过 10 万个应用基于 Dify.AI 构建。它融合了 Backend as Service 和 LLMOps 的理念,涵盖了构建生成式 AI 原生应用所需的核心技术栈,包括一个内置 RAG 引擎。使用 Dify,你可以基于任何模型自部署类似 Assistants API 和 GPTs 的能力。

项目部署脚本地址:
https://gitee.com/fly-llm/dify-docker-compose

3,配置知识库 bge-large-zh 进行embedding

使用 embedding 接口
在这里插入图片描述
特别注意,这次需要增加 /v1 路径了:

http://192.168.1.116:8000/v1

在这里插入图片描述
本地模型就多了两个接口可以使用了

4,然后配置知识库导入

然后就可以使用高质量索引了:
在这里插入图片描述

在这里插入图片描述

可以看到分成的文档段落:

在这里插入图片描述

5,进行召回测试

在这里插入图片描述

然后就可以配合知识库使用了。

6,总结

知识库使用起来也是非常的方便的,配置bge的embedding 接口。

猜你喜欢

转载自blog.csdn.net/freewebsys/article/details/135073600