一、前言
语言模型的记忆是基于其训练数据。具体而言，对于较长的文本，模型可能会遗忘较早的信息，因为它的记忆是有限的，并且更容易受到最近出现的内容的影响。模型无法跨越其固定的上下文窗口，而是根据当前上下文生成回应。
从现在开始，我们将使用Milvus向量数据库来作为语言模型长期记忆的存储方式，以此提升语言模型记忆信息的能力。
相关概念参考：开源模型应用落地-记忆增强系列-概念篇（一）
二、术语
2.1.Milvus Lite
是Milvus向量数据库的一个轻量级版本。旨在提供在资源受限的环境中快速、高效地进行向量存储和相似性搜索的能力。
与完整版的Milvus相比，它具有以下特点：
- 轻量级：Milvus Lite具有较小的存储占用和内存消耗，适合在资源受限的设备上部署和运行。
- 快速部署：Milvus Lite提供了简化的部署和配置过程，使其更易于在嵌入式设备和边缘服务器上进行部署和集成。
- 高效的向量索引和搜索：尽管是轻量级版本，Milvus Lite仍然提供了高效的向量索引和相似性搜索功能，以支持快速的向量数据查询。
- 离线模式：Milvus Lite支持在离线模式下进行向量索引和搜索，无需实时连接到远程服务器。