1. 项目缘起当AI助手患上“健忘症”最近在折腾一个叫OpenClaw的开源AI助手框架它有个挺有意思的代号叫“小龙虾”。这东西本质上是一个智能体Agent平台你可以把它理解成一个能帮你处理各种任务的“数字员工”比如自动回复消息、整理文档、分析数据等等。我把它部署起来接入了飞书和微信想让它帮我处理一些日常的客服和事务性工作。一开始跑得挺欢但用着用着就发现一个挺头疼的问题这“小龙虾”记性不太好。具体来说OpenClaw默认的运行模式是“无状态”的。每次你向它发起一个新的对话或任务它都像第一次认识你一样。比如上午你刚告诉它“我的项目代号是‘天枢’负责人是老王。”下午你再问它“老王负责的那个项目进展如何”它很可能一脸茫然因为它根本不记得“老王”和“天枢”之间的关联。这种“对话即焚”的特性对于需要上下文连贯、长期跟踪的复杂任务来说是个致命的短板。想象一下你的客服助手每次都要用户重新说明问题或者你的个人助理记不住你的日程偏好这体验就太糟糕了。这就是“持久化记忆层”要解决的问题。我们需要给OpenClaw这个聪明的“大脑”配上一个可靠的“外置硬盘”让它能够记住跨会话的重要信息、用户偏好、历史对话摘要、任务上下文等等。而实现这个目标我选择了两个核心组件腾讯云的COS Vectors向量检索服务和开源项目mem0智能记忆管理库。这个组合就是标题里说的为“小龙虾”构建一个“不遗忘”的能力核心。2. 技术选型为什么是COS Vectors mem0市面上做向量存储和记忆管理的方案不少比如直接用Chroma、Weaviate这类向量数据库或者用LangChain的Memory模块。但我最终敲定COS Vectors和mem0是经过一番对比和实际测试的主要基于下面几个核心考量。2.1 COS Vectors云原生向量检索的“省心之选”首先看存储层。我们需要一个地方来存放记忆的“向量化”表示。所谓向量化就是把一段文本比如“用户喜欢喝美式咖啡不加糖”通过AI模型转换成一组高维度的数字向量这样计算机才能高效地计算相似度实现“联想”和“检索”。为什么选腾讯云的COS Vectors原因很实在无缝集成与运维成本为零我的OpenClaw本身就部署在云服务器上。COS Vectors作为腾讯云对象存储COS的扩展服务与云环境的集成度极高。我不需要再单独维护一个向量数据库集群没有安装、配置、升级、备份这些运维负担。创建服务、拿到API密钥就能直接用这对于个人开发者或小团队来说吸引力巨大。性能与容量弹性COS Vectors底层基于腾讯云强大的计算和存储资源能够轻松应对从几百条到上亿条向量的存储和检索。对于OpenClaw的记忆库初期可能只有几千条记录但未来随着使用增长到几十万条也很正常。云服务的弹性让我完全不用担心扩容问题。稳定与高可用作为云厂商的托管服务SLA服务等级协议和可用性有保障。自己搭建的数据库可能会因为各种原因挂掉导致记忆丢失而托管服务在这方面要可靠得多。记忆层一旦出问题AI助手就相当于“脑震荡”了所以稳定性是首要考虑。成本清晰可控COS Vectors按实际使用的存储容量和检索次数计费。在记忆数据量不大的初期成本几乎可以忽略不计。这种按量付费的模式比自建服务前期投入固定硬件成本要灵活得多。当然它也有局限比如定制化程度不如自建数据库高网络调用会引入毫秒级的延迟。但对于OpenClaw这类对延迟不极度敏感非高频实时交易、更看重稳定和易用的应用场景来说这些局限完全可以接受。2.2 mem0让记忆管理变得“智能”有了存储的地方怎么管记忆又是另一个问题。记忆不是简单的“存”和“取”。它至少涉及记忆的生成从一段对话或事件中提取出哪些信息值得长期记忆是直接存原始对话还是存一个总结记忆的组织记忆之间有关联吗如何建立联系比如“项目A”的记忆和“成员老王”的记忆记忆的检索当新对话发生时如何从海量记忆中快速找到最相关的几条不是简单的关键词匹配而是语义相似度搜索。记忆的更新与遗忘记忆不是一成不变的。用户说“我最近改喝拿铁了”那么之前“喜欢美式”的记忆就需要更新或降权。甚至有些记忆随着时间推移应该被“淡忘”。如果这些逻辑全部自己从头实现会非常复杂。而mem0这个开源库就是专门为解决这些问题而生的。它不是一个存储引擎而是一个智能记忆管理框架。你可以把它理解为记忆系统的“操作系统”或“管理层”。mem0的核心价值在于提供高层抽象它定义了Memory、MemoryManager等简洁的接口。我只需要告诉mem0“这是一段新的对话文本”它内部会自动调用嵌入模型Embedding Model将其向量化并处理好存储、检索、关联的逻辑。内建优化策略mem0实现了多种记忆提取和检索策略。例如它可以自动对长对话进行总结只存储摘要而非全文节省空间并提升检索质量。它也能根据时间戳、访问频率等因素对记忆进行排序和筛选。与向量存储解耦mem0支持多种后端存储。这正是它能和COS Vectors搭配的关键。我只需要实现一个适配器让mem0知道如何调用COS Vectors的API进行向量的存入和查询剩下的智能管理逻辑全部由mem0包办。开源与可定制作为开源项目我可以查看其源码根据OpenClaw的特殊需求进行定制。比如我可以调整记忆提取的提示词Prompt让它更倾向于提取与“任务”、“偏好”、“实体关系”相关的信息。简单来说COS Vectors提供了强大、稳定、省心的“仓库”而mem0提供了智能、灵活、开箱即用的“仓库管理系统”。两者结合既能享受云服务的便利又能拥有高级的记忆管理能力避免了重复造轮子。3. 实战集成为OpenClaw装上记忆模块理论说完了接下来是实操部分。如何将COS Vectors和mem0集成到OpenClaw中这个过程大致可以分为环境准备、记忆服务封装、以及与OpenClaw Skill的对接三步。3.1 环境准备与基础配置首先确保你的OpenClaw运行环境Docker或原生Python已经就绪。然后我们需要搞定两边的钥匙。第一步开通并配置COS Vectors登录腾讯云控制台进入“对象存储COS”服务。在左侧菜单找到“向量检索”或“COS Vectors”按指引开通服务。这个过程会创建一个“向量检索实例”你可以把它理解为一个专属的数据库实例。创建成功后获取关键信息ENDPOINT: 向量检索服务的访问地址格式类似https://region.cos.tencent.com。SECRET_ID和SECRET_KEY: 腾讯云API访问密钥用于身份认证。务必妥善保管建议使用环境变量或配置文件管理不要硬编码在代码里。DATASET_ID: 你需要在实例下创建一个数据集Dataset这个ID就是数据集的唯一标识。你可以命名为openclaw_memory。第二步安装依赖库在你的OpenClaw项目环境或专门为记忆服务创建的环境中安装必要的Python包pip install cos-vector-sdk-python # 腾讯云官方COS Vectors SDK pip install mem0ai # mem0核心库 pip install openai # mem0默认使用OpenAI的嵌入模型也可配置为其他模型这里有个关键点mem0默认依赖一个嵌入模型来将文本转为向量。你可以使用OpenAI的text-embedding-3-small也可以配置成开源的模型比如通过Ollama本地部署的nomic-embed-text。为了网络稳定和成本我选择了后者。第三步配置mem0使用自定义嵌入模型和COS Vectors存储这是集成的核心代码片段。我们需要自定义一个存储类继承mem0的BaseVectorStore并实现其抽象方法。import os from typing import List, Optional from mem0.vector_stores.base import BaseVectorStore from mem0.vector_stores.types import VectorStoreResult from qcloud_cos_vector import CosVectorClient, VectorDBClient from qcloud_cos_vector.model import DataSet, Document, Filter, SearchByTextParam class CosVectorStore(BaseVectorStore): 自定义适配器将mem0的向量存储接口映射到COS Vectors SDK。 def __init__(self, endpoint: str, secret_id: str, secret_key: str, dataset_id: str): self.client CosVectorClient( endpointendpoint, secret_idsecret_id, secret_keysecret_key ) self.dataset_id dataset_id self._ensure_dataset_exists() def _ensure_dataset_exists(self): 确保数据集存在如果不存在则创建。 try: self.client.describe_data_set(self.dataset_id) except Exception as e: if DataSetNotFound in str(e): print(f数据集 {self.dataset_id} 不存在正在创建...) # 这里需要定义向量维度取决于你使用的嵌入模型例如 text-embedding-3-small 是 1536 维 dataset_config DataSet( idself.dataset_id, dimension1536, metric_typecosine # 相似度计算方式余弦相似度最常用 ) self.client.create_data_set(dataset_config) else: raise e async def add(self, embeddings: List[List[float]], texts: List[str], metadatas: Optional[List[dict]] None, ids: Optional[List[str]] None): 添加向量和文本到COS Vectors。 documents [] for i, (embedding, text) in enumerate(zip(embeddings, texts)): doc_id ids[i] if ids else str(uuid.uuid4()) metadata metadatas[i] if metadatas else {} # COS Vectors SDK的Document对象要求 doc Document( iddoc_id, texttext, vectorembedding, metadatametadata ) documents.append(doc) # 调用SDK的插入接口 self.client.upsert_documents(self.dataset_id, documents) async def search(self, query_embedding: List[float], limit: int 5, filters: Optional[dict] None) - List[VectorStoreResult]: 在COS Vectors中搜索相似向量。 search_param SearchByTextParam( vectorquery_embedding, top_klimit, # 可以在此处构建Filter对象实现元数据过滤例如 filters{session_id: abc123} filterFilter(**filters) if filters else None ) response self.client.search_by_vector(self.dataset_id, search_param) results [] for item in response.documents: results.append(VectorStoreResult( textitem.text, metadataitem.metadata, scoreitem.score # 相似度分数 )) return results # 还需要实现 delete, update 等方法根据mem0接口定义补全。然后初始化mem0的Memory对象时传入我们自定义的存储和嵌入模型from mem0 import Memory from mem0.llms.openai import OpenAiLlm from mem0.embeddings.ollama import OllamaEmbeddings # 假设使用Ollama本地嵌入模型 # 初始化记忆系统 memory Memory( vector_storeCosVectorStore( endpointos.getenv(COS_VECTOR_ENDPOINT), secret_idos.getenv(COS_SECRET_ID), secret_keyos.getenv(COS_SECRET_KEY), dataset_idopenclaw_memory ), embeddingsOllamaEmbeddings( model_namenomic-embed-text, base_urlhttp://localhost:11434 # Ollama服务地址 ), llmOpenAiLlm(modelgpt-4, api_keyos.getenv(OPENAI_API_KEY)) # 用于记忆总结等文本生成任务 )这个memory对象就是我们为OpenClaw打造的记忆核心。3.2 设计OpenClaw的记忆交互逻辑有了记忆服务下一步是设计OpenClaw何时、如何与它交互。这需要在OpenClaw处理消息的生命周期中插入钩子Hooks。OpenClaw基于LLM和Skill技能工作一个典型的流程是接收消息 - 路由到对应Skill - Skill调用LLM处理 - 返回结果。我们可以在两个关键节点插入记忆操作节点一在Skill处理前检索相关记忆当OpenClaw收到用户消息例如“帮我查一下老王的项目进度”在调用LLM生成回复之前先调用记忆服务# 伪代码在Skill的入口函数中 async def handle_message(user_input: str, session_id: str): # 1. 检索记忆查找与当前用户输入和会话相关的历史记忆 related_memories await memory.search( queryuser_input, filters{session_id: session_id, user_id: user_id}, # 可过滤只找本会话或本用户的记忆 limit3 ) # 将检索到的记忆文本作为上下文前缀拼接到给LLM的提示词中 memory_context \n.join([f- {mem.text} for mem in related_memories]) enhanced_prompt f已知关于用户和当前会话的以下背景信息 {memory_context} 当前用户询问{user_input} 请根据以上背景信息进行回复。 # 2. 将enhanced_prompt发给LLM得到更精准的回复 response await llm.generate(enhanced_prompt) return response这样LLM在生成回复时就能“想起”之前聊过的内容比如“老王负责天枢项目”从而给出准确回答。节点二在Skill处理后存储有价值的信息不是所有对话都值得记忆。我们需要判断哪些信息有长期价值。一个简单的策略是在LLM回复后让LLM自己判断当前对话中是否有需要记住的“事实”或“用户偏好”。# 伪代码在得到LLM回复后 extraction_prompt f 对话记录 用户{user_input} 助手{assistant_response} 请从以上对话中提取出值得长期记忆的客观事实或用户明确陈述的偏好。以简洁的陈述句列出每条记忆独立。如果无可记忆内容输出“无”。 例如 - 用户喜欢喝美式咖啡不加糖。 - 项目“天枢”的负责人是老王。 facts_to_remember await llm.generate(extraction_prompt) if facts_to_remember and facts_to_remember.strip() ! 无: # 将提取出的记忆存入向量库 for fact in facts_to_remember.split(\n): if fact.strip(): await memory.add( textfact.strip(), metadata{ session_id: session_id, user_id: user_id, timestamp: datetime.now().isoformat(), type: user_preference # 可以分类 } )通过这种方式记忆的沉淀是自动、智能且高质量的避免了存储大量无意义的聊天记录。3.3 封装为OpenClaw Skill或Middleware为了让集成更优雅我们可以将上述逻辑封装成一个独立的OpenClaw Skill例如叫memory_manager_skill或者一个全局的Middleware中间件。Skill方式适合需要显式调用记忆功能的场景比如用户直接说“记住我明天下午三点开会”。这个Skill专门处理与记忆相关的指令。Middleware方式更适合我们上面描述的“隐式”记忆增强。在OpenClaw的消息处理管道中插入一个全局中间件。所有流入的消息都会先经过它进行记忆检索所有流出的结果都会经过它进行记忆提取和存储。这种方式对业务逻辑侵入最小实现“无感”的记忆增强。我选择了Middleware方式因为它更符合“为系统底层添加能力”的定位。在OpenClaw的配置文件中添加这个自定义中间件即可。4. 效果验证与踩坑实录集成完成后重启OpenClaw开始测试。效果是立竿见影的。跨会话的对话连贯性大大提升。例如会话A周一用户“把‘项目复盘报告.docx’发给我。” - AI找到并发送文件。 - 记忆系统自动提取“用户索要了文件‘项目复盘报告.docx’”。会话B周三用户“我上次找你要的那个文档里面第三点是什么” - AI在回复前检索记忆找到“项目复盘报告.docx”这条记录结合当前问题能准确理解“那个文档”指代什么并可以去文件中查找第三点内容。然而开发过程绝非一帆风顺遇到了几个典型的坑。4.1 向量维度不匹配的“低级错误”在第一次运行memory.add()时COS Vectors服务端返回了400错误InvalidParameterValue.DimensionMismatch。意思是插入的向量维度与创建数据集时指定的维度不符。排查过程检查代码我创建数据集时写死了dimension1536OpenAI text-embedding-3-small的维度。但我实际使用的是Ollama的nomic-embed-text模型。我理所当然地认为它也是1536维。打印出嵌入模型生成的向量长度发现是768。根因不同嵌入模型的输出维度不同。text-embedding-3-small是1536维text-embedding-3-large是3072维而许多开源模型如nomic-embed-text、bge-small-zh是768维。创建COS Vectors数据集时必须严格匹配你所用模型的输出维度。解决方案在代码中动态获取嵌入模型的维度。例如对于Ollama可以调用其API的/api/show端点查看模型信息或者简单地向模型询问一个空字符串的嵌入向量然后取长度。修改CosVectorStore的_ensure_dataset_exists方法根据实际维度创建或匹配数据集。更稳妥的做法是在首次初始化时尝试插入一条测试数据如果报维度错误则删除旧数据集并用正确维度重建生产环境需更谨慎可能涉及数据迁移。4.2 记忆检索的“噪声”与“精准度”平衡初期测试时发现有时会检索到完全不相关的记忆干扰了LLM的判断。比如用户问“天气如何”却检索到了“用户喜欢美式咖啡”。问题分析语义搜索的固有特性向量检索基于语义相似度而“天气”和“咖啡”在某种抽象层面上比如都是“日常话题”可能被模型认为有相似性。元数据过滤未充分利用在检索时我只用了query_embedding没有很好地利用filters参数。所有用户、所有会话的记忆都混在一个“池子”里搜索。优化方案强化元数据过滤在存储每条记忆时尽可能丰富其元数据metadata。至少包含user_id,session_id,memory_type(如fact,preference,task_context),timestamp。在检索时强制加上过滤器例如filters{user_id: current_user_id}这样只会搜索当前用户的记忆极大减少了无关记忆的干扰。调整检索策略混合检索结合向量相似度搜索和基于元数据/关键词的过滤。COS Vectors SDK支持在搜索时传入filter条件可以同时满足。重排序Rerank先通过向量检索出Top K比如20条候选记忆然后使用一个更轻量级或专门训练的模型或规则对这20条结果进行二次排序剔除明显不相关的。mem0本身也支持一些后处理逻辑。设置相似度阈值只返回相似度分数score高于某个阈值如0.7的记忆低于阈值的视为不相关直接丢弃。优化记忆文本质量让LLM在提取记忆时使用更规范、包含关键实体的陈述句。例如提取为“用户询问了关于天气的信息”而不是存下整句“今天天气怎么样”。前者作为记忆被检索时与“天气”查询的语义关联会更精准。4.3 记忆的“更新”与“冲突”难题用户说“我喜欢蓝色。” 系统记住了。过几天用户说“我其实更喜欢绿色。” 这时就有两条矛盾的记忆。简单的向量添加会导致两条记忆并存检索时可能同时出现让AI困惑。解决方案基于唯一键的更新为记忆设计一个唯一标识符例如fpreference:color:{user_id}。当要存储新的颜色偏好时先检查是否存在memory_type为preference且key为color的记忆如果存在则执行更新覆盖或版本管理而不是新增。使用mem0的更新接口完善自定义CosVectorStore中的update方法使其能根据记忆ID或自定义的唯一键来更新已有的向量和文本。引入衰减或版本逻辑更复杂的系统可以为记忆添加“强度”或“新鲜度”字段。每次记忆被成功检索并利用就增强其强度同时所有记忆会随时间自然衰减。当出现冲突记忆时保留强度更高或更新鲜的那一条。这需要更复杂的内存管理逻辑mem0的高级配置可以支持部分此类策略。5. 性能调优与进阶思考基础功能跑通后可以从以下几个方向进行优化让这个记忆层更强大、更高效。5.1 降低延迟与成本嵌入模型本地化使用Ollama在本地运行嵌入模型如nomic-embed-text相比调用云端OpenAI API消除了网络延迟且没有按次调用费用长期成本更低。需权衡本地服务器的计算资源。批量操作mem0和COS Vectors SDK都支持批量添加向量。在记忆提取后可以积累一定数量如10条再一次性写入减少API调用次数。缓存热点记忆对于高频访问的记忆如用户的基本身份信息、常用偏好可以在应用层添加一个内存缓存如Redis避免每次对话都去向量库检索。异步处理记忆的存储操作memory.add不一定要阻塞主回复流程。可以将其放入后台任务队列异步执行确保用户能第一时间得到AI的回复体验更流畅。5.2 记忆的结构化与图谱化目前的记忆是扁平化的文本片段。更高级的模式是引入记忆图谱。实体链接从记忆文本中提取实体人、项目、产品等并建立实体之间的关系。例如记忆“老王负责天枢项目”可以转化为图谱中的两个节点“老王”、“天枢项目”和一条关系边“负责”。优势当用户问“老王在做什么项目”时可以直接在图谱中查询“老王”的“负责”关系比向量检索更精确、更可解释。也可以实现更复杂的推理比如“找到所有由老王负责且状态为进行中的项目”。实现这需要引入知识图谱或图数据库如Neo4j。可以在mem0存储记忆的同时调用一个实体识别和关系抽取的模型或服务将结果同步存入图数据库。检索时可以结合向量检索语义模糊匹配和图查询精确关系匹配。5.3 与OpenClaw Skill的深度结合记忆层不应该只是一个被动的背景板它可以主动赋能Skill。个性化Skill一个“推荐音乐”的Skill可以读取记忆中的用户音乐偏好实现千人千面的推荐。上下文感知Skill一个“安排会议”的Skill在用户说“跟项目组开个会”时能自动从记忆中检索出“项目组”包含哪些成员老王、小李、小张并填充到会议邀请中。记忆管理Skill开发一个显式的Skill让用户可以通过自然语言管理自己的记忆例如“删除我所有关于咖啡偏好的记忆”、“帮我总结一下上周讨论的项目要点”。为OpenClaw构建持久化记忆层从技术上看是向量检索与智能体框架的集成但从体验上看是让AI从“聪明的鹦鹉”进化到“得力的助手”的关键一步。它开始有了“经历”和“经验”能够进行连贯的、个性化的服务。COS Vectors提供了坚实、易用的存储地基mem0提供了智能的管理框架而真正的挑战和价值在于如何根据自己业务的需求设计好记忆的生成、组织、检索和更新策略。这个过程没有标准答案需要不断地实验、观察和调整。我的体会是先从简单的“会话记忆”和“用户事实偏好”开始看到效果后再逐步扩展到更复杂的记忆结构和应用场景这样迭代起来更稳妥也更容易获得正反馈。
