Q-模型-01 · 模型、工具与 Token
问题
在需求分身 -> 设计分身 -> 研发分身开发中,按这个流程开发,token 消耗量有点大,在交互中需要常常回顾文档和进行上下文压缩,耗时耗 token,如何能提升并优化
现成做法
- 上下文管理模块引入缓存,命中率约 90%(罗伟会上经验);火山 / 自建模型约 90% 命中,统一采购的账号不计缓存命中(11-16 会中结论)
在需求分身 -> 设计分身 -> 研发分身开发中,按这个流程开发,token 消耗量有点大,在交互中需要常常回顾文档和进行上下文压缩,耗时耗 token,如何能提升并优化