Q-模型-02 · 模型、工具与 Token
问题
做文档材料时,需要读取文档的所耗费的 token 经常很大,有没有办法可以在节省 token 的情况下完成文档类工作
现成做法
- 上下文管理模块引入缓存,命中率约 90%(罗伟会上经验);火山 / 自建模型约 90% 命中,统一采购的账号不计缓存命中(11-16 会中结论)
Day 2 补充
- 刘思政:全量输入历史文档给 AI,token 快速耗尽,经常不够用。
做文档材料时,需要读取文档的所耗费的 token 经常很大,有没有办法可以在节省 token 的情况下完成文档类工作