今天被 ChatGPT API 刷屏了, 研究后发现几点有意思的:
1. ChatGPT 官方声称不会存储用户数据, 那么聊天上下文怎么实现呢? 答案是: 要问新问题时需要把之前的聊天记录都带上一起发送. 没想到实现的这么粗暴, 但有效.
2. 这样服务端也顺理成章得变成了无状态, 做过后端都知道无状态比有状态要省心多少
3. API 使用 token (简单理解成与字数成正比)数量收费 $0.002 / 1K tokens, 如果每次请求都需要发送之前的聊天记录, 费用可想而知, 还需要考虑后续请求包大小等问题, 但 API 有个限制: 每次请求上限为 4096 tokens, 所以单请求最多花费 $0.008
4. 又引入新问题, 当聊天记录上下文多于 4096 时应该舍弃哪些信息? 完全交给了使用者
5. 技术永远是做权衡, 确定的系统复杂度不会消失, 只会从一个模块转移到另一个模块
JS sdk 已经火速跟进并处理了上下文截取问题 github.com/transitive-bul…
Missing some tweets in this thread? Or failed to load images or videos? You can try to .