Thread Reader
白河愁
@CongZhangDev
Mar 3
4 tweets
Twitter
Share
Translate
Download
今天被 ChatGPT API 刷屏了, 研究后发现几点有意思的: 1. ChatGPT 官方声称不会存储用户数据, 那么聊天上下文怎么实现呢? 答案是: 要问新问题时需要把之前的聊天记录都带上一起发送. 没想到实现的这么粗暴, 但有效. 2. 这样服务端也顺理成章得变成了无状态, 做过后端都知道无状态比有状态要省心多少
3. API 使用 token (简单理解成与字数成正比)数量收费 $0.002 / 1K tokens, 如果每次请求都需要发送之前的聊天记录, 费用可想而知, 还需要考虑后续请求包大小等问题, 但 API 有个限制: 每次请求上限为 4096 tokens, 所以单请求最多花费 $0.008
4. 又引入新问题, 当聊天记录上下文多于 4096 时应该舍弃哪些信息? 完全交给了使用者 5. 技术永远是做权衡, 确定的系统复杂度不会消失, 只会从一个模块转移到另一个模块
JS sdk 已经火速跟进并处理了上下文截取问题
github.com/transitive-bul…
github.com/transitive-bul…
chatgpt-api/chatgpt-api.ts at e65699ed241ee2cf404f098e06e2483a3aff20df · transitive-bullshit/chat...
白河愁
@CongZhangDev
coding
Follow on Twitter
twitter-thread.com/t/1631535435326554112
Missing some tweets in this thread? Or failed to load images or videos? You can try to
force a refresh
.