Q:近期更新都做了哪些升级
A:- Model 变更为 gpt-3.5-turbo
A:- 请求数据从 Prompt 变为了 Message
A:- Message 细分了系统规则,用户提问,助理回答模式
A:- 基础速度提升
A:- 接入费率下降
Q:Token的计算方式,我多说几句
A:除了官方给到的Token的计算方式之外,其实,针对OpenAI接入用户,上下文是要大家自己写的,而每次引用的上下文内容、引用的次数、会成为是否超限的主要原因,而且每个中文字符是2个tokens,我们试算一下:
假设,引用次数为5,回答为400个中文字符
那么就是800个tokens,如果引用5次,光这次对话,就要消耗掉4000tokens
Q:如何引用上下文(
@漆刚林)
A:gpt-3.5-turbo 可以通过 Role 来拼接信息,实现上下文功能,如遇到返回数据因token数量限制导致回答的信息断开, 可将openai返回 role = assistant 的未完成信息拼接到上一条请求数据中,重新请求。会返回未完成的信息。注意整个请求的tokens数量,我司小伙伴,我们通过Java封装了接口,有什么问题可以提问!
Q:如何准确计算token(
@Miller)
A:如果每次请求使用的token数量保留下来,会返回准确使用了多少token!