变更日志
新增功能
- 支持
OpenAI
新字段stream_options
,渠道类型为OpenAI
时,会默认启用,stream
下会使用OpenAI
返回的Usage
,统计更加准确。 - 所有的模型都支持传入
stream_options
,传入后,响应参数会携带系统计算的Usage
。使用方法 见OpenAI说明
其他
- 系统设置增加是否启用飞书设置;优化用户中心显示; (#227) @ZeroDeng01
- 增加了
DISABLE_TOKEN_ENCODERS
配置: 启用后,不会加载 tiktoken,可节省40M左右内存, 但是stream模式下如果供应商没有返回Usage
那么tokens将会计算不准确。 Moonshot
也支持通过API获取模型列表了
ps: 更新后,如果接口报错 Provider API error: Unknown parameter: 'stream_options'. 说明你使用的不是openai官方接口。 请将该渠道类型改为 自定义渠道 即可解决。