Games Data Forum

在初期我们甚至不得不为产品测试设定时间表因为测试会消耗太多并阻止开发人员工作。 端到端流式传输：一个完整的答案可能需要几分钟才能完成因此我们让所有请求进行流式传输以减少感知到的延迟。更重要的是我们实际上在流程内部实现了端到端的流式传输。

例如大语言模型（的响应会逐步解析出应调用的并在参数准备好后立即发起调用而无需等待完整的响应。最终合成的响应也会通过我们的实时消息传递基础设施进行流式传输并对信任负责任的分类等内容进行增量处理直至到达客户端。

（注：就是通过流式提升可感知的响应速度非流式会导致你等半天突然所有结果出来了 异步非阻塞管道：由于调用可能需要很长时间来处理我们通过构建一个完全异步非阻塞的管道来优化服务吞吐量该管道不会因阻塞的线程而浪费资源。

这些因素之间有时会产生有趣的相互作用。举个例子我们最 希腊电话号码数据 初只限制了首个响应时间（, 因为这对于我们初期产品延迟有直接影响。然而随着我们解决幻觉问题并且思维链（ , 在我们的提示词中变得突出如果我们忽略了间响应时间（, 会对我们造成更大的伤害因为任何“推理”都会增加产品的延迟（例如对于一个个的推理步骤即使是毫秒的增加也意味着额外的秒延迟。

这会导致我们公共平台上的某些任务突然发出超时警告我们不得不迅速增加算力以缓解这一问题。 还在死磕的事： 将更简单的任务转移到内部进行并使用微调后的自己的模型进行处理。（注：潜在意思是专门化的模型要和通用大模型进行搭配 为大语言模型（部署构建更可预测的基础设施。