第一个客户与人工智能的聊天
Posted: Sun Jan 26, 2025 3:49 am
Rasa 的第一次迭代
转向仅 LLM 解决方案的原因
部署基于 LLM 的聊天助手
Kodee 的创建历程
1. 设置环境
2. 使用 FastAPI 构建后端
3. 使用数据库管理数据
4. 监控用户意图
5. 管理多个代理之间的聊天路由
6. 使用处理程序、函数和 API 处理查询
7. 本地运行应用程序
亲自试用 Kodee 演示
与 Kodee 互动
掌握法学硕士的三个关键要素
使用 RAG 治疗 LLM 幻觉
利用法学硕士学位改进人工智能助手
不同 GPT 版本的优缺点
主要经验和教训
Rasa 的第一次迭代
和你们中的许多人一样，我们不知道从哪里开始。因此，我们从进行市场调查开始。
我们评估了可用的解决方案及其性能和价格。由于我们的一些合作伙伴使用Rasa（一种用于构建基于文本和语音的助手的开源对话式 AI 软件），我们决定尝试一下。
以下是当时 Rasa 的工作方式（请注意，它现在更加先进了）：
Rasa 系统架构。
当客户端编写消息时，解释器（自然语言处理器（NLP））会将其分类为一些预定义的意图。
当跟踪器监视对话时，策略会使用此信息来检测意图并执行下一个预定义的操作。这些包括调用函数或编写回复。
Rasa 是一个基于规则和故事的语言框架，因此您需要描述客户端将采取的确切路径，并为该工具提供精确、具体的说明。如果客户端偏离脚本，Rasa 将无法正确回答。相反，它会向用户发送预定义的后备消息。
在分析了客户最常问的问题后，我们选择域名转移作为试点项目。下面是我们与 Rasa 一起使用的示例，目的只有一个——将域名指向 Hostinger：
我们添加了大型语言模型 (LLM)来减少后备请求的数量。如果 Rasa 无法回答问题，我们会指示 LLM 继续处理。
为此，我们使用了 OpenAI 的生成式预训练 Transformer (GPT) 。这是一个通用的 GPT-3.5 模型；我们最初没有对其进行微调或训练。
大约一个月后，我们的虚拟代理已准备好进行现场测试。我们迫切想知道法学硕士课程的成绩如何。
这是第一个 AI 助手与真实客户的对话，客户提出了一个 Rasa 无法回答的问题。因此，GPT-3.5 并没有使用预定义的答案进行回复，而是进行了尝试：
初步结果看起来很有希望：Rasa 在流程描述良好的情况下表现出色，而 GPT-3.5 接管了一些后备请求。
我们决定采用这种方法，并在 Rasa 上涵盖尽可能多 垃圾电话号码数据 的新流程、意图和规则。当时，我们的主要目标是针对最频繁的客户端查询进行第一次迭代。
转向仅 LLM 解决方案的原因
到 2023 年 9 月，聊天助手已全面投入运营，其处理的查询数量呈指数级增长：
由人工智能聊天机器人处理的对话。
然而，我们很快意识到，我们的聊天助手流程严格，不够灵活，无法真正理解客户的需求。它完全回答了大约 20% 的对话，其余的则交给了我们的客户成功团队。
正如第一次回访对话所示，LLM 理解了请求并与客户进行了很好的沟通。问题是它只提供了一般性信息。
我们希望人工智能能够为客户提供更多指导和实际数据，从而减轻客户成功团队的负担。为了实现这一目标，我们需要创建更多流程，并减少 LLM 因缺乏知识而提供的不准确答案。
转向仅 LLM 解决方案的原因
部署基于 LLM 的聊天助手
Kodee 的创建历程
1. 设置环境
2. 使用 FastAPI 构建后端
3. 使用数据库管理数据
4. 监控用户意图
5. 管理多个代理之间的聊天路由
6. 使用处理程序、函数和 API 处理查询
7. 本地运行应用程序
亲自试用 Kodee 演示
与 Kodee 互动
掌握法学硕士的三个关键要素
使用 RAG 治疗 LLM 幻觉
利用法学硕士学位改进人工智能助手
不同 GPT 版本的优缺点
主要经验和教训
Rasa 的第一次迭代
和你们中的许多人一样，我们不知道从哪里开始。因此，我们从进行市场调查开始。
我们评估了可用的解决方案及其性能和价格。由于我们的一些合作伙伴使用Rasa（一种用于构建基于文本和语音的助手的开源对话式 AI 软件），我们决定尝试一下。
以下是当时 Rasa 的工作方式（请注意，它现在更加先进了）：
Rasa 系统架构。
当客户端编写消息时，解释器（自然语言处理器（NLP））会将其分类为一些预定义的意图。
当跟踪器监视对话时，策略会使用此信息来检测意图并执行下一个预定义的操作。这些包括调用函数或编写回复。
Rasa 是一个基于规则和故事的语言框架，因此您需要描述客户端将采取的确切路径，并为该工具提供精确、具体的说明。如果客户端偏离脚本，Rasa 将无法正确回答。相反，它会向用户发送预定义的后备消息。
在分析了客户最常问的问题后，我们选择域名转移作为试点项目。下面是我们与 Rasa 一起使用的示例，目的只有一个——将域名指向 Hostinger：
我们添加了大型语言模型 (LLM)来减少后备请求的数量。如果 Rasa 无法回答问题，我们会指示 LLM 继续处理。
为此，我们使用了 OpenAI 的生成式预训练 Transformer (GPT) 。这是一个通用的 GPT-3.5 模型；我们最初没有对其进行微调或训练。
大约一个月后，我们的虚拟代理已准备好进行现场测试。我们迫切想知道法学硕士课程的成绩如何。
这是第一个 AI 助手与真实客户的对话，客户提出了一个 Rasa 无法回答的问题。因此，GPT-3.5 并没有使用预定义的答案进行回复，而是进行了尝试：
初步结果看起来很有希望：Rasa 在流程描述良好的情况下表现出色，而 GPT-3.5 接管了一些后备请求。
我们决定采用这种方法，并在 Rasa 上涵盖尽可能多 垃圾电话号码数据 的新流程、意图和规则。当时，我们的主要目标是针对最频繁的客户端查询进行第一次迭代。
转向仅 LLM 解决方案的原因
到 2023 年 9 月，聊天助手已全面投入运营，其处理的查询数量呈指数级增长：
由人工智能聊天机器人处理的对话。
然而，我们很快意识到，我们的聊天助手流程严格，不够灵活，无法真正理解客户的需求。它完全回答了大约 20% 的对话，其余的则交给了我们的客户成功团队。
正如第一次回访对话所示，LLM 理解了请求并与客户进行了很好的沟通。问题是它只提供了一般性信息。
我们希望人工智能能够为客户提供更多指导和实际数据，从而减轻客户成功团队的负担。为了实现这一目标，我们需要创建更多流程，并减少 LLM 因缺乏知识而提供的不准确答案。