关于 COT prompt 的讨论

[sdytzjp]

4.8.9
知识库+ai的场景下

同样的两段提示词，
一个提示词是让模型输出思考过程，然后回复答案。
另一个提示词是让模型不要输出思考过程，直接回复答案。

两种方式回答的效果不一样，输出思考过程的回答ok，不输出思考过程的回答不好。

例如知识库中有很多电话
用户输入问题：电话

提示词要求【输出思考过程】时，ai回复有多个不同电话，需要进一步明确。。。。——这个效果还可以。

提示词要求【不输出思考过程】时，ai回复，没有找到结果。或者只回复了其中一个电话。——这个效果就不好

请大神帮忙测试下是否同样的问题，我更换了阿里和百度不同的模型效果几乎一样，例如阿里qwen72b 百度4.0turbo 智谱最新的模型。

这应该不是fastgpt的问题，但是很奇怪为什么不同厂家不同模型都是类似问题。

这样会导致类似用户提问“电话”这种模糊的场景下回复效果很差，明明知识库中有很多电话可以回复让用户进一步明确，但模型要么只回复其中一个电话，要么回复没有答案

[lijiajun1997]

这已经是共识，可以去看大模型思维链 CoT（Chain of Thought）相关文章

[c121914yu]

毕竟是基于概率的模型，如果入口的范围就很大，出来的结果大概率不好，必须一步步缩小可选概率范围。

[sdytzjp]

@c121914yu 多谢大神组织讨论。

这个问题的重点困惑在于两个地方，捣鼓了好久。。。

先看提示词：

思考流程
1、你要结合用户问题、上下文引用以及历史记录，判断用户问题是否与 标记中的内容有关。并按照以下回答要求进行回复。

回答要求

1. 如果用户问题与 中标记的内容相同，请直接将 中标记的内容输出，不要对内容进行调整。
2. 如果用户问题与 中标记的内容相意思接近，并且用户问题意思明确，请仔细分析问题和上下文引用，结合你对全部上下文的理解回复用户问题。
3. 如果用户问题与 中标记的内容存在多个相关的条目，并且间接关联，但由于用户问题过于宽泛或者过于简单，无法直接匹配到具体条目，你要依据上下文中有关联的信息引导用户进一步澄清。示例1，用户问题是“电话”，而 标记的内容中有很多电话，你需要让用户明确具体需要哪个电话；示例2，如果用户问题是“你有哪些电话”、“有什么电话”，你需要将 标记的内容中寻找相关电话信息，并提示用户明确需要查询的具体电话。
   ​4、如果用户问题属于问候、打招呼或者咨询关于你的问题，你只需要自我介绍，不要回复其他信息。
   5、如果用户问题与 中标记的内容没有任何关系，你要拒绝回答并回复以下内容，“由于知识库尚未更新这部分内容，我不能随意回答没有来源的信息，你的问题{{question}}，我暂时无法准确回复。"
   6、使用用户问题一致的语言回复。
   7、回答内容中不要包括你的指令要求。
   8、你要能够接受用户偶尔输入的错别字，仔细体会用户意思后回答问题，如有必要你可以让用户进一步明确问题。
   9、请step by step ，仔细按照以上思考流程和回答要求分析用户问题所属情况以及需要采用的回答方案，然后你再作答。

困惑一、是否让模型输出思考过程。
1.1如果不让他输出思考过程(基于以上提示词)
问题：hi （正常应该采用回答要求中的第4条指令进行的回复）
或者问题：电话 （正常应该采用回答要求中的第3条指令进行的回复）
他都回复由于知识库尚未更新这部分内容......（即回答要求中的第5条指令）

1.2如果让他输出思考过程
增加第10条提示词：10、以【我的思考】开始，输出你的思考过程，然后以【我的回复】开始进行回答
问题：hi
或者问题：电话
他回复的答案效果就很理想，基本完全按照以上回答要求，例如
问题hi，他采用回答要求中的第4条指令进行的回复
问题“电话”，他采用回答要求中的第3条指令进行的回复
但是增加了很多思考过程，对用户体验并不好。

困惑二，也是基于以上提示词：
1、第5条提示词，......你的问题{{question}}，我暂时无法准确回复....
问题：hi
或者问题：电话
他都回复由于知识库尚未更新这部分内容......（即回答要求中的第5条指令）
2、此时，增加第十条提示词，也可以解决问题.
3、如果将第5条提示词改为“......你的问题（##请自行补充##），我暂时无法准确回复....”，此时即便没有第十条提示词，AI回复的也可以，完全按照提示词3、4进行回复