Prompt 怎么系统设计与优化?

结合策略、评估方法与实际场景提升输出质量

原题：在大语言模型应用中，如何系统性地设计与优化提示词（Prompt）以提升输出质量、准确性和稳定性？请结合具体策略、评估方法及实际应用场景，阐述你在提示工程中的实践方法与思考。

Prompt工程 · 脉脉真题

回答与解析

一、结构化Prompt设计框架

我采用四层结构作为基础模板：

• 角色层：定义模型身份（如"资深数据分析师"），激活领域知识

• 任务层：明确输入、处理逻辑、输出目标，避免歧义

• 约束层：硬性规则（长度限制、禁用词）、软性偏好（风格、详略程度）

• 格式层：强制输出结构（JSON/Markdown/固定字段），便于下游解析

关键技巧：关键指令后置（近因效应）、敏感约束重复强调、使用分隔符区分上下文。

---

二、进阶策略：从静态到动态

场景	策略	示例
复杂推理	CoT/ToT	"请逐步思考：①分析条件 ②列出公式 ③计算验证"
低资源任务	少样本学习	3-5个输入-输出对，覆盖边界case
多轮交互	动态上下文压缩	保留摘要+关键实体，丢弃过时细节
RAG场景	检索结果重排序	按相关性打分注入，标注来源可信度

---

三、评估与迭代体系

三层验证：

1. 规则层：正则/JSON Schema校验格式合规性

2. 模型层：用更强模型（如GPT-4）作为裁判，设计评分rubric

3. 业务层：埋点采集用户满意度、任务完成率、人工复核准确率

迭代机制：建立Prompt版本库，小流量A/B测试，关键变更需回归测试集（含对抗样本）。

---

四、RAG/Agent场景的特殊考量

• RAG：Prompt中显式区分"检索知识"与"模型先验"，设置拒答阈值（"若检索结果置信度关键一句:系统Prompt与用户Prompt的边界处理不当会导致模型混淆规则

面试官还可能这样问

1. 问法 1 · 场景切入假设你做一个智能客服，用户问‘订单状态’，模型直接报错；你改了下prompt加了‘请用中文回答’，结果又输出太啰嗦。你一般怎么系统性地设计prompt，让输出稳定又准确？
2. 问法 2 · 层层追问你平时写prompt怎么保证效果稳定？……如果遇到复杂推理任务，比如计算折扣价，怎么让模型一步步算对？……那你怎么评估prompt改得好不好？有没有具体指标？
3. 问法 3 · 直球架构设计一个系统化的prompt优化流程，包括结构设计、动态调整策略和评估方法。你会考虑哪些关键模块？怎么保证输出质量和稳定性？