文章摘要AI应用上线后可以采集大量信号用户点赞或点踩、复制答案、点击引用、重新提问、转人工、最终工单是否解决、专家如何修订以及完整的生产Trace。团队最容易犯的错误是把这些信号放入同一个“反馈表”然后直接计算一个质量分。不同信号回答的是不同问题。点赞更接近主观体验引用点击表示核验意图重新提问可能说明意图理解失败业务结果更接近任务价值专家标注适合构建真值而生产Trace负责还原系统当时经历了什么。它们的成本、偏差、时效、隐私风险和可自动化程度完全不同。本文从信号语义、采样方式、可信度、归因、数据保留、人工成本和适用任务等维度对显式反馈、隐式行为、生产Trace、业务结果、LLM Judge和专家标注进行系统比较并给出FAQ、RAG问答、Agent、副作用工具、高风险合同和实时客服等场景的推荐组合。一、六类信号1. 显式用户反馈 2. 隐式行为信号 3. 生产Trace 4. 业务结果 5. 自动Evaluator / Judge 6. 专家标注二、显式用户反馈形式有帮助/没帮助星级原因选择自由评论用户提交正确答案。优点直接表达用户感受实现简单响应快容易定位单条回答。缺点参与率低自选择偏差不等于事实真值容易受UI影响恶意或随意点击。适合衡量体验 可读性 相关性 主观帮助程度不适合单独判断法律正确性 金额正确性 安全 引用支持三、隐式行为信号包括复制引用点击停留时间重新提问问题改写退出转人工下载分享回退。优点覆盖率高不需要用户额外操作接近真实使用。缺点解释困难受产品流程影响因果不清可能被机器人或重复操作污染。四、复制代表什么可能表示内容可用格式方便用户准备核验需要贴给别人答案长懒得重新写。复制不代表正确。更可靠组合复制 后续业务采用 无人工修订五、引用点击代表什么可能表示用户想核验对答案不信任需要查看原文引用标题有吸引力工作流程要求。要结合点击后是否返回 是否继续点踩 是否修改结论六、重新提问代表什么可能是答案没解决用户补充条件目标改变多轮自然对话原问题表达不清。可通过语义差异区分同意图重述 条件补充 新意图七、生产TraceTrace包含Query Plan-检索候选-Rerank-Evidence-模型-Prompt-Tool-缓存-延迟-Usage-错误。优点可重放可归因解释系统行为适合事故调查。缺点没有天然真值数据量大隐私风险高保留成本高版本可能不可复现。八、Trace不是标签Trace说明发生了什么不直接说明结果是否正确它必须与用户、业务或专家结果关联。九、业务结果例子工单解决-合同风险确认-审批通过-报告采用-退款成功-人工是否返工-客户是否再次投诉。优点接近真实价值可以量化比点赞更难被表面表达欺骗。缺点延迟多因素影响归因困难需要系统打通可能缺失。十、业务结果不能全归因给模型工单失败可能因为后端系统-人工流程-库存-权限-用户没有执行建议。需要因果链和中间状态。十一、LLM Judge适合开放回答-相关性-完整性-Groundedness-语气-摘要质量。优点自动化可规模运行快速反馈。缺点随机性-位置偏差-自我偏好-版本漂移-成本-不是真值。十二、确定性Evaluator适合Schema-数字-引用ID-权限-Tool次数-状态机-延迟-成本。应优先于Judge。十三、专家标注优点高可信可解释适合高风险能解决业务歧义。缺点贵-慢-一致性问题-规模有限-需要培训和Rubric。十四、专家不是天然一致需要标注指南-示例-独立标注-一致率-仲裁-版本。十五、六类信号对比信号覆盖率真值可信度时效成本隐私风险显式反馈低低中快低中隐式行为高低快低中生产Trace高无天然真值快中高高业务结果中中高慢中高自动Judge高中中中高专家标注低高慢高高十六、信号不是互相替代成熟体系Trace负责还原 规则负责确定性检查 Judge负责开放维度 用户负责体验 业务结果负责价值 专家负责真值十七、FAQ推荐组合显式反馈 重新提问率 低成本Judge 随机人工抽样FAQ风险低适合较高自动化。十八、企业制度RAG显式反馈 引用点击 Claim支持 文档版本 专家事故抽样不能只看用户满意度。十九、高风险合同确定性规则 专家标注 业务最终修订 完整Trace用户点赞权重低。二十、Agent任务最终状态 Tool轨迹 副作用结果 人工接管 用户反馈文本回答只是一个部分。二十一、客服场景一次解决率 转人工 重复联系 用户满意 业务正确性抽检要防止通过拒绝转人工来“优化”转人工率。二十二、实时数据问答数据快照 工具返回 数值确定性校验 过期率点赞作用有限。二十三、反馈信号分层模型publicrecordQualitySignal(StringsignalId,SignalTypetype,StringresponseId,StringtraceId,SignalReliabilityreliability,JsonNodevalue,InstantobservedAt,InstantvalidUntil){}二十四、信号可信级别publicenumSignalReliability{WEAK,MODERATE,STRONG,GOLD}示例复制WEAK 点踩错误原因MODERATE 业务最终状态STRONG 专家仲裁GOLD二十五、信号有效期在线政策会变化。一条2025年的正确标注可能对2026年制度失效。信号必须绑定业务版本-文档版本-时间-任务。二十六、统一Response ID所有信号围绕response_id关联Trace-Evidence-模型-Prompt-缓存-反馈-业务结果-专家标注。二十七、生产Trace的最小保存至少runtime_manifest query_plan_id evidence_bundle_id tool_trace_ref output_hash usage latency cache_hit敏感正文可以引用受控对象不必进入主事件。二十八、采样策略不是所有Trace都完整保存。建议100%保存低敏元数据 100%保存错误与事故 按风险保存正文 按概率保存正常Trace 按租户政策调整二十九、Head Sampling与Tail SamplingHead Sampling请求开始决定是否采样。优点简单-成本可控。缺点无法提前知道是否失败。Tail Sampling完成后根据错误-延迟-风险-反馈决定保留。更适合AI质量事故。三十、敏感信息分层指标无正文 Trace元数据Hash和版本 受控内容存储Prompt、Completion、Evidence 反馈评论独立敏感存储三十一、不要把高基数内容放指标标签禁止user_id full_prompt document_title comment response_text作为Metric Label。高基数内容只进入受控Trace或事件仓库。三十二、Feedback UI设计好的反馈UI一次点击完成负反馈可选原因-高风险场景允许提交修正-说明数据用途-支持撤销-避免诱导。三十三、随机反馈抽样不要每次弹窗。可以随机-按任务-按新版本-按低置信-按Canary-按租户。记录曝光才能正确计算反馈率。三十四、反馈率分母反馈用户数 / 被邀请用户数与反馈事件数 / 所有回答数含义不同。三十五、质量信号仓库createtablequality_signal(signal_idvarchar(64)primarykey,response_idvarchar(128)notnull,trace_idvarchar(128),signal_typevarchar(64)notnull,reliabilityvarchar(32)notnull,valuejsonbnotnull,observed_at timestamptznotnull,valid_until timestamptz);三十六、专家标注表createtableexpert_annotation(annotation_idvarchar(64)primarykey,sample_idvarchar(128)notnull,annotator_hashvarchar(128)notnull,rubric_versionvarchar(64)notnull,decisionvarchar(32)notnull,componentvarchar(64),severityvarchar(32),result jsonbnotnull,created_at timestamptznotnull);三十七、信号融合不要直接简单加权score 点赞*0.5 复制*0.2 业务结果*0.3先按维度报告再进行明确用途的模型。三十八、用于发布门禁的信号适合安全事故-跨租户-Claim支持-业务成功-纠正率-转人工率-高风险专家失败。不适合单独门禁复制率-停留时间-回答长度-点赞。三十九、用于数据发现的信号弱信号很适合发现候选失败样本但不适合直接生成真值。四十、用于训练的信号训练前必须去重-归因-版本-脱敏-质量审核-偏差分析-保留来源。四十一、用于Reranker的信号引用点击不能自动当正样本。更好被引用Claim实际支持 用户采用 专家确认四十二、用于Prompt优化选择可复现 且 根因属于Prompt的样本。检索错误不应该靠Prompt补救。四十三、用于知识库修复如果正确答案不在文档应归因知识内容缺失而不是模型。反馈闭环还要支持Knowledge Gap任务。四十四、知识缺口事件publicrecordKnowledgeGap(StringgapId,StringqueryCluster,StringknowledgeBaseId,longoccurrenceCount,ListStringevidenceIds,GapStatusstatus){}四十五、自动Judge与人工抽样在线Judge可筛选低分样本。人工抽样应包含低分-高分-无反馈-新版本-长尾-高风险。否则只审查Judge认为有问题的样本会遗漏Judge盲区。四十六、基准数据回流正式流程Quality Signal ↓ Candidate Sample ↓ Triage ↓ Reproduction ↓ Annotation ↓ Approval ↓ Dataset Version四十七、数据泄露风险生产样本进入评测集前PII脱敏-租户授权-合同限制-数据区域-保留期-访问审计-模型处理政策。四十八、采样偏差报告每个数据集版本应报告source_distribution task_distribution risk_distribution tenant_distribution language_distribution feedback_distribution避免反馈样本占比过高。四十九、指标体系quality_signal_total{ type, reliability } feedback_invitation_total feedback_response_rate trace_retention_total{ reason } business_outcome_link_rate expert_annotation_agreement failure_sample_approval_rate knowledge_gap_total{ status } production_to_dataset_lag_seconds五十、选型决策树需要判断用户体验 →显式反馈隐式行为 需要还原故障 →生产Trace 需要判断任务价值 →业务结果 需要开放质量自动筛查 →Judge 需要高风险真值 →专家标注 需要确定性事实 →规则Evaluator五十一、最终检查清单□ 每类信号有明确语义 □ 没有把所有信号压成一个模糊总分 □ Response ID串联Trace、反馈和业务结果 □ 用户反馈记录曝光和UI版本 □ Trace采用风险感知采样 □ Prompt与Completion不进入指标标签 □ 敏感正文与元数据分层存储 □ 弱信号只用于发现候选 □ 高风险真值由专家或业务结果确认 □ Judge不替代确定性规则 □ 数据回流前完成归因、版本和脱敏 □ 训练样本保留来源和审批记录 □ 人工抽样包含高分和无反馈样本 □ 发布门禁使用强信号 □ 数据集报告采样偏差总结AI反馈体系不是选择“点赞还是日志”而是让不同信号承担不同职责用户反馈看体验 行为信号看使用 Trace看过程 业务结果看价值 Judge看开放质量 专家看真值这些信号只有围绕同一个Response和Runtime Manifest被正确关联才能形成可信闭环。最成熟的做法不是自动相信某一个信号而是让弱信号发现问题、强信号确认问题、Trace解释问题、专家和业务结果定义修复目标。