From 55c6c20d7df5a441420c990eaac81b6b1c3c3401 Mon Sep 17 00:00:00 2001 From: malei <> Date: Sun, 2 Aug 2026 02:35:59 +0800 Subject: [PATCH] docs: clarify cohort-safe pilot metrics --- 生产发布与回滚Runbook-2026-08-01.md | 2 +- 试点指标采集与Phase2决策方案-2026-08-02.md | 16 ++++++++-------- 2 files changed, 9 insertions(+), 9 deletions(-) diff --git a/生产发布与回滚Runbook-2026-08-01.md b/生产发布与回滚Runbook-2026-08-01.md index 8e02cfe..b4ae115 100644 --- a/生产发布与回滚Runbook-2026-08-01.md +++ b/生产发布与回滚Runbook-2026-08-01.md @@ -204,7 +204,7 @@ API_ORIGIN=https:// ./deploy/production-smoke.sh ### 8.3 试点指标基线 -角色 smoke 通过后才能开始计入真实样本。指标口径与 Phase 2 决策带见《试点指标采集与Phase2决策方案-2026-08-02.md》；只读采集脚本为 `backend/db/queries/pilot_metrics.sql`。首次结果必须保存 `[from,to)`、门店内部 ID、四仓 commit、数据库快照时间和结果文件 SHA-256，且三项指标可靠性反例为 0。 +角色 smoke 通过后才能开始计入真实样本。指标口径与 Phase 2 决策带见《试点指标采集与Phase2决策方案-2026-08-02.md》；只读采集脚本为 `backend/db/queries/pilot_metrics.sql`。首次结果必须显式填写 3～5 个 `@pilot_store_ids`，保存 `[from,to)`、门店内部 ID 集合、四仓 commit、数据库快照时间和结果文件 SHA-256，且四项指标可靠性反例为 0。 ## 9. 回滚 diff --git a/试点指标采集与Phase2决策方案-2026-08-02.md b/试点指标采集与Phase2决策方案-2026-08-02.md index fd28f22..78cdece 100644 --- a/试点指标采集与Phase2决策方案-2026-08-02.md +++ b/试点指标采集与Phase2决策方案-2026-08-02.md @@ -17,7 +17,7 @@ - 观察期：建议 4～8 周；所有日报/周报统一使用 Asia/Shanghai，时间窗口为 `[from, to)`。 - 总样本闸门：全店合计 `complete_service_count ≥ 200`。 - 分布闸门：每家进入结论的门店至少 25 次完整服务，避免单店数据支配判断。 -- 质量闸门：31 项 production preflight 全为 0；指标查询的三项可靠性反例全为 0。 +- 质量闸门：31 项 production preflight 全为 0；指标查询的四项可靠性反例全为 0。 - 第 50 次完整服务做一次口径复核，只允许修正采集缺陷；不得为了达标追溯篡改既有事件或更换分母。 ## 3. 指标字典 @@ -26,11 +26,11 @@ |------|------|------| | 完整服务数 | 去重 `service_completed.aggregateId` | 200 次样本主闸门 | | 履约闭环率 | 完整服务 / `service_started` | 店员能否顺畅完成服务与报告 | -| 报告确认发送率 | `report_sent` / `report_submitted` | 报告是否真正进入传播动作 | -| 24h 内发送率 | 提交后 24h 内首次 `report_sent` / 已提交报告 | 值班流程是否及时 | -| 报告打开率 | 去重打开过的报告 / 已确认发送报告 | 宠主是否收到并愿意打开 | -| 打开→留资率 | 去重 `lead_submitted` / 打开报告 | 下次服务提醒是否有价值 | -| 留资→再次预约率 | `rebook_created` / `lead_submitted` | 回访商业闭环；只认真实 Appointment | +| 报告确认发送率 | 同窗提交后形成 `report_sent` 的报告 / 同窗 `report_submitted` 报告 | 报告是否真正进入传播动作 | +| 24h 内发送率 | 提交后 24h 内首次 `report_sent` / 已完整观察 24h 的提交 cohort | 值班流程是否及时；窗口末 24h 的新报告暂不进分母 | +| 报告打开率 | 同窗确认发送后去重打开的报告 / 同窗已确认发送报告 | 宠主是否收到并愿意打开；员工预览或发送前打开不计 | +| 打开→留资率 | 打开后产生留资的去重报告 / 已打开报告 | 下次服务提醒是否有价值；按报告而非线索条数，避免多人手机号放大 | +| 留资→再次预约率 | 同窗留资中形成 `rebook_created` 的 source lead / 同窗 `lead_submitted` | 回访商业闭环；只认 FollowUpTask 关联的真实 Appointment | | 到期回访按时完成率 | due_date 后两天结束前完成 / 已完成任务 | 员工是否真正执行队列 | | 回访平均联系次数 | AVG attempt_count | 联系成本与任务设计负担 | | 无效联系方式率 | invalid_contact / 已终结任务 | 留资质量与输入校验 | @@ -54,12 +54,12 @@ ## 5. 采集与输出 -事实源：`t_business_event`、`t_follow_up_task`，门店配置/开通状态只用于筛选试点范围。只读查询：`backend/db/queries/pilot_metrics.sql`。 +事实源：`t_business_event`、`t_follow_up_task`，门店配置/开通状态只用于筛选试点范围。只读查询：`backend/db/queries/pilot_metrics.sql`。查询默认 `@pilot_store_ids='0'`，不会返回全部门店；执行人必须显式填写本轮 3～5 个门店内部 ID，并让所有查询共用同一个 `[from,to)`。 执行规则： 1. 只在只读账号或只读副本执行，不把数据库凭据写入仓库或命令历史。 -2. 先固定 `@pilot_from/@pilot_to/@pilot_store_id`，保存查询脚本 commit、数据库快照时间和结果文件 SHA-256。 +2. 先固定 `@pilot_from/@pilot_to/@pilot_store_ids`；不得使用 `NULL` 或空字符串扩大到全库。保存门店 ID 集合、查询脚本 commit、数据库快照时间和结果文件 SHA-256。 3. 日报只观察系统异常、积压和隐私退订；周报才讨论转化，避免小样本日波动驱动功能变更。 4. 输出仅含门店内部 ID、计数、比率和时间，不导出手机号、宠物名、员工名、token、openid/unionid、IP、备注或媒体 URL。 5. 每周结果关联当周应用四仓 commit 与是否发生迁移/事故；指标口径变更必须新建版本，不覆盖历史结果。