docs: clarify cohort-safe pilot metrics
This commit is contained in:
parent
ed0d343139
commit
55c6c20d7d
@ -204,7 +204,7 @@ API_ORIGIN=https://<api-domain> ./deploy/production-smoke.sh
|
||||
|
||||
### 8.3 试点指标基线
|
||||
|
||||
角色 smoke 通过后才能开始计入真实样本。指标口径与 Phase 2 决策带见《试点指标采集与Phase2决策方案-2026-08-02.md》;只读采集脚本为 `backend/db/queries/pilot_metrics.sql`。首次结果必须保存 `[from,to)`、门店内部 ID、四仓 commit、数据库快照时间和结果文件 SHA-256,且三项指标可靠性反例为 0。
|
||||
角色 smoke 通过后才能开始计入真实样本。指标口径与 Phase 2 决策带见《试点指标采集与Phase2决策方案-2026-08-02.md》;只读采集脚本为 `backend/db/queries/pilot_metrics.sql`。首次结果必须显式填写 3~5 个 `@pilot_store_ids`,保存 `[from,to)`、门店内部 ID 集合、四仓 commit、数据库快照时间和结果文件 SHA-256,且四项指标可靠性反例为 0。
|
||||
|
||||
## 9. 回滚
|
||||
|
||||
|
||||
@ -17,7 +17,7 @@
|
||||
- 观察期:建议 4~8 周;所有日报/周报统一使用 Asia/Shanghai,时间窗口为 `[from, to)`。
|
||||
- 总样本闸门:全店合计 `complete_service_count ≥ 200`。
|
||||
- 分布闸门:每家进入结论的门店至少 25 次完整服务,避免单店数据支配判断。
|
||||
- 质量闸门:31 项 production preflight 全为 0;指标查询的三项可靠性反例全为 0。
|
||||
- 质量闸门:31 项 production preflight 全为 0;指标查询的四项可靠性反例全为 0。
|
||||
- 第 50 次完整服务做一次口径复核,只允许修正采集缺陷;不得为了达标追溯篡改既有事件或更换分母。
|
||||
|
||||
## 3. 指标字典
|
||||
@ -26,11 +26,11 @@
|
||||
|------|------|------|
|
||||
| 完整服务数 | 去重 `service_completed.aggregateId` | 200 次样本主闸门 |
|
||||
| 履约闭环率 | 完整服务 / `service_started` | 店员能否顺畅完成服务与报告 |
|
||||
| 报告确认发送率 | `report_sent` / `report_submitted` | 报告是否真正进入传播动作 |
|
||||
| 24h 内发送率 | 提交后 24h 内首次 `report_sent` / 已提交报告 | 值班流程是否及时 |
|
||||
| 报告打开率 | 去重打开过的报告 / 已确认发送报告 | 宠主是否收到并愿意打开 |
|
||||
| 打开→留资率 | 去重 `lead_submitted` / 打开报告 | 下次服务提醒是否有价值 |
|
||||
| 留资→再次预约率 | `rebook_created` / `lead_submitted` | 回访商业闭环;只认真实 Appointment |
|
||||
| 报告确认发送率 | 同窗提交后形成 `report_sent` 的报告 / 同窗 `report_submitted` 报告 | 报告是否真正进入传播动作 |
|
||||
| 24h 内发送率 | 提交后 24h 内首次 `report_sent` / 已完整观察 24h 的提交 cohort | 值班流程是否及时;窗口末 24h 的新报告暂不进分母 |
|
||||
| 报告打开率 | 同窗确认发送后去重打开的报告 / 同窗已确认发送报告 | 宠主是否收到并愿意打开;员工预览或发送前打开不计 |
|
||||
| 打开→留资率 | 打开后产生留资的去重报告 / 已打开报告 | 下次服务提醒是否有价值;按报告而非线索条数,避免多人手机号放大 |
|
||||
| 留资→再次预约率 | 同窗留资中形成 `rebook_created` 的 source lead / 同窗 `lead_submitted` | 回访商业闭环;只认 FollowUpTask 关联的真实 Appointment |
|
||||
| 到期回访按时完成率 | due_date 后两天结束前完成 / 已完成任务 | 员工是否真正执行队列 |
|
||||
| 回访平均联系次数 | AVG attempt_count | 联系成本与任务设计负担 |
|
||||
| 无效联系方式率 | invalid_contact / 已终结任务 | 留资质量与输入校验 |
|
||||
@ -54,12 +54,12 @@
|
||||
|
||||
## 5. 采集与输出
|
||||
|
||||
事实源:`t_business_event`、`t_follow_up_task`,门店配置/开通状态只用于筛选试点范围。只读查询:`backend/db/queries/pilot_metrics.sql`。
|
||||
事实源:`t_business_event`、`t_follow_up_task`,门店配置/开通状态只用于筛选试点范围。只读查询:`backend/db/queries/pilot_metrics.sql`。查询默认 `@pilot_store_ids='0'`,不会返回全部门店;执行人必须显式填写本轮 3~5 个门店内部 ID,并让所有查询共用同一个 `[from,to)`。
|
||||
|
||||
执行规则:
|
||||
|
||||
1. 只在只读账号或只读副本执行,不把数据库凭据写入仓库或命令历史。
|
||||
2. 先固定 `@pilot_from/@pilot_to/@pilot_store_id`,保存查询脚本 commit、数据库快照时间和结果文件 SHA-256。
|
||||
2. 先固定 `@pilot_from/@pilot_to/@pilot_store_ids`;不得使用 `NULL` 或空字符串扩大到全库。保存门店 ID 集合、查询脚本 commit、数据库快照时间和结果文件 SHA-256。
|
||||
3. 日报只观察系统异常、积压和隐私退订;周报才讨论转化,避免小样本日波动驱动功能变更。
|
||||
4. 输出仅含门店内部 ID、计数、比率和时间,不导出手机号、宠物名、员工名、token、openid/unionid、IP、备注或媒体 URL。
|
||||
5. 每周结果关联当周应用四仓 commit 与是否发生迁移/事故;指标口径变更必须新建版本,不覆盖历史结果。
|
||||
|
||||
Loading…
Reference in New Issue
Block a user