原审查指出的口径混淆
假阳性占固定负样本的比例、报警中错误比例、危险事件召回和输出覆盖有不同分母,不能统称精度。
展开依据和细节
若最高分报警是错、较低两条是对,提高阈值到只留最高分会降低precision。这是算术反例,不是市场实测。
沉默也要记账
永不报警可在非事件很多的样本中有较高总准确率,但报警precision没有分母,危险事件召回为0。
展开依据和细节
低覆盖、漏报、未结算与相关事件需要并列报告,不能靠不回答困难时段让系统显得有效。
云端原稿补充|精度之外还要看漏报、提前量与等待损害
9月17日原研究给出算术反例:100个事件有20个危险事件,报警10个且6个正确,则报警precision为60%、危险召回为30%;其中只有2个足够早,及时召回为10%。这些数是说明分母的例子,不是市场运行结果。
展开依据和细节
恢复与危险可能先后均发生,不能把不互斥概率强行加成100%;未知是数据或模型质量标记,不能填成安全、50%或已观察到的无事件。同一事件固定参照,撤销报警不能删除先前误报。
旧方案要求按交易日切分、清理跨集合未来标签、前缀一致性及未来扰动检查,并同时报告误报、召回、提前量、已承受偏离、恢复损害与覆盖。训练窗口只是实验建议,不是已选最优配置。这些验证本次都未执行。
整理依据与来源
- 预测系统蓝图|历史备份与研究报告