我数据生涯中见证的最昂贵的错误

来源于Ng 为什么机器学习的真正成功不仅仅在于优化单一指标 "新的信用模型表现不如预期，"他说道。 我的同事们从"作战室"出来时，看起来很沮丧。 这是我第一次在商业环境中目睹数据科学的"失误"，当时我还没有完全理解其影响程度。 在接下来的六个月里，我逐渐认识到这是一个代价极其高昂的错误，无论是从财务还是运营的角度来看，因为它对公司产生了连锁反应和持续的影响。 这个问题影响到了每个团队，我们在之后的几个月里都在不懈努力： • 分析师负责跟踪资产组合的健康状况 • 数据科学家致力于诊断问题并修复 • 工程师与数据科学家合作部署新模型 • 产品营销人员负责活动策划和消息传达 • 运营人员负责客户沟通和还款 第一个危险信号是违约率远高于预期，但这仅仅是个开始： • 更高的违约率意味着更多客户进入催收队列 • 负责客户沟通的债务催收团队很快就不堪重负 这种能力不足导致了高压的工作环境，造成运营团队人员流失增加，降低了生产力和绩效指标。 最终，公司不得不将比平常更多的贷款作为坏账注销。在接下来的几个月里，风险损失达到了惊人的水平。 究竟发生了什么？ 这个模型在测试中表现很好——它本应比前一个版本有显著改进，并达到了所有关键业务目标。 但在真实世界部署后却没有产生任何价值。 为什么？ 它被过度优化了。 更多内容见图中