线上实验是验证算法效果的唯一可靠方式。基本做法是把流量随机分成实验组和对照组，只改变一个变量，观察指标差异。随机化和单一变量是实验可信的两块基石。
流量切分要保证同质性。按用户标识哈希分桶，同一用户始终落在同一组，避免体验割裂。分桶比例根据所需样本量决定，小流量先验证方向和稳定性，再逐步放量。
指标口径必须提前定好。主指标看业务收益，护栏指标看是否有副作用，如时长、投诉率、崩溃率。指标定义、统计窗口、去重规则都要写清楚，否则实验结束再争论口径，结论无法服众。
实验周期要覆盖完整的行为周期，至少包含一个工作日和一个周末，避免周期性偏差。中途不随意改配置，出现异常先排查数据管道，再判断是否算法问题。严谨的实验流程比聪明的算法更稀缺。
