2023年双11前两周，某服装电商把首页推荐位从人工运营换成模型排序，离线AUC做到0.78，团队很满意。上线后CTR只涨了0.3个百分点，转化率反而掉了1.1个百分点。复盘发现，训练样本把「曝光未点击」全部当负样本，而线上推荐位只展示前20个商品，位置偏差把负样本分布彻底扭曲了。修正方式是按位置分层加权，把第1位权重设为1.0、第20位设为0.12，重训后线上转化恢复并超出基线0.6个百分点。
第一个常见错误：把「点击」当唯一正样本。加购、收藏、详情页停留超过8秒、店铺页跳转这4类行为，转化贡献差异很大。做法是给点击1分、加购3分、收藏2.5分、成交5分，做加权CTR预估。第二个错误：用户ID和商品ID做one-hot后维度爆炸，30天日志里出现420万个用户ID，直接训崩内存。改成hash分桶，用户桶数取200万、商品桶数取50万，效果损失不到0.2%。
第三个错误出在时间切分。随机切分会把同一用户前后两天的行为分到训练集和测试集，造成信息泄漏，离线指标虚高0.05以上。正确做法是按时间切：用前28天训练，第29到30天验证，第31天测试，并且验证集与测试集之间留1天缓冲，避免跨天行为串扰。
对比一下两套口径：口径A统计「曝光-点击-加购-成交」四层漏斗，口径B只统计「曝光-点击」。A能定位到加购环节流失，某品类加购率从8.2%跌到5.4%，一眼看出是价格带问题；B只能看到CTR平稳，掩盖了真实问题。代价是A的埋点字段多出11个，日志量涨约40%，按每天2亿条日志、每条1.8KB算，存储成本每月多约1.2万元。
第五个错误：统计口径混用自然流量和推荐流量。把首页自然搜索的成交算进推荐模型效果，虚增约15%。必须按流量来源打标，推荐位曝光单独记录request_id，归因窗口取7天，跨窗口成交不计。第六个错误：负采样比例不当。全量负样本训练慢，常用1:4负采样，但采样后预测概率需要做校准，用保序回归在验证集上拟合，否则排序用没问题、出价场景会系统性低估。
第七个错误：忽略新用户冷启动。注册7天内用户占日活约23%，历史行为少于3条，模型打分几乎等于先验。做法是给新用户单独切一个流量桶，占比10%，用规则兜底：热度排序加类目多样性约束，同一类目最多2个坑位，观察14天后与模型组做A/B，样本量按最小可检测提升0.5个百分点、功效80%计算，每组约需38万曝光。
上线前检查清单按顺序走：1)确认正负样本定义与业务目标一致；2)按时间切分并留缓冲；3)检查ID类特征是否泄漏未来信息；4)校准预测概率；5)新用户单独兜底；6)小流量A/B跑满7天；7)观察次日留存和GMV双指标，不只盯CTR。任何一步跳过，后面调参都是白费。
