样本量不足是实验设计最常见的硬伤。样本小时随机波动大，实验组和对照组的差异很容易被噪声淹没，得出没有显著差异的结论，或者反过来误判为有效。
先算清楚需要多少样本。根据基线指标、预期提升幅度和显著性水平，可以在实验开始前估算所需样本量，而不是做完再补算。
如果流量确实有限，可以延长实验周期覆盖完整行为周期，或者提高实验灵敏度，比如用方差更小的指标、做分层抽样、减少同时进行的实验数量。
也可以考虑准实验方法，比如时间序列对比或倾向得分匹配，但这些方法的因果说服力弱于随机实验。样本不足时，结论要标注不确定性。
