实验：怎么知道这次改动确实改善了什么

为什么不能用前后对比

季节性、正在跑的活动、用户构成的变化——它们都有影响。同时进行的随机分流能中和掉这些因素，所以它是唯一能给出可靠答案的工具。

怎么跑才对

事先定好主指标、样本量和实验时长，并且不要在改善刚一出现时就停下——提前停止是最常见的自欺方式。

至少保留一个制衡指标，用来发现那种「以牺牲别处为代价换来的改善」。

流量不够的时候

内部系统里未必有统计意义上的样本。那就在一个固定的评估集上比较，并加上定性检查：二十个真实case、两位评估者、一个有理由的结论。