《关键迭代：可信赖的线上对照试验》是一本由[美] 罗恩·科哈维（Ron Kohavi） / [美] 黛安·著作，机械工业出版社出版的平装图书，本书定价：99元，页数：296，特精心从网络上整理的一些读者的读后感，希望对大家能有帮助。

　　《关键迭代：可信赖的线上对照试验》读后感(一)：AB测试圣经

　　终于等到这本书的中文版，Ronny、Tang和许亚都是在线实验的泰斗级专家，难得看到他们合作写书，国内一直没有系统性讲解AB测试的书，在一线互联网公司上班，全方位了解AB测试的流程以及实验设计方面的知识，比如如何确定对照组和实验组，如何选择指标，如何评估结果，都非常重要，也是数据产品经理的必备技能！

　　《关键迭代：可信赖的线上对照试验》读后感(二)：不适合当实操方法论的ab实验书

　　笼统地说，这是一篇严谨的大论文，书的最后光引用论文就十几页。但这不影响它成为一本食之无味的互联网专业书。 作为三年级的数据分析师还是非常希望能看到一本专业讲ab测试的书，但翻完一遍还是挺失望的。就且斗胆吐槽两句。 原因有两点。 第一，不接地气。这是一本来自美国经验的书。全书只有几个案例，印象深刻的分别是亚马逊的电子邮件和必应的搜索优化。且不说这和国内互联网做的ab实验严重脱轨，每个案例只有短短一两页，好像说了什么，好像什么也没说。而这也是这本书的风格，每章内容都浅尝辄止，拢共在235页的书里分出了23章，可以动手算一下每章内容有多长。 第二，严谨有余，实操不足。ab实验流程，工具或者平台在本书都有提及，但是读下来的感觉是没法落地。举例来说，怎么设计ab实验，怎么分流，怎么设计ab实验平台，怎么具体做多指标检验等等没有给出手把手的实操过程。简单来说就是，当你ab实验过程遇到问题，这本书没法充当字典，因为它只有理论。

　　但这本书也不是完全没有可取的地方。在P值，t检验这些统计学理论上还是讲得比较深入了。ab实验中新奇效应，保留反转实验等等概念都有涉足了。

　　总结一下，这本书非常严谨，但是不实操。如果想通过看书提升在国内做ab实验的能力，这本书还有比较远的距离。

　　《关键迭代：可信赖的线上对照试验》读后感(三)：纯阳书评第444期《关键迭代》

　　这本书专门讨论A/B测试。众所周知，A/B测试是一种用于帮助互联网产品更新迭代的方法，其逻辑似乎也很简单，其典型使用方式是有了一个新功能，但不知道用户认不认，于是把原来的产品当作A，把新功能的产品当作B，通过使用效果评价新功能的好坏。上述对A/B测试的解读大体上是对的，但是“大体上对”和“真的对”不是一回事，因为“大体上对”的表述过于粗陋，容易忽略过多的关键细节，导致其丧失殆尽应有的意义，无法成为评估决策的可靠依据，因为没有人会严肃对待一份基于“大体上对”操作的测试结论，更不敢以此作为决定性的决策依据。

　　可见A/B测试的逻辑似乎是简单的，但是这种简单性显然要紧紧依托严谨性和系统性来支撑，那么问题来了，我们去哪里系统性地找到这种内含严谨特性的A/B测试？答案就是这本书。

　　本书第一个看点是填补了A/B测试教科书级空白。一本好的教科书首先需要的系统性和严谨性，而这本书最鲜明的特点也是这两个特点。先说系统性，一是作者没有将A/B测试简单当作一个技术问题去看待和思考，而是认识到技术只是A/B测试的一个方面，A/B测试涵盖了组织、文化、流程、技术、伦理、心理等众多领域和方面，所以要从更广阔的视野去把握A/B测试，比如强调从人的习得效应、新鲜效应去分析和解读实验结果，否则数据是真的，结论却是错的。二是作者没有陷入A/B测试千头万绪的细节陷阱中，而是有条不紊地围绕形成假设、设计实验、获得数据、分析数据、形成结论这个逻辑闭环去阐述A/B测试，确保了整体结构的系统性和关联性，杜绝了内容组织上的碎片化。这一点绝对不是众多讲述A/B测试的网络文章能够简单相提并论的。

　　再说严谨性，观点第二，考据第一，没有根据，再高妙的观点都是无根之木，无源之水，本书在这方面表现的同样出色，接近教科书级水准。基本上每一个观点都有根据，很少用据说、可能等含混不清的表达蒙哄过关，书后20页的参考文献也充分证明了这一点。

　　正因为显著的系统性和经得起推敲的严谨性，所以这本书达到了教科书级水平，填补了A/B测试教科书的空白。

　　本书第二个看点是实战性。理论上知道怎么回事和真正知道怎么回事是两回事。理论上知道怎么回事，往往知道的是正向逻辑，事情第一步是什么，会出现什么情况，然后第二步是什么，第三步是什么。但是实际情况往往不是这么回事，第一步做完以后，可能出现理论没有提到的情况，甚至是理论不相一致的情况。这个时候有实战经验的人就知道该怎么处置这种新情况和例外，想办法过了眼前这一关。而本书的实战性就体现在三位作者都是A/B测试领域里的实战派人士，在书中分享了自己在实践中总结的真实经验。当然了，每个人的实践都有其独特性，这些分享未必能够给为读者的问题带来直接的答案，但是相信如果能够耐心体会，肯定会有启发。

　　《关键迭代：可信赖的线上对照试验》读后感(四)：十五读书 | 策略产品经理必读的一本A/B测试“圣经” B08

　　上周，机械工业出版社出版了一本《关键迭代：可信赖的线上对照试验》 作为与机工社合作过的作者，十五有幸第一时间拿到样书作为作者福利。十五花了几天时间阅读了大部分章节，结合我的一些想法，聊一聊书中我觉得比较有意思的案例和观点

　　上周，机械工业出版社出版了一本《关键迭代：可信赖的线上对照试验》

　　作为与机工社合作过的作者，十五有幸第一时间拿到样书作为作者福利。

　　这本书是英文版《Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing》的中译本。

　　原书作者Ron Kohavi被业界尊为在线实验“教父”，目前在Airbnb担任副总裁和技术院士，另外两位作者也分别是Google、Linkedin的数据科学家。

　　这本书围绕线上对照实验（A/B测试），讲解了实验前后要注意的方方面面，被广大互联网从业人员誉为A/B测试领域的“圣经”。

　　去年5月上市之后，这本书在豆瓣、Amazon等处的评分都在9分（满分10分）或4.5分（满分5分）以上。现在中译本上市，翻译团队也是来自Airbnb、Uber、腾讯等公司的数据专家。

　　十五花了几天时间阅读了大部分章节，结合我的一些想法，聊一聊书中我觉得比较有意思的案例和观点：

　　这么些年下来有一个感觉，你说掌握大量统计学知识对于策略产品经理来说重要吗？

　　重要，但也没那么重要，因为随着分工越来越细，组织越来越成熟，许多统计学相关的逻辑（如计算显著性、置信区间等）都内化在了一些测试平台、中台当中。

　　这些数学的东西，是最容易被工具化、被机器替代的。

　　但有一些事情，是必须人来做的，比如设计实验，而且是设计低成本的实验。

　　这个事情很重要，因为实验的成功率往往并不高：

　　同时平均来说单个实验带来的收益率是有限的：

　　所以如果你每个实验成本都很高，成功率低，收益有限，那我想你的策略很难排得上优先级。

　　这里举书中的两个例子，来看看低成本的实验是如何设计的：

　　第一个例子是一个电商公司的例子（来自书中第2章的一个虚构案例）。

　　有一天这家公司的市场营销部门打算做一个活动，邮件发放一批促销优惠券来提高销量。

　　但因为这家公司之前从来没有发放过优惠券，所以优惠券系统是不存在的，也就意味着做这个活动会在结账页面新增输入框用来输入优惠码。

　　这些担心不是毫无根据的，因为其他公司的过往案例显示：

　　不过其他公司的情况，未必能够说服市场营销部门取消发放优惠券的计划。这里需要更直接的实验结果。

　　那么作为这家公司的策略产品经理，该如何设计实验评估这里的影响呢？

　　很显然，先把优惠券系统做出来，再小流量A/B测试的话，这个开发成本就太高了。

　　这里更简单的做法是，用“伪门法”或“造门法”——就像造一个假门或者在墙上画一个门那样，来看看多少人会试图打开它。

　　也就是说，并不需要实现一个真正的优惠券系统，而是只需要在结账页面放上一个输入框。不管用户在这里输入什么，系统都会显示“此优惠券不可用”。

　　这样一来，就可以用很小的开发成本，评估增加优惠券这一改动对营收的负面影响，从而支持市场营销部门的决策。

　　第二个例子是一个优化网站访问速度的例子（来自书中第5章）

　　对于搜索引擎来说，响应速度是用户体验中非常重要的一部分。

　　但到了2015年，95%的搜索请求响应时间都在1秒以内了。

　　到了这个阶段，每100毫秒的优化难度显然要比过去高出许多，而收益却是未知的。

　　既然开发成本这么高，有没有办法在不做实际开发的前提下，低成本地评估响应速度提升带来的收益？

　　这时就有个很机智的做法了，我们可以采取逆向思维：提升速度、缩短响应时间是很难的，但延长响应时间可就简单多了——只需要让代码停顿100毫秒即可。

　　通过这样的减速实验，我们可以在小部分流量上评估减速带来的损失，从而倒推提速之后带来的收益。

　　当然这里需要借助一定的关键性假设——局部线性近似假设，即：

　　如图所示，我们可以假设在当前产品性能附近，关键指标与性能呈现的是线性关系，即提速100毫秒带来的收益和减速100毫秒带来的损失是相当的。

　　这个假设也不难验证：

　　最终减速实验的评估结果显示，由于Bing的营收绝对值已经很高，因此4毫秒的提升收益就足以覆盖一个工程师一年的成本，这样的结果有助于帮助公司决策要不要投入工程师优化网站性能。

　　而且减速实验的价值不止于此，我们常常会遇到产品新功能造成响应时间变慢的情况（例如展示更多搜索结果、提供更多交互元素等），这种不做任何产品改动、单纯的减速实验也能把减速带来的影响剥离出来，与产品改动带来的收益相比较，从而为新功能的权衡取舍提供决策依据。

　　策略产品经理还有一个重要的能力，是提出合适的指标来评估业务状况与实验效果。

　　虽然说读者们所处的行业五花八门，有各自的指标体系，不过在指标这一块有些坑倒是相通的。

　　一个是单一的、容易操纵的指标，比如书中的这几个例子：

　　关于如何在实验中设计好的综合评估标准（OEC），可以参考第7章。

　　还有一个是短期指标与长期指标，书中提了这样几个例子：

　　关于这方面的现象解释和解决方案，可以参考第23章。

　　除此以外，这本书在第6章从整体上介绍了指标体系，包括业务的北极星指标（目标指标）、代理指标（驱动指标）以及负向指标（护栏指标）等，建议可以在设计实验之前一读。

　　对于大公司的成熟方法，不要生搬硬套。

　　字节一向是国内A/B实验驱动的标杆，上次字节高管杨震原分享也提到了他们的方法：

　　但并不是所有的公司都能像字节一样，有足够多的资源建立起这样的实验体系。

　　不同阶段的公司，关注的地方不一样，做事方法也会有差异，这样的实验体系也是一点一点逐渐建立起来的。

　　正如书中提到的那样，即便是大公司，在一开始的时候管理实验的方法也是很粗糙的：

　　最后还是说一下这本书的不足吧：

　　一个是翻译问题。翻译一般有两种译法，一种更忠实原文，但是读起来更生硬；另一种更偏读者母语，但有可能改变原意。本书采取的是前者，所以读起来总是有一些磕磕绊绊的感觉。

　　另一个问题是精简得比较厉害，正文一共240页，23章，相当于每章内容只有10页左右；同时参考文献足足有20页，也让这本书更像是论文综述，有非常多的参考资料需要扩展阅读。

　　尽管如此，瑕不掩瑜，还是强烈建议各位互联网从业人员，尤其是策略产品经理，手头常备一本，作为工具书随时查阅。

　　原文：十五读书 | 策略产品经理必读的一本A/B测试“圣经” B08