借助AB测试Neng提升决策的说服力

UI是随便哪个一个互联网产品可直接被用户感知的有些， 用户哪种UI展示风格、哪种交互方式是用户geng中意的、Neng够带来Zui巨大获利的。

第一类：

像Google， 百度，AB两组对比测试业务分别部署在不同的服务器，相关求。

算法类

根据上节讲的AB测试的实现方案， 有些方案用户在一定周期内体验是一致的，而有的方案用户每次进入页面或者用该功Nengkan到的后来啊兴许是不一样的。明摆着前一种用户体验是一致的，后一种不一致。

处理优良AB测试与缓存的关系

这时具体的业务逻辑调用AB测试接口时就会基于新鲜的分组比例计算某个用户或者视频对应的是哪个分组， 不同的分组采用不同的算法来计算推荐列表，参见下面图11中红色虚线框中有些，某个用户的guessulike业务对应的是seq2seq算法，兴许再说一个一个用户得到的是再说一个一个算法。我们的AB测试框架中的分组算法保证按照配置的各个算法的比例来分配，将全部用户巨大致按照该比例分配到对应的算法。

AB测试的本质是分离式组间试验，也叫对照试验，在科研领域中Yi被广泛应用。自2000年谷歌工事师将这一方法应用在互联网产品以来 AB测试越来越普及，Yi一点点成为衡量互联网产品运营精细度的关键体现。

图7：业务层来进行AB测试的实现方案

行为记录琢磨模块包含AB测试行为数据打点、 数据收集、数据琢磨和数据可视化展示等子模块。

该方案当AB测试调整时也不需要前端Zuo升级, 只需要修改AB lib包就Neng了。该方案Zui巨大的不优良的地方是Ru果公司采用许多种开发语言Zuo业务接口服务， 需要每种开发语言维护一套AB lib库，维护本钱较高大。再说一个AB测试逻辑调整需要升级AB lib包时需要对全部线上接口Zuo升级，明显许多些了凶险。一边， 在接口服务中整合AB lib与AB测试服务交互，许多些了接口服务的麻烦度，Ru果AB测试服务有问题，兴许会关系到接口功Neng或者性Neng。

AB测试是一种学问的评估手段，具备概率统计学理论的支撑。这里我轻巧松说明白一下原因。 概率论中有一个中心极限定理，意思是独立同分布的随机变量的和服从正态分布。对于AB测试， 我们比比kan的是两组样本的平均表现，AB测试保证AB两组某个因素不一样，AB两组其他hen许多未知关系到因素一样，当AB两组样本足够许多时这些个其他因素产生的效果是满足同一正态分布的，所以呢Neng觉得对要验证的变量的作用是相互抵消的，这样待验证因素的关系到就Neng比比kan了所以呢我们就Neng优化是不是有效。

Ru果某个功Neng关系到的变量太许多， 并且我们也无法晓得哪个变量是主导变量，甚至dou不晓得有哪些变量对它有关系到，这时就hen困难利用AB测试了。基本上原因是AB测试需要调整一个变量一边控制其他变量不变。

关于置信度有hen许多统计学方法来验证， 这里我不细讲，有兴趣的读者Neng自行搜索相关材料。

AB测试Neng帮提升用户体验和用户增加远

Zui近几年增加远黑客的理念在国内互联网盛行， 有hen许多这方面的专业书出版，hen许多公司甚至设立了CGO的高大管职位。增加远黑客思维希望。

该方案需求， 该组件交互来ZuoAB测试， 采用该方式的公司有Google，百度，巨大众点评等。其中又Neng分为两类：

随便哪个一个互联网产品少许不了运营， 某个产品是不是Neng“占领”用户的心智，运营将起到越来越关键的作用，甚至有人说互联网时代将进入一个运营驱动的时代。各类运营手段，如用户运营、内容运营、活动运营等douNeng借用AB测试手艺来验证哪种运营策略是geng加有效的。

我们讲完了AB测试平台的具体实现方案， 在设计AB测试平台中，我们需要关注如下几点，才Neng让AB测试Neng力得到正确的运用，geng优良的发挥应有的值钱。

对于图9中标注数字3的有些， 当用户用产品触发对应的推荐系统时会调用对应的接口，从相关数据库中获取对应的推荐后来啊，并将后来啊展示给用户。其中返回给用户的接口中是包含biz和alg字段的， 包含这两个字段的目的基本上是将用户的行为打点记录下来方便对用户行为进行统计琢磨，到头来评估出算法的效果。这两个字段及字段的值就是从存入数据库的用户的推荐后来啊中得到的。

变量NengZuo比比kan优良的精细控制

Ru果你的产品只有困难得的用户用，比如一些政府部门的官网。由于用户少许，分组后用户geng少许。根据上面AB测试的统计学说明白，根据困难得的用户得出的结论是不具备统计学意义的。所以即使Zuo了AB测试，得出的结论的有效性是无法用统计学原理支撑的，所以呢是不可信的。

图2：AB测试平台核心模块及支撑模块

具体AB测试服务与业务接口的交互实现方式跟方案1类似，这里不再说明。

前面提到随便哪个涉及到数据驱动运营策略、产品优化dou需要依赖AB测试Neng力。所以呢， 要想geng优良的利用数据来驱动业务进步，让产品飞迅速增加远， 互联网公司具备AB测试Neng力是非...不可的，Neng说AB测试平台作为一个基础服务平台，在互联网公司的地位举足轻巧沉。目前市面上也有hen许多AB测试的SAAS服务，Neng力。当然也NengNeng力。那到底是自己开发还是选择第三方的呢？

图14：出评估指标， 并可视化出来

当用户用产品触发ZuoAB测试的功Neng时前端调用统一的接口，接口层服务交互获取该求对应的分组，并从对应的数据存储中获取数据，组装成合适的格式返回给用户。

一切涉及到用户体验、用户增加远、买卖变现的产品优化douNeng借助AB测试手艺，驱动业务Zuo得geng优良，AB测试是一种学问的决策方式。那我们在啥时候需要AB测试呢？

解决方案是当用户的缓存跟用户的实际分配的策略不一致时清空缓存，让求回源。当然 具体实现方式Neng有hen许多种且跟具体业务和AB测试实现方案有关

互联网公司时特别要考虑缓存情况，这时兴许会存在问题。

Ru果外面的AB测试SAAS方案满足不了本公司的业务需求， 而公司领导非常认可数据驱动方法，并且希望将数据驱动作为自己团队的核心Neng力，期待努力践行，这时就Neng自研AB测试平台了。下面我讲讲自研构建AB测试平台需要哪些团队的配合和支持。

分组模块的目的是根据各种业务规则，将流量分为AB两组。Neng说分组模块是AB测试Zui核心的模块，优良的AB分组方案Neng让流量分配的geng均匀随机。一边需要具备根据用户、 地域、时候、版本、系统、渠道、事件等各种维度来对求进行分组的Neng力，并且保证分组的均匀性和一致性。

试试管理模块的目的是让产品经理、 运营人员或者开发人员方便飞迅速的创建AB测试案例，许多些新鲜的AB测试分组，调整AB测试方案各个组的比例，让AB测试跑起来。一边也用于管理AB测试平台用户创建、 权限管理，让用户具备编辑、拷贝、用AB测试试试的Neng力，Zuo到高大效容易用。

前面说过 AB测试是学原理之上构建的学问的测试手艺，有hen有力的理论依据。

亏本Zui细小性原则

像Google， Facebook，百度，阿里微博，巨大众点评等互联网公司hen早就采用AB测试框架来驱动业务进步，为公司发明值钱。

个人觉得Neng涉及到UI展示及交互的、 用户会许多次进入/用的功Neng点，利用体验一致的AB测试方案比比kan优良。但是像广告投放这类业务，是在不同场景不一样的，没少许不了采用用户体验一致的Zuo法。

为评估产品优化效果给学问的凭据

这里举个例子说明， Ru果某个用户开头是老算法策略，Ru果在ZuoAB测试时给用户分配到了新鲜算法策略，Ru果有缓存的话，那么用户会从缓存获取到老算法策略，这时跟其实吧用户分配到的新鲜算法策略不一致。

图1：AB测试原理

我们ZuoAB测试的目的是优化用户体验， 但是有兴许我们觉得有效的优化在真实实上线时反而是不优良的，为了避免这种情况发生对用户体验和获利的负面关系到。我们在ZuoAB测试时尽量用细小的流量来测试新鲜的算法或者优化点， 当数据说明优化点是有效的，才逐步推广到全部用户。试试过程中Ru果数据不优良，Zui许多只关系到到测试的这批一点点用户，不至于产生巨大的负面关系到。

作者觉得Neng初创公司、 规模不巨大的细小公司或者非手艺驱动但是需要AB测试Neng力的公司采购SAAS方案，这样Neng飞迅速的让自己的产品具备AB测试Neng力，将基本上精力放到优化产品体验上，而不是将精力放到实现一个AB测试框架上。

该方案需要开发AB Test SDK， 并将SDK整合到前端，服务交互来处理AB测试相关功Neng，采用该方案的公司有微博等。具体架构见下面图4。

Ru果ZuoAB测试的代价太巨大， 比如需要消耗一巨大堆的人力财力，这时ZuoAB测试的产出兴许细小于付出, 这时ZuoAB测试就是费力不讨优良的事情了。

同样的， 某个产品Zuo出可信服的结论的。

具体兴许会根据随机、 用户版本、用户地域、时候、渠道、年龄、性别、收入、行为等各种维度来对用户分组。AB测试平台要具备许多维度分组的Neng力。

要让AB测试得出可信服的结论， AB测试需要经历一定的周期，才Neng得出比比kan有值钱的结论。这里举一些例子来说明。

本节我们来讲解有哪些可行的AB测试架构实现方案， 这些个方案是作者结合自己的经验、思考及参考了业界一些公司AB测试实现方案后的。读者Neng根据自己公司的产品特性、 现有的基础架构、人力材料及以后需要Zuo的AB测试类别来选择适合自己的AB测试架构。

自己构建一套完备优良用的AB测试平台不是一件轻巧松的事情， 还有hen许多细节方面需要注意，才Neng让AB测试真实正发挥值钱。

AB测试是有本钱的， AB测试的目的是得出正确的结论来优化产品体验、提升获利转化，所以AB测试指标的提升一定要是统计学上“显著”的，是真实实有效的。

同样的， 某个优化太细，比如就kan某个推荐位的颜色深厚浅薄是不是对用户点击是不是有关系到，这时也需要一巨大堆的用户对这玩意儿位置的访问才Neng得出比比kan有指导意义的结论。

具体AB测试服务与业务接口的交互实现方式Neng是如下两种之一：

业内也有hen许多给AB测试SAAS服务的创业公司， 方案来为其他公司给AB测试Neng力，如吆喝手艺，ABTester, 云眼, Testin云测等等。

对于图9中标注数字2的有些， 算法业务推荐后来啊，并将后来啊存于到头来的推荐库中。参考下面图12中的流程。该步骤Zuo完后 个个用户的推荐后来啊就会存储在数据库中，一边我们会在推荐后来啊数据库中为该用户的推荐后来啊许多些两个字段，一个biz，一个alg，biz是对应的推荐业务，alg是对应的算法。

AB测试效果评估组件是用于跟踪AB测试的效果， 根据AB测试效果来Zuo出业务、运营、算法调整的决策。

前面提到我们公司巨大数据与人造智Neng团队的AB测试就是基于方案3来实现的， 目前在推荐搜索等算法业务中一巨大堆采用，效果还不错，在本节我详细说明一下具体的实现逻辑，方便巨大家作为落地的参考。

其中， 业务部门和产品确定需要在产品上进行AB测试的种类，需要具备啥样AB测试的Neng力，巨大数据算法团队实现分组的算法方案和进行日志的收集琢磨、可视化展示，基础架构后端团队设计适合公司业务的AB测试框架并开发后端的各模块及与前端交互的接口等，前端团队负责AB测试管理平台的开发，让业务部门Nenggeng加方面的用AB测试工具，一边实现日志打点及与AB测试平台的交互Neng力。

根据作者自己这几年在推荐系统中ZuoAB测试的经验及调研和自己的思考整理， 我觉得目前有3种基本上的AB测试框架实现方案，具体见下面图3。

图9：推荐算法接入AB测试框架业务流

需要ZuoAB测试的业务模块服务来实现AB测试Neng力，具体AB测试的实现放在业务中实现。当然Neng将这些个处理AB测试的操作或者模块封装成Jar包，方便各个业务方共用，提升AB测试落地效率。

该方案的优良处是业务有调整，需要升级SDK，较麻烦。一边，Ru果公司有iOS、Android、PC等优良几个业务的话，需要开发许多套SDK，维护本钱较巨大。

我们会在第七节结合我们团队的真实实业务情况详细介绍推荐系统AB测试的接入实现方案，为读者给业务接入AB测试的参考。

根据作者构建AB测试平台的经验， 我觉得一个完备的AB测试平台至少许需要分组模块、试试管理平台、业务接入模块、行为记录琢磨模块、效果评估模块这5巨大有些，这其中分组模块、试试管理平台、业务接入模块是构建完整AB测试体系非...不可具备的模块，行为收集琢磨模块和效果评估模块是配合AB测试Neng够geng优良的得出可信结论非...不可具备的支撑模块。下面我们分别对这5个模块的功Neng和值钱Zuo轻巧松说明，让巨大家geng优良的搞懂为啥需要这几个模块。

对于图9中标注数字4的有些， 我们会基于用户对AB测试模块的点击行为，计算出各个算法的核心评估指标，见下面图14。其中直接转化率，有效转化率，付费入口转化率是核心指标。

AB测试一般需要根据各种维度对用户来分组，所以呢需要设计灵活、有效的分组方案。

我们团队基于分组模块设计了两个算法， 在推荐算法AB测试中得到一巨大堆用及验证，Neng保证分组的均匀性和公平性，并申请了相关专利。

我们用个性化推荐来说明怎么利用方案3来ZuoAB测试。个性化的兴趣推荐是为个个用户推荐一组视频。

希望本文Neng够帮读者geng优良地搞懂AB测试的值钱和应用场景， 并结合本文给的实现方案，Neng真实正用AB测试工具驱动公司业务增加远。