【ImapBox现场报道】2014年12月12-14日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中科院计算所与ImapBox共同协办，以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会（Big Data Technology Conference 2014，BDTC 2014）暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。
Co-Founder and CEO of Conviva张晖表示用户的体验是互联网最重要的指标。网络的延迟一直是互联网面临的难题，没有一个很好的办法来解决。但是随着以下三项互联网技术的发展，使得改善用户的互联网体验成为了现实：企业可以从用户端提取细颗粒信息；软件定义的迅速发展；大数据的实时技术发展。
Co-Founder and CEO of Conviva 张晖
以下为演讲实录：
张晖表示用户的体验是互联网最重要的指标。网络的延迟一直是互联网面临的难题，没有一个很好的办法来解决。但是随着以下三项互联网技术的发展，使得改善用户的互联网体验成为了现实：企业可以从用户端提取细颗粒信息；软件定义的迅速发展；大数据的实时技术发展。
今天是一个大数据的会议，我自己是做系统做研究的，讲的就是大数据的应用。我今天讲我们怎么用大数据解决互联网行业里非常难的一个问题。问题是什么？卡断率！我们看视频都遇见过卡断的时候，这时会非常不爽。尤其是现在，我们的注意力变得越来越差，注意力已经开始变成最稀缺的资源，我们在使用各种服务包括网上服务，遇见卡断的时候一般都会有一个注意力的转移，本来你想专心做一件事情这件事情做不了，用户的体验度受到非常大的影响。
所以从这个角度来讲用户的体验是互联网服务最重要的一个指标，我为什么提高用户体验，用户体验和我们说的性能有什么不一样，我们说CPU有多快，网络有多少曝光率，延迟有多少，这些东西都是测试单个性能。你想一下包括你上Expenence，经过无数服务器、交换机，中间不管哪个出了问题对用户来讲都是不知道的，用户唯一知道的事情是一个非常好的用户体验，或者是不好的用户体验。我们做系统的人怎么把端对端的用户质量做好。
在网络里面当时有一个非常重要的问题，网络不是一个人的控制，比如百度拥有自己的服务器，但是网络是中国电信的网络，也许是主干网络是中国电信网络，接入网又是另外一个服务商的接入网，在多种端对端服务商的情况下，每个服务商做这个服务，同时他们互相不协调，怎么提高最好的用户体验。这是网络界老大难的问题，这个经过多年的研究，随着以下三项技术的发展终于有个解决办法。
第一个我们现在能够从用户端做非常细颗粒的用户体验的采集，而且是全方位的采集这是第一件事情，这是原来从来没有的能力。第二个用软件定义的控制结构，这个是网络界一个非常大的创新，这个我一会儿再稍微讲一下。第三个就是大数据的技术。当然包括一个是平台的技术，一个是算法的技术。
我先来讲第一点，我们知道现在从网上看视频，或者下载一个APP看视频，这个过程中我们浏览的视频，下载的视频都会被收集起来。服务商可以通过在软件植入代码来实现。这样就可以获得用户的一些基础信息。
第二个关键技术就是说软件定义，网络中间任何一个控件，包括每一个交互机，传输的设备都会出问题，怎么做这个，我们引进冗余，每个机群可以死掉但是整个服务不能死掉。同样的概念用在网络上，网络上有多个路径来交换，这是一个冗余，还有不同的码流率这是又一个变化，变化越多你可以选择这个最好的变化。如果你把其他的参数加进去，不光是说卡断率，中间可能有失败率，也许码流率不够高，你把这些加进去，不同参数质量好坏对于一个服务器来讲在不同时间是不一样的，所以没有一个固定路径是最好，而且没有一个固定的指标是一个路径比另外一个路径绝对好。
第三个关键技术，就是说实时的大数据技术和算法，这个算法就是概念上是一个很简单的概念，做起来稍微复杂一点。概念是什么概念？如果我们把每一个网上的视频都在采样，就像我们在北京每辆车上都装一个摄象头，知道他车速是什么情况？我车越多，但是我路上没有摄象头，车越多我的路况了解就越多，我要知道北京所有车的速度怎么样，我就基本上知道北京路况是怎么样。但是卡车和出租车走的速度是不一样，也许你骑摩托车和坐卡车的速度不一样。细分起来找一个概念是这样的，比如说这个会场里面大家看一个直播的视频，现在有一个新的人来看，用哪一条新的路径去选？算法我就不深入去讲了，但是我想说一两个，你观察数量越多，观察颗粒越细，采集数量点越大，你最后达到预测的效果越好。
怎么知道这个东西做得好还是不好，首先就是说什么叫做好的用户体验？好的用户体验有各种各样的参数比较。其中一个可以做的更复杂一些，我们做一些比较简单的比较，从两维比较，横轴是平均码流率，纵轴就是流畅率，100%流畅率最好，60%流畅率不好，你往右上角去最好，每一点这里表示一个网站我们通过实时的数据，从我们实际顾客数据中采集的数据，你看现在视频网站有的质量非常糟糕，有的质量稍微好一点。原来假设一个视频网站它平均码流率在1.8兆，有80%码流是流畅的，20%是不流畅的，用了这个算法他平均码流率涨到2.5兆，差不多90%以上的流变成流畅的，当然还没有解决100%的问题，这是一个提高。
这是我们跟央视国际做的一个项目，央视国际中央电视台的网站，海外所有国家都可以看央视台的内容，五大州180多个国家都可以看到，你打开视频就可以看到我们党的声音，而且要流畅要高清，这是以前的卡断率还有平均码流率、平均时长，用户看的时长，这是引入我们系统之前，引入系统之后，卡断率降低，平均码流率提高，平均时长的提高。
什么叫做用户体验？这件事情从研究角度从科学角度这是非常难的问题。这个本身可以做很好玩的研究，我们做深度研究，怎么在大规模取样当中研究人的用户体验。我们总得来讲一些性能指标的提高是对用户体验是成正比的。回到头我来提这样一个问题，我们一般做一个软件，比如说我做一个TCP的协议，1988年软件工程做的，做一些模式有一些参数放在里面，不管是10兆网上走传输文件，还是在移动网上看新闻同样TCP同样的参数，而且五年前做的和今天是做的一样的，怎么改变这个现实？我们拿了一台非常先进的下一代的互联网电视里面做视频的播放器。横轴说这是超高清，内容最高清情况下可以达到9兆，这是它平均的阻塞率。你看到在非常高码流的情况下它性能非常不好，因为它阻塞率非常高，而且同样的情况下看的时长和码流率，高清情况下反而看的时间短，为什么？因为你阻塞率太高了。为什么会出现这个现象？因为你要做软件这个人他在设计电脑的时候从来没有9兆的内容，他从来没有测过这个东西，他设计点也许就在两兆三兆情况下。但是你电视放出去情况就变了，怎么解决这个问题？我们知道云计算是一个好东西，云计算好东西在哪里？它是天天在变的，它随着实际情况变化做变化，而且可以个性化。刚才我提到用一个控制的网络通过实时的反馈来调整参数，就可以解决这类似的问题。因为在我播放器上调的参数，在这里调的参数就和另外一个播放器明天调的参数不一样，这是能够达到一个效果。
我知道各位都是来参加大数据的会议，我稍微提一下网络上非常重要的概念，软件定义的网络。这件事情被认为是革命化的东西，我回头讲所谓革命化在哪里。但是先说一下像所有市场预测说2018年350个亿的市场份额，主要是为了数据中心质量优化来做的。所谓数据中心一个网什么叫好什么叫坏？高带宽、低延迟，但是回过头用户质量是最重要的，我上阿里巴巴网上买一个东西，上淘宝网去买东西，我不知道网络出问题了，还是数据中心出问题了，我们怎么保障用户体验，你要想控制用户体验，我们第一个事情是可观测，你控制用户体验就必须关注用户体验，用户体验只能在终端和用户层软件才能观测，怎么把这个数据用于到控制每一个端对端上面，这需要体系结构的改变。我想画一张图说一下这个革命，我在课堂里讲网络，第一个词就是说协议，协议是一些分布式的算法。每一个交换机互相之间传信息，然后实现一个分布式的算法。这个分布式的算法算一端走到另一端用哪一端，我们整个互联网把所有计算机加在一起几万台，这样一个问题困扰了我们整个业界30年，到今天为止我们说互联网的质量很差，我们要跟同行一谈，说你们网络多大，我们说几万到几十万，他说这么小的网怎么有这么大的问题，因为是一个分布式的网络，算法是分布式的算法。分布式的算法是非常难引入智能，智能是一个大词。我们说技术一点叫做优化。
SDN概念是什么通过一个中央控制器来对全网进行优化，全网实时采集你现有网络情况和拓扑情况，然后中央计算所有的路径，马上非常复杂的优化算法就可以实现了这是SDN TO E-SDI，实现这个有很多难题，因为中央控制器离交换机有一定距离，中间路径可以断，怎么做到非常稳定，这些都是需要解决的问题。现在局限在第二层，局限在数据中心，我们认为下一个发展里程碑就是端对端的控制，而不是在网络内部二层和三层的控制。首先优化用户体验，优化用户体验最重要一部分就是采集用户体验的数据，把用户体验的数据用于做一个反馈的控制，控制每一个你如果从端对端角度来做，也可以控制内部的网络，这是一个大数据可能对网络结构一个最重要的贡献。
第二我们都强调BIG DATA，从控制角度来讲这个大数据必须走到实时，没有实时就没有控制，没有实时只能做分析。
第三是Application，不光要知道哪个应用，这是视频还是语音还是传输，最重要你怎么优化用户体验。
第四从技术趋势来讲大家做很多工作做分析，找到一些对人做决策有用的信息，我们要做到自动的控制， 除了分析还有控制，我管这个结构叫做Expenence-Centric Software Defined infrastructure。
我总结一下，第一件事情我们随着互联网时代最稀缺的资源是人的注意力，所以用户体验从服务来讲是最重要的事情。我们做了质量控制在互联网上做了20多年，我们有很多心得，他山之石可以攻玉，他山之石从哪来？第一要有数据，这个数据必须是应用层用户体验层，第二要有一个网络的架构用这个数据控制。实现角度来讲，在控制层的实现是通过实时大数据的系统加算法实现。下一步做的事情不光是以网络为中心而是以用户体验为中心。
更多精彩内容，请关注直播专题2014中国大数据技术大会(BDTC) ，新浪微博ImapBox@邮箱云存储，订阅ImapBox大数据微信号。
本文为ImapBox原创文章，未经允许不得转载，如需转载请联系market#csdn.net(#换成@)
阅读和此文章类似的: 全球云计算
官方软件产品操作指南 (170)
