阿里云课堂第六期：大型互联网应用架构之存储与分发

阿里云课堂第六期详情

第六期公开课将于2015年1月31日13：30在北京丽亭华苑酒店（海淀区知春路25号，毗邻北航南门）举行，ImapBox邀请了阿里云开发组长/高级工程师/技术专家姚伟斌（花名：文景）、阿里云开发组长/高级工程师/技术专家李文兆两位演讲嘉宾，将分别就阿里云CDN技术演变之路、开放存储架构以及应用实践等方面做精彩分享。

［免费参与猛戳报名链接 。］

时间	演讲主题	演讲嘉宾
13:30-14:00	签到
14:00-14:05	开场
14:05-14:50	阿里云CDN技术演变之路	姚伟斌
14:50-15:00	短休
15:00-15:45	开放存储架构以及应用实践	李文兆
15:45-16:00	短休
16:00-16:50	OpenSpace分组讨论
17:00	合影活动结束

下面让我们一起来提前认识一下各位演讲嘉宾以及他们要分享的内容。

姚伟斌（花名：文景）：阿里云CDN技术演变之路

阿里云 开发组长/高级工程师/技术专家

嘉宾介绍：阿里云web平台组研发专家，现在正致力于通过阿里CDN让广大阿里云用户享受到稳定、快速、安全、低成本的内容分发服务。曾经就职于网易杭州研究院，开源软件开发者与倡导者，开发多个知名Nginx模块，tengine核心开发人员。研究方向：高性能web服务器、cache服务器、网络加速、网络安全、大规模系统的运维自动化。

阿里云CDN的前身是淘宝CDN，在阿里巴巴经过了6年的技术演进，已经从一个面向阿里内部业务的CDN系统进化成了提供云业务的CDN公共服务。本次分享中，姚伟斌将和大家介绍阿里云CDN的优势、发展历史、典型案例、架构方案的取舍，以及阿里云CDN的一些技术实现细节，如DNS服务器、负载均衡、HTTP缓存服务器等关键组件的实现。与此同时，本次分享还将进一步介绍阿里云CDN如何提高加速效果，如何防御4、7层DDoS攻击，提高安全性等技术实现。

从互联网的架构来看，不同网络之间的互联互通带宽，对任何一个运营商网络的流量来说，占比都比较小，收敛比是非常高的，因此这里通常都是互联网传输中的拥堵点（运营商互联互通的问题）。

其次是骨干网堵塞问题，由于互联网上的绝大部分流量都要通过骨干网络进行传输，这就要求骨干网络的承载能力必须与互联网的应用同步发展，但实际上两者并不是同步的，当骨干网络的升级和扩容滞后于互联网之上的应用的发展时，就会阶段性地使得大型骨干网的承载能力成为影响互联网性能的瓶颈（区域互联互通问题，骨干网带宽瓶颈）。

在互联网领域有一个“8秒定律”，用户访问一个网站时，如果等待网页打开的时间超过8秒，会有超过30%的用户放弃等待。

使用CDN会极大简化网站的系统维护工作量，网站维护人员只需将网站内容注入CDN的系统，通过CDN部署在各个物理位置的服务器进行全网分发，就可以实现跨运营商、跨地域的用户覆盖。

CDN关键技术：

1. 缓存算法[Squid>；2. 分发能力；3. 负载均衡4. 基于DNS[BIND]；5. 支持协议；

• 缓存算法决定命中率、源服务器压力、POP节点存储能力
• 分发能力取决于IDC能力和IDC策略性分布
• 负载均衡（智能调度）决定最佳路由、响应时间、可用性、服务质量
• 基于DNS的负载均衡以CNAME实现[to cluster]，智取最优节点服务，
• 缓存点有客户端浏览器缓存、本地DNS服务器缓存
• 缓存内容有DNS地址缓存、客户请求内容缓存、动态内容缓存
• 支持协议如静动态加速（图片加速、https带证书加速）、下载加速、流媒体加速、企业应用加速、手机应用加速

CDN提供一种机制，当用户请求内容时，该内容能够由以最快速度交付的Cache来向用户提供，这个挑选“最优”的过程就叫做负载均衡

从功能上看，典型的CDN系统由分发服务系统，负载均衡系统和运营管理系统组成：

• 分发服务系统：最基本的工作单元就是Cache设备，cache（边缘cache）负责直接响应最终用户的访问请求，把缓存在本地的内容快速地提供给用户。同时cache还负责与源站点进行内容同步，把更新的内容以及本地没有的内容从源站点获取并保存在本地。Cache设备的数量、规模、总服务能力是衡量一个CDN系统服务能力的最基本的指标
• 负载均衡系统：主要功能是负责对所有发起服务请求的用户进行访问调度，确定提供给用户的最终实际访问地址。两级调度体系分为全局负载均衡（GSLB）和本地负载均衡（SLB）。GSLB主要根据用户就近性原则，通过对每个服务节点进行“最优”判断，确定向用户提供服务的cache的物理位置。SLB主要负责节点内部的设备负载均衡
• 运营管理系统：分为运营管理和网络管理子系统，负责处理业务层面的与外界系统交互所必须的收集、整理、交付工作，包含客户管理、产品管理、计费管理、统计分析等功能。

负责为用户提供内容服务的cache设备应部署在物理上的网络边缘位置，即CDN边缘层。CDN系统中负责全局性管理和控制的设备组成中心层（二级缓存），中心层同时保存着最多的内容副本，当边缘层设备未命中时，会向中心层请求，如果在中心层仍未命中，则需要中心层向源站回源（如果是流媒体，代价很大）

CDN骨干点和CDN POP点在功能上不同，中心和区域节点一般称为骨干点，主要作为内容分发和边缘未命中时的服务点；边缘节点又被称为POP（point of presence）节点，CDN POP点主要作为直接向用户提供服务的节点。

CDN已广泛应用

内容分发网络其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。

阿里云也提供了CDN业务，下面我们来分享一些使用案例，让大家更能深入了解下CDN的魅力和强大的功能。

• 唱吧：实现高效可靠的为用户提供歌曲视频图片等的实时上传和下载。唱吧早先的的架构基于自建机房，因此暂未采用第三方弹性计算，但是阿里云的存储可靠性从一开始就在唱吧的架构考虑中，并很快成为了唱吧自身存储的替代。目前，唱吧将大量数据放入OSS，一方面防止机房的单点故障对唱吧服务的可靠性产生威胁，另一方面也保障了阿里云CDN回源的快速获取。

• 趣拍：资源的弹性调整、降低资源浪费、节约成本、快速读写、提升安全性。按需付费模式，避免了资源一次性采购的高成本投入。弹性和可扩展性满足了各类业务场景对资源的需求。提供专业的服务让小团队能够把有限的开发力量用在刀刃上。

• 米哈游：有限的人力现状下实现快速部署上线，同时得到安全监控及镜像备份还原等运维服务支撑。

李文兆：开放存储架构以及应用实践

阿里云 开发组长/高级工程师/技术专家

嘉宾介绍：阿里云飞天存储服务研发高级专家，有超过6年的分布式大型系统研究经验，现在从事具有海量、安全、高性能、可扩展的对象存储服务系统开放存储服务的的开发工作。

在本期的阿里云课堂上，阿里云开发组长、高级工程师、技术专家李文兆将会结合自己的实践，为学员们倾情讲述开放存储架构以及应用实践，分享自己的实战经验，敬请期待。

作为云时代的程序员，如果你还在使用fopen( )、fclose( )之类的函数，那你就OUT了！自从阿里云推出开放存储服务(Open Storage Service，简称OSS)后，越来越多的技术牛人们开始将他们的应用和产品迁移到OSS这个云存储平台上来。阿里云存储服务（Open Storage Service，简称OSS）是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。用户可以通过调用API，在任何应用、任何时间、任何地点上传和下载数据，也可以通过用户Web控制台对数据进行简单的管理。OSS适合存放任意文件类型，适合各种网站、开发企业及开发者使用。

在OSS中，用户文件都是以Object的方式存储，每个Object包含名称、数据和用户存储的关于Object的元数据（Metadata）。由于OSS中Object不允许重命名和部分修改，因此，OSS服务适合于存储写一次、读多次的数据，例如，视频、音频、图片和备份文件等。OSS支持对整个Object内容进行替换的修改操作。

OSS的命名空间采用Bucket的方式：每个Bucket中可以存储任意数量的Object，但Bucket本身并不直接包含任何数据。存储在OSS上的每个Object必须都属于某个Bucket，Bucket名在整个OSS系统中具有全局唯一性，且不能修改。如果一个Bucket名已经被某个用户使用，那么其他用户都不能再使用这个Bucket名。OSS目前提供Bucket级别的访问权限控制，包括public-read-write、public-read和private这三种访问权限。

哪些适用场景？

还有可能大家不知道的是，OSS适合于社区、多媒体分享站、电子商务、等各类形式规模的网站站长，APP应用、软件应用开发者、游戏开发企业、硬件厂商配套应用开发及大规模数据存储需求的用户使用。可以做如下分类：

1. 存储在线访问的文件，譬如互联网应用中的图片、音频、视频、视频流、文本等，单个文件最大5TB，文件类型和个数不限
2. 存储各种应用系统的日志、公司运营记录、用户信息等需要存档的历史数据，以便于未来做全面的数据分析
3. 海量数据的灾备和恢复，譬如交通部门的监控视频、证券历史交易数据、科研原始数据等

有谁在用呢？

OSS服务不仅是被使用到阿里云中，也业界也有大量的企业在使用，有微盟、筋斗云呼叫系统、得图云和亲宝宝等，为方便大家更深入的理解OSS的作用和安全等，下面为大家介绍两例：

• 微盟：该服务让原来一直飙升的带宽成本一下子降了下来，而且再也不担心如何去做大数据存储，CDN的全站加速更是极大的提高了微盟用户手机终端的访问。
• 得图云：随着网站访问量的快速增长，升级带宽成本高；原有的自建服务器模式，若要解决所有线路的正常访问的问题，则成本过高，因此导致部分地区联通线路无法正常访问，阿里云OSS服务为他们解决了这个难题。
• 筋斗云呼叫系统：语音处理集群处理后的账单和通话录音分别存储到RDS数据库中和OSS开放存储服务，使用了阿里云OSS服务后，该公司一下子解决了互联互通、数据库、存储、服务器维护等诸多问题。
• 亲宝宝：服务器的运维有较高的技术门槛，阿里云帮该公司解决了后台问题，节省构建多台服务器的巨大成本，以及免去了服务器宕机、维护、性能等风险。

相信大家通过上面几个例子，对OSS的实践有了更深入的了解，更多的还请关注我们本期的阿里云课堂中李文兆将做的演讲。

第六期阿里云课堂：带你发现云计算之美将要拉开帷幕了，想了解更多关于阿里云的情况？有没有兴趣倾听阿里云技术大牛的技术实践经历？不要在犹豫了，赶快来报名参加阿里云课堂第六期，主题为：大型互联网应用架构之存储与分发。

报名地址：https://huiyi.csdn.net/activity/product/goods_list?project_id=1649（责编/钱曙光）

本文为ImapBox原创文章，未经允许不得转载，如需转载请联系market#csdn.net(#换成@)