Ceph Day中国首秀，哪些技术趋势最值得关注？

23 六月

星期二, 23 六月 2015 09:17 Last Updated on 星期二, 23 六月 2015 09:17 0 Comments

【编者按】6月6日，Intel 和红帽在Intel 北京融科咨询中心联合举办了首场中国Ceph Day，讨论了当前Ceph技术的技术发展、实践状况、面临的主要问题以及如果更好的发展中国Ceph社区。Intel云存储技术组经理张建从技术视角总结了Ceph Day首秀的干货。

Ceph 作为一款开源，可大规模扩展的软件定义存储系统，可在一个单一的平台上同时提供块，对象，文件三种存储接口。随着云计算的发展，Ceph 逐渐成为了事实上的OpenStack 块存储后端，同时也广泛作为一个独立的scale out 存储解决方案被很多用户采用。目前，Ceph在中国发展势头火爆。

Intel 和红帽于2015年6月6日在Intel 北京融科咨询中心联合举办了首场中国Ceph Day，来自120多家公司的180余位开发者，用户参加了此次盛会。十余位演讲嘉宾分享了Ceph在不同领域展示的革新性力量，并着重讨论了当前Ceph面临的主要问题和如果更好的发展中国Ceph社区。

主题演讲

作为本次活动的主办方，来自Intel 大数据技术组的总经理马子雅女士首先介绍了Intel 在Ceph 上的相关工作，她从数据大爆炸的角度出发，指出现在飞速增长的数据量和相对有限的投入需要在存储解决方案上做出根本性的改变来适应数据量，复杂性，管理型等多方面的挑战。 Ceph作为事实上的Openstack 块存储后端，也吸引了越来越多的兴趣- 例如Fujitsu 的CD10K 产品。 Intel 目前在Ceph 上的投入包括：不同平台的Ceph 性能的分析评测和调优；关键特性（feature）比如Cache tiering，erasure coding，Newstore 的开发和优化；性能评测工具COSBench，管理工具VSM 和调优工具CeTune的开发；以及与中国客户一起合作构建基于Ceph的开源scale out 存储解决方案。本次Ceph Day 创建了中国Ceph 用户小组与中文的Ceph邮件列表Ceph-cn@lists.Ceph.com，同时宣布将于10月份在上海举行下一次的 Ceph Day。

来自红帽的社区总监Patrick McGarry先生介绍了Ceph 社区及相关开发项目的最新进展。 Ceph 社区的关注点并没有因Redhat收购Inktank而发生改变，Ceph将更好的支持RHEL/Fedor/Centos，另外8月10号至13号，将在美国Hillsboro举办首次Ceph编程马拉松，着重解决性能，RBD，及RGW相关的问题。Patrick还重点介绍了Hammer版本在CephFS 方面的改进，仅MDS模块就有366 个commits，仅2万行代码，有望可以在下个版本用在生成环境。

社区开发

Newstore：目前，社区正在开发一个新的存储后端：Newstore，旨在解决传统的Filestore 面临的种种问题，尤其是在闪存设备上的性能问题。来自英特尔的软件工程师陈晓熹是Ceph社区的活跃开发者，他介绍了Ceph最新的NewStore存储后端的设计与实现。NewStore通过解耦对象与物理存储位置间的直接映射，实现了更灵活的数据管理。相较于FileStore， NewStore在没有损失数据一致性与原子性的同时，对于创建/追加/覆盖等操作都无需写日志，大大减少了日志写入的量。这不仅对性能/延时有很大帮助，同时也降低了用户使用Ceph的TCO。除此之外，他还展示了NewStore初步的性能分析和调优，初步数据显示，Newstore相对于Filestore在随机读写的场景下有60%多的性能提升。

Cache Tiering 优化：社区活跃开发者，来自麒麟云的汪黎博士介绍了他们在天河二号超算平台上基于Ceph 的一些优，包括CephFS 内嵌数据， RBD镜像离线恢复及分级缓存（cache tiering）。Cache Tiering 是自Emperor版本提出来的一个重要功能，旨在借助少量的快速设备提高整个存储系统的性能。现有的淘汰（evict）算法基于最近访问时间的，有可能将是汪博士提出来一种基于温度的对象淘汰算法，根据对象的访问时间和访问确定被淘汰的对象。本次Ceph Day 的问卷调查表明，Cache Tiering 是用户最关心的两个特性之一（另一个是Erasure Coding）。Intel的Ceph 团队之前也针对Cache Tiering做了大量优化，例如proxy-read, proxy-write，将Promotion 和 Replication的逻辑分开，提高性能。目前，Cache tiering还有一些性能方面的问题，笔者看来，主要有两个原因：（1） Promotion 是以底层对象大小位单位- 4M。尽管客户端请求的可能是几K数据块，仍然需要将整个4M的对象从 base tier promote到cache tier，开销巨大。（2）Cache Tiering evict 算法问题。现有的算法不够高效，基于修改时间的Hitset过于简单，都存在很大的优化空间。

Ceph-dokan Windows 客户端：现有的Ceph驱动无法被windows 客户端直接使用。来自Ucloud的资深研发存储工程师孟圣智介绍了Ceph-Dokan，借助Cygwin和MinGW实现了一个Win32 FS API的windows客户端。下一步计划是支持CephX，提供librados和librbd 的动态链接库以及进入到Ceph upstream。

生态建设

Ceph 与Containers：容器（Container）目前被广泛应用在云计算中。独立开源软件开发者王豪迈介绍了Ceph 和 Containers 的一些工作。他对比了虚拟机（VM）+RBD 和Container + RBD两种应用模式的不同优劣点。后者的有更好的性能，但安全性上还需要一些增强。在Kubernetes中，不同容器组成Pod采用文件作为存储后端，所以看起来使用文件系统而不是RBD作为Container的后端存储更加合适。最后，他介绍了CephFS与Nova，Kubernets上的部署场景与开发进展。

Ceph 性能评测与优化工具CeTune：本场Ceph day 唯一的女性工程师，来自Intel 的薛晨迪展示了Intel 开发中的一个Ceph 部署，评测，分析和调优的工具 – CeTune。来自英特尔的软件工程师薛晨笛，介绍了由英特尔大数据技术组下的Ceph团队开发的Ceph性能分析调优工具CeTune。该工具可以帮助使用用户快速的部署性能测试环境，完成对Ceph在RBD, 对象存储以及CephFS三种接口的性能测试，并通过系统监控工具，内嵌跟踪点等方式，对Ceph的性能进行数据化和图像化，便于用户对于CEPH的性能分析，调优，同时也可以帮助开发者快速定位问题。演讲者还通过一个实际案例演示了如何通过CeTune产生的系统检测数据，直观地找到Ceph性能调优的可能方案。在答疑阶段，CeTune引发了许多参会者的兴趣，其中不乏有参会者对CeTune提出在他们的业务场景中更适用的建议；对于CeTune在帮助Ceph进行性能调优的策略以及IO延迟分析方面的工作非常感兴趣，希望可以更快有机会使用到开源后的CeTune。

Ceph与大数据：作为一个统一的存储系统，目前Ceph 也被扩展到大数据领域，来自Intel 的资深软件工程师周渊展示了如何基于Ceph RGW 构建一个Hadoop 文件系统，从而借助Ceph为高性能计算（HPC），大数据和云计算等多种场景提供一个统一的高效存储。来自Intel云存储工程部门的软件工程师周渊主要介绍了如何在Ceph上利用对象存储接口来做大数据的分析。他提出，目前很多企业都在往基础架构虚拟化的方向上转化，这对传统的大数据分析框架也提出了新的要求。常见的大数据分析框架，比如Map reduce，常常需要将数据存储在特定的分布式文件系统中，例如HDFS，导致这些客户在做大数据分析时需要做大量的数据迁移的工作（从云存储导入到HDFS），这个繁琐的过程会影响到数据分析的效率。云存储中的对象存储系统提供了简单方便的Restful访问接口，可在不同的数据中心之间通过此接口互联，加上只需要部署在普通的硬件就可以工作的特性，这使得对象存储成为科研和工业界存储海量数据时一个非常有吸引力的方案。Ceph的对象存储非常稳定，且提供了很多有用的特性，比如Erasure Coding和利用SSD做缓存（cache tier），他详细讲解了如何在Ceph对象存储中运行大数据分析框架，并提出了详细的解决方案。同时他也分享了Intel做的很多组不同配置条件下的大数据分析的性能测试数据，包括虚拟机、容器和物理机性能的对比，数据存储在HDFS和Swift的对比。同时他还分享了Intel在做性能测试时所发现的一些问题，并讨论了性能优化方案。

用户案例

Ceph与OpenStack集成经历分享：来自海云捷迅的研发总监吴德新与资深存储工程师武宇亭分享了他们在Ceph 与Openstack集成上的一些经历。他们认为，尽管Ceph Hammer版本性能有了很大提升，但目前Ceph仍不能完全发挥出快速设备的性能。另外，还缺少一些重要的特性，例如集群级别的QoS，异地灾备。他们分享了一个性能调优案例，通过优化Ceph配置参数，部署方式，将一个100个OSD的环境里将整个集群的IOPS从2000提高到9000。

同一个Ceph，两种看法：完美世界的副总经理张晓宜分享了用户与开发者眼中不同的Ceph，提出了一些针对Ceph的优化建议。在完美世界的眼里，Ceph具有高可用，数据可靠性和持久性，几乎无限的容量扩展等诸多优点。但他们也遇到了很多问题。第一个问题是，在数据库备份和恢复测试下，尽管备份的速度有400MB/s，但恢复速度只有40MB/s。最终通过在OSD端调大Read_ahead_kb将备份速度提高到600MB/s。第二个问题是，monitor 宕机情况下集群无法工作。通过重新配置ceph.conf和正价monitor数量解决。第三个问题是如何在老旧服务器上搭建Ceph集群，通过BCache提高性能。第四个问题是全SSD集群性能较差，通过在同一块PCIe SSD上部署多个目录，每个目录作为一个独立的OSD存储空间可显著提高性能。

企业产品

来自Sandisk的工程师周浩介绍了他们基于Ceph构建的InfinishFlash 全闪存存储产品及相关的优化。InfiniFlash可以在3U的空间里提供高达512TB的存储空间，高达78万IOPS，7GB/s 带宽。主要的优化点有：线程池Sharded，锁顺序和粒度以及锁竞争优化。根据笔者经验，目前Ceph Filestore在全闪存上仍存在诸多问题，OSD端的异步线程模型针对传统的HDD没有明显的性能瓶颈，但在全闪存的情况下有可能同步的模式性能会更好。期待Newstore可以在一定程度上优化全闪存系统的性能。

圆桌会议

作为本次Ceph day 的最后一个环节，社区总监Patrick McGarry，Intel 云存储技术组经理张建，完美世界副总张晓宜，海云捷迅CTO李华，UnitedStack存储开发者孟胜智，同有讯飞存储研发经理王道邦，平安科技基础架构管理部存储与备份组经理王欣，清华大学助理教授徐葳，优麒麟社区、汪黎博士一起与大家分享了当前Ceph面临的问题与如何加速Ceph社区在中国的发展。当前Ceph面临的主要问题有：性能，可管理性，文档和本地化等等。关于加速Ceph社区在中国的发展，大家普遍认为，社区需要更多的分享和贡献。开发者需要更多的用户提供真实的用户需求和遇到的问题来使Ceph变得更加成熟问题，用户需要更多的参与来提高对Ceph的掌握程度。

技术资料

本次Ceph Day的所有技术文档可以通过http://www.slideshare.net/inktank_ceph获得。用户调查问卷也将在ImapBox发布。