百度马小龙：Spark在百度的工程实践分享

本次大会将邀请近40位国内外云计算技术领域顶尖专家与一线实践者，深入讨论OpenStack、Spark、Docker、Kubernetes等开源技术的最新进展，各个核心项目/组件的演进趋势，以及它们的最新业界应用。

在“2015 Spark技术峰会”，我们邀请到了百度资深软件工程师马小龙担任演讲嘉宾， 他将带来的分享主题为《Spark在百度的工程实践分享 》，主要讲述Spark在百度的使用情况以及Spark在BMR中的支持情况。

马小龙

百度资深软件工程师

2008年毕业于清华大学自动化系，先后就职于Yahoo和Zynga等公司，在Yahoo!北研参与搜索广告系统的优化，获得Yahoo! You Rock奖项；在Zynga中国参与游戏服务器性能优化，提升游戏服务器性能超过60%，所用技术方案被Zynga各大游戏广泛采用，获得CTO Award奖项；2012年底加入百度，目前在百度基础架构部从事大数据处理相关产品的研发工作。

以下为ImapBox针对马小龙的会前采访实录：

ImapBox：首先请介绍下您自己，以及您在Spark 技术方面所做的工作。

马小龙：我叫马小龙，目前在百度基础架构部做大数据处理平台，我主要关注Spark在公有云环境下的使用、优化。

ImapBox：您所在的企业是如何使用Spark 技术的？带来了哪些好处？

马小龙：我们主要结合业务需求来对Spark进行优化，带来的好处是作业的处理速度有明显提升。

ImapBox：您认为Spark 技术最适用于哪些应用场景？

马小龙：我个人认为Spark比较适合有迭代需求的大规模作业，比如机器学习等领域。

ImapBox：企业在应用Spark 技术时，需要做哪些改变吗？企业如果想快速应用Spark 应该如何去做？

马小龙：Spark和现有的Hadoop生态整合得很好，所以数据方面没有迁移成本，但是业务算法需要重新实现，因此建议先评估现有的业务是否适合放在Spark上，然后再做迁移。企业如果想快速应用Spark，可以选择BMR，BMR提供了Spark镜像，可快速按需创建Spark集群：）

ImapBox：您所在的企业在应用Spark 技术时遇到了哪些问题？是如何解决的？

马小龙： 主要是需要和企业现有的生态打通，需要做一些适配工作。

ImapBox：作为当前流行的大数据处理技术，您认为Spark 还有哪些方面需要改进？

马小龙： Spark目前的发展势头很好，可以在稳定性方面逐渐改进。

ImapBox：您在本次演讲中将分享哪些话题？

马小龙： 主要分享Spark在百度的使用情况以及Spark在BMR中的支持情况。

ImapBox：哪些听众最应该了解这些话题？您所分享的主题可以帮助听众解决哪些问题？

马小龙： 对Spark感兴趣的用户都可以了解一下。BMR中的Spark有助于听众快速使用Spark集群。

除了马小龙，2015 Spark技术峰会已经邀请Spark Streaming负责人Tathagata Das来华，和国内用户分享Spark的技术细节，探讨Spark未来的发展方向，此外还有Databricks、IBM、Intel、微软、百度、阿里、腾讯、亚信等公司的Spark技术实践者，也将同台分享Spark及其相关项目的实战经验。

附：2015 Spark技术峰会全日程（Updating）