一些大数据客户想分析新数据以对特定事件作出响应,他们可能已经定义好管道来执行批处理操作，这些管道是由 AWS Data Pipeline精心协调安排的。事件触发管道的示例之一就是当数据分析师在一收到数据就必须对其进行分析时，以便他们可以立刻向合作伙伴作出相应。在这种情况下调度不是最优的解决方案，主要问题是如何在任意时间使用依赖于调度程序的Data Pipeline调度数据处理过程。 这里有一个解决方案。首先，创建一个简单的管道，使用来自 Amazon S3的数据对管道进行测试，然后添加一个 Amazon SNS主题，使其在管道完成时通知客户，以便数据分析师能够查看处理结果。最后，创建一个 AWS Lambda函数，使其在新数据被成功提交到S3桶中时激活Data Pipeline，在此过程中，不用管理任何调度活动。该篇帖子将会向你展示如何实现这一过程。 在Data Pipeline活动可被调度时，客户可以定义先决条件。这些先决条件可以看到数据是否存在于S3中，然后进行资源分配。但是，在Data Pipeline需要随时被激活时，使用Lambda是一种很好的途径。 克隆管道以备后用 在这种场景下，客户的管道已经通过一些预定的活动被激活，但是想要能够调用相同的管道以对某个特别事件，如提交新数据到S3桶中，作出响应。客户已经开发了一个达到Finished状态的“模板”管道。 重新发起该管道的一种方法是在S3中使用管道定义来保存JSON文件，使用它创建一个新管道。一些客户在S3中对相同管道以多个版本的形式存储，但是又想克隆和重新使用最近刚刚执行的那个管道版本。从已完成管道中获取管道定义并创建一个克隆管道，这是可以满足这种要求的简单方法。这种方法依赖于最近被执行的管道，不需要客户保存来自S3的管道版本注册表，也不需要追踪最近被执行的版本。 即使客户想在S3中保留这样的一个管道注册表，他们可能也想使用Lambda API即时从一个既存的管道中获取一个管道定义。他们可能有复杂的事件驱动工作流程，在这些流程中，他们需要克隆已完成的管道，重新运行它们，然后删除克隆的管道。这就是为什么首先检测处于Finished状态的管道是如此重要了。 在本篇帖子中，我会向你展示如何完成这样即时的管道克隆。在Data Pipeline中没有直接克隆API，所以你可以进行几次API调用完成这一过程。我也提供了代码，使你能够删除已完成的过时的克隆管道。 三步式工作流程 
第一步：创建一个简单管道。
本网页所有文字内容由 imapbox邮箱云存储,邮箱网盘, iurlBox网页地址收藏管理器 下载并得到。
ImapBox 邮箱网盘 工具地址: https://www.imapbox.com/download/ImapBox.5.5.1_Build20141205_CHS_Bit32.exe
PC6下载站地址：PC6下载站分流下载
本网页所有视频内容由 imoviebox边看边下-网页视频下载, iurlBox网页地址收藏管理器 下载并得到。
ImovieBox 网页视频 工具地址: https://www.imapbox.com/download/ImovieBox4.7.0_Build20141115_CHS.exe
本文章由: imapbox邮箱云存储,邮箱网盘,ImageBox 图片批量下载器,网页图片批量下载专家,网页图片批量下载器,获取到文章图片,imoviebox网页视频批量下载器,下载视频内容,为您提供.
阅读和此文章类似的: 全球云计算
官方软件产品操作指南 (170)
