Amazon Kinesis 更新-简化数据流抓取

现在我们正在让使用Kinesis抓取流数据更加简便，因为我们提供了一种新的强大的Kinesis Producer Library（Kinesis 生产者仓库），它在可接收的记录最大大小方面迈进了一大步，而且降低了价格，使抓取小尺寸记录性价比更高。

增加记录的大小

一条Kinesis记录就是一组数据，也被称作负荷。Kinesis并不处理数据，它只是从数据记录生产者那里接收记录 （通过 PutRecord或 PutRecords命令）并把它放入一个数据流中。

以前我们推出Kinesis时，它支持的单条记录大小是50KB。今天我们推出对Kinesis的更新，将这个数据大小的限制增加了20倍，每一条记录现在可以达到1MB。这将给你的业务带来更大的灵活性，为您以更加新颖的方式使用Kinesis敞开了大门。例如，你选择可以发送更大的日志文件，半结构化的文档，电子邮件消息和其他种类的数据，再不需要将它们分解为小数据块。

Put调用价格下降

直到现在，Put（写入）操作的价格取决于记录的数量，每100万记录的要价是0.028美元。随着技术发展（可以理解为“此次更新后”），Put操作的价格将会取决于负荷的大小，也就是以25KB的负荷单元来表示。Put操作的要价将会是每100万单元0.014美元。换句话说，现在写入小尺寸（25KB或更少）记录的成本是原来的一半。现在我们的绝大多数客户以这种方式使用Kinesis，他们将会从降价中获益。

Kinesis Producer Library（KPL，Kinesis生产者仓库）

你可以使用Kinesis处理很多不同种类应用的数据流需求，这些应用包括网页（点击流数据），广告服务器（出版商数据），应用应用（客户参与数据）等等。 为了达到高吞吐量，你应该将多条记录融合到一次调用中，以便可以执行PutRecords命令。你也应该考虑将多条用户记录汇聚成一条Kinesis记录，在使用这些用户记录前再将它们拆开。最后，你需要用代码来检测和重试失败的调用操作。 新的KPL将会帮助你完成我前面提到的所有任务。它也将允许你使用自动的可配置逻辑写入一个或多个Kinesis流，收集多条记录，使用PutRecords命令，以批操作的方式将它们写入，汇聚用户记录来增加负荷大小和吞吐量，代表你提交Amazon CloudWatch测量指标（包括吞吐量和错误率）。 KPL可以与KCL很好地配合。KCL分布式地处理很多与消耗和处理流数据相关联的复杂任务，包括跨实例负载均衡，实例故障响应，已处理记录打点检查，和对分片可能性的响应。 当KCL收到一条包含很多KPL用户记录的聚合记录时，它会在将这些记录面向客户端应用前将聚合的记录拆开（为了能够使用这一特性，你需要将KCL升级到最新版本）。 KPL会显示一个非同步，非阻塞的Java API。你只需将记录提交给该API。相应地，你会收到一个Future对象。下面是使用addUserRecord方法的调用样例：

public void run() {   ByteBuffer data = Utils.generateData(sequenceNumber.get(), DATA_SIZE);   // TIMESTAMP is our partition key   ListenableFuture f =     producer.addUserRecord(STREAM_NAME, TIMESTAMP, Utils.randomExplicitHashKey(), data);   Futures.addCallback(f, callback); }

KPL的内核采用C++模块的形式。其他语言的封装器不久会面世。

KPL可在Linux和OSX操作系统上运行。自包含的二进制文件对Amazon Linux AMI（亚马逊机器映像），Ubuntu操作系统，RHEL（红帽企业版），OSX操作系统和OSX Server工具是可用的。源代码和单元测试也是可获得的（注意：KCL和KPL可在不同的程序包中获得）

原文链接：https://aws.amazon.com/cn/blogs/aws/amazon-kinesis-update-simplified-capture-of-streaming-data/

活动推荐：5月26日 ImapBox在线培训——AWS 云计算环境中的机器学习

  （ 翻译/吕东梅  责编/王鑫贺 ）

订阅“AWS中文技术社区”微信公众号，实时掌握AWS技术及产品消息！

AWS中文技术社区为广大开发者提供了一个Amazon Web Service技术交流平台，推送AWS最新资讯、技术视频、技术文档、精彩技术博文等相关精彩内容，更有AWS社区专家与您直接沟通交流！快加入AWS中文技术社区，更快更好的了解AWS云计算技术。