什么是 Amazon Kinesis？它如何工作？
您必须分析一些数据。您马上就要面对痛苦：等待整个数据集积累起来，然后经历漫长的处理过程，面临可能持续几分钟甚至几周的延迟。难道没有更简单的方法吗？
值得庆幸的是，有这样的服务：它就是 Amazon Kinesis。Kinesis 是一种实时数据流服务，可让您摆脱数据积累的惯性。相反，您可以在数据生成的那一刻就对其进行处理和分析，从而获得更及时的洞察并更快地做出决策。
在本文中，我将分解介绍使用 Kinesis 传输和转换数据的四种主要方法：Kinesis Data Streams、Kinesis Data Firehose、Managed Apache Flink（以前称为 Kinesis Data Analytics）和Kinesis Video Streams。
使用 Amazon Kinesis 传输和转换数据的四种方法
1.Kinesis 数据流
数据流允许您将数据推送到流中，以便由其他服务进行处理。数据可以进入 Kinesis 数据流，在那里它变成一条记录并由分片进行处理。
Kinesis Data Streams 中的记录是什么？
记录是描述存储在数据流中的数据单元的一种奇特方式。记录由序列号、分区键和数据块组成。数据块是通过流传输的感兴趣的数据。序列号是唯一的 ID，可用于识别序列中的每个数据块。分区键是一种帮助确定数据流向的方法。它允许您将记录分组在一起，以便可以对数据块进行排序。
Kinesis Data Streams 中的分片是什么？
分片是一种使用记录标记处理数据的方式，可让您的数据流入目的地。分片可支持 1MB/秒和每秒 1,000 条记录的写入速度以及 2MB/秒的读取速度。这些限制可实现可预测的性能。
2.Kinesis Data Firehose
Kinesis Data Firehose 是 ETL（提取、转换、加载）流式传输任务的综合解决方案。此服务有助于从各种来源（包括动态数据流）提取数据。这些流可以有效地将传入数据传输给众多消费者。
此流程的一个重要功能是能够通过 AWS Lambda 等服务处理数据。这样可以将数据转换或过滤为符合您特定流程的格式。此外，Kinesis Data Firehose 可以作为数据编目工具。它与 AWS Glue 和 Amazon S3 等服务无缝集成，确保您的数据不仅被收集，而且还能安全高效地管理。
3. Kinesis 管理的 Apache Flink
该服务利用 Data Stream 和 Data Firehose 提供的数据，提供两种不同的数据处理方法。
第一种方法涉及使用 Apache Flink 应用程序。这允许您构建一个专门用于处理和监控来自 Firehose 的传入数据的应用程序，所有这些都可以直接从 AWS 控制台进行管理。
第二种方法涉及 Studio 笔记本。此笔记本支持使用 Apache Zeppelin，这是一种允许对通过上述 Kinesis 服务积累的数据进行基于 SQL 的查询的工具。
Zeppelin 的功能扩展到在数据库中创建表和部分，并与 AWS Glue 顺利集成。这种双重方法提供了一种全面的方法，不仅可以访问您的数据，还可以获得更深入的见解，确保您了解数据的叙述和含义。
4.Kinesis 视频流
Kinesis Video Stream 使您能够使用视频输入建立数据流。这些输入可以是安全摄像头和网络摄像头，也可以是其他各种媒体制作者。该服务简化并保护了从连接设备到 AWS 的媒体流。这种集成促进了存储、分析、机器学习和回放等多种功能，满足了您广泛的媒体数据处理需求。
Kinesis Video Stream 是一项出类拔萃的流媒体数据全方位服务，可确保从最初的数据流入到目标受众的最终消费的无缝过渡。
结论
我们讨论了整个 Kinesis 系列，并了解了该系列的四个成员各自的功能以及具体功能。我希望这可以帮助您构建环境，并帮助您快速高效地移动数据。
如果您想了解有关 Amazon Kinesis 及其可连接到的服务的更多信息，请查看我的 Pluralsight 课程“深入了解 Amazon Kinesis ”。 本课程深入探讨了 Amazon Kinesis 和各种相关的 AWS 服务如何协同处理您的数据。
免责声明：本内容来源于第三方作者授权、网友推荐或互联网整理，旨在为广大用户提供学习与参考之用。所有文本和图片版权归原创网站或作者本人所有，其观点并不代表本站立场。如有任何版权侵犯或转载不当之情况，请与我们取得联系，我们将尽快进行相关处理与修改。感谢您的理解与支持！
请先 登录后发表评论 ~