[詳説] Kinesis Client Library for Java によるコンシューマアプリケーションの実装
はじめに Kinesis Client Library（以下、KCL） は、AWS Kinesis Data Stream に流れるデータ（レコード）を受信して処理を行うコンシューマアプリケーションを実装するためのAWS謹製のライブラリです。 Kinesisのレコードを処理するには、 Kinesisストリームからレコードを取得して処理するアプリケーション。EC2などの上で常駐させます。 Kinesisストリームをイベントソースとする Lambda 関数。 のいずれかの方法がありますが、KCL は前者の場合に使用します。 KCL はKinesisストリームからレコードを取得し、レコードプロセッサ と呼ばれるレコードを処理するためのハンドラを呼び出します。 アプリケーションの開発者はこの レコードプロセッサ に処理を実装するだけで良く、レコードの取得、どのレコードまで処理したかの状態、Kine
![[詳説] Kinesis Client Library for Java によるコンシューマアプリケーションの実装](https://cdn-ak-scissors.b.st-hatena.com/image/square/722a3350573dd68dad1c22101b392823a0b2524e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGOTQ2MTglMkZwcm9maWxlLWltYWdlcyUyRjE0NzM3MDYzMjE_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9MjM2MTBiN2U1OTRmM2Q3NDNkZDVhNjFkNzViZDlkNDY%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D262c2c897421655da53329f3fa74ca2e%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU4JUE5JUIzJUU4JUFBJUFDJTVEJTIwS2luZXNpcyUyMENsaWVudCUyMExpYnJhcnklMjBmb3IlMjBKYXZhJTIwJUUzJTgxJUFCJUUzJTgyJTg4JUUzJTgyJThCJUUzJTgyJUIzJUUzJTgzJUIzJUUzJTgyJUI3JUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgzJTlFJUUzJTgyJUEyJUUzJTgzJTk3JUUzJTgzJUFBJUUzJTgyJUIxJUUzJTgzJUJDJUUzJTgyJUI3JUUzJTgzJUE3JUUzJTgzJUIzJUUzJTgxJUFFJUU1JUFFJTlGJUU4JUEzJTg1JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YjEyOTc5MmQ2MWZiYjc2MmI5NGQzODNiYjBkOWZlZDI%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBjcm9zc3JvYWQwMjAxJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9NjNmNGI1OTBjZmIzMjIzM2I1OGMyZmVkZWQ5OWI3Nzc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D6bf0937a93f5a6b70bc4eb2bcb8e68e8)
Amazon Kinesis編～KCL for Pythonを使ってみる01～
前回は『Amazon ECS編～ECSを使ってみる03～』と題して、Amazon ECSでコンテナの入れ替えを試してみました。 今回は『Amazon Kinesis編～KCL for Pythonを使ってみる01～』と題して、Kinesis Client Library for Pythonを試してみたいと思います。 Kinesis Client Library for Pythonとは Amazonから提供されているKinesis Client Library(KCL) のPython版です。 Amazon Kinesisからのデータ取得、ロードバランシングや可用性を高める機能などは、KCL for Javaを利用している構造となっており、その後の処理をPythonで記述する事が可能です。 Amazon KCL for Python 1.環境の準備 KCLで使う環境を準備しておきます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
