タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

pythonとKinesisに関するi_matsuiのブックマーク (2)

  • [詳説] Kinesis Client Library for Java によるコンシューマアプリケーションの実装

    はじめに Kinesis Client Library(以下、KCL) は、AWS Kinesis Data Stream に流れるデータ(レコード)を受信して処理を行うコンシューマアプリケーションを実装するためのAWS謹製のライブラリです。 Kinesisのレコードを処理するには、 Kinesisストリームからレコードを取得して処理するアプリケーション。EC2などの上で常駐させます。 Kinesisストリームをイベントソースとする Lambda 関数。 のいずれかの方法がありますが、KCL は前者の場合に使用します。 KCL はKinesisストリームからレコードを取得し、レコードプロセッサ と呼ばれるレコードを処理するためのハンドラを呼び出します。 アプリケーションの開発者はこの レコードプロセッサ に処理を実装するだけで良く、レコードの取得、どのレコードまで処理したかの状態、Kine

    [詳説] Kinesis Client Library for Java によるコンシューマアプリケーションの実装
  • Amazon Kinesis編~KCL for Pythonを使ってみる01~

    前回は『Amazon ECS編~ECSを使ってみる03~』と題して、Amazon ECSでコンテナの入れ替えを試してみました。 今回は『Amazon Kinesis編~KCL for Pythonを使ってみる01~』と題して、Kinesis Client Library for Pythonを試してみたいと思います。 Kinesis Client Library for Pythonとは Amazonから提供されているKinesis Client Library(KCL) のPython版です。 Amazon Kinesisからのデータ取得、ロードバランシングや可用性を高める機能などは、KCL for Javaを利用している構造となっており、その後の処理をPythonで記述する事が可能です。 Amazon KCL for Python 1.環境の準備 KCLで使う環境を準備しておきます。

  • 1