[詳説] Kinesis Client Library for Java によるコンシューマアプリケーションの実装
はじめに Kinesis Client Library（以下、KCL） は、AWS Kinesis Data Stream に流れるデータ（レコード）を受信して処理を行うコンシューマアプリケーションを実装するためのAWS謹製のライブラリです。 Kinesisのレコードを処理するには、 Kinesisストリームからレコードを取得して処理するアプリケーション。EC2などの上で常駐させます。 Kinesisストリームをイベントソースとする Lambda 関数。 のいずれかの方法がありますが、KCL は前者の場合に使用します。 KCL はKinesisストリームからレコードを取得し、レコードプロセッサ と呼ばれるレコードを処理するためのハンドラを呼び出します。 アプリケーションの開発者はこの レコードプロセッサ に処理を実装するだけで良く、レコードの取得、どのレコードまで処理したかの状態、Kine
![[詳説] Kinesis Client Library for Java によるコンシューマアプリケーションの実装](https://cdn-ak-scissors.b.st-hatena.com/image/square/4552f08e304d90ec64bf722c22f72e4706eff27d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU4JUE5JUIzJUU4JUFBJUFDJTVEJTIwS2luZXNpcyUyMENsaWVudCUyMExpYnJhcnklMjBmb3IlMjBKYXZhJTIwJUUzJTgxJUFCJUUzJTgyJTg4JUUzJTgyJThCJUUzJTgyJUIzJUUzJTgzJUIzJUUzJTgyJUI3JUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgzJTlFJUUzJTgyJUEyJUUzJTgzJTk3JUUzJTgzJUFBJUUzJTgyJUIxJUUzJTgzJUJDJUUzJTgyJUI3JUUzJTgzJUE3JUUzJTgzJUIzJUUzJTgxJUFFJUU1JUFFJTlGJUU4JUEzJTg1JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1jNzZiOTE3ZDRmZGM3NDg0YjA2ZWVhY2ZhMGJkMWFjMw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwY3Jvc3Nyb2FkMDIwMSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MTJmMWVhYWM0NWVmMTJjZGIyNWZjZWE1ZmQ5YWRjMTA%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D13a8cefe80ecbca0dae5b3a9ad931cc8)
(レポート) BDT320: ストリームデータフローと Amazon Kinesis Firehose、Amazon Kinesis Analytics #reinvent | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 re:Invent 2015でKinesis FirehoseとKinesis Analyticsのセッションに参加したのでレポートします。 Amazon Kinsisについて コンセプト S3とRedshiftへのエクスペリエンス データのプットにAmazon Kinesis AgentとKey APIを使用する 価格 データ配信のパターン keyメトリクスへの理解 トラブルシューティング ストリームデータのAWS流のやり方 プロビジョン、デプロイ、管理が簡単 エラスティックに拡張可能 リアルタイムなレイテンシ 使った分だけ支払う、先払い無し 特定のユースケースに対する正しいサービス re:Invent 2013時点のKinesis Streams 発表時点では、以下のような構成でした。 Kinesisを使用したケーススタディ 日本企
AWS Black Belt Tech シリーズ 2015 - Amazon Kinesis
AWS Black Belt Tech Webinar 2015 Amazon Kinesis 次回のWebinarは、下記よりご確認ください。 http://aws.amazon.com/jp/about-aws/events/#webinar ★AWS Black Belt Tech Webinarとは AWSのソリューションアーキテクト、TechメンバがAWSのプロダクト/ソリューションを深堀りして解説し、参加されている皆さまからの質問にお答えする無料のWebinar(Webセミナー）です。 毎週水曜日(祝日などを除く)、日本時間の18:00から約1時間にわたってお送りしています。Read less
AWS News Blog
Stop the CNAME chain struggle: Simplified management with Route 53 Resolver DNS Firewall Updated 2 May 2024: I removed the reference to Route53 Alias that was incorrectly referred as a chain Starting today, you can configure your DNS Firewall to automatically trust all domains in a resolution chain (such as aCNAMEor DNAMEchain). Let’s walk through this in nontechnical terms for those unfamiliar wi
【新機能】Amazon Kinesis Firehoseの出力先にAmazon Elasticsearch Serviceが追加されました | DevelopersIO
【新機能】Amazon Kinesis Firehoseの出力先にAmazon Elasticsearch Serviceが追加されました はじめに 藤本です。 本日、AWS Summit Chicagoが開催され、いくつかのサービスのGA、新機能が発表されました。 New Services and Features Announced 本エントリではKinesis Firehoseの新しい出力先として追加されたAmazon Elasticsarch Serviceとの連携を触ってみましたのでご紹介します。 概要 Amazon Kinsis Firehoseは今まで出力先にS3、Redshiftと対応していましたが、今回の発表でAmazon Elasticsearch Serviceが対応しました。 今まで S3 Redshift 追加 Amazon ES やってみた Amazon Ela
Amazon Kinesis StreamsとAmazon Kinesis Firehoseは何が違うのか | DevelopersIO
こんにちは、せーのです。 先日のRe:InventでKinesisの体系が変わりまして、「Kinesis Family」「Kinesis三兄弟」なんて言われるようになりました。 今まではKinesisの一機能として「Kinesis Streams」というのがあったのですが、それがメインのサービスとして昇華し、新たに「Kinesis Firehose」「Kinesis Analytics」が増えて現在の形になりました。 今回はそのうち混同しやすい「Kinesis Firehose」と「Kinesis Streams」の使い分けについてご紹介したいと思います。 やろうと思えば両方できる Kinesis Streamsは次々と送られる大量のデータをリアルタイムに収集、次のサービスに配送するためのサービスです。一方Kinesis Firehoseは同じく次々と送られる大量のデータをRedShift
fluent-plugin-kinesisでKinesis Streamsにログを送信する | DevelopersIO
EC2インスタンスからfluentdを使ってストリームデータの収集・処理基盤Kinesis Streamsにデータ送信する方法を紹介します。 Amazon Kinesis Streams とは Amazon Kinesis Streams はデータレコードの大量のストリームをリアルタイムで収集し、処理する Amazonのマネージド・サービスです。 EC2インスタンスなどのプロデューサーは継続的にデータを Streams にプッシュし、EMR/Lambda/Kinesis アプリケーションといったコンシューマーがリアルタイムでデータを処理します。 本記事のゴール EC2インスタンスから fluentd の Kinesis Stream へのアウトプットプラグイン fluent-plugin-kinesis を使って、Apacheサーバーのログを Kinesis Stream に送信します。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Configure KCL to read from a different AWS Account