firehoseの検索結果41 - 45 件 / 45件

• あとで読む

  Amazon Kinesis Data Firehose により、VPC のプライバシー内で Amazon Elasticsearch Service にストリーミングデータを取り込む | Amazon Web Services

  • 3 users
  • aws.amazon.com
  • テクノロジー
  • 2020/05/07

  Amazon Web Services ブログ Amazon Kinesis Data Firehose により、VPC のプライバシー内で Amazon Elasticsearch Service にストリーミングデータを取り込む  今日、新しい Amazon Kinesis Data Firehose 機能を追加します。これにより、Kinesis Data Firehose から Amazon Elasticsearch Service ドメインへの VPC 配信をセットアップできます。Amazon Kinesis Data Streams でカスタムアプリケーションを管理してトラフィックを非公開にしている場合は、Kinesis Data Firehose を使用して、VPC 内の Amazon Elasticsearch Service エンドポイントにデータをロードすることができ

  
• あとで読む

  [Tips] Firehoseで吐いたJSONが繋がったファイルをPythonでパースしてみる | DevelopersIO

  • 3 users
  • dev.classmethod.jp
  • テクノロジー
  • 2020/02/09

  CX事業本部の夏目です。 IoTのバックエンドをサーバーレスで開発しているのですが、デバイスからMQTTで上がってくるデータをIoT Rule -> Kinesis Data Strem -> Kinesis Firehose -> S3 Bucketといった形で吐き出させています。 しかしこのデータ、JSONの形式とは一致しないため、パースするには工夫が必要です。 今回はPythonでパースする方法を共有します。 データ {"payload":{"id":"4d497f23-41c8-4488-8a45-099875a83106"},"timestamp":1581080246231}{"payload":{"id":"546c0712-2c93-424c-8350-f7ab3aaa3117"},"timestamp":1581080246785}{"payload":{"id":"9c

  
• あとで読む

  Firehose のサードパーティ連携を利用してDatadogへのログ転送を試してみた | DevelopersIO

  • 3 users
  • dev.classmethod.jp
  • テクノロジー
  • 2020/08/19

  AWSチームのすずきです。 2020年7月にHTTPエンドポイントへのデータ配信をサポートした Kinesis Data Firehoseを利用して、 DataDog (Log Management) へのログ転送を試す機会がありましたので、紹介させていただきます。 設定手順 Datadog の Webコンソール で案内された手順で設定を行いました。 「Logs」→「GettingStart」→「Cloud」→「AWS」→「Kinesis Firehose」 当画面で確認できるDatadogのAPIキー、Firehoseの設定で必要となるので控えます。 AWS設定 S3 Kinesis Data Firehose と同一リージョンに、ログ出力先となる S3 バケットを設置しました。 S3の設定はデフォルトで利用しました。 S3のストレージ費用が問題となる規模で利用する場合、ログ保存要件に応

  • aws

  
• あとで読む

  FargateのログをFireLens(カスタマイズしたfluent-bit)を使ってCloudWatchとFirehoseの両方に送る - Qiita

  • 3 users
  • qiita.com/ruru8
  • テクノロジー
  • 2020/09/18

  FargateのログをFireLens(カスタマイズしたfluent-bit)を使ってCloudWatchとFirehoseの両方に送るAWSFluentdfluentbitFargateFireLens やりたいこと ECS Fargateで動いているRailsのアプリケーションログをFirelens(カスタマイズしたfluent-bitのイメージ)を使ってCloudWatchと2つのFirehoseにそれぞれ送りたい。 ①ECS Fargate -> Firehose -> S3 (foo_log) -> Glue -> Athena ②ECS Fargate -> Firehose -> S3 (bar_log) -> Glue -> Athena ③ECS Fargate -> CloudWatch (全てのログ) にログを送りたいという想定。 (fooとbarはある特定の条件のロ

  
• あとで読む

  Audioデータをクラウドに送ってみました。　MQTT + Amazon Kinesis Data Firehose + S3 (JSON) | DevelopersIO

  • 3 users
  • dev.classmethod.jp
  • テクノロジー
  • 2021/04/17

  Audioデータをクラウドに送ってみました。　MQTT + Amazon Kinesis Data Firehose + S3 (JSON) 1 はじめに CX事業本部の平内（SIN）です。 今回は、エッジ側のAudioデータをクラウドへ送信する要領を確認してみました。 送信の方法や、保存先は色々考えられますが、手始めにMQTTで送信し、Amazon Kinesis Data Firehose経由で、S3に保存する形を試してみました。 また、保存されたAudioデータから時間を指定して、wavファイルを生成するLambda関数も書いてみました。 確認が容易なように、とりあえず、Audioデータをターゲットとしていますが、連続するストリームを扱うという意味では、Audioに限らず応用ができるのではと考えています。 2 Audio入力 エッジ側は、RaspberryPiとしたのですが、デフォル