はてなブックマーク

はじめに 最近では AWS S3をベースとしたデータレイクを構築してデータをまとめているケースも多くあると思います。そこで今回はS3上のログをSplunkに取り込むまでをやってみたいと思います。いろいろな取り込み方法があるのですが、今回はとにかくシンプルかつ早い設定をテーマにやってみます。 ##設定の流れ 大きく分けると AWS上の設定とSplunk上の設定の２つが必要になります。 AWS上の準備・設定 AWS S3 Bucket の作成 S3 上にデータをアップロード IAMユーザー作成 & ポリシー作成しユーザーへの権限付与 Splunk上の設定 4. APPの追加 (Add-on for AWS) 5. Configuration (IAM User追加) 6. Input設定 AWS上の設定 ###1. AWS S3 Bucket の作成 まずは通常通り S3 Bucke を作成し

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 早いものでSplunk を勉強し始めてからちょうど１年が経ちました。まだまだ分からない事だらけなのですが、ちょうど区切りなので、これまでを振り返りながら役にたった勉強方法や有益なサイト情報などをまとめておきたいと思います まず最初にやっておくべきこと もしあなたがこれからSplunkを勉強したいと思っているのなら、まずは勉強が出来る環境を用意しましょう。全てはそこからです。 Splunkをインストールして、サンプルデータを取り込む Splunkは １日あたり500MB のデータ取り込みであれば無償で利用できます。勉強だけであれば十