はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 Filebeatにて複数行のメッセージを1イベントとして取り扱うためのMultiline設定をまとめてみました。 公式ドキュメントは下記となります。 https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#multiline 環境 Filebeat: v1.2.3 本題に入る前に Multilineの話をする前に、まずはFilebeatのデフォルトの仕様について整理します。 Filebeatは指定したファイルを読込み、logstashやElasticsearchに情報（イベント）をアウトプットするShipperとなります。 通常、読込みファイルの1行につき1イベントがアウトプットされるため、 連携先のElasticsearchでは読込みファイルの1行が1ドキュ

OSSコミュニティから提供されているBeatも数多くあります。 https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html 構成 Beatsは「libbeat」という共通機能（データ送信、設定管理、ロギング etc...）を提供するコンポーネントと データの種類に応じて収集・加工を担う個々のコンポーネント（上図でいうPacketbeatやTopbeat）から構成されます。 個々のBeatは1Beatにつき1実行ファイルの構成となります。 ユースケースに応じてBeatを自作することもできます。（後述） BeatsとLogstashの棲み分け elastic社のデータ収集ツールとしてはLogstashが存在しますが、Beatsとの棲み分けはどうなるのでしょうか？ 上図のとおり、「データの収集」はBeats

概要 先日「Amazon Dash Button」がついに日本でも発売になりましたね。 これ、要はボタンをポチッと押すと対象の商品がAmazonで自動注文されて自宅に届くというものです。 今回はこれを自作しちゃおう！という旨の記事です。 わかる人はわかると思いますが、正確には「Amazon Dash Button」のプログラム可能版となる「AWS IoT Button」という方が近いと思います。 ※話題にのってタイトルは「Amazon Dash Button」としてみました。 全体構成 全体のアーキテクチャは次の通りです。 Raspberry Pi Zeroに取り付けたボタンを押すとMQTT経由でAWS IoTに接続します。 AWS IoTのルールエンジンによりAWS Lambdaへメッセージをルーティングします。 Lambda関数ではSelenium + PhantomJSよりAmazo

概要 この記事では、アプリケーションコンテナのランタイムであるDockerとrktについて、 2つの大まかな違いを説明し、Dockerとrktそれぞれを使用してコンテナの取得・作成・起動・破棄など基本的なコンテナ操作を実施してみます。 記事全体として「Dockerはある程度知ってるけど、それに比べてrktってどうなんだ？」というトーンで書いています。 Dockerとは 公式：https://www.docker.com/ Docker社が開発しているオープンソースのコンテナランタイムです。 コンテナ技術自体は決して新しくはないですが、その使いやすさからある種のコンテナブーム（?）を巻き起こしたともいえるかと思います。 詳しい情報は、ググれば良い記事が山ほど出てくるので割愛します。 rktとは 公式：https://coreos.com/rkt/docs/latest/ CoreOS社が開発

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 みなさんElasticsearchのプラグインは利用していますか？ 現在Elastic社より「Marvel」「Shield」「Watcher」といったプラグインが提供されていますが、 本格的な運用時には必須といっていいほど有用なものばかりです。 今回はElasticsearchの有償プラグインである「Shield」を利用してElasticsearchの監査証跡を出力し、「Watcher」を利用して監査証跡から不正アクセスを検知しアラート（メール送信）を上げてみます。 はじめに Shieldとは 公式：https://www.elastic.co/products/shield Elasticsearchのセキュリティプラグインとなります。 Shieldを利用することでElasticsearchへのアクセスに対し認証・認可を実現したり、 IPフィルタリングや今回取り上げる監査証跡出力を

本記事の概要 ログ収集・解析の基盤としてELK（Elasticsearch + Logstash + Kibana）の構成がよく知られていますが、 その中でもログの管理・可視化を担うElasticsearch + Kibanaがメインの記事となります。 このKibanaですが、現状、認証・認可やセキュリティ対策のような機能は実装されておらず、 本格的な運用を考えたときに何とかしたいと思ったのが事の発端です。 認証・認可がないということは、例えば管理者となる人がKibanaにてVisualization（グラフ）やDashboard（グラフの集合）を作成したとしても、Kibanaにアクセス可能な人であれば誰でもそれらを改ざんすることが可能となってしまいます。 今回はElasticsearchの有償セキュリティプラグインである「Shield」を用いて、Kibanaの認証・認可を実現し、 Vis

概要 この記事では、アプリケーションコンテナのランタイムであるDockerとrktについて、 2つの大まかな違いを説明し、Dockerとrktそれぞれを使用してコンテナの取得・作成・起動・破棄など基本的なコンテナ操作を実施してみます。 記事全体として「Dockerはある程度知ってるけど、それに比べてrktってどうなんだ？」というトーンで書いています。 Dockerとは 公式：https://www.docker.com/ Docker社が開発しているオープンソースのコンテナランタイムです。 コンテナ技術自体は決して新しくはないですが、その使いやすさからある種のコンテナブーム（?）を巻き起こしたともいえるかと思います。 詳しい情報は、ググれば良い記事が山ほど出てくるので割愛します。 rktとは 公式：https://coreos.com/rkt/docs/latest/ CoreOS社が開発