はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 Filebeatにて複数行のメッセージを1イベントとして取り扱うためのMultiline設定をまとめてみました。 公式ドキュメントは下記となります。 https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#multiline 環境 Filebeat: v1.2.3 本題に入る前に Multilineの話をする前に、まずはFilebeatのデフォルトの仕様について整理します。 Filebeatは指定したファイルを読込み、logstashやElasticsearchに情報（イベント）をアウトプットするShipperとなります。 通常、読込みファイルの1行につき1イベントがアウトプットされるため、 連携先のElasticsearchでは読込みファイルの1行が1ドキュ

OSSコミュニティから提供されているBeatも数多くあります。 https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html 構成 Beatsは「libbeat」という共通機能（データ送信、設定管理、ロギング etc...）を提供するコンポーネントと データの種類に応じて収集・加工を担う個々のコンポーネント（上図でいうPacketbeatやTopbeat）から構成されます。 個々のBeatは1Beatにつき1実行ファイルの構成となります。 ユースケースに応じてBeatを自作することもできます。（後述） BeatsとLogstashの棲み分け elastic社のデータ収集ツールとしてはLogstashが存在しますが、Beatsとの棲み分けはどうなるのでしょうか？ 上図のとおり、「データの収集」はBeats

概要 先日「Amazon Dash Button」がついに日本でも発売になりましたね。 これ、要はボタンをポチッと押すと対象の商品がAmazonで自動注文されて自宅に届くというものです。 今回はこれを自作しちゃおう！という旨の記事です。 わかる人はわかると思いますが、正確には「Amazon Dash Button」のプログラム可能版となる「AWS IoT Button」という方が近いと思います。 ※話題にのってタイトルは「Amazon Dash Button」としてみました。 全体構成 全体のアーキテクチャは次の通りです。 Raspberry Pi Zeroに取り付けたボタンを押すとMQTT経由でAWS IoTに接続します。 AWS IoTのルールエンジンによりAWS Lambdaへメッセージをルーティングします。 Lambda関数ではSelenium + PhantomJSよりAmazo

概要 この記事では、アプリケーションコンテナのランタイムであるDockerとrktについて、 2つの大まかな違いを説明し、Dockerとrktそれぞれを使用してコンテナの取得・作成・起動・破棄など基本的なコンテナ操作を実施してみます。 記事全体として「Dockerはある程度知ってるけど、それに比べてrktってどうなんだ？」というトーンで書いています。 Dockerとは 公式：https://www.docker.com/ Docker社が開発しているオープンソースのコンテナランタイムです。 コンテナ技術自体は決して新しくはないですが、その使いやすさからある種のコンテナブーム（?）を巻き起こしたともいえるかと思います。 詳しい情報は、ググれば良い記事が山ほど出てくるので割愛します。 rktとは 公式：https://coreos.com/rkt/docs/latest/ CoreOS社が開発

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?