年末年始になると自宅のネットワーク周りをいじりたくなるmizutaniです．1年くらい前にミラーリングできるスイッチを格安で手に入れてはしゃいで自宅ネットワークの監視環境を作ったんですが，今見直してみるとわりと複雑な構成で，これをどうにか整理できないかと昨年末に思い立ちました．機器の構成はなるべくシンプルにするとともにどうせなら今風な作りにしようということで，Docker + Linuxで構成するPCルータを作ってみました． 設計 原則 サービスのモジュール化 Linux kernelにやらせなければならない仕事を除き，各サービスをなるべく独立して動かせるようにします． 市販のブロードバンドルーターなどと比べ，Linuxを入れたマシンは非常に自由度が高いためなんでもできますが，そのために環境が"汚れて"しまうという問題が有ります 細かい変更を続けるうちにサービスや保存してあるファイルの依存

2015.3.16: @hiroysatoさんから教えていただいたnewコマンドをベースにした方法へ大幅に書き換え。 背景 セキュリティ関係のなんとかみたいな仕事をしていると、ある時急に数TBの謎のログを手渡されて「これ明日までになんか解析してみて」みたいなムチャぶりが飛んでくることがあります。このようなデータ分析では分析手法云々という前に、正規化してDBに取り込んだりする作業に相当の労力が必要になります。こういう事案に対していまどきなデータ転送ソフトウエアであるembulkを使うとだいぶ分析にとりかかれるまでの作業が楽になるのではないかと思ったので、一連の手順をまとめてみました。 前提条件 大きいサイズ（数GB〜数TB）のログデータを取り込みたい ログデータは1行1レコード形式のテキストで複数ファイルに分割されている ログの出力形式などは謎。既存のプラグインなど存在しない 出力形式の推定

完全に手前味噌な記事ですがそこはご愛嬌で。 まえがき 2000年代に主なログ収集方法だったsyslogに代わって、fluentdやLogstashなどの新しいログ収集・配送方式が広く普及するようになりました。 特にfluentdはRubyによって簡単にプラグインが作成できるため、入力・出力ともに多様なプラグインが存在します。 ただC/C++のようなネイティブプログラムからログを送信する場合、ファイル出力、DB出力などを経由する必要があり、 無駄なオーバーヘッドがかかってしまうため、直接fluentdのin_forwardにデータを送り込むことが できるlibfluentを利用します。 既存のC++によるfluentd実装としてはfluent-logger-cppがありますが、libfluentは以下のような特徴があります。 ネストされたメッセージ構造をサポートしています。{"a": {"b