タグ

ブックマーク / s-wool.blog.jp (3)

  • Fluentd Meetupで発表してきました : slog

    2014年05月16日 02:06 カテゴリ Fluentd Meetupで発表してきました Posted by steelwool_oxide こんにちは、スチールです。 ものすごーく久しぶりに勉強会で話してきました。 参加したイベントはFluentd Meetupです↓ Fluentd Meetup 新しい応用事例とv1に関する発表 自分だけ写真がちょっとおかしい人みたいなかんじですね。 僕の発表は「マゾいログ回収の話と未来」というタイトルでして、所属するフリークアウトでのログ回収の今までとこれからというような話をしてきました。 発表スライドはこちら。 実際にマゾいかどうかはみなさまの判断にお任せしますが、 限られたリソースの中で大量に発生するログを集めるのはちょいちょい工夫がいるね、というのが伝われば幸いです。 今後やっていきたいこととして、全てのログを集めるということと、リアルタイ

    Fluentd Meetupで発表してきました : slog
  • hueでロードバランシングできるようにしてみる : slog

    2013年12月14日 22:41 カテゴリ hueでロードバランシングできるようにしてみる Posted by steelwool_oxide No Comments スチールです。この記事はHadoop Advent Calendar 2013の14日目の記事です。 13日目の記事はkmizumarさんの「cdh-twitter-exampleで遊ぶ」です。 さて今回はhueについて、ちょろっと手を加えてみたのでそちらについてまとめてみます。 hueはHadoop運用してる方にはおなじみだと思われる、WebのUIでHadoopが使えるというプロダクトです。 職場でも、運用には参加していないメンバーがhiveやImpalaを中心にこのhueを通して集計作業をしています。 そのhueのHAを組む記事が「High Availability of Hue」にあるので、そちらを元に環境構築の検証

  • Hadoop オペレーションを買ってみました : slog

    2013年11月30日 19:08 カテゴリ Hadoop オペレーションを買ってみました Posted by steelwool_oxide No Comments スチールです。11/27に待望のHadoop オペレーションが発売されたのでさっそくぱらぱらと読んでみました。 オライリーの紹介文に 書はHadoopの管理と運用に焦点を当てたです。Hadoopのクラスタ計画から、認証、リソース管理、またクラスタのメンテナンス、モニタリング、バックアップとリカバリなど、Hadoopを使う際に必要なトピックについて網羅しています。 とあるように、 管理と運用に焦点があたっておりますが、1~5章は実際に構築、運用する前に読んでおきたい内容がたっぷり書いてあります。書が出る前だとインストールなんかは、Hadoop徹底入門が鉄板かなーという感じでしたが、これから構築したりなんて方はHadoop

    Hadoop オペレーションを買ってみました : slog
  • 1