タグ

ブックマーク / repeatedly.github.io (3)

  • Fluentdとログ収集のパターン - Go ahead!

    「ログを集めて保存する」と言うのは簡単だけど,ログ収集の構成にはいくつか方法があり,勉強会などでちょくちょく聞かれるので,いくつかのパターンについて書く. 「俺はもうバリバリログ収集やってるぜ!」という人は多分すでに知っていることが書かれているので,タブを閉じて良い. ここではログコレクタにFluentdを想定しているが,他のログ収集プロダクトにも適用出来るはず. ただ,Fluentdはタグベースのルーティングを持ち,単体でもキューのように動作させることが可能で,既存のものより複雑な問題を解決しようとしているので,少し工夫が必要かもしれない. Fluentdそのものについては公式ドキュメントや,Fluentdとはどのようなソフトウェアなのかを参考に. クライアントから直接保存する いきなりFluentdを使わないパターン.JavaScript SDKを提供している解析サービスやモバイル端末

    equinox79
    equinox79 2014/08/01
  • AWSを使ったデータ解析PaaSの裏側 - Go ahead!

    JAWS DAYS 2013というイベントがあって,2日目にTreasure Dataとして発表してきました.実は1日目には弊社CTOがパネルディスカッションに登壇したりしてました. Slideshare Ustream Video streaming by Ustream 最初はfrsyukiが登壇予定に上がっていたんだけど,今彼はアメリカということで代打で役割が回ってきた,というのが発表の経緯. なんかラベルが”Dev”と”Ops”という超大雑把なくくりで「AWSで”Dev”って何発表すれば…」という状態だったので, AWS上で展開しているTreasure Dataサービスの仕組みについてつらつらと話しました. AWSべったりな感じではなくて Treasure Dataのサービス内容と目的 どうAWSのプロダクトを使っているのか なぜこのAWSのサービスを使わないのか というのを大まか

    equinox79
    equinox79 2013/03/24
  • Change The Game - Go ahead!

    知ってる人はもう知っているとは思いますが,10月をもって1年と10ヶ月勤めた謎のベンチャーPreferred Infrastructure, Incを去りました.PFIの方々,当に有り難うございました! エントリを書けと色々な人に脅されているので,てきとうに書きます. 環境 インターンで飛び込み,そのテンションのまま大学を辞めて入社.俺みたいな機械学習や情報検索の基礎すらなかった人間が,今では機械学習プロジェクトで開発をやっていたわけですから,岡野原さんを筆頭に当濃い社員の人達には感謝しかありません. 学習の高速道路という言葉がありますが,間違いなく超高速,時には事故るんじゃないかという環境でした.右を見ても左を見ても怪物だらけであるこの魔窟で,エンジニアとして勤めることが出来たのは当に良い経験でした. 俺が入社した時は正社員は15人くらいだった気がしますが,今では既に26人で,もう

    equinox79
    equinox79 2012/11/01
  • 1