タグ

ブックマーク / mt.orz.at (3)

  • elasticsearch勉強会 の参加メモ #elasticsearchjp

    elasticsearch勉強会 の参加メモ #elasticsearchjp 先日行われた初心者詐欺が横行していたelasticsearch勉強会に参加したのでそのメモを残しておきます。 ESは内部的にはLuceneを使っており、競合するプロダクトはSolrです。良くAWSのサービスと勘違いするようですが、AWSは関係なくオープンソースの製品です。(私もそう思っていた時期がありました。) そういえば、隣に座っていたのTwitter4Jの山さんだったんですね。気がつかなかった(;´Д`) スライドはこちらにまとまっています。 雑感 雑感としては、SolrとESの使い分けが何となく自分の中で明確になりました。 Solrはスキーマきっちり、設計きっちりやりたい場合に使って、ESはデータ量が破滅的に増加的で柔軟なスキーマが欲しくてスケールをポンッとできる場合に使おうかなと思います。話を聞いた限

    elasticsearch勉強会 の参加メモ #elasticsearchjp
  • Fluentd Casual Talks #3 へ参加しました

    Fluentd Casual Talks #3 に参加してきました。 各発表の内容は資料を見るなり、誰かがまとめていたりするので、そちらを見れば良いと思います。今回参加した理由は、Windows版のFluentdについての発表があったからです。というわけで、発表者の方と休憩時間に話した内容をまとめます。 NTFS限定、かつネットワークドライブは挙動を保証しない事をドキュメントに書いた方が良いと思う 監視対象がローテーションしていて、かつ別ボリュームへ移動している場合は保証外である事を明示した方が良いと思う NTカーネルのバージョンをどこからサポートするか明示した方が良いと思う 特にXPのバージョン(Windows Server 2003の1つ前のカーネル)まで遡ると、NTFSの挙動が違います GetFileInformationByHandleで判断する時は、FileIndexの他にdwV

    Fluentd Casual Talks #3 へ参加しました
  • Apacheのサンプルログを生成し続けるスクリプト

    最新の記事はこちらです。 Fluentdのテストをする過程で欲しかったので、Apacheのログを生成し続けるスクリプトを書きました。 と言っても生成部分はTreasureDataのスクリプトを丸ぱくりで流量制限をするオプションを追加して延々と出力するようにしただけです。 frsyuki++。 手元でサクッとproductionで確認できる人はうらやましす。 使い方は以下のような感じです。詳細はREADMEを見てください。 ruby sample_apache_gen.rb [--rate=0] [--limit=0] [--rotate=0] [--progress] [--json] [outfile] --rate 毎秒何レコード生成するかの指定。0以下は制限無し。 --limit 最大何件出力するか。0以下は延々と出力し続ける。 --rotate ローテーションの間隔。単位は秒指定。

    Apacheのサンプルログを生成し続けるスクリプト
  • 1