Prestoのパフォーマンス - Qiita
きっかけ アドテクスキルアップゼミ カラムナーデータベース検証まとめという記事が公開されたのですが，Presto/Impalaの結果があまりにも散々で，これはさすがに何かおかしいんじゃないかという話になってました． 今だとすでに記事に注釈が入ってますが，Presto/Impalaは生のテキストファイルを対象にしていたのが原因でした．なので，その辺について少し書き，実際Prestoはどんなもんなのかというのを簡単に示します． 列指向ファイルフォーマット Presto/Impalaが生のテキストファイルだったのに対し，他のクエリエンジンは違うフォーマットでデータを保存していて，これがかなり結果に響いてます．Redshift，BigQuery，Treasure Dataなど，データ解析系のサービスは皆列指向フォーマットを採用していて，データインポート時に勝手に変換が行われます．列指向フォーマット
fluentdのプラグインの各パラメータの説明 - Qiita
Fluentd v0.12.16でプラグインの設定をコマンドラインから確認する方法 クリアコードさんのブログで既に書かれてますが，fluentdはv0.12.16から，プラグインの各パラメータを定義するconfig_paramに説明が付与できるようになってます．今だと二つ付与する方法があります．以下はout_stdoutのoutput_typeの例です． :descオプション config_param :output_type, :default => 'json', :desc => 'Output format.(json,hash)'
Fluentd v0.12のリリース - Qiita
12月12日にFluentd v0.12をリリースしました．ここでは出たばかりのv0.12について書きます．v0.12はv1リリースのための準備マイナーバージョンアップの一つで，なるべく互換性を維持しつつ新機能や新しいAPIを実装しています．以下がv0.12で提供される主な新機能です． フィルタ ラベル ログ転送でのAt-least-once semantics 新しいParser/Formatterクラス このうち，一番下の機能はv0.10にもバックポートされています．それぞれ説明していきます． フィルタ Fluentdで一番待ち望まれていた機能です．Fluentdはロバストなログ転送にフォーカスして開発されているログコレクタで，貯めた後にHadoopでバッチを回したり，Prestoでアドホッククエリを投げるなどがよくある構成です． ただ，ログを貯める前に速報値を出したいとか，ログ本体に
fluent-plugin-tdの説明 - Qiita
英語では少し情報はあるんですが，日本語だとTreasure DataのFluentdプラグインのまとまった情報がない気がしたので，とりあえず書いておく．いずれは公式ブログとかドキュメントの日本語化がされた時に整理されて公開される予定です． Treasure Dataに関しては，公式サイトや公式ブログに色々と記事が公開されているので，参照してみてください． http://www.treasuredata.com/jp/ http://treasure-data.hateblo.jp/ Treasure Dataプラグインについて その名の通りTreasure Dataにログを転送するFluentdプラグインです．Treasure DataのデータストアはスキーマレスなのでひたすらJSONなログを突っ込むことが出来，Fluentdと相性が良いです．実際はSchema on Readのアプローチ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
