タグ

ブックマーク / qiita.com/y-ken (2)

  • Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita

    HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに慣れていない新参者には辛い物がありました。 しかしPrestoではインタラクティブに実行できますので、トライ

    Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita
  • FluentdでApacheのエラーログを収集する正規表現 - Qiita

    Apache のエラーログを in_tail プラグインで収集する設定サンプルを紹介します。 fluent.conf (td-agent.conf) fluentd < v0.10.53 OR td-agent < v1.1.21 <source> type tail path /var/log/httpd/error_log format /^(\[(?<time>[^\]]*)\] \[(?<level>[^\]]+)\] (\[client (?<host>[^\]]*)\] )?(?<message>.*)|(?<message>.*))$/ time_format %a %b %d %H:%M:%S %Y tag apache.error pos_file /var/log/td-agent/apache_error.pos </source> # 送り先を Fluentd の標

    FluentdでApacheのエラーログを収集する正規表現 - Qiita
  • 1