rsakamotのブックマーク / 2017年2月10日

MacにhiveをセットアップしてS3上のファイルにアクセスするまで | takemikami's note
Mac上にhadoop/hiveを入れて、 S3上のファイルをhiveでアクセスするまでの手順のメモを残しておきます。 HadoopとhiveのセットアップS3上のファイルへのアクセス設定S3上のTSVファイルへのクエリ実行S3上にクエリの実行結果を保存Hadoopとhiveのセットアップhomebrewを使ってhadoopとhiveのインストール、その後必要となる設定を行います。インストールjdk及びhomebrewはセットアップ済みとして、以下のコマンドでhadoopとhiveをインストールします。 HADOOP_HOMEの設定環境変数「HADOOP_HOME」「HADOOP_CONF_DIR」を設定しておきます。 hadoop versionの出力結果を見て、以下のように設定します。以下は私の環境の場合の設定です。 $ hadoop version Hadoop 2.7.2
rsakamot 2017/02/10
hive

AWS
リンク
Pythonの例外情報(Traceback)をLogに記録するには Logger.exception が便利って話 - ikeikeikeike's unk blog.
極たまに下記のようなコードを見ます。例外情報が欲しいのは分かりますがlogging.Loggerクラスには専用のメソッドがあります。 import traceback try: dosomething() except (KeyError, ValueError): logger.error(traceback.format_exc()) Logエラーレベルが ERROR のメッセージで例外情報を残したいなら下記にすべきです。 try: dosomething() except (KeyError, ValueError) as err: logger.exception('Error dosomething: %s', err) ドキュメント http://docs.python.jp/2/library/logging.html#logging.Logger.exception htt
rsakamot 2017/02/10
リンク
fluentdでログが欠損する可能性を考える : sonots:blog
rsakamot 2017/02/10
fluentd
リンク
- 2017年2月11日
- 2017年2月10日
- 2017年2月9日