yukiyan_wのブックマーク - はてなブックマーク

digdag secrets を楽して環境変数にマップしたい - Qiita

out: type: bigquery auth_method: json_key json_keyfile: content: ${env.secret_gcp_credential} +task1: _env: secret_gcp_credential: ${secret:gcp.credential} secret_aws_access_key_id: ${secret:aws.access_key_id} secret_aws_secret_access_key: ${secret:aws.secret_access_key} sh>: embulk run embulk.yml.liquid +task1: _env: secret_gcp_credential: ${secret:gcp.credential} secret_aws_access_key_id: ${secr

yukiyan_w 2020/10/19

digdag

リンク

aws cliでシェル毎にデフォルトプロファイルの切り替え設定 - Qiita

一般的には、複数のAWSアカウントを持っている場合 aws configure --profile <profile> で aws cli の設定をすると思うが、これだとあらゆる aws コマンドを打つたびに --profile <profile> オプションでプロファイル名を指定しないといけないのでめんどくさい。シェル毎に別のプロファイルをデフォルトで指すことができるようにして、tmux のウィンドウ毎にプロファイルを切り替えたい。関連: gcloud でシェル毎にプロジェクトの切り替え設定 AWS_DEFAULT_PROFILE, AWS_PROFILE AWS_DEFAULT_PROFILE および AWS_PROFILE 環境変数でデフォルトプロファイルを切り替えられるので、この環境変数をシェル毎に設定しなおせば良い。ツールによってどちらの環境変数が参照されるかまちまちなような

yukiyan_w 2019/09/27

aws

リンク

オレオレ rbenv 運用 Tips - Qiita

# /etc/profile.d/rbenv.sh if [ -d "$HOME/.rbenv" ]; then export PATH="$HOME/.rbenv/bin:$PATH" eval "$(rbenv init --no-rehash -)" fi ポイントは２点あって、 /etc/profile.d/rbenv.sh に設定を書く eval "$(rbenv init --no-rehash -)" のように --no-rehash を付ける理由としてはは /etc/profile.d ならばファイルの分割ができ、~/.bash_profile よりも綺麗に整理できるため。また >> で追記する必要がないので、冪等性を保ちやすくプロビジョニングツールで設定を記述しやすいため。は rbenv init - はデフォルトでは rbenv rehash もするが、rbenv

yukiyan_w 2017/04/15

リンク

production db の内容を staging db に import する雑なスクリプト - Qiita

開発環境のデータをできるだけ本番に近づける - クックパッド開発者ブログみたいなことをやりたかったが、レプリケーション組むとなると大変なので、雑な mysqldump ベースのデータ移行スクリプトを書いてみた。仕組み mysqldump で mysqldump -uroot -T /tmp/ --fields-terminated-by="\t" --fields-optionally-enclosed-by="\"" --lines-terminated-by="\n" --fields-escaped-by="" #{database} #{table} のようにして production db のデータを TSV として吐き出して、LOAD DATA LOCAL INFILE #{tsv_file} INTO TABLE #{table} で TSV ファイルを読み込んで stag

yukiyan_w 2017/01/19

リンク

Embulk の LocalExecutor プラグインの振る舞いについて整理 - Qiita

デフォルトの Executor プラグインで、Embulk を実行したホストのリソースを使用してバルクロード処理を行う。その他の Executor プラグインとしては MapReduce Executor プラグインが存在し、そちらではHadoop上でバルクロード処理を実行することができたりする。

yukiyan_w 2017/01/15

embulk

リンク

google-api-ruby-client で BigQuery にクエリを投げるとメモリを大量に喰って憤死する - Qiita

問題 google-api-ruby-client を使って BigQuery にクエリを投げると、内部で representable gem というものを使っているせいで、レスポンスの結果を全てモデルオブジェクト化しようとしてCPUとメモリを大量に消費する。例えば、手元の例では2.4MBの結果を取得するのに、Rubyプロセスが500MBに肥大化した。対策 EDIT: 0.11.0 で skip_deserialization option を指定すると、オブジェクト化をスキップできるようになりました。See also issues/475 無駄にオブジェクト化しないでくれ、ということで monkey patch してしまった。 # monkey patch not to create representable objects which consumes lots of memor

yukiyan_w 2016/09/30

リンク

Fluentd のベンチマークテストに使える dummer (旧称: dummy_log_generator) - Qiita [キータ]

id:0422 time:[2013-11-19 02:34:58] level:INFO method:POST uri:/api/v1/textdata reqtime:3.9726677258569842 foobar:LFK6XV1N id:0423 time:[2013-11-19 02:34:58] level:DEBUG method:GET uri:/api/v1/people reqtime:0.49912949125272277 foobar:DcOYrONH id:0424 time:[2013-11-19 02:34:58] level:WARN method:POST uri:/api/v1/textdata reqtime:2.930590441869852 foobar:XEZ5bQsh 設定パラメータちょっと長くなるので読み飛ばしてもらっても良いのですが、