サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
packpak.hatenablog.com
AWS Redshiftを導入する前に知っておくべき、AWS Redshift の特性、長所、他所を開発・運用してきた中で要所っぽいところをいくつかTips的にまとめた。 字量が非常に多くて申し訳ないが、参考になれば。 RDBに比べて有用なケース/苦手なケース 下記のケースに合致する。 SQL文をベースとした、複雑で演算コストの高いETL(分析用途用のデータ加工処理の通称)の実行 BIツールのような、3~5列程度の列を利用した参照クエリの実行。 下記のケースは向かない。 短時間で非常に多くのクエリを実行するアプリケーション(1秒に5~10クエリなど)のバックエンド 短時間で非常に多くのCommitを実行するアプリケーション(Webフレームワークが勝手に)のバックエンド 一度に多くの列を取得するクエリを発行するアプリケーション(CSV出力など)のバックエンド 性能について クエリの性能 1つ
仕事でRedshiftのチューニングをすることになりそうなのでメモ ※適宜更新 2018/04/04 更新 2018/04/11 更新 2018/10/04 更新。嘘いっぱい書いてたのを訂正。分散キーに関する項目を拡充 2018/11/07 更新。列圧縮に関する嘘八百を訂正。ソートキーに関して追記 2020/02/06 改めて見直すと肝心なことが書かれていなかったので更新。 この記事が想定する事例 検証環境では5秒~10秒程度で帰ってきているが、一定の負荷がある本番環境では何故かパフォーマンスが半分以下になる。 Redshiftは並列分散で、1つのタスクにリソースを全力投入することでパフォーマンスを出している。AWSのガイドラインが提示しているチューニングは、実はリソース消費を低減させることに重きを置いている。(ソートキー、列圧縮タイプなどは副次作用もある) Redshiftのチューニング
Windowsユーザーならみんなbatファイル好きだよね。 一度ははまるであろう環境変数のスコープについてあれこれをまとめる。 setコマンド set 一時環境変数名=値 環境変数を一時設定する。 実行したコマンドプロンプト内でのみ有効。 (他のプロセスからは見えない。該当プロセスから立ち上がった子プロセスはスコープを引き継ぐ。コマンドプロンプト落とすと消える。) ちなみに、ユーザー環境変数とかシステム環境変数といったものを恒久的に変えたければsetxコマンドを使うそうだ。 setlocalとendlocal 「バッチの中だけでスコープ切りたい!」ってときに使えるコマンド。 set X=outscope setlocal echo %X% rem outscopeと表示される set X=inscope echo %X% rem inscopeと表示される endlocal echo %X
Ubuntu 16.04 LTS入れてCUI環境作ろうとしたら、何か妙に引っかかったので検索結果めも。 起動時にCUIにする Linuxは起動時に読み込むrunlebelという設定値があって、 1~6の中のどれかを指定することでGUIとかCUIとかを切り替えたりする慣習あるんだけど、 今の?Ubuntuとかdebianは事情が異なって、「~.target」ファイルの指定を変えるらしい。 デスクトップ右クリック → 端末 sudo systemctl set-default multi-user.target 参考 Ubuntu日本語フォーラム / CUIでの起動、ログインについて ランレベルの変更 inittab multi-user.target graphical.target キーボードレイアウトを変える CUI環境、デフォだとなんか英語キーボードだった。 (デスクトップ環境は自動で
このページを最初にブックマークしてみませんか?
『packpak.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く