『Amazon Redshift チュートリアル: テーブル設計チューニング』を実践してみた | DevelopersIO
Amazon Redshiftに於いて『パフォーマンスチューニング』は重要なトピックの1つです。Redshiftクラスタを立ち上げて、データを投入して、実際使ってみたものの思ったような速度・レスポンスが返って来ない...という状況も時折遭遇する事と思います。 AWS公式ドキュメント(英語版)を漁ってみると、まさにその『パフォーマンスチューニング』に焦点を当てたチュートリアルが公開されているではありませんか！当エントリではそのドキュメントを参考にひと通り実践してみた内容をまとめてみました。各種手順を1エントリに集約したので超長いエントリとなってしまいましたが、その辺りは目を瞑りつつ実践内容を順を追ってご覧頂ければと思います。 Tutorial: Tuning Table Design - Amazon Redshift: 目次 1.テスト用データセットの作成 2.ベースラインを作るためのシス
Amazon Redshift編～パフォーマンスチューニング まとめ編～
Sortkeyを設定することで、Sortkeyを設定した項目の値順に並ぶようになります。 2013年1月～6月の上半期のデータの抽出を行う場合、2012年12月以前のデータや2013年7月以降は除外され、必要な部分のみ検索を行うことが出来ます。 この機能により、IDや期間などで絞り込みを行うカラムに対して設定を行うことで、高速化する事ができます。 Distkeyについて Redshiftの強力な仕組みとして、複数のノードに対して分散して処理する仕組みがあります。 その分散処理を最適に利用するための設定がDistkeyとなります。 例えば、4ノードに対して100万行のデータを保存した場合、各25万行が保存される様になっております。 全体の20万行の値を取り出して集計処理を行う場合、ケースによっては以下のようになってしまう場合があり得ます。 こうなってしまった場合、複数のノードで処理しているに
redshiftのカラムに適切なencodeを設定する
redshiftはいわゆるcolumner型のデータ構造を持っているので、各columnに適切なencode(圧縮)方式を適用することが運用に際して非常に重要になります。 ◯redshiftに任せる redshiftは、当該テーブルへの初回copy時に適切なencodeを自動検出し適用する機能があります（10万レコードからサンプリングし、推定）。最もナイーブな方式としてはこちらに任せる、という方法があります。 適用されたencodeは、以下のクエリーを実行することで確認できます。 select * from pg_table_def where tablename = 'hoge'; ◯analyze compressionを実行した結果を適用する ただし、初回のサンプリングだけでは限界があり、運用を重ねていった結果実情に則さなくなるケースも多いです。 現在蓄えられたデータから最適なenc
2014年に読んだ技術書で良かったもの - うさぎ組
概要 新刊にかぎらず、今年読んでいて「あー、良書だなー」って思ったものをあげています。これ、ダメじゃないの？とか、あー、やっぱりこれいいよねっていうコメントもらえると嬉しいです。 基本は、.NETにおけるWeb APIやFW開発でQA * POな人が思う良書です。今年は技術書より論文、言語仕様書、実装を読んでいることが多かったので、去年の半分の30冊くらいしか読んでいないかな。 開発チーム系 エッセンシャル スクラム 作者: Kenneth S. Rubin出版社/メーカー: 翔泳社発売日: 2014/08/01メディア: Kindle版この商品を含むブログを見る スクラムなんとなくわかっているんですけど、自分以外の状況よくわからんしなー、進め方変じゃないかなぁっていうときに、読むとめっちゃ参考になります。 組織パターン 作者: James O. Coplien,Neil B. Harri
総務省がLTEより約10倍速い｢4G｣の周波数割り当てを発表。で何が変わるの？
総務省がLTEより約10倍速い｢4G｣の周波数割り当てを発表。で何が変わるの？2014.12.25 22:0010,072 塚本直樹 次世代がどんどんやってきます。 LTEサービスが始まってからスマートフォンの通信速度はずいぶん速くなりましたが、近い将来もっともっと速くなります。総務省は19日、次世代移動通信システム｢4G｣向けの周波数をドコモ・KDDI（au）・ソフトバンクの3社に割り当てると発表しました。 4Gはとにかく速さがウリ この4Gの何がスゴイのかといえば、その通信速度でしょう。4G通信サービスでは1Gbps超の超高速通信が利用できるとされています。現在各社が提供しているLTEサービスの通信速度は最大でも150Mbpsですから、まさに4Gは約10倍速い通信技術というわけです。 1Gbpsの高速通信が日常的に利用できるようになれば、もはやウェブページの読み込みで待つなんてことは過
MySQLレプリケーションの運用が劇的変化！！GTIDについて仕組みから理解する
メリークリスマス！！やあ、良い子のみんな！！サンタクロース・・・ではなく、ヒゲモジャギークからのクリスマスプレゼントだよ！！ というわけで、MySQL Casual Advent Calendarの25日目である。今朝Advent Calendarを覗いてみると、本日分のエントリーが無かったので、急遽書くことにした。Advent Calendar最後の日、クリスマスを飾る記事のテーマはGTIDだ。 前回の投稿では、MySQL 5.6の目玉機能として、レプリケーションがクラッシュセーフになったことを挙げた。レプリケーションまわりで言えば、もうひとつ外せない目玉機能がある。それがGTID（Global Transaction ID）である。 GTIDは良くも悪くもレプリケーションの運用を変化させる。GTIDを使うことによって得られる最大のメリットは、CHANGE MASTER TOでバイナリロ
30日でできない 自作Linuxクローン開発 - るくすの日記 ~ Out_Of_Range ~
この記事は 自作OS Advent Calendar 2014 - Adventar 12/25の記事です。 一ヶ月程前からLinuxカーネルのコードを読み始めたので、解読ついでに自分でもカーネルを作ってみました。 とはいっても、まだ半分も完成してないです（） 当初は、30日でできる 自作Linuxクローン開発 を予定していたのですが、 予想以上の規模で、解読とフルスクラッチ開発を併行するのは結構大変でした... という訳で、現在実装できている所まで紹介します。 開発レポジトリはこちらです。 RKX1209/Abyon · GitHub (インストール方法や実行方法はここに書いてます) 実装した機能 プロセススケジューラー Runキュー ハードウェア割り込み(PIC 8259A) 遅延割り込み Tasklet グローバルタイマー(PIT) タイマーリスト 仮想ページング(IA-32 MMU
io.jsについて知っていること - from scratch
今、Node.jsに起きてることを語る上で、io.jsは避けて通れない話題でしょう。 今回のNode.js アドベントカレンダー 2014の締めを飾るために、このio.jsについて僕が知っている限りの事をまとめて書くことにします。 io.jsを知り、今後"Node"がどうなっていくのかを皆で一緒に考えていきましょう。 またこの一連のio.jsのfork騒動はOSSという特殊なプロジェクトをどう進めていくのがハッピーなのかを知る一つの教材だと思います。 OSSに関わっている皆さん、今回も長いですが、最後まで読んでもらえると幸いです。 io.js とは何か Node.jsのForkです。次のNode.jsの安定版になる、v0.12をForkしています。「アイ・オー ジェイエス」と読みます。名前の由来は木星にある四番目に大きな衛星の名前から取られました。*1 Nodeを使っている人のことをnod
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
算術演算子の使い方
A Node in Nodes