これからAmazon Redshiftを始める技術者が注意すべき１１つのポイント ｜ DevelopersIO
更新版がこちらにありますので、こちらもぜひご覧ください。 これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意！ １件ずつINSERTするととても遅いので注意！ 主キー制約、一意制約、外部キー制約は違反してもエラーにならないので注意！ COPYコマンドは全件INSERTなので注意！ CSVでアップロードする場合の注意点！ サポートしているデータ型に注意！ エンコーディ
KLab-データ分析グループのblog : Amazon Redshiftで高速にINSERT + UPDATEを行なう
2013年07月10日 カテゴリ Amazon Redshiftで高速にINSERT + UPDATEを行なう こんにちは。takada-at です。 最近 KLabデータ分析グループではAmazon Web Services（AWS）が提供するデータ分析に特化したデータベースであるAmazon Redshiftを導入し、活用しはじめています。そこで、いくつか運用で学んだRedshiftのノウハウを書いていこうと思います。 今回はデータインポートの際のノウハウのひとつです。MySQLには、データインポート時、LOAD DATA INFILE コマンドにREPLACEというキーワードをつけることで、データが存在しなければINSERT、データが存在すればUPDATEという動作を実現することができます。http://dev.mysql.com/doc/refman/5.1/ja/load-dat
Y!mobileはHTTPのプロトコルを監視して帯域制限を行っている｜11. 00100100…
旧EMOBILE LTEの回線でアプリのテストをしているときに謎の不具合として発見しました。 スピードテストや、普通のブラウジングは快適に行えているのに何故かzipファイルの転送時のみものすごく遅くなり、最初は自分のアプリの不具合を疑いましたがHTTP通信全般で発生するようです。 。 契約回線は旧EMOBILE LTEで、「当月のご利用通信量が10GB以上」で帯域制限を行うと公表されています。 テストした日までの通信量は10.588GBで、目安の通信量を超過している状態です。 この状態でHTTPによるリクエストを出すと、ファイル種類によって挙動が変わります。 月初めはどのような挙動になるか不明なので来月になったらやってみます。 以下実験結果です。 以下コマンドで1MBのダミーファイルを生成。 % dd if=/dev/zero of=test.zip bs=1M count=1 ファイルの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
