タグ

データストアに関するgirledのブックマーク (2)

  • Amazon Redshift編~データをインポートしてみよう!(エラー編)~

    こんにちは!中の人です。 今回も前回のレシピに引き続き、Amazon Redshift編です! 今まで4回にわたってAmazon Redshiftでのデータのインポート方法について紹介させてもらいましたが、実際に操作を行なっていると様々なエラーが返ってきます。 記事を書く中でも数々のエラーが出ました。今回のレシピでは、エラーメッセージとその対処方法について紹介します。 ※ 『SQL Workbench』での操作をベースとして記述しております。 今までのAmazon Redshiftでのデータのインポートに関するレシピは下記を参照してください。 ■ Amazon Redshift編~CSVファイルのデータをインポートしてみよう!~ ■ Amazon Redshift編~MySQLのデータをインポートしてみよう!~ ■ Amazon Redshift編~複数ファイルを一括インポートしてみよう!

    girled
    girled 2015/04/01
    今Redshiftにデータ集計環境作っててデータインポートしてたらエラー出たので調べた。普通にカラムサイズがおかしいだけだったけど。
  • Hiveでパーティションを利用する – OpenGroove

    hiveにパーティションを導入すれば、パーツを指定してクエリを発行できるので、余計な読み込みを抑えて効率よく処理することができる。…ということで、チャチャッと演習(といいつつ長い)。 テーブル作成。 以下太字で示しているパーティションのkeyは、データに含まれていない値でかまわない。 hive> CREATE TABLE sales( id INT, shop_id STRING, date_id STRING ) PARTITIONED BY(dt STRING) ← パーティション用のkeyを指定。 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'; hive> LOAD DATA LOCAL INPATH '/home/hiveuser/20130101.tsv' OVERWRITE INT

    girled
    girled 2015/03/03
    それなりのaccess_logをHiveでselectするとクエリが止まったりDatanode死んだりしてて原因よくわかんなかったけど適度にパーティション切ればいけそうな気がしたのっ今日試す!
  • 1