S3にアップロードしたCSVファイルをLambda経由でAmazon RedshiftにCOPYする – AWS Lambda Advent Calendar 2014：2日目 | DevelopersIO
S3にアップロードしたCSVファイルをLambda経由でAmazon RedshiftにCOPYする – AWS Lambda Advent Calendar 2014：2日目 先日米国ラスベガスで開催された『re:Invent 2014』にて発表されたAWS Lambdaに関するエントリを12/01から12/25まで毎日1本ずつ書いていくアドベントカレンダー『AWS Lambda Advent Calendar 2014』。このエントリは2日目の内容となります。 AWS Lambda Advent Calendar 2014 - Qiita AWS Lambda 先日1日目のエントリはharuyoshさんの『Lambdaからhttpリクエスト』でした。 Lambdaからhttpリクエスト - Qiita 本日2日目のエントリは『S3にアップロードしたCSVファイルをLambda経由でAm
ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 - かにぱんのなく頃に
はじめに これは ドリコムAdventCalendar の7日目です 6日目は、keiichironaganoさんによる iTunes 使用許諾更新のとき一旦キャンセルしてほしい話 です 【その2】ドリコム Advent Calendar 2015 もあります 自己紹介 @ka_nipan 去年の ドリコムを支えるデータ分析基盤 に引き続き、今年もドリコムのデータ分析基盤を担当しています。 分析基盤をTreasure Dataに移行 オンプレ環境の Hadoop からTreasure Data に移行しました。 また、ジョブ管理ツールやBIツールといったサーバーもAmazon EC2 に移行しており、 徐々にオンプレ環境を離れつつあります。 背景 オンプレ環境で Hadoop を運用して3年も経つと考えなければならないのが HW の寿命です。 さてどうしようかとなった時に、ほぼ迷いなく外部
re:dashを使ってRDSのクエリを可視化してみた | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 最近re:dashというプロダクトが気になったので試してみました。 2015/06/21 re:dashのAMIが全リージョンで提供される様になり、東京リージョン(ap-northeast-1)でもAMIから起動できる様になりました。 re:dash？ re:dashとはとは「Open Source Data Collaboration and Visualization Platform」ということで、つまりデータ連携？可視化ができるプラットフォームらしいです。SQLの可視化などを行えます。 以下のデータソースに対応しています。 PostgreSQL / Redshift MySQL Graphite Google BigQuery MongoDB URL(JSONフォーマット) Script(JSONフォーマット) Python(P
Amazon Redshift便利ツール『amazon-redshift-utils』の便利SQLスクリプト紹介(AdminScripts編) ｜ DevelopersIO
Amazon Redshiftでは日々の作業を行う上で様々な情報を必要とし、その過程で『こういう情報が欲しい』という局面が多々あります。当ブログでも適宜『便利系SQL』として必要な情報を取得する為のSQLをご紹介して来ましたが、以下のGitHub上で展開されている各種スクリプトがとても有用そうでしたので2回に分けて中身を見てみたいと思います。当エントリは『管理系スクリプト(AdminScripts)』に関する内容となります。 awslabs/amazon-redshift-utils · GitHub amazon-redshift-utils/src/AdminScripts at master · awslabs/amazon-redshift-utils · GitHub 目次 commit_stats.sql current_session_info.sql filter_used
Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
Amazon Redshift編～プログラムからRedshiftを操作してみよう！（PG接続）～
こんにちは！中の人です。 前回のレシピでは、『Amazon Redshift編～プログラムからRedshiftを操作してみよう！（ODBC接続）～』ということで、Amazon Redshiftにプログラムを通してPHPからODBC接続する方法を紹介しました。 今回は、「Amazon Redshift編～プログラムからRedshiftを操作してみよう！（PG接続）～」と題して、PHPを利用してRedshiftにPG接続して操作する方法を紹介します。 おそらく、PHPからODBC接続を利用したことがある人はそれほど多くないと思います。また件数が多い場合、ODBCの場合、メモリを非常に食うためスペックが高くないと処理できないことがあるため、PG接続がオススメです。 （JDBC接続はJAVA環境をインストールする必要があり、PHPの場合PG接続がオススメです。） 事前準備 1. 「Amazon R
AWS S3へのログの蓄積はとりあえずJSONにしましょう - Librabuch
アプリケーションのログファイルをfluentdでS3に転送、S3からRedshiftに読み込んで集計、という流れはもはや鉄板パターンです。 これまではTSV形式で蓄積されているケースが多かったと思うのですが、2014年03月25のリリースでCOPY文がJSONフォーマットに（一応）対応したこともあり、とりあえずJSONで が最新のベストプラクティスになります。 おさらい 〜 fluentdを使ってJSON形式でS3にログを蓄積する 必要なもの fluentd本体 fluent-plugin-tail-ex fluent-plugin-s3 fluent-plugin-s3-alternative s3-alternativeを使うのは、 output_include_time false output_include_tag false 上記の設定を有効にして、純粋なJSON形式のフォーマ
『Amazon Redshift チュートリアル: テーブル設計チューニング』を実践してみた | DevelopersIO
Amazon Redshiftに於いて『パフォーマンスチューニング』は重要なトピックの1つです。Redshiftクラスタを立ち上げて、データを投入して、実際使ってみたものの思ったような速度・レスポンスが返って来ない...という状況も時折遭遇する事と思います。 AWS公式ドキュメント(英語版)を漁ってみると、まさにその『パフォーマンスチューニング』に焦点を当てたチュートリアルが公開されているではありませんか！当エントリではそのドキュメントを参考にひと通り実践してみた内容をまとめてみました。各種手順を1エントリに集約したので超長いエントリとなってしまいましたが、その辺りは目を瞑りつつ実践内容を順を追ってご覧頂ければと思います。 Tutorial: Tuning Table Design - Amazon Redshift: 目次 1.テスト用データセットの作成 2.ベースラインを作るためのシス
Redshiftを使って、もっとも幸福な青空文庫を判定してみる - Qiita
最近Redshiftを業務で使う機会があったので、概要や使い方などをまとめてみようかと思います。 今回はRedshiftの立ち上げからはじめ、青空文庫さんが公開してくださっている、形態素解析データをRedshiftにいれて解析してみます。 解析といっても、一番多く幸せそうなワードを使っている文庫はどれかを調べるだけ。 一番多く幸せそうなワードを使っていた文庫を、「もっとも幸福な青空文庫」と判定します。 また、今回使用する、6.1GB、8770万行のデータをデフォルト設定でどのくらいでさばけるかなども試してみたいと思います。 今回やること 今回は以下の様なことをします。 ・Redshiftとは何かをまとめ ・青空文庫のデータセットをダウンロードして、S3にアップ ・PostgreSQLが扱えるDBクライアントを用意する ・Redshiftを立ち上げる ・Redshiftにクライアントから接続
「Amazon Redshift」を使ってみた ～使いどころと、つまずきがちなポイント
はじめに Amazon Redshiftは、Amazon Web Services（AWS）が提供するデータウェアハウス（DWH）サービスで、2013年2月に正式リリースされ、同6月4日には東京リージョンでも利用可能になりました。既存のDWHと比較しても安価で、PostgreSQLベースで容易に高速なデータ分析が可能であることなどが知られており、注目も高まっています。 ところが、日本国内では「使ってみた」という情報は非常に少ないです。幸運にも筆者は、限定プレビューの段階からRedshiftに触れる機会に恵まれました。そこで、今回は「こんな使い方をしてみました」「こんなところでつまずいた」といったことを中心に紹介したいと思います。 なお、本記事は限定プレビュー～サービス開始当初の米国東部リージョンでの使用結果を元に執筆しており、当時のAPIバージョンは2012-12-01です。東京リージョン
Amazon Redshiftではじめるビッグデータ処理入門 記事一覧 | gihyo.jp
第5回Amazon Redshiftのアーキテクチャ ～スケーリングとリストアを試してみよう 宮崎真，藤川幸一 2013-06-10
Amazon Redshift & Tableau Software関連エントリのまとめ | DevelopersIO
昨年(2013年)8月にクラスメソッドにJOINして以来、『Amazon Redshift』と『Tableau Software』の両プロダクトに割と密接に携わって来ておりますが、気付けばAmazon Redshift周りで50本近く、Tableau Software製品についても20本以上、個人的にエントリを書いて来てました。(以下それぞれのエントリ一覧リンクとなります) Redshift ｜ 特集カテゴリー ｜ Developers.IO tableau ｜ 検索結果: ｜ Developers.IO そこで当エントリでは、この両プロダクトについてそのテーマや内容関する『まとめページ』を構成してみました。(以後、関連エントリ投下後に適宜更新・追記して行く予定です。) Amazon Redshift 公式 Amazon Redshift （ペタバイト級の データウェアハウス サービス）
Logをs3とredshiftに格納する仕組み
SQLアンチパターン 26章「とりあえず削除フラグ」 2015/08/31 @ GMO Yours #ronsakucasual https://atnd.org/events/68902 より詳細なCQRSに関する資料はこちら https://little-hands.hatenablog.com/entry/2019/12/02/cqrs 参考資料：http://little-hands.hatenablog.com/entry/jjug2017fall 社内新規プロダクトでDDD, CQRSの思想をベースとしたアーキテクチャを構築し、コマンド(更新系処理)ではSpring Data JPA(Hibernate)を、クエリ(参照系処理)ではjOOQを採用しました。 結果としてそれぞれのORMの良いところを生かした組み合わせのアーキテクチャが構築できたので、その経緯と得られた知見について
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Black Belt Tech シリーズ 2015 - Amazon Redshift