Twitter廃人をRedshift + Tableau Desktopで丸裸にする
やってはみたけど会社のブログに書くには微妙だったシリーズ。 皆さんご存知かも知れませんが、当方Tweet数20万オーバーのTwitter廃人です。 さて、Twitterには自アカウントの過去の全ツイートを取得できる機能があります。取得は[Settings]-[Account]-[Your Twitter Archive]から[Request Your Archive]ボタンを押すことで、登録してあるメールアドレスに対しダウンロードリンクが通知される仕組み。で、このアーカイブには全ツイートがCSVとして格納されています。 このCSVをAmazon Redshiftに突っ込んでTableau Desktopで分析してやるぜ、というのが今日の主旨です。 前提条件 Redshiftを普通に構築しておきます。Database名は"Twitter"で。 Redshiftにpsqlコマンドで接続可能なよ
Amazon RedshiftとEC2のインスタンスタイプに於ける”MTU”の関係について | DevelopersIO
RedshiftとEC2に関するちょっとした小ネタです。 Redshiftに対してEC2サーバからのアクセス確認を行っていた所、『インスタンスタイプによってRedshiftにアクセス出来るものと出来ないものがある』という事象に直面しました。分かってみると『なるほど〜』という内容でしたのでここにその経緯と対応をまとめてみたいと思います。 当エントリについて結論から先に申しますと『EC2にはMTU(Maximum Transmission Unit: 最大トランスミッション単位)というものがあり、インスタンスタイプ毎にその値は異なる』『EC2からAmazon Redshiftにアクセスする際、そのMTUの値が影響する(インスタンスタイプによってアクセス出来るものと出来ないものがある)』のです。 当該問題の言及箇所 インスタンスタイプ毎のMTU値に関する言及はこちら。 インスタンスタイプ - A
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
第1回 Amazon Redshiftとは［前編］ | gihyo.jp
Amazon Web Services（AWS）は次々と新しいサービスを世の中に出して、クラウド・コンピューティングの可能性を広げていっています。そのAWSから登場した最新のサービスであるAmazon Redshiftは、そのパフォーマンスや驚異的な低コストのため、発表当時から大変な反響を呼んできました。 この連載では、 Redshiftの概要からその利用方法まで、主にあまりデータウェアハウスを利用した経験がないWeb開発エンジニアなど向けに、このビッグデータ向けクラウド・データウェアハウス製品であるAmazon Redshiftの解説をして行きたいと思います。 まずは、そもそもAmazon Redshiftとは何なのか、その概要から説明します。 Amazon Redshiftはビッグデータ時代のクラウド・データウェアハウス 2012年11月、AWSにとって初めての世界的なユーザカンファレ
Redshiftためしてみた
たまたまRSSリーダーを開いたタイミングでブログが公開されていたので、せっかくだから試してみました。ベータ版の申し込みは残念ながら落選したようなので、そのへんの雪辱的なあれもあります。 ドキュメントとかは下記にあります。 http://aws.typepad.com/aws_japan/2013/02/amazon-redshift-now-broadly-available.html http://aws.typepad.com/aws/2013/02/amazon-redshift-now-broadly-available.html http://aws.amazon.com/jp/documentation/redshift/ とりあえずgettting startedを試してみました。ポイントは、 step1で指定されているJDBCドライバのバージョンを守る step3であるよう
［速報］Amazonクラウド、新サービス「Redshift」発表。データウェアハウスの価格破壊へ
Amazonクラウドを運営する米Amazon Web Services（AWS）は初めての大型カンファレンス「re:Invent」をラスベガスで開催。初日の基調講演で、クラウド上でデータウェアハウスを提供する新サービス「Redshift」を発表しました。 基調講演では企業向けにクラウドの有効性を説くことに焦点が当てられ、そのハイライトがこのRedshiftの発表でした。Redshiftの発表はAWSにとって、企業向けクラウドサービスを充実させる点で非常に大きな一歩だといえます。 従来のデータウェアハウスは高価で複雑 Amazon Web Services、シニアバイスプレジデント Andy Jassy氏。 既存のデータウェアハウスは、高価な上に複雑だという問題を抱えている。ガートナーの調査によると、平均でデータウェアハウスあたり3人から4人のアドミニストレーターがいるという。 この状況に対
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
APM for Data - intermix.io
Sumallyにおける Amazon Redshift 導入事例
Logをs3とredshiftに格納する仕組み
https://jp.techcrunch.com/2013/03/11/jp20130311amazon-redshift/