Amazon Redshiftに於けるデータのインポートでは、代表的なところだとCSV(カンマ区切り)やTSV(タブ区切り)形式のものを取り込む事が多いかと思いますが、JSON形式のファイルインポートにも実は対応しています。 JSON 形式からの COPY - Amazon Redshift / COPY from JSON format - Amazon Redshift そこで当エントリでは、Amazon RedshiftへのJSONデータ取り込みについて紹介・実践してみたいと思います。(※上記リストにあるように日本語ドキュメントも整備されてますので、ポイントだけ掻い摘む形で) 目次 JSONとは Amazon RedshiftへのJSONファイルの取り込み方法 手順1.jsonpathsオプションを使い、取り込むファイルの内容・順番を テーブル項目名と一致した名前の指定で取り込む場合

Amazon Redshiftでは『ベストプラクティス』なるテーマで、それぞれの局面でのお作法的な設定、改善の為のノウハウがドキュメントとして適宜追加or更新されています。ちょうど去年の8月にクラスメソッドにジョインした際もこの辺りのドキュメントについて幾らか目を通して参りましたが、英語ドキュメントを訪れてみると更に充実した形で『ベストプラクティス』が整備されているようです。そこで当エントリでは『クエリパフォーマンスチューニング』という切り口で更新されている以下ドキュメントを改めて読み直してみたいと思います。 Amazon Redshift Best Practices - Amazon Redshift 目次 1.パフォーマンスを考慮したテーブル設計を行う 1-a.最善のソートキーを選択する 1-b.最善の分散キーを選択する 1-c.COPY時に『自動圧縮あり』でデータをロードし、オスス

小ネタです。(ボリューム的に) Amazon Redshiftの環境及び、その環境下で日々のタスクをこなすための構成は構築の手段や方法が幾つか考えられるかと思いますが、一番オーソドックスな形としては、LinuxベースのEC2サーバをバッチサーバとして1つ立てて、その環境下でスクリプトを実行し、諸々の作業を行うというのが挙げられるでしょう。当エントリではその処理実施の際の肝となる『Amazon Redshiftクラスタへのアクセス』をEC2から行う際に必要となる情報を揃えるためのTips的情報をサンプルコードを交えて解説・ご紹介して行きたいと思います。 目次 IAMロールの作成 環境構築 on Amazon EC2 EC2上でIAM Roleからセキュリティ認証情報を取得する AWS CLIでAmazon Redshiftクラスタに関する情報を取得する サンプルコード IAMロールの作成 A

Tableau Serverでは、『サブスクリプション』と呼ばれる機能が存在します。ビューのスナップショットをメールで定期的に配信する事が出来る機能です。 アラートとサブスクリプション 当エントリではそのTableau Serverの『サブスクリプション』機能を、AWSで提供しているメールサービス『Amazon SES』を使って試してみたいと思います。 目次 Amazon SESの設定 Tableau Server サブスクリプション設定 コンテンツに対するサブスクリプション設定 Amazon SESの設定 まず初めに、SESでSMTP送信を行う際の情報設定を行います。基本的には以下エントリの操作をそのまま行うだけです。 Amazon SESでメールクライアントからSMTP送信を行う ｜ Developers.IO SMTPサーバの情報となるこれらの情報を控えておき、 処理実行時に必要とな

カスタムカラーパレットの作成 カテゴリ別カラーパレット 上記カラーパレット情報を踏まえて、設定ファイルに内容を追記してみます。type="regular"というプロパティを設定しておくとカテゴリ別のパレットを作成出来るようです。 $ vi Preferences.tps --------- <?xml version='1.0'?> <workbook> <preferences> <color-palette name="CM Categorical Palette" type="regular"> <color>#808080</color> <color>#99FFFF</color> <color>#FFFF99</color> <color>#FFFF00</color> <color>#FF6600</color> <color>#FF0000</color> </color-

Amazon Redshiftに於いて『パフォーマンスチューニング』は重要なトピックの1つです。Redshiftクラスタを立ち上げて、データを投入して、実際使ってみたものの思ったような速度・レスポンスが返って来ない...という状況も時折遭遇する事と思います。 AWS公式ドキュメント(英語版)を漁ってみると、まさにその『パフォーマンスチューニング』に焦点を当てたチュートリアルが公開されているではありませんか！当エントリではそのドキュメントを参考にひと通り実践してみた内容をまとめてみました。各種手順を1エントリに集約したので超長いエントリとなってしまいましたが、その辺りは目を瞑りつつ実践内容を順を追ってご覧頂ければと思います。 Tutorial: Tuning Table Design - Amazon Redshift: 目次 1.テスト用データセットの作成 2.ベースラインを作るためのシス

はじめに 初めまして。マサカリを持ったこわいモンスターがうろうろしているダンジョンの方から来ました虎塚（@torazuka）こと鳥形と申します。 8月1日付でクラスメソッド株式会社に入社し、AWSチームに加わりました。以後よろしくお願いいたします。 自己紹介 これまでの仕事 東京の中堅SIerに6年勤め、技術調査、技術支援、新規事業開発、パッケージ開発に取り組んできました。また、ソフトウェアテストの社内研修を企画して、講師を担当していました。 面白い社員がたくさんいて、給料が高く、休暇が多く、福利厚生が手あつい、最高の職場でした。 仕事以外のこと わが家の趣味の本棚の一部です。興味のありかが伝われば幸いです。 最近は体力作りに力を入れており、スポーツジムへ週に数回通って、マシントレーニングとジョギングをしています。週1回のボルダリングも4年間続けています。 また、絵を描くことが好きです。冒

自己紹介 2014年8月1日付けで入社しました、梶 浩幸と申します。よろしくお願いいたします。 これまでの事 某ネットワーク機器メーカの北海道支社のプリセールスエンジニアとしてネットワーク機器の提案とサポートを学びながら6年間仕事をし、サーバの技術も身に着けたいと思い、某セキュリティ会社の商用システムの運用メンバーとして転職。 ネットワークの設計・設定・構築を中心に、サーバ構築等もしながら、発生するインシデント対応（障害発生時の問題切り分けと再発防止）して7年勤務しておりました。 転職のきっかけ 2、3年前からクラウド関連の勉強会に参加し、クラウドに関わる仕事を希望するようになりました。以前から勉強会で面識のあった 渡辺さん @shuji_w6e 佐々木さん @smokeymonkey 工藤さん @jkudo の紹介からクラスメソッドの会社説明会に参加したのが、きっかけです。 これからの事

現在古いプロジェクトをAWS環境に移行すべく奮闘中です。 移行するに当たって色々学んだりイラッとしたりしたので、簡単に書いてみようと思います。 古いプロジェクトには罠が一杯！！ 前提条件が多すぎる！ 旧環境から新環境へ移行する際の変更点 初期フォルダと権限設定はデプロイ時に行う apacheだけ何故か手動デプロイ運用である 環境変数に事前に値を設定しておかないと動かないバッチ 標準出力・エラー出力を全部捨てるcron cronが手動デプロイ ansible側でやりすぎてfabricと処理が被った 結局 AWSについての知識不足 数ヶ月前の料金シミュレーションが役に立たない PV(ParaVirtual)とHVM(Hardware-assited VM)の仮想化方式の違いを知らない EBSを使わない ELBはスパイクに対応できない SSL証明書はELBに設定する SSLの処理をELBに任せる

id:dscaさんのタダでは引き受けてはいけないネタが大ブレークしてるみたいですね。 データの分析をタダで引き受けてはならない10の理由 - ネガティブにデータサイエンティストでもないブログ 受託系便利屋的なポジションの悲哀が大変よく透けて見える良記事だと思うんですが、一方で仮に金を取ったとしても引き受けてはいけない案件というのもよくあるものです。 ということで、便乗して「たとえ有償でも絶対に引き受けてはいけないデータ分析依頼の3タイプ」とか僕がこれまで経験してきた様々な現場and/or案件での事例を踏まえて、適当に吹聴してみようと思います。 なお、「前処理が煩雑」とか「DB整備が貧弱でCSVでデータをやり取りしなければならない」というような構造的な問題点は別物なので、今回は割愛しましたごめんなさい。 （※これは他所の様々な現場での話を聞き取ってまとめた話であり、現職場の話ではありません！

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

Developers.IOとは？ Developers.IOは、クラスメソッドが運営する技術メディアサイトです。 全ての記事について、クラスメソッド社員が企画・執筆・編集しています。 運営方針 本サイトの運営方針として以下の３つ特徴を挙げます。 実際に使ってみた経験を記事にする 初めて見た方にも分かりやすく画面や手順を示す ノウハウは基本的に全て公開する 既に3000本近い記事を執筆中です。 公開されて資産になる 多くの会社では、ノウハウは資産であり、業務中に得た技術知識を社外に公開することはできません。 私達は自分たちが持っている知識やノウハウを全て公開することで成り立っている会社です。 私達は、クラウドとモバイルに注力しています。誰よりも早く経験した知見を公開して、 社内外からのフィードバックを得ることで、質の高い仕事の実現を目指しています。 社員は、学んだ技術を隠す必要がありません。

#awssummit AWS Summit Tokyo 2014 参加詳細レポート：【パネルディスカッション】 クラウドで実現する次世代マーケティングとは？ しんやです。今回AWS Summit Tokyo 2014ではなぜかプレス腕章を巻いて参加しておりました。最近は時々プレス枠でイベントに潜り込んでレポートを書かせて頂いたりしております。 さて、その『AWS Summit Tokyo 2014』のイベント2日目、懇親会前の最終時間帯に行われたパネルディスカッションのうちの1つ、当レポートで取り上げる事となる『【パネルディスカッション】 クラウドで実現する次世代マーケティングとは？』ですが、こちらのパネルディスカッションは弊社にとって、とても感慨深いものでした。 何故感慨深かったのか。それは今回登壇頂いたお客様方と弊社がそれぞれ、何らかの形でお仕事をご一緒させて頂いているからです。すかい

はじめに 皆さん、Yoしてますか？ 相手にYoを送りつけるだけの不思議なソーシャルネットワーク「Yo」ですが、皆さんいまいち使い道のわからないまま、Yoが来たら機械的にYoを返すような状況になっているのでは無いでしょうか。しかしYo APIを使えば様々なアプリケーションが作れる...ということで世の流行から周回遅れもいいとこなんですけど、Yoを使って本ブログ「Developers.IO」が更新されたらYoを送るだけのスクリプトを書いてみました。 ソースコード #!/usr/bin/ruby require 'rss' require 'net/http' YO_API_TOKEN = "edit_your_api_token_strings" def rss_yo(url) lastupdate = Date.new rss = open(url) do |data| RSS::Parse

Tableauでは、『パス』という情報を用いたグラフを作成する事が出来ます。地図情報にちなんだものですが、緯度経度情報、及びその情報を結ぶ順序情報を用いる事で、地図上をどのように移動・遷移して行っているのかという情報を見る事が可能となります。当エントリではそのグラフ作成手順について、サンプルデータを交えて解説して行きたいと思います。 Using the Path Shelf for From - To Pattern Analysis | Tableau Software Path Shelf まず始めに、以下の様なデータを作成します。EXCELで、適当なファイル名で保存してください。 参考までに、カンマ区切りのテキスト情報も置いておきますね。|ω・)つ〃 大会名,順番,チェックポイント,地名,会場,人数,緯度,経度 第13回,1,第1次予選,東京ドーム,球場内グラウンド,104,35.7

弊社クラスメソッド株式会社は秋葉原駅から程無く近い場所に居を構えておりますが、ビルから徒歩数十秒という近い場所に書店『書泉ブックタワー』がございます。この書店は技術書を含め、書籍入荷が早い事でも有名で発売日の数日前に並んでいる...なんてのもザラです。 ...という事で、早速視察して来た所、やはり入荷してました！という事で発売日前日の今日(2014/07/15)、フラゲって来ました！当エントリではその内容についてざっくりご紹介してみたいと思います。 Amazonでチェックする 書籍の目次について 書籍の目次大見出しはこんな感じです。 CHAPTER1 システム構築をインフラから始めるには 開発者がネットワークやサーバーを構築するメリットから始まり、基本的な用語やAWSのキーワードについて解説がされています。 CHAPTER2 ネットワークを構築する VPC周りを中心に、ネットワークの基本的

Tableau ServerではWebアプリケーションへのアクセスを確保するために、OpenSSLを使ってSSL(Secure Sockets Layer)暗号化を使う事が出来ます。Webアプリケーションへのアクセスが安全である事を保証し、Tableau ServerとTableau Desktop間で連携される機密情報も保護されます。 以下公式ヘルプページを見ると、『ロードバランサでSSLを設定する方法』『Tableau ServerでSSLを設定する方法』『Tableau ServerクラスタでSSLを設定する方法』等幾つか手法が解説されています。 SSL 当エントリでは、一番シンプルな構成となる『Tableau ServerでSSLを設定する方法』について、証明書発行作業と併せて進めて手順を解説して行きたいと思います。 目次 証明書KEY情報の作成(on Tableau Server

いよいよ週明け、2014/07/17(木)〜2014/07/18(金)の2日間に亘り、グランドプリンスホテル新高輪にて『AWS Summit Tokyo 2014』が開催されます！当エントリではその開催を数日前に控えた現時点での、イベントに関する情報をおさらいする形で諸々情報をご紹介したいと思います。 AWS Summit Tokyo 2014 ～「あなた」のクラウドがここに～ |　2014年7月17日（木）～18日（金）　アマゾン ウェブ サービスの無料クラウドカンファレンスが東京2Days 開催！ 目次 参加申込締切は2014/07/14(月)まで！ スマホ用アプリも利用可能に！ 参加申込チケットのダウンロード＆印刷を忘れずに！ セッションタイムテーブル その他企画・催し者等 AWS認定試験(有償) セルフスペースラボ 協賛スポンサー様展示ブース＆ミニシアターセッション ナイトイベント

……とは言うものの、今回はまだRedshiftに本格的には踏み込みません。Redshift分析環境にインポートし、実際に分析対象としてアクセスする『データ』（ファイル）に関する部分について、やらなければいけないこと、気を付けるべき点を中心に話を進めていきます。分析環境の構築と同様に大事な点であり、労力を掛けるべき点であると個人的に考えている部分です。 分析テーマをピックアップ 今回のようなビッグデータ分析環境を構築するとなった場合、まず間違いなく分析環境を構築するための『元ネタ』ありきで話が進んでいるものと思われます。『現在稼働中の△△△システムで日々生成されている◯◯データや※※※のログをこういう風に見てみたい／分析して業務に役立てたい』『今度リリースする◯◯のシステムで、こういう情報が取得、生成されるのでそのデータを分析してみたい』などです。 そのような環境の場合、先行してまずは1つ『