はじめに AWSにはEC2やRDS、RedshiftなどVPCに対応したサービスが数多くあります。 これらのサービスを利用する場合、まずはVPCやサブネットを作成します。 VPCの作成ではIPアドレス(=CIDR)に何を指定するか迷う方が多いのではないでしょうか。 私がVPCとサブネットのCIDRを決める際に考慮しているポイントは、ざっと以下の通りです。 プライベートIPアドレス範囲から指定する VPNやDirect Connect利用時はオンプレミスとの重複に注意する VPCピア利用時はVPC間で重複できない 将来の拡張に対応可能なCIDRを選択する 最低でも/28以上が必要 CIDRブロックのうち、5IPは利用できない ELBを配置するサブネットは/27以上のCIDRかつ、少なくとも8個の空きIPを用意する それぞれの詳細をご紹介し、最後に優先順位をまとめます。 プライベートIPアドレ

超々小ネタです。 Amazon RedshiftでCOPY操作を行う際、新しく取り込むようなファイルだとエラーとなるようなデータの形式であったり、テーブルデータ型との齟齬が頻繁に発生する事も往々にしてありますので都度エラーが発生した際に対象となるシステム系テーブルを参照する必要が出て来ます。その際、これまではあまり意識しては居なかったんですが『そう言えば都度、エラー情報を得る時に手動でSQLを書いてたな』とふと思い、また可変長文字列が多いテーブルでもありますのでそのままの情報を得ようとすると若干見辛いというのもあるのでその手間を省くべく確認用のSQLをネタとして用意しとこうと思いました。 stl_loar_errorsテーブル参照用SQL 以下はエラー発生時に参照すべきテーブル、『stl_loar_errors』テーブルを分割して表示させるSQL群です。対象となるテーブルのテーブル名が無か

弊社秋葉原佐久間町オフィス周辺では『ポケモン GO』に於いてコイキングがエラい多い割合で捕獲出来ています。川沿いに場所を構えているという側面もあるかと思いますが、社内では専ら、生魚好きの某有力者の(魚類を)引き寄せる力によるものなのでは、と専らの噂になっています。 という訳で本題です。Amazon Elasticsearch Serviceについては弊社でも利用ケース・頻度が増えており度々ブログでも採り上げる機会が増えていますが、私もちょろっと触ってみようかなと思いました。その中で、AWS CLIによる構築手順、内容に言及しているものがあまり無さそうだったので、どんな構成要素・設定で作られているものなんだろう？という部分を理解する為に一度管理コンソールでクラスタを作成し、その上でAWS CLIでの作成を試してみようと思いました。当エントリではその内容紹介となります。 もくじ Amazon

こんにちは、トレーナーレベル14のせーのです。 今日はTableau Publicのサンプルデータセットを使ってポケモンの基礎を振り返ろうと思います。 そもそもポケモン世代じゃない とりあえず無料ですし、よく歩いて健康にもいいですし、うちの犬もしょっちゅう散歩に連れて行ってもらえて喜ぶ、ということでポケモンGOをやっています。といっても私の住んでいる地域は札幌なので、東京都は違い、そこら中あるけばポケストップに当たる、というような場所ではありませんので、通勤の行き帰りや朝と夜の散歩、娘の保育園の送り迎え時などにちょこちょこ自分のペースで進めているような感じです。 ちなみにオフィスは札幌駅の近くなので、少し歩けば賑わっているようですが、仕事しているので昼休みにちょこっと寄る感じになっちゃいますね。 ところでポケモンGOを初めて痛切に感じたのですが私、ポケモン知らないんですね。遠い記憶でうっす

私たちソニックガーデンでは、指示命令のマネジメントを捨て、メンバーそれぞれが自分で考え自律的に行動することで、高い生産性を発揮しつつ様々な変化に対して柔軟に対応できる組織づくりに努めている。 そんなメンバーたちに求めるのはセルフマネジメントができることだ。セルフマネジメントができるために身に付ける素養は少なくない。しかし、セルフマネジメントを身につける最初の一歩は何かを聞かれたら「タスクばらし」だと答えるだろう。 本記事では、セルフマネジメントをマスターするための最初の必須のスキル「タスクばらし」について紹介する。 「タスクばらし」とは 「タスクばらし」とは、読んで字のごとく、仕事をタスクにバラすことである。仕事に取り掛かる前に、その仕事の要素を分解し、どのように進めるか道筋を立てることで、どれくらい時間がかかるか、リスクは何か、見通しを得ることができる。 当たり前のことだと思っていたが、

小ネタです。 最近弊社でも関連エントリが増えて来たJSONパースツール「JMESPath」ですが、昨晩SNSでこのツールをより便利に扱う事の出来るツールが紹介されていたので早速触ってみる事にしました。それがこの「jmespath.terminal」です。 jmespath/jmespath.terminal: JMESPath exploration tool in the terminal インストールは至ってシンプル。pipで以下の様に関連ライブラリを導入するだけです。(※今回はAmazon Linux EC2を使って試してみました) $ sudo pip install jmespath-terminal You are using pip version 6.1.1, however version 8.1.2 is available. You should consider u

当エントリはDevelopers.IOで弊社AWSチームによる2015年アドベントカレンダー『AWS サービス別 再入門アドベントカレンダー 2015』の5日目のエントリです。 昨日4日目のエントリはしんやの『Amazon Redshift 』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日5日目のテーマは『Amazon Key Management Service』です。 Amazon KMSとは Amazon Key Management Service(AWS KMS)はデータの暗号化に使用する暗号化キーを簡単に作成および管理できるマネージドサービスです。 以下のような特徴があります

先日投稿した以下のAWS Data Pipeline関連エントリで、サービスを構成する諸要素のおおまかな内容が把握出来ました。当エントリ(以降)では実際に予め用意されているテンプレート等を使って実際の利用シーンを想定したパイプラインの作成について見て行きたいと思います。 定型データ移動処理のスケジュール自動化設定サービス『AWS DataPipeline』の構成要素をひと通り整理してみた ｜ Developers.IO まず初っ端1本目は『AWS CLIの処理をAWS Data Pipelineで実行する』というテーマから。 目次 AWS Data Pipeline 構成イメージ AWS Data Pipeline パイプラインの構築 パイプラインの作成: 名称の設定と利用ソースの選択 パイプラインの作成: パラメータ(AWS CLIコマンド)設定 パイプラインの作成: スケジュール設定

先日、SNSをウォッチしていたところ、『6 Steps to Faster Data Blending for Tableau』というホワイトペーパーに関する情報が目に留まりました。AlteryxとTableauの連携に関するもので、Tableauを利用するにあたってAlteryxをこういう風に使えばより効率良く作業が進められます！というコツを紹介した内容でした。 ツールの使い方そのものを紹介している訳では無いのですが、こういう局面ではこういう使い方をすれば良い、という部分の概略的なものは掴めそうな資料だったのでさくっと読んでみました。Alteryxに興味を持っている方々、若しくは実際に使い始めている方々の参考に少しでもなれば幸いです。 目次 Tableauの"データブレンディング" Tableauの為の高速データブレンディング TableauのためAlteryxビジュアル解析キット より

小ネタです。 Amazon Redshiftクラスタ環境上に於いて、スキーマを分けて運用管理をする事は往々にしてある事と思われますが、その際に同じテーブル名でスキーマを分けて作成する、という事も状況に拠ってはやる手段であるかと思います。運用面からの必要性であったり、又は開発環境として利用するために...という感じです。 その際、それら作成したテーブルに対してSQLアクセスを行う際の『スキーマ指定』について挙動が異なるんだけどこれは一体...という声が挙がっておりましたので、調べてみました。『検索パス(search_path)』という要素が関連していたのですが、その辺りの解説を簡単な実例を踏まえてご紹介してみたいと思います。 『検索パス』の設定値によってテーブルアクセスの順序を制御 そのものズバリな回答が以下公式ページに掲載されていますね。要はそう言う事らしいです。 search_path

「機械学習」というワードになんとなく惹かれつつも、具体的にやりたいことがあるわけでもないので、手を動かすことなくただひたすら「いつかやる」ために解説記事やチュートリアル記事を集める日々を過ごしていたのですが、このままじゃイカン！と Machine Learning Advent Calendar に参加登録してみました。 が、やはり何もしないまま当日を迎えてしまったので、お茶濁しではありますが、せめて「機械学習ってどんな手法やライブラリがあって、どんな応用先があるのか？」というあたりをざっくり把握して最初に何をやるのか方向付けをするためにも、たまりにたまった機械学習系の記事をいったん整理してみようと思います。 機械学習の概要 特定のライブラリや手法の話ではなく、機械学習全般に関する解説。 機械学習チュートリアル@Jubatus Casual Talks 冒頭に、 初めて機械学習を聞いた⼈人

３ 「データを活用した戦略的ITの実践」 講演：神谷勇樹氏（すかいらーく） 私前職は先ほど鈴木さんの話にでてたグリーにいまして、ある意味、ウェブ事業者が外食やったらどうなるかっていう実験をしている すかいらーくは全国約3000店舗、年間のべ4億人にご利用いただく総合ファミレスチェーン 2013年度上半期と2014年度上半期の変化 売上は39億増えて、広告宣伝費が3億円減った(TV-CMを減らした) 2014年上半期にやったこと 各種プロモーションのROIの明確化 ROIの低いプロモーションの改善、廃止→高ROI施策に資源投入 消費者動態の明確化 消費者動態からメニュー開発への示唆だし などなど 下半期にやったこと 主にアプリ。ガストアプリをローンチ 2008年にケータイのクーポンサイトを立ちあげたけど、アプリは1ヶ月で利用者ベースで抜いた。1.5倍使われている。 メインの販促は新聞折込チラ

小ネタです。 先日、以下ブログエントリで『はてブ数』に於けるランキングの紹介があり、その中で弊社が見事1位の座を射止め、社内エンジニアが数日間、内心(・∀・)ﾆﾔﾆﾔ しておりました。 WEB系各社の技術ブログのはてブ数を調べてみた - mikedaの日記 では、9万超のはてなブックマーク数の中で、誰が一番ブクマ数を稼いでいたのでしょうか？ そんな声も社内でちらほらと挙がっておりましたので、試しにランキングを出してみました。 条件等 算出にあたって利用したデータの状況等は以下の通りです。 データの期間は、Developers.IO開始から2014年末の期間(2011年06月30日〜2014年12月26日)となります。昨年末に投稿した可視化ネタで用いた情報と同じ期間です。 2014年の弊社ブログにまつわる記録をプロ野球に例えて振り返ってみた｜Tableau Software Tips&Viz

CloudFormationのtemplateをRubyで作成 – 「SparkleFormation」を触ってみた。 こんにちは、せーのです。個人的には2015年に入ってから4つめのCloudFormationネタとなります。どうしたんでしょう。 今日はRubyのDSLでCloudFormationのtemplateが書けるrubyist垂涎のツールをご紹介します。名前は「SparkleFormation」といいます。 SparkleFormation - github | document CloudFormation templateに対する根本的な不満 やっぱりなんと言っても特徴は「CloudFormationのtemplateをRubyのコードで書ける」という部分にあります。逆に言うと「CloudFormationのtemplateをRubyのコードで書けるだけのツール」とも言え

ウッ ここで詰まる事は往々にしてあります. 特に急いでる時の煩わしさは甚だしいです. どうせならそれっぽい英語を使いたいのでOSSや同僚のコミットメージの語彙の出現確率を調べてみましたら、 もちろんfeatureによってコミットメッセージの付け方など数多あるものの、一定の頻出パターンは見い出せたので筆を取りました. （英語勉強しないと..） 方法 github.com/rails/railsのコミットメッセージ内における各動詞の出現確率を求め、 またOSSと仕事でのコミットメッセージの趣向も変わってくる事も勘案するため、 （仕事でDeprecateとか滅多に使わんし） 同僚に聞きつつ10つあげてみた. 以下列挙 （例は実際の同僚やOSS上でのコミットメッセージです.） Add *A to *B AをBに加える

数日前に投稿した以下エントリでは『Tableau Serverのツール類・APIで何が出来るのか』について見て行きましたが、そのうちの1つ『tabcmd』について当エントリでは深堀りして行きたいと思います。 Tableau Serverで出来る事のまとめ(コマンドラインツール＆API編) ｜ Developers.IO tabcmd 目次 Tabcmdインストーラの確認と入手 tabcmdのインストール tabcmdの実践 まとめ Tabcmdインストーラの確認と入手 Tableau Serverを導入した環境に含まれるインストーラの場所を確認します。ちなみに今回利用する環境のバージョンは以下の様に【8.3】となります。 ドキュメントで指定されているextrasフォルダ配下にインストーラがありました。今回はこの内、64bit版のものを利用したいと思います。 tabcmdのインストール イン

Amazon RedshiftにアクセスするためのPython実行環境を整える(on Windows Server 2012) Amazon Redshiftへアクセスする為の環境作りエントリはこれまでも幾つか投稿して来ましたが、今回はPythonからアクセスする際の環境について、そのポイントをまとめながらご紹介して行きたいと思います。今回の環境はWindows系(Windwos Server 2012)／Python2.x系と言う組み合わせです。 目次 環境整備 Python 2.7 AWS SDK for Python(Boto) PostgreSQL接続ライブラリ(Psycopg2) Psycopg2によるAmazon Redshiftへの接続確認 追記：Python3.4環境での実行 追記2：Tableau 抽出APIと併用する場合の環境について まとめ 環境整備 まずはプログラム

Tableau製品では日々の作業やタスクについて様々なオペレーションが存在しますが、それらのオペレーションについては各種コマンドラインツールやAPIで実行を代替する事が可能だったりします。つまり、何かしらのスクリプトやプログラミング言語で処理を実装し、スケジューラ等に噛ませておく事で自動化機構に組み込む事も可能な訳です。当エントリではその足掛かりとなる情報について、Tableau公式で展開されているものをひと通りまとめてみたいと思います。(以前投稿した以下エントリの姉妹編的な位置付け、という感じです) Tableau Serverで出来る事のまとめ ｜ Developers.IO 目次 コマンドラインツール＆API一覧 tabadminコマンド tabcmdコマンド Tableauデータ抽出コマンドラインユーティリティ Tableauデータ抽出API REST API JavaScript

遅ればせながら新年1発目のブログエントリとなります。本年2015年も何卒宜しくお願い致します。m(_ _)m さて、(個人的に)2015年1発目のエントリはEC2インスタンス(Windows Server 2012)に於ける『ストレージ容量の追加・拡張』に関する手順について備忘録がてら整理してみたいと思います。Linuxについては割とまとまっているのですがWindowsも最近は利用する機会が増えて来ていますのでこのタイミングで実行結果も兼ねてひと通りやってみようと思いました。 目次 検証環境の準備 ルート(Cドライブ)のストレージ容量変更 新規ドライブ(EBS)の追加 既存ドライブ(EBS)の拡張 (追記：実演)既存ドライブ(EBS)の拡張(Dドライブの場合) まとめ 検証環境の準備 まずは検証環境の準備。Windows Server 2012の日本語バージョンのインスタンスをおもむろに用

2014年アドベントカレンダー『Tableau Software Tips&Viz(全部俺) Advent Calendar 2014』延長戦6本目、31本目(#31)のエントリです。 Tableau Software Tips&Viz(全部俺) Advent Calendar 2014 - Qiita 本日は大晦日。12/1から続けて来て一旦25日でゴールを迎えた当アドベントカレンダーも、"延長戦"と称して26日以降も『もうちっとだけ続くんじゃ』と続けて来ましたが、本日12/31まで1日1本のペースで続ける事が出来ました。ブログ執筆自体も1日1本ペースを上回る、月44本とする事が出来たのですが、想像以上に辛かったです(;´ д｀) もうこんな阿呆な真似は致しません！w 今回日本でのアドベントカレンダーについては私の方でTableauについてチャレンジしてみたのですが、海外でも今年(201