こんにちは。アマゾンウェブサービス（AWS）サポートの有賀と申します。好きなサービスはAmazon Virtual Private Cloud（VPC）です。これからAWSサポートの各メンバーがそれぞれ「今一番AWSユーザーに伝えたいこと」を連載の形でお届けしていきます。筆者の担当する本稿では、AWSの「ネットワーク」について見ていきたいと思います。今回は、ネットワークの「論理設計」について解説します。 本稿でお伝えするのは下記の第2回の内容です。全3回に渡って解説していきます。 AWSのネットワークの物理的な側面 ⇒ 第1回 AWSのネットワークの論理的な側面 ⇒ 第2回 AWSのネットワークにおけるベストプラクティス ⇒ 第3回 AWSのネットワークにおいて過去に発生した問題の事例 ⇒ 第3回 必ずしもAWSの使い方といった内容ではないので、今日すぐに使える知識にはならないかもしれませ

こんにちは。アマゾンウェブサービス（AWS）サポートの有賀と申します。好きなサービスはAmazon Virtual Private Cloud（VPC）です。これからAWSサポートの各メンバーがそれぞれ「今一番AWSユーザーに伝えたいこと」を連載の形でお届けしていきます。筆者の担当する本稿では、AWSの「ネットワーク」について見ていきたいと思います。第1回の今回は、AWSのリージョンやアベイラビリティーゾーンといった、ネットワークの「物理設計」について解説します。 本稿でお伝えするのは下記の内容です。全3回に渡って解説していきます。 AWSのネットワークの物理的な側面 ⇒ 第1回 AWSのネットワークの論理的な側面 ⇒ 第2回 AWSのネットワークにおけるベストプラクティス ⇒ 第3回 AWSのネットワークにおいて過去に発生した問題の事例 ⇒ 第3回 必ずしもAWSの使い方といった内容では

サイバーエージェント・アドテクスタジオでプロダクトマネージャーを務める渡辺雄作氏。10月25日に行われた「Japan Product Manager Conference」では、「エンジニアがプロダクトマネージャーに進化すると何が起きるのか」というタイトルでセッションを行った。プロダクトマネージャーとしての業務の中で、エンジニアの経験がどのように生かされているのか―――数々のエピソードが語られた。また、これからプロダクトマネージャーを目指すエンジニアに対し、エンジニアならではの強みの生かし方について提言した。なお、内容は渡辺氏個人のケースであり、アドテクスタジオ全体が同様に動いているわけではないとの前置きがあった。 株式会社サイバーエージェント アドテクスタジオ 渡辺雄作氏 渡辺氏はサイバーエージェントで「アメーバブログ」「アメーバピグ」などの開発を経験した後、2013年よりアドテクスタジ

吉羽　新天地のことをお聞きする前に、今までのキャリアについて教えていただけますか？ 砂金　大学は東工大で、新卒でオラクルに入社しました。大学での専門は生産管理でしたが、当時は金融工学が流行っていたので、就職先として外資系銀行を選ぶ人が多い中、僕は、メーカーに行くか、大学院行くかと悩み、オラクルを興味本位で受けました。当時オラクルでは、ネットワークコンピュータを開発していて……。 吉羽　懐かしい。それっていつ頃の話ですか？ 砂金　僕は1998年入社で、ネットワークコンピュータを打ち出し始めたのがその少し前です。「すごくかっこいい！ 何をやっているのかよく分からないけど」と思って興味を持ったんです。当時、僕は大学に通いつつ受託開発をしていて、学生だけどオラクルが少し使えたというのもあります。 外資系銀行に行くのも魅力的だけど、僕は、金で金を生むのは好ましく感じなくて、じゃあIT企業に行こうと考

はじめに 大規模なデータを扱うアプリケーションでは、速度とともに作業領域量も大きな問題となります。作業領域がメインメモリに収まらない場合、スワッピングが発生し、大幅な速度低下につながります。そのため近年、データ構造は高速なだけでなく、作業領域量が小さいことも求められています。今回紹介するのは2003年に提案されたデータ構造、wavelet tree（以下「WT」と表記）です。WTは圧縮索引やSuccinct Data Structureなど、データをコンパクトに表現する際に重要なデータ構造です。WTは文字列T[0...n-1]が与えられた時、次の2つの操作を定数時間でサポートします。 rank(p, c)――T[0...p]中のcの出現回数を返す select(i, c)――(i+1)番目のcの位置を返す WTの作業領域量は、文字列をそのまま保存した時の約2倍程度です。 対象読者 C++の

はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める

それぞれのイベントのプログラム一覧は併設イベントページをご覧ください。 開催される時間と会場の詳細はPyCon JPのタイムテーブルにありますのでご確認ください。 併設イベントを立てた理由 PyCon JP座長寺田です。 PyCon JP 2012では、座長である私の強い意向でこの併設イベントを設けることになりました。日本には多くのコミュニティがありますが、それぞれ単独では国際的なイベントを開催するのは難しいのではないかと感じています。PyCon JPとの併設イベントという形であれば運営コストが大幅に下がり、各コミュニティ主導でセッションを作りイベントが開催できるのではないか、というアイデアを実現したものです。今年は最初のチャレンジとして、手探りながら協力いただける各コミュニティの皆さんと一緒に、イベントを盛り上げていければと思っております。 他にも併設イベントには以下のような思いを込めて

「東日本大震災ビッグデータワークショップ」では、東日本大震災の発生直後から、テレビや新聞、インターネットを通じて流れた大量の情報が、どのように発信され、流通したのかを、当時の実際のデータを使って検証する。また、検証結果に基づき、今後の災害に向けて、適切な情報流通施策を提言するとともに、各種サービスのプロトタイプ開発を行う。 データ提供パートナーとして、朝日新聞社、JCC、ゼンリンデータコム、日本放送協会、本田技研、レスキューナウが参加する。各社が提供する分析用データには、震災発生当日から1週間分の全日本語ツイートデータや、検索トレンド、新聞記事、NHKの放送文字データ、東京キー6局の災害に関する全テレビ情報要約文、被災地域の混雑統計データ、東日本地域の通行実績情報、鉄道運行情報と緊急情報および被害情報のサマリが含まれている。 ワークショップでは、12日に記者発表を行い、9月～10月下旬にか

これまでのエンジニアを取り巻く状況 10年ほど前、エンジニアには「ホスト系」「オープン系」という区別がありました。誤解を恐れずに言うならば「ホスト系エンジニア」は「ホスト」と呼ばれる中央集権的な高級マシンを主にCOBOLで操るエンジニア、「オープン系エンジニア」はPerlやPHP、Ruby、Javaといったオープンな枠組みで、Webに強い言語を使ったシステムをインターネット関連技術を用いて構築するエンジニアです。CodeZineをご覧の多くは後者である「オープン系」のエンジニアに当たるのではないでしょうか。 決まった処理をコンピュータに任せることで業務の効率化を図るという目的はホスト系もオープン系も同じです。要件定義、仕様策定し、実装・テストをして運用にあたるという大まかな流れも同じです。 決定的に違うのはアーキテクチャの選択幅ではないでしょうか。ホスト系はマシンを提供しているベンダーのド

必要な環境 Windows、Macなどインターネットが利用可能なOS環境 クラウドでHadoopを使うメリット 昨今ビッグデータ格納の基盤としてHadoopを使う事例が増えてきています。大規模なストレージを必要とせずにビッグデータを扱える環境は非常に魅力的です。 HadoopはGoogleの検索エンジンの基盤として開発されたGoogle File SystemおよびMapReduceの技術仕様を元に開発されたオープンソースソフトウェアです。ファイルを複数のサーバに冗長化した上で分散配置するHDFS（Hadoop Distributed File System）と、分散配置されている大量データから必要なデータの抽出や分解を行うHadoop MapReduceにより構成されています。 現在、Hadoopはクレジットカード会社の売上データの解析や、国立国会図書館が提供している検索サービスのインデ

Node.js活用のノウハウとモバイル対応のポイント スピーカー2名体制で行われたセッションのテーマは「Node.js」「Mobile」「Global」。まず久富木隆一氏が登壇し、参加者に「Node.jsに触れたことがある人」と問いかけると、全体の約8割が挙手。関心の高いエンジニアが多数参加していることが実感できた。 JavaScript標準はECMAScriptだが、Webブラウザ上では方言が存在するため、互換性を維持するのが困難になっている。それに対し「Node.js」はGoogle ChromeのV8エンジン採用のサーバーサイドJavaScriptプラットフォームで、標準準拠度が非常に高く、方言を気にすることなくピュアなスクリプトを書いていける。さらにプログラミング言語のパフォーマンス比較を見てみると、V8上のJavaScriptはJITコンパイルされた上で実行され、Perl、Pyt

専門外のテーマであっても、突発的なトラブルに対し、昼夜問わず、なんとかすることを強いられることが多いインフラエンジニア。身を守るには、今後の発生が予想されるトラブルの芽をつぶすような、積極的な防御策が必要となる。本稿では前編に引き続き、事前にシステムの状態を確認しておくべきポイントについて紹介する。 対象読者 トラブルプロジェクトに投入されるインフラエンジニア そのエンジニアを使うプロジェクトマネージャ 前回のあらすじ 前回の記事では、トラブルプロジェクトに不幸にして着任してしまったインフラエンジニアが、更なるトラブルに巻き込まれないために、まず確認すべきシステムの健康状態について記載した。今回は、そのほかに確認すべき事項について記載する。 なお、前編では、一日目～三日目という順番で優先順位を付けて対応を実施するようにしていたが、四日目以降の内容については、プロジェクトの状況に応じて優先順

コベリティは、「2011年度Coverity Scanオープンソース品質評価レポート」（2011 Coverity Scan Open Source Integrity Report）を、23日（現地時間）に発表した。同レポートは、オープンソース・ソフトウェアのインテグリティ（ソースコードの品質）に関する調査結果をまとめたもので、同社が米国国土安全保障省と官民共同で2006年に開始し、現在は同社が管理している。 2011年度の調査には、ソフトウェアのソースコードに存在する既知および新しい種類の不具合をより多く検出できる、Coverity 5デベロップメントテスト・プラットフォーム解析エンジンを使用。 レポートでは、活動が活発なオープンソース・プロジェクトの、合計3700万行以上のオープンソース・コードについて解析した調査結果を詳細に記述するとともに、匿名ユーザーからサンプルとして提供された

ngCoreとは何か？ Mobageプラットフォーム ngCoreとは何かを説明する前に、まずはMobage（モバゲー）とは何かを簡単に説明しましょう。MobageはDeNAが提供しているソーシャルゲームプラットフォームであり、オンライン上の友人達と一緒にゲームを楽しむことができます。 現在、アプリケーションの開発者はMobageのAPIを利用してゲームを開発し、Mobageプラットフォームを利用している数多くのユーザーにサービスを提供できるようになっています。 多様化するプラットフォーム 当初、Mobageはフィーチャーフォンに利用環境が絞られていましたがYahoo! MobageのようにPC上でも楽しめるようになり、現在ではその領域をさらにスマートフォン環境にまで拡大しています。 スマートフォンでは、フィーチャーフォンでは実現できなかったマルチタッチなどを利用した入力方法やサウンドが可

ハッシュテーブル実装に対する攻撃とは 昨年12月末にドイツで開催されたCCC（Chaos Communication Congress）において、"Effective Denial of Service attacks against web application platforms"（Webアプリケーションに対する効率的なDoS攻撃）と題した発表が行われました。タイトルに「Webアプリケーション」とついてはいますが、この問題はWebアプリケーションに限ったものではありません。以下の三つの条件が揃ったアプリケーションであれば例外なく、DoS攻撃の餌食となる危険があります。 ハッシュテーブルというデータ構造を使っている ハッシュ値を計算するアルゴリズムが「脆弱」である ハッシュテーブルに登録するデータをプログラム外部から指定できる ハッシュテーブルとその問題 Wikipedia（日本語版）

11月25日、「mobidec 2011」においてコナミデジタルエンタテインメントのスタジオITセンター長である正延光弘氏によるセッション「大ヒットSNSゲーム『ドラゴンコレクション』を支えるコナミのクラウド技術の活用」が行われました。 ドラゴンコレクションは、GREEで提供されている携帯電話向けのカードゲームタイプのRPG。プレイヤーは、エリアごとにある複数のクエストをクリアしていき、モンスターカードや「秘宝」を手に入れ、さらに「ドラゴンカード」を集めていきます。また、ほかのプレイヤーとバトルすることでも秘宝を入手できるというSNS要素も取り入れられていました。2010年9月のサービス開始後、順調にプレイヤー数を伸ばし、現在では登録人数が500万人を超えています。 サービス開始当初は社内でサーバを構築し、フロントエンドに6台のサーバ、バックエンドに3台のデータベースサーバ、そしてロードバ

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

先日から愛機の調子が思わしくありません。突然フリーズ／リセットかかるんです。頻度はさほどに多くはないけどおっかなくて仕方がない、そこそこ動いているうちにもう1台新調することにしました。こんなこともあろうかと以前から少しずつ揃えていたパーツたちのおかげで予算にかなりの余裕があり、思い切ってイマドキのi7-2600Kに16GBのメモリを積んだゴキゲンな2号機ができあがりました。目下作業環境の引越中です。 CPUを奮発したおかげで論理8コア、8つのスレッドが同時に走る素敵な環境。遊ばせておくのはもったいなく、しばらく遊んでほったらかしになっていたインテルTBB（Threading Building Blocks）を再度試してみたくなりました。TBBはこれまでに何度かネタにしてきましたが、今回はスレッドの同期（Synchronization）のお話です。 前準備：スレッドの起こしかた TBBでのス

DBTEST 2011は、2011 ACM SIGMODカンファレンスの共同開催ワークショップの1つで、ウォータールー大学のKen SalemとHP Labs Goetz Graefeが共同司会を務めました。 このワークショップのプログラムでは、私が行った「複雑さの脅威（The Peril of Complexity）」（PDF）と題する基調講演とともに、8つの短い論文が取り上げられました。そのうちの2つの論文（※注）は、私の同僚であるIvan BowmanとAni Nicaが共同執筆者として参加したものです。IvanとMumtaz Ahmadの論文は、マルチテナントワークロード分析に関するもので、もともとは2010年の秋にMumtazがインターンとして私たちのチームに参加していたときに行った研究です。Aniの論文は、昨年の10月にダグシュトゥールで行われた「堅牢なクエリー処理（Robus