FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編）
Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 解説はほぼスライドの内容そのままでした。当日使われた日本語訳されたスライドが公開されているので、ポイントとなるページを紹介しましょう。 Realtime Apache Hadoop at Facebook なぜリアルタイムデータの分析に、Hadoop/HBaseを使うのか？ MySQLは安定しているが、分散システムとして設計されておらず、サイズにも上限がある。一方、Hadoopはスケーラブルだがプログラミングが難しく、ランダムな書き込みや読み込みに向いていない。 Faceb
伊藤直也氏が語る、モバイルアプリケーション開発のいまとこれから（後編）～Salesforce Developer Conference Tokyo 2013
伊藤直也氏が語る、モバイルアプリケーション開発のいまとこれから（後編）～Salesforce Developer Conference Tokyo 2013 9月6日開催されたSalesforce Developer Conference Tokyo 2013のセッション「B2Cからみたモバイルアプリケーション開発のいまとこれから」では、コンシューマ向けサービス開発の現場に身を置いてきた伊藤直也氏が、モバイルアプリケーション開発を成功させるための方法をこれまでの経験や現在の開発現場のノウハウを基に語っています。 試行錯誤の回数を増やす、iOSとAndroidは同じように作ってはいけないなど、モバイルアプリケーション開発に関わるエンジニアやデザイナーにとって非常に参考になる内容が込められたセッションの内容を、ダイジェストで紹介しましょう。 （本記事は「伊藤直也氏が語る、モバイルアプリケーショ
伊藤直也氏が語る、モバイルアプリケーション開発のいまとこれから（前編）～Salesforce Developer Conference Tokyo 2013
伊藤直也氏が語る、モバイルアプリケーション開発のいまとこれから（前編）～Salesforce Developer Conference Tokyo 2013 いま多くの開発者が取り組もうとしているモバイルアプリケーションの開発は、経験の面でも技術の面でも、コンシューマ向けの開発現場が大きく先行しています。 9月6日開催されたSalesforce Developer Conference Tokyo 2013のセッション「B2Cからみたモバイルアプリケーション開発のいまとこれから」では、コンシューマ向けサービス開発の現場に身を置いてきた伊藤直也氏が、モバイルアプリケーション開発を成功させるための方法を、これまでの経験や現在の開発現場で得たノウハウなどを基に語っています。 試行錯誤の回数を増やす、iOSとAndroidは同じように作ってはいけないなど、モバイルアプリケーション開発に関わるエンジ
Amazonクラウド、ネットワーク機器の障害で一時動作不良。Heroku、Parse、Kinveyなどがダウン
Amazonクラウド、ネットワーク機器の障害で一時動作不良。Heroku、Parse、Kinveyなどがダウン 8月25日13時頃（米国太平洋時間。日本時間の26日午前5時頃）、Amazonクラウドの米国東部（バージニア北部）リージョンで提供されているストレージサービスのAmazon EBSが、特定のアベイラビリティゾーンで動作不良を発生。パフォーマンスが低下し、その影響でHerokuやParse、Kinveyなどのサービスが一時的にダウンしたことが報告されています（Herokuのインシデントレポート）。 原因はネットワーク機器の不具合によるパケットロスにあったようで、現在は正常動作に復帰しています。しかしAmazonクラウドのネットワークが冗長構成になっていないはずがなく、単純な機器の故障で障害を引き起こすとは思えないので、おそらく原因はここで報告されている以上に複雑なものなのではないか
PR：伊藤直也×まつもとゆきひろ。ポストPC時代のモバイル開発を語る
エンタープライズとコンシューマが逆転した、ポストPCの時代 伊藤 僕はいまBtoBの開発のコンサルをすることがあって、そこで何を期待されているかというと、BtoCで成功している方法論や開発プロセスなどをBtoBでもやりたいと。 以前はサーバOSやデータベースなどの面で先進的な技術が使われていたBtoB、エンタープライズ系の開発は、いまや先進性ではクラウドやモバイルデバイスを使ったコンシューマに逆転されてしまっています。 まつもと 最近、スマートフォンとかタブレットとか、PCじゃないところが主戦場になってきて、PCより小さなデバイス、少し前なら「組み込み」と言われていたものの重要性が高まってくるのではないかなと思っています。いまホットなデバイスはスマートフォンだったりしますが、もっと先に進むとコンピュータは環境に組み込まれてどんどん見えなくなっていくのではないかと思います。 でも、例えば多く
書籍「The Datacenter as a Computer」の第二版がPDFで無料公開中
いまから4年前の2009年、まだクラウドという言葉も一般的ではなかった頃に、Googleのエンジニア達が書いた「The Datacenter as a Computer」（日本語版は「Googleクラウドの核心）という書籍が出版されました。 この書籍では、大量のサーバとそれを格納するデータセンター群を「Warehouse Scale Computer」という新しいタイプのコンピュータの単位として考え、それがGoogleによっていかに構築されているのか、技術的あるいは経済的な背景とその仕組みなどが詳しく解説されています。 当時はまだ大規模データセンターがどうなっているのか情報があまりなかったため、データセンターのコスト構造、Googleがサーバの電力効率に徹底的にこだわっていること、サーバの障害の統計値など、本書で明かされた内容は多くの驚きをもって迎えられました（Publickeyの書評記事
高速WebサーバのNginx、ミッションクリティカル対応の商用版「NGINX Plus」リリース
オープンソースのWebサーバとしてコンパクトで高性能なソフトウェアとして知られるnginx（エンジンエックス）の開発元Nginx.incは、ミッションクリティカルな用途に対応した商用版の「NGINX Plus」をリリースしました。 The High Performance Reverse Proxy, Load Balancer, Edge Cache, Origin Server | NGINX As business requirements continue to evolve rapidly, such as the shift to mobile and the explosion of dynamic content on the Web, CIO’s are continuously looking for opportunities to increase applicat
Treasure Dataのサービスはクラウド上でどう構築されているのか（後編）～July Tech Festa 2013
Treasure Dataのサービスはクラウド上でどう構築されているのか（後編）～July Tech Festa 2013 Treasure Dataといえば、日本人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 この記事は「Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～Japan Tech Festa 2013」の続きです。 データを解析する「Plazma」の仕組み データを解析するところでは「Plazma」と呼ぶ、Hadoopのエコシステムとカラムストアなどを組み合わせたものを用いています。
Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～July Tech Festa 2013
Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～July Tech Festa 2013 Treasure Dataといえば、日本人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 注目されているクラウドサービスがどのような仕組みになっており、それはどのような考え方で作られているのか。クラウドでシステム構築を考えている多くのエンジニアの参考になるはずです。講演の内容をダイジェストで紹介します。 Treasure Dataのクラウド戦略 Treasure Data, Inc。シニアソフトウェアエンジニア 中川真宏氏。 スタートアップなこともあ
DIMMメモリスロットにフラッシュストレージを差す、「Memory Channel Storage」をDiablo Technologiesが発表
不揮発性メモリであるフラッシュメモリをメインメモリのメモリスロットに装着することで、超高速のフラッシュストレージとして利用できる「Memory Channel Storage」を、米Diablo Technologyesが発表しました。 これまでフラッシュメモリを備えたストレージは、ハードディスクの代替としてのSSDやフラッシュメモリを搭載した共有ストレージアレイ、あるいはPCIeインターフェイスを備えたフラッシュストーレジ製品などがありました。 Memory Channel Storageは、PCIeインターフェイスよりもさらに高速なメモリバス経由でストレージにアクセスする仕組みで、あらゆるストレージと比べてもさらに高速なものになります。プレスリリースから引用します。 This innovative approach utilizes the industry standard DIMM
「技術的負債」とは何か。原典とその対応策を探る
負債とは要するに借金のことですが、システム開発においても技術的な借金、つまり「技術的負債」（Technical debt）がある、という表現がしばしば使われます。お金の借金をすると利子を払い続けなければならないのと同じように、技術的負債を抱えると、そのツケを払い続けなければならなくなる、という比喩です。 「技術的負債」という表現は、WikiWikiの発明者で著名なプログラマとして知られるウォード・カニンガム氏が1992年に使ったのが原典とされています。しばしば目にするこの「技術的負債」というのはどういうものなのでしょうか？ 調べてみました。 カニンガム氏とファウラー氏による「技術的負債」 カニンガム氏が「技術的負債」という表現をはじめて使ったのは、1992年に行われたACM主催のイベント「OOPSLA '92 」(Object-Oriented Programming, Systems,
IT系上場企業の平均給与を業種別にみてみた 2013年版 ～ パッケージベンダ、SIer、ホスティング企業編
IT系上場企業の平均給与を業種別にみてみた 2013年版 ～ パッケージベンダ、SIer、ホスティング企業編 IT系企業で給与が高いのはSIerなのか、それともネットベンチャーなのか、ソーシャルメディア系なのでしょうか。Publickeyの恒例企画として、今年も上場企業を主な業種ごと分類し、調査しました。 前編のネットベンチャー、ソーシャル、モバイル編に続いて、後編ではパッケージベンダ、SIer／システム開発、組み込み開発、ISP／ホスティングベンダなどの企業について見ていきます。 この記事は、Yahoo！ファイナンスの「業種別銘柄一覧：情報・通信」および金融庁の「EDINET」で公開されている企業の有価証券報告書から、従業員数、平均年齢、平均年収などの情報を収集、Publickeyが独自の判断で主な企業をピックアップして業種を分類。平均給与が高い順に並べてみたものです。年収の単位は千円で
IT系上場企業の平均給与を業種別にみてみた 2013年版 ～ ネットベンチャー、ソーシャル、モバイル編
IT系上場企業の平均給与を業種別にみてみた 2013年版 ～ ネットベンチャー、ソーシャル、モバイル編 IT系企業で給与が高いのはSIerなのか、それともネットベンチャーなのか、ソーシャルメディア系なのでしょうか。Publickeyの恒例企画として、今年も上場企業を主な業種ごと分類し、調査しました。 この記事は、Yahoo！ファイナンスの「業種別銘柄一覧：情報・通信」および金融庁の「EDINET」で公開されている企業の有価証券報告書から、従業員数、平均年齢、平均年収などの情報を収集、Publickeyが独自の判断で主な企業をピックアップして業種を分類。平均給与が高い順に並べてみたものです。年収の単位は千円です。 本記事では150ほどの企業を、ネットベンチャーやゲーム、SIerなどに分類していますが、各分類の境界は少しずつあいまいになってきており、明確に分類することは年を追うごとに難しくなっ
DevOpsをエンタープライズへ導入する際のハードルについて。SIerはDevOpsできるのか？ ビジネスゴールはどう設定するのか？
DevOpsをエンタープライズへ導入する際のハードルについて。SIerはDevOpsできるのか？ ビジネスゴールはどう設定するのか？ DevOpsについてPublickeyではじめて書いたのは2011年の記事「開発と運用の新しい関係、「DevOps」とは何か？」でした。2年前ですね。 もともとFlickrやFacebookといったオンラインサービス系の企業が発端となったDevOpsのムーブメントですが、最近ではエンタープライズ系の開発と運用においてもDevOpsの考えを取り入れていこうという動きが目立っています。しかし、DevOpsをエンタープライズに取り入れるにはいくつかのハードルがあるように思います。 その話をする前に、手短にDevOpsの現状についてまとめておきましょう。 DevOpsはムーブメントなので方法論やツールの規定はない DevOpsは、つねに新機能や機能改善といったシステ
「Vagrant」は仮想環境をプログラミングするツール。同一環境をどこにでも、いくつでもすぐに作成可能。Vagrant meetup 2013
「Vagrant」は仮想環境をプログラミングするツール。同一環境をどこにでも、いくつでもすぐに作成可能。Vagrant meetup 2013 「Vagrant」（ベイグラント、ベーグラント）は、仮想環境をプログラミングするツール、と言えます。一般にWebアプリケーションの開発、テスト、本番運用などのための環境を用意するには、仮想マシンを起動し、OS、WebサーバやPHP、Rubyなどをインストールし、ChefやPuppetなどでアプリケーションをデプロイするといった操作が必要でした。 毎回操作してこれらの環境を作るのは面倒ですしミスをする可能性もあります。かといってあらかじめ仮想マシンとしてまるごと用意しておくと、少しでも環境が変わるたびに仮想マシンを最初から作り直す手間がかかりますし、配布も面倒です。 Vagrantはこうした問題を、仮想マシンのテンプレートとそれを構成するためのコンフ
チップスケール原子時計やSoCがこれからクラウドを変えていく～クラウドコンピューティングの雲の中（その3）。NII Open House 2013
チップスケール原子時計やSoCがこれからクラウドを変えていく～クラウドコンピューティングの雲の中（その3）。NII Open House 2013 クラウドはどのような仕組みで構成されていて、この先どう進化していくのでしょうか。6月14日に開催された国立情報学研究所主催のオープンハウス「NII Open House 2013」が開催され、国立情報学研究所 佐藤一郎教授が「クラウドコンピューティングの雲の中」と題した講座を行いました。 （本記事は「分散ストレージの整合性をいかに解決するか。プライマリ-バックアップ方式と分散コミット～クラウドコンピューティングの雲の中（その2）。NII Open House 2013」の続きです） チップスケール原子時計がすべてのサーバに入る ここから少し、最近のトレンドの話をします。 いま原子時計が小さくなっています。これから何が起きるかというと、おそらくす
分散ストレージの整合性をいかに解決するか。プライマリ-バックアップ方式と分散コミット～クラウドコンピューティングの雲の中（その2）。NII Open House 2013
分散ストレージの整合性をいかに解決するか。プライマリ-バックアップ方式と分散コミット～クラウドコンピューティングの雲の中（その2）。NII Open House 2013 クラウドはどのような仕組みで構成されていて、この先どう進化していくのでしょうか。6月14日に開催された国立情報学研究所主催のオープンハウス「NII Open House 2013」が開催され、国立情報学研究所 佐藤一郎教授が「クラウドコンピューティングの雲の中」と題した講座を行いました。 （本記事は「クラウド事業者がテクノロジーリーダーになる理由～クラウドコンピューティングの雲の中（その1）。NII Open House 2013」の続きです） クラウドのストレージ最大の問題、不整合をいかになくすか 世界には2種類のコンピュータしかありません。「壊れたコンピュータと、いずれ壊れるコンピュータ」です。 クラウドでは大量のサ
クラウド事業者がテクノロジーリーダーになる理由～クラウドコンピューティングの雲の中（その1）。NII Open House 2013
クラウドコンピューティング（以下クラウド）とは、コンピュータやストレージを必要なときに必要なだけ使えるシステムです。 クラウドというと未来の技術というイメージが強かったのですが、いまではオンラインゲームや企業の基幹業務などにまで広く使われる時代になっています。 その割にはクラウドの中身はあまり知られていません。例えば皆さんがPCを使うときには、プロセッサやメモリなどの基礎知識があって、それがPCを使うときに間接的に役立つことが多いでしょう。 クラウドがこれから一般的になれば、その基礎知識があることがすごく重要になると思います。今日はそのあたりを中心にお話ししたいと思います。 クラウド事業者がテクノロジーリーダーとなっている これはGoogleのクラウドの中、データセンター内部の写真です。こうした大きなデータセンターを作り、10万台オーダーのサーバとネットワークと冷却装置などをそこに入れる、
最近よく目にする「フルスタックエンジニア」とは何だろうか？
このところ海外（おもに米国）のスタートアップで、「full stack engineer」の求人広告を以前より多く見かけるようになりました。フルスタックエンジニア、つまりインフラからミドルウェア、モバイル、デザインまで、あるいは設計からプログラミング、デプロイまで、何でもこなせるエンジニアを募集している、ということのようです。 例えば、このPublickeyでも導入しているコメントシステムの開発元であるDisqusは現在、「Full-stack Web Engineer」を募集しています。 「What We're Looking For」の項目では、5年以上のエンジニア経験とチームリーダーの経験などを求めた上で、技術的には次のような要件を並べています。 Very experienced with web application deployment and software design
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（後編）
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（後編） 基幹システムをクラウドで実現する。その過程でどのような技術を用い、どのような苦労があったのか。小売り流通業である西鉄ストアの基幹システムをAmazonクラウド（以下、AWS：Amazon Web Services）の上で実現したノーチラス・テクノロジーズが、その詳細について紹介したセミナーを5月15日、アマゾンジャパン本社のセミナールームで開催しました。 （本記事は「基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編）」の続きです） 和製クラウドでトラブルが続き、やむなくAWSへ移行 インフラについて。やはり和製クラウドベンダのインフラは値段が高い。いろいろ話をして安くならないかと相談したけれど、無理でした。理由は簡単です。デ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
