Facebook、データセンター自動化ツールにChefの新バージョンを全面採用、Erlangでスケーラビリティ拡大。Opscodeが発表
Facebook、データセンター自動化ツールにChefの新バージョンを全面採用、Erlangでスケーラビリティ拡大。Opscodeが発表 世界最大級の規模のサーバを運用しているFacebookでは、データセンターにサーバを投入したり、既存のサーバのコードをアップデートする膨大な作業が毎日発生しています。特に同社は開発したコードをすぐにデプロイし、利用者からのフィードバックを迅速に開発へ反映させるDevOpsと呼ばれるスタイルを採用していることから、大規模かつ柔軟性の高いデプロイツールが欠かせません。 そこで必要なのがこうしたサーバのコンフィグレーションをデータセンター規模で自動化してくれるツールです。その1つとしてよく知られるのがChef。Rubyで書かれており、コンフィグレーションの内容や手順を記述するレシピ（Recipe）やクックブック（Cookbook）を用いた柔軟なデータセンター自
CAP定理を見直す。“CAPの3つから2つを選ぶ”という説明はミスリーディングだった
分散システムにおいては以下の3つの要素のうち2つしか同時に満たすことができない、というCAP定理を提唱したのは、Eric Brewer氏でした。 C：Consistency（一貫性） A：Availability（可用性） P：Tolerance to network Paritions（ネットワーク分断への耐性） 一般にリレーショナルデータベースでは、一貫性（C）と可用性（A）をできるだけ保証する代わりに、ネットワーク分断への耐性（P）を犠牲にしています。ネットワークが途中で切れたり大きく遅延した場合、動作が保証されなくなってしまうわけです。 一方でNoSQLでは一貫性（C）よりも可用性（A）とネットワーク分断への耐性（P）を優先させるものが多く、分散システムでの動作に向いていると説明されます。このようにNoSQLの説明にこのCAP定理がしばしば引用されることになり、NoSQLの普及とと
Amazonクラウド、244GBメモリとCPUの温度限界まで性能を引き出す超高性能なインスタンス開始
Amazonクラウドを運営するAmazon Web Servicesは20日、大規模な処理向けのインスタンス「ハイメモリクラスタエイトエクストララージ」を発表しました。244ギガバイト（発表では244GiB）メモリを搭載し、120ギガバイトのSSDと10ギガビットイーサネットが利用可能。 性能は88 ECU(EC2 Compute Unit)。またインテルのTurbo Boost機能を利用可能なため、 アクティブコア数、総消費電力、およびプロセッサの温度を監視しながら、CPUのクロック周波数を上げていきます。ドキュメントに記載されている温度限界内にとどまっている間は、可能な限り高速にCPUが稼動します。 と、CPUの温度限界まで性能を引き出すことができるとのことです。 インメモリで行う分析システムに このハイメモリクラスタエイトエクストララージは、インメモリデータベースやゲノム配列解析のよ
NoSQLの現状。これまでの成功と失敗
NoSQLの登場は、「データベースといえばリレーショナルデータベース」という状況を大きく変えました。リレーショナルデータベースと比べて高速でスケーラビリティに優れたNoSQLデータベースは登場当初から注目されましたが、一方でいまに至るまでさまざまな種類の製品が登場して混沌としているようにも見えます。 （作者 Stefan Edlich、翻訳者 大田 緑 - (株)チェンジビジョン、投稿日 2013年1月1日） NoSQLは厳しい批判に少なくとも4年間さらされてきました。そして、今、NoSQLの現状について中間報告する時がやって来ました。NoSQLの周辺ではいろいろなことが起こったため、全体像をつかんで、どのような目的を達成したか、また、NoSQLはどこで失敗したかを評価するのは簡単なことではありません。 様々な分野において、NoSQLは産業的にも学問的にもかなり成功をおさめてきました。大学
最近話題の「カラム型データベース」とはどんな仕組みのデータベースか？
トランザクション処理を重視する一般的なデータベースは、1行ごとにデータを扱う。カラム型データベースはそれとは異なり、列方向にまとめでデータを扱うことで集計作業などを得意とし、データウェアハウス用途などに用いられている。 「カラム型」あるいは「カラムストア型」「列指向型」などと呼ばれるデータベースの話題が目立つようになってきました。 例えばSAPのHANA、IBMが買収したNetezza、ヒューレット・パッカードが買収したVertica、オラクルのExadata、それにNoSQLの代表的なデータベースCassandraなどがカラム型データベースの機能を備えています。また、マイクロソフトの次期SQL Serverにもカラム型データベース機能が統合されると伝えられています。 とはいえカラム型データベースは最近登場した技術ではなく、Sybase IQでは10年以上前から採用されていた仕組みでした。
パネルディスカッションを成功させるためにモデレータがしなければならないこと（準備編）
ステージの上に専門家が並び、与えられたテーマに沿って本音をぶつけ合う。IT業界ではこうした形態のパネルディスカッションが、ベンダー主催の大きなイベントからコミュニティによる勉強会まで、さまざまな場所で行われています。 筆者（新野）は、10年以上前からパネルディスカッションのモデレータの依頼を数多く受けてきました。おそらく、IT業界においてモデレータをもっとも多くこなしてきたひとりだと思います。 大きなイベントでは、例えば2009年、2010年にIBMのイベント「IBM Rational Software Conference 2009」や「Innovate 2010」で、アジャイル開発をテーマにしたパネルディスカッションのモデレータを担当し、来場者アンケートの評価で2年連続して基調講演を含めて全数十セッション中最高の評価を得たことがありました。コミュニティ主催のイベントでも、昨年の「クラウ
オラクルがEngine Yardに出資。Oracle CloudでRuby、PHP、Node.jsのPaaS実現へ
オラクルとEngine Yardの両社は、オラクルがEngine Yardに対して戦略的投資を行うことを発表しました（日本語訳）。オラクルはEngine Yardの少数株主となり、Engine Yardは引き続き独立した企業として存続します。 Engine Yardは、Ruby、PHP、Node.jsをクラウド上でPaaSとして提供している企業。Amazonクラウドを基盤に運営されている同社のPaaSは、顧客ごとにデータベースやミドルウェアなどのリソースが分離されているシングルテナント方式を採用しているため耐障害性などに優れる特徴を持っています。今年の9月には日本法人も設立されました。 今回のオラクルの出資により、具体的に両社の関係がどうなるのか、オラクルが発表したプレスリリースの一部を引用します。 In conjunction with this investment, Oracle a
HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開
HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 Hadoopのディストリビューションベンダとして知られるClouderaは10月25日、SQLに対応し、データの分析速度はMapReduceよりも何倍も高速だという新しい分散クエリエンジン「Cloudera Impala」（製品名「Cloudera Enterprise RTQ」）をオープンソースで公開しました。 これまでHadoopでは内部でMapReduceと呼ばれる処理が用いられていましたが、ImpalaではMapReduceを使わず、Clouderaが2年かけて開発した独自の分散クエリエンジンを用いて処理を行います。Hiveの上位互換のSQLが利用でき、Hive/MapReduceで数分かかっていた応答時間を数秒に短縮すると説明されています。 グーグルのDremel
データセンター自動化ツール「Chef」、国内の商用提供開始。クリエーションライン
多くのサーバが投入されるデータセンターでは、多数のサーバに対してソフトウェアの構成や設定を人の手で行っていては作業スピードが追いつかないばかりか、設定の間違いによる運用のミスにもつながってしまいます。 データセンターでいま注目されているツールのひとつが、そうした大量のサーバの構成や運用を自動化する「Chef」（シェフ）です。Chefは米Opscodeがオープンソースで開発しているツールで、機能を強化した商用版やサポートなども同社が提供しています。 Chefは大規模なWebサービスなどの現場で最近注目され始めており、国内ではサイバーエージェントの「アメーバピグ」など大規模システムの現場の構成自動化などですでに使われています。 国内でクラウド関連の設計や構築などを行っているクリエーションラインは10月2日、Opscodeと提携し、Chefの国内での商用ライセンス販売、保守サポート、コンサルティ
IT系上場企業の平均給与を業種別にみてみた 2012年版 ～ ネットベンチャー、ソーシャル、モバイル、ゲーム編
IT系上場企業の平均給与を業種別にみてみた 2012年版 ～ ネットベンチャー、ソーシャル、モバイル、ゲーム編 IT系企業で給与が高いのはSIerなのか、それともネットベンチャーなのか、流行のソーシャルゲーム系なのでしょうか。今年も上場企業を主な業種ごと分類し、調査しました。 この記事は、Yahoo！ファイナンスの「業種別銘柄一覧：情報・通信」および金融庁の「EDINET」で公開されている企業の有価証券報告書から、従業員数、平均年齢、平均年収などの情報を収集、Publickeyが独自の判断で主な企業をピックアップして業種を分類。平均給与が高い順に並べてみたものです。年収の単位は千円です。 今回は前編として、ネットベンチャー、ソーシャル、モバイル、ゲームなどの業種に分類した企業を中心に紹介します。後編では、パッケージベンダ、SI／システム開発、ゲーム開発などに分類した企業を紹介します。 ネッ
インメモリデータベースは将来のデータベースアーキテクチャの中心だ、とSAP
サイベースを買収し、ついにデータベース市場への本格参入を宣言したSAP。しかし同社のデータベース戦略の中心に据える製品は、長年データベース市場を戦ってきたサイベース製品ではなく、同社が新たに開発したインメモリデータベースのHANAです。 同社のロードマップによると、今後サイベースはHANAにプラグインする形でHANAに統合されていくことになっています。 なぜSAPがHANAをデータベース戦略の中心と考えているのか、それは同社が、インメモリデータベースこそ将来のデータベースアーキテクチャの中心になると考えているためです。 同社のCTO ビシャル・シッカ（Vishal Sikka）氏は、5月3日付けの同社のブログに「The SAP HANA Effect」というタイトルで、インメモリデータベースの革新性について主張しています。ちょうどその日本語訳が、SAPジャパンのブログ（最近始まったようです
Amazon CTOに聞く、NoSQLデータベース「DynamoDB」がクラウドに何をもたらすのか？
Amazon Web Serviceが提供する、SSD上に構築された高速でスケーラブルなNoSQLデータベース「Amazon DynamoDB」が、東京データセンターでも利用可能になりました。 DynamoDBは、単にNoSQLの持つ高いスケーラビリティを提供するだけではなく、一貫性の制御が可能で、必要なスループット性能も自由に設定できるなど、従来のNoSQLとは一線を画す高性能を、メンテナンスなどの管理の手間をまったく必要とせずに提供するサービスです（関連記事「Amazonクラウド、SSD上の新NoSQLデータベース「DynamoDB」を公開。性能をダイナミックに上げ下げ可能」）。 このDynamoDBの開発経緯や技術について、Amazonのバイスプレジデント兼最高技術責任者（CTO） ヴァーナー・ボーゲルズ（Werner Vogels）氏に、テレビ会議を通じてインタビューを行いました。
EMC、満を持してPCIe接続フラッシュストレージ発表。「Fusion-ioより速い」と強調
ストレージ最大手の米EMCは2月6日、新製品の「VFCache」を発表。PCIeをインターフェイスにしたサーバ内蔵型フラッシュストレージ市場に参入しました。 PCIeをインターフェイスにしたサーバ内蔵型フラッシュストレージは、従来のストレージインターフェイスによるボトルネックがないため、単純にストレージの中身をフラッシュに置き換えるよりもずっと大きな性能を発揮します。 従来のストレージに比べて飛躍的な性能を備えたこのストレージは、仮想化などでさらに高速なI/O処理が要求されるようになったエンタープライズ市場のニーズに合致、いま非常に注目されるストレージデバイスとなっています。 Fusion-ioと性能面で真っ向勝負 この新たなストレージデバイスの市場を開拓してきたのが、新興ストレージベンダのFusion-ioでした。EMCの参入は、Fusion-ioとの真っ向勝負を意味します。 EMCのパ
Node.jsのコンセプトとは？ ライアン・ダール氏による東京Node学園祭 基調講演（前編）
このセッションでは、前半でNodeのコンセプトを、後半では来週にもリリース予定のNodeの新バージョンについて紹介します。 このデニス・リッチーの言葉はNodeの特徴を表していて、Nodeとは機能を加えるよりもむしろ取り去ったものです。 いまのOSのインターフェイスのほとんどは、1970年代のテレプリンタのような歴史をひきずっています。ケン・トンプソンとデニス・リッチーが開発したUNIXやCは当時のPDP11のためにデザインされたもので、いまのOSもその歴史上にあるのです。 UNIXの基本概念は、対話的なコマンドラインを作るものでした。lsコマンドを打つとその結果がテレタイプに出力されるといったものです。そして基本概念には、ブロックするシステムコールやプロセスが含まれています。 ブロックするシステムコールを呼び出すと、I/Oが完了するまで戻ってきません。戻ってくるまでどれだけかかるかも分か
PostgreSQL 9.1正式版が公開。同期レプリケーション、高速なログなしテーブルなどの新機能
オープンソースのリレーショナルデータベース「PostgreSQL」の最新版「PostgreSQL 9.1」が公開されました。 Oracleデータベース互換のEnterprise DBがPostgreSQLをベースに開発されているなど、PostgreSQLはエンタープライズ用途を主に意識して開発されているリレーショナルデータベースといえます。 同期レプリケーション、高速テーブルアクセスなどの新機能 PostgreSQL 9.1の新機能として紹介されているのが、クラスタ用の同期レプリケーションです。 レプリケーションを同期モードにすると、マスターサーバに対する更新が失われずにクラスタ内のスレーブサーバに伝わることが保証されます。これにより複数のサーバにまたがってデータの一貫性を保つ高可用性を実現できます。 また、信頼性よりも性能が重要な場合、ログを取らないテーブルを定義することができるようにな
技術もビジネスも理解する人材「ギーク・スーツ」が日本でなぜ育ちにくいか？ 野村総研のまじめな研究
公開されたのは2009年のようですが、ブログ「森崎修司の「どうやってはかるの？」」のエントリ「ギーク・スーツ」で一昨日その存在を知り、読んでみました。 ネット上では以前から、技術側の「ギーク」とビジネス側の「スーツ」の関係がよく話題になっています。ギークが幸せになるには技術を理解したスーツが欠かせず、またスーツがビジネスを成功させるためにはギークがビジネスを理解する必要がある、というのが多くのそうした議論の着地点であると思うのですが、ではそのような状況をどうやったら実現できるのか？ についてはなかなか具体的な提案がなかったのではないかと理解しています。 野村総研のこの論文では、外国ではどのようにして技術とビジネスを理解した「ギーク・スーツ」を育成しているかを軸に、日本での問題点とそれを解決するための提案をしています。 日本はギーク・スーツが生まれにくい 論文の冒頭にある要約で内容を把握でき
NoSQLをRDBの代わりに使うと、どういう恐ろしいことが起こるか。PARTAKEの作者が語る
データベースの世界でいま注目されているのがNoSQL。特にキーバリュー型データストアは、グーグルのBigTable、FacebookやTwitterが内部で利用しているCassandraやAmazonクラウドが提供しているSimpleDBなど、すでに実際に使われ始めています。 ではそのNoSQLをリレーショナルデータベースの代わりに使ってシステムを構築するとどうなるのか？ 身をもって体験したことを記したShinya Kawanaka氏によるプレゼンテーション「間違った方向にCassandraを使ってみた」が公開されています。 NoSQLを用いたシステム構築は、リレーショナルデータベースによる構築どう違うのか？ とても分かりやすくまとめられています。ご本人の承諾もいただいたので、その内容を紹介しましょう。 NoSQLを使ったときに起こる恐ろしい事例 プレゼンテーションのテーマは「NoSQLを
いますぐ使える無料のクラウドデータベース「ClearDB」
クラウド上にホスティングされ、バックアップもメンテナンスもしてくれるので運用の手間がかからないリレーショナルデータベース。そんなサービスを開始している提供しているのが「clearDB」です。 1つ前の記事では企業向けのマイクロブログ「Yammer」を紹介し、競合となりそうなセールスフォース・ドットコムのChatterも無料サービスを開始すると紹介しましたが、今回のClearDBも、セールスフォース・ドットコムが発表したばかりの「Database.com」と同様のサービスです。狙ったわけではないのですが……。 clearDBのWebサイトから、どのようなサービスなのかを紹介します。 クラウド上で100％ACID対応のリレーショナルデータベース clearDBは100％ACIDに対応し、自動的にバックアップされたスケーラブルなデータベースだと説明されています。「What is ClearDB?
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ SSDがHDDに代わるストレージとして普及しようとしていることを背景に、SSDに特化したまったく新しいアーキテクチャを備えたリレーショナルデータベースを開発しようとしている企業があります。「ReThinkDB」です。 昨年7月に、PublickeyではReThinkDBの概要を記事「SSDに最適化したデータベース「RethinkDB」、ロックもログも使わずにトランザクション実現」で伝えました。 その記事の中では、ReThinkDBがロックを使わずにトランザクションを実現し、データベース利用中でもスナップショットがとれ、また異常終了しても容易に復帰できる機能を備えている、といったことを紹介しました。 4月に米サンタクララでに行われた「MySQL Conference & Ex
Twitter、リアルタイム検索をLuceneで構築。50倍高速に！
Twitterのリアルタイム検索機能が、オープンソースのLuceneベースになったと、Twitter Engineeringブログへのエントリ「Twitter's New Search Architecture」で紹介されています。 これまでTwitterはリアルタイム検索にMySQLベースの独自システムを利用してきましたが、規模の拡大が難しくなってきたため、6カ月前に新システムの構築を決定。オープンソースの検索エンジンであるLuceneを選択したとのことです。 従来の50倍も高速に！ 検索エンジンに対する要件は以下のように非常に厳しいものでした。 Our demands on the new system are immense: With over 1,000 TPS (Tweets/sec) and 12,000 QPS (queries/sec) = over 1 billion
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
