IBM DeveloperIBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
クラウド時代に対応するストレージの最新技術 (1/2)
本連載最後のトピックでは、ストレージの最新技術を取り上げる。重複除外やストレージ階層化などストレージ技術の進歩には目を見張るものがあるが、その中でも今後のストレージ業界で大きな影響を与えると考えられる2つの新しいテクノロジー「フラッシュドライブ」と「スケールアウト型アーキテクチャ」について紹介する。 「コンシューマ向けSSD」と「企業向けEFD」の違い デジタルカメラなどでよく利用されているメモリカードやUSBメモリは、電源を停止してもデータが失われないフラッシュメモリ（不揮発性半導体メモリ）搭載型の記憶メディアである。一方、SSD（Solid State Drive）は、HDDと同じようにサーバやストレージで利用できるフラッシュメモリ搭載型の記憶装置だ。 2004年以降、メーカー各社がSSDの発売を開始し、おもにパソコンの用途（コンシューマ市場）で普及している。また、現在はサーバやストレ
クラウドを使ったシステム開発で生じる三つの負担
「クラウドを使うと基盤の構築がなくなるので，システム開発は楽になる」---。ハードウエアやミドルウエア，アプリケーションなどをインターネットのサービスとして利用できるクラウド・コンピューティング（以下クラウド）。クラウドに対してこんな印象をお持ちなら，改めた方がいいかもしれない。 記者がそう強く感じたのは，日経SYSTEMS2009年12月号で「JUMP！ クラウド革命に備えよう」という特集を担当したからだ。クラウドをいち早く利用した開発現場に取材をすると「クラウドの利用によって開発は難しくなり，工数はむしろ増えた」という声が意外に多く聞かれたのである。 クラウドを利用すると，確かに基盤構築の工数は減る。しかしクラウドの基盤が持つ特徴や制約を考慮して，クラウド上で動作するシステムを構築すると，手組みやパッケージ・ソフトと違った開発の難しさが発生するのだ。 負担になる三つの作業 日経SYST
Hadoopを用いたクラスタコンピューティング環境の構築
ペタバイト規模のデータを格納させる分散コンピューティング用プラットフォームを探しているのであれば、安価かつ効率的でスケーラビリティと信頼性を兼ね備えたプラットフォームであるHadoopの使用を検討すべきだろう。 ペタバイト規模のデータを格納させる分散コンピューティング用プラットフォームを探しているのであれば、そのフレームワークとしてHadoopの使用を検討すべきだろう。HadoopはJavaベースで作成されており、Linux、Windows、Solaris、BSD、Mac OS Xで使用できる。こうしたHadoopを実際に採用している組織に共通するのは、安価（特殊なハードウェアが不要）かつ効率的でスケーラビリティと信頼性を兼ね備えたプラットフォームによる、膨大な量のデータ処理を必要としているという点だ。 Hadoopでは、こうした膨大な量のデータを格納するために、Hadoop Distri
高まるHadoopの導入機運、日本のHadooperが集結
高まるHadoopの導入機運、日本のHadooperが集結：Hadoop Conference 2009 Tokyo Report Hadoop Conference 2009 Tokyoに集まった日本のHadooperたち。楽天が、はてなが、NTTデータが、そのほか多くの先進的な企業がこぞってHadoopを使うのはなぜなのか。Hadoopに対する各社の研究開発がつまびらかに語られた。 ニューヨークから東京へ 10月2日に米国・ニューヨークで「Hadoop World」が開催された時点で、11月には東京でも、という話が浮かび上がっていた。そのわずか2週間後、10月16日の金曜日にHadoopユーザー会からの開催通知メールが配信されると、週明け20日の朝には200名の定員が埋まってしまうという盛り上がりをみせ、日本のHadooperたちが胎動していることを感じさせた。 Hadoop Conf
Intelが48コアの「シングルチップ・クラウド・コンピュータ」試作，Hadoopも移植へ
米Intelは米国時間2009年12月2日，1つのLSIチップに演算コア48個を集積した試作プロセサを発表した。2010年に数十の企業／大学へ100個以上の試作プロセサを提供し，多コア・プロセサを効率よく利用できるソフトウエア／プログラミング・モデルの研究開発を推進する計画。 試作プロセサはIntel Architecture（IA）ベースの演算コアを48個搭載し，各コアをネットワーク化した。新たな電力管理技術を用い，消費電力を25～125Wに抑えたとしている。コア間の直接データ交換に対応しており，外部メモリーにアクセスする必要性を下げているため，高速な演算が可能という。データ転送距離も短くなるので，消費電力の削減効果も得られる。クラウド対応データセンター用ソフトウエアで使われる並列プログラミング・モデルを採用できるアーキテクチャとした。 Intelは米Hewlett-Packard（HP
クックパッドの分散処理LTでGridGainをデモしました - kaisehのブログ
20日に、クックパッドで開催された「techlifeライトニングトーク」に参加してきました。 今回は「分散処理」というテーマでLTが行われました。僕は、JavaのグリッドコンピューティングフレームワークGridGainをScalaから使うデモをしました。 （追記: 参加者全員の発表内容がYouTubeで公開されています） GridGainは、Hadoopと同様にMapReduceの概念に基づくフレームワークですが、あくまでも計算処理の分散にフォーカスしているようです。よって、GridGainにはHDFS相当のファイルシステムがありませんが、その分シンプルで、非常に簡単に使用できます。 以下のように、分散させたいメソッドに@Gridifyというアノテーションを付けておき、-javaagent VMオプションでAspectJのweaver等を指定して実行すると、メソッドをエンハンスしてグリッド
MOONGIFT: » Googleのデータ処理分散システムMapReduceのオープンソース実装「Skynet」:オープンソースを毎日紹介
Googleではその超巨大なコンピュータネットワークを使って、データ処理が分散化されている。これにより、大量のデータを瞬時に処理することが可能になっている。この分散処理システムはMapReduceと呼ばれており、Googleの基盤を支えるコア技術の一つだ。 処理状態を確認するコンソール ごく小規模なシステムであればニーズは発生しないかも知れないが、数十台、数百台のコンピュータを結びつける上で分散化処理は欠かせない技術だ。そこでMapReduceをオープンソース実装したこちらを紹介しよう。 今回紹介するオープンソース・ソフトウェアはSkynet、Rubyで実装されたMapReduceのオープンソース実装だ。 Skynetは多数のワーカーを立ち上げ、それらが互いに監視し合うことで障害発生時にも柔軟にタスクの受け渡しが可能になっている。単一障害点はなく、マスタサーバという位置づけのものですら他の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
