クラウド技術の古典？
世間では「クラウド」がおおはやりのようで、猫も杓子もクラウドｘｘｘなる名前が付いていますが、ことの発端となっているgoogleのクラウド技術についての元情報にアクセスされている方は、結構少ないようです。 つい先日も、「仮想化」を除いたクラウドの技術的な原点はやはりgoogleの三部作であろうという話がありましたので、忘れないうちに原文のリンクを残したいと思います。 なお、今をときめくHadoopプロジェクト （Apacheファンデーションのプロジェクト）はこの三部作の技術をオープンソースで作ろうというところから始まりました。 The Google File System なんといっても「古典」の最初は、GFSでしょう。 現在はgoogleでは使っていないとは思いますが、現在のクラウド話の発端になる「分散ファイルシステム」の論文です。この論文を元にHadoop File System (HD
GoogleのMapReduceは僕たちに必要か？ - きしだのはてな
ということで、Google MapReduceの実装であるHadoopを使ったMapReduceと、JMSを使ったMapReduceをやってみました。 メッセージキューを使って分散MapReduceを実装する HadoopでのMapReduceを気軽に試すサンプル これ何のためにやったかというと、そこらにあるような数十台規模のサーバーを前提としたときに、Hadoopの有効性、ひいてはその元になってるGoogle MapReduceの有効性について疑問に思ったからです。そこで、ちょっと試してみた、と。 ここで、メッセージキューを使った場合に1秒でできてた処理が、Hadoopを使うとスタンドアロンモードでも40秒近くかかりました。擬似分散モードだと4分近くです。 いくらHadoopの実装がひどいとしても、これはあんまりです。 Googleでの実装はもっと効率的なものになっていると思いますが、そ
HadoopでのMapReduceを気軽に試すサンプル 2009-02-15 - きしだのはてな
Googleの分散処理技術であるMapReduceを、そのオープン実装のHadoopを使って試したいと思っても、なんか設定がめんどくさそうで二の足を踏んじゃう人は多いはず。 そこで、並列計算をせずにサーバーなしで動かせるサンプルを作ってみた。 ただ、設定は不要なんだけど、Windowsの場合はCygwinがやっぱり必要で、PATHにCYGWIN_HOME\binを追加しておく必要がある。残念。 今回は、Javaソース中のimportされたクラスを数えるっていう処理をMapReduceでやってみる。 Hadoopは、こっからダウンロード。0.17.2.1を使った。 http://hadoop.apache.org/core/releases.html コンパイル・実行には、解凍してできる次のJARをクラスパスに追加しておく必要がある。 HADOOP_HOME/hadoop-0.17.2.1-
本を読む 楽天でROMAとfairyの話を聞いてきた
火曜日のHadoopの話に続き、土曜日には「楽天テクノロジーカンファレンス」でROMAとfairyの話を聞いてきました。fairyはようするに楽天版MapReduce、ROMAは楽天版memcached（よりストレージ寄り）という感じのソフトです。 以下、メモ。 レコメンド＆パーソナライゼーション（楽天技研 西岡氏） （emasaka注：これはROMAとfairyのセッションの直前のセッションだけど、関連性が強いので、関連する部分のみ切り出し） 楽天でレコメンデーションをやる場合、規模が膨大という特徴がある。何千万もの会員と2,500万の商品の組み合わせ。その対策として、Locality Sensitive Hashingなどアルゴリズムを改良すると同時に、多数のマシンを組みあわせている。そのために、現時点ではHadoopを使ってMapReduce処理をし、k-meansのクラスタリングや
楽天版MapReduce・HadoopはRubyを活用 － ＠IT
2008/12/01 楽天は11月29日、東京・品川の本社で開催した技術系イベント「楽天テクノロジーカンファレンス2008」において、近い将来に同社のEコマースサービス「楽天市場」を支える計画があるRubyベースの大規模分散処理技術「ROMA」（ローマ）と「fairy」（フェアリー）について、その概要を明らかにした。 レコメンデーションの処理自体はシンプル 楽天市場では現在、2600万点の商品を取り扱い、4200万人の会員に対してサービスを提供している。この規模の会員数・商品点数でレコメンデーション（商品の推薦）を行うのは容易ではない。 ※記事初出時に楽天市場の会員数を4800万人としてありましたが、これは楽天グループのサービス利用者全体の数字でした。楽天市場の会員数は正しくは4200万人とのことです。お詫びして訂正いたします。 レコメンデーションの仕組みとして同社は、一般的でシンプルなア
Welcome to Apache™ Hadoop®!
A wide variety of companies and organizations use Hadoop for both research and production. Users are encouraged to add themselves to the Hadoop PoweredBy wiki page. 8 Aug 2018: Release 3.1.1 available This is the first stable release of Apache Hadoop 3.1 line. It contains 435 bug fixes, improvements and enhancements since 3.1.0 Users are encouraged to read the overview of major changes since 3.1.0
Roma、Fairyについてひとことふたこと - Blog by Sadayuki Furuhashi
大規模分散処理向けの国産“ウェブOS”をRubyで開発中 - @ITより。 これはマズイことになった。WikiFormeを作っている内に、VIVER構想の一部が先に実現されてしまいそうだ。 以下、私はこのカンファレンスに行ってもいませんし、とっても浅薄な頭で書いてますので、あまり信用してはいけません。 まずRomaについて。 Romaは、メモリ上にデータを保持した多数のマシンを組み合わせることで、高速で信頼性が高いストレージを実現することを狙う。具体的には、巨大なオンメモリのハッシュ・テーブルをネットワーク上に分散した多数のサーバ上に構築する。P2P（peer-to-peer）ネットワークのルーティング技術として注目されている分散ハッシュ・テーブル（DHT)と似た動作モデルに基づくという。 どうやら、私が作ろうとしていて全然できてない分散ファイルシステムの考えと少し近い。 オンメモリという
OBB vs AABB - Radium Software Development
iPhoneの一般修理店は予約なしでも来店できる？ 基本的には飛び込みで修理に行ってもOK iPhoneを置いていたソファにうっかりと腰かけてしまい、パネルを割ってしまった、こんな時はスマホの一般修理店へ行きましょう。画面割れは、スマホやタブレットの故障原因として非常に多いものです。予約なしで突然お店に行っても平気かしらと、不安に思う方々もいらっしゃるかもしれません。結論としては特に問題はなく、予約なしで訪問しても画面割れの修理はお願いできます。 ただし他のサービス業のお店同様、予約なしの場合、お店が混雑していると順番待ちをしなければいけないです。特に繁盛しているスマホ修理のお店だと、行列が店内で出来ており、予約なしだと、自分の順番が巡ってくるまで長時間待たされる可能性があります。平日の朝、昼なら利用客が少ない場合が多く、飛び込みでも比較スムーズに修理が頼めます。 予約は入れた方が時短に、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
